<div dir="ltr">Hi!<div><br></div><div>I was building a cluster with pacemaker+pacemaker-remote  (CentOS 6.5, everything from the official repo).</div><div>While I had several resources, everything was fine. However, when I added more VMs (2 nodes and 10 VMs currently) I started to run into problems (see below).</div><div>Strange thing is that when I start cman/pacemaker some time later - they seem to work fine for some time.</div><div><br></div><div><div>Oct 13 17:03:54 wings1 pacemakerd[26440]:   notice: pcmk_child_exit: Child process crmd terminated with signal 13 (pid=30010, core=0)</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: qb_ipcs_event_sendv: new_event_notification (26448-30010-6): Bad file descriptor (9)</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div><div>Oct 13 17:03:54 wings1 pacemakerd[26440]:   notice: pcmk_process_exit: Respawning failed child process: crmd</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div><div>Oct 13 17:03:54 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/665bd130-2630-454b-9102-3f17d2bd71f3 failed</div></div><div><br></div><div><div>Oct 13 17:03:57 wings1 pacemakerd[26440]:   notice: pcmk_child_exit: Child process crmd terminated with signal 13 (pid=30603, core=0)</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: qb_ipcs_event_sendv: new_event_notification (26448-30603-6): Bad file descriptor (9)</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 pacemakerd[26440]:   notice: pcmk_process_exit: Respawning failed child process: crmd</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/820ac884-24ca-4fff-9dc8-0a09e82e0e0a failed</div><div>Oct 13 17:03:57 wings1 crmd[31192]:   notice: crm_add_logfile: Additional logging available in /var/log/cluster/corosync.log</div><div>Oct 13 17:03:57 wings1 cib[26446]:  warning: qb_ipcs_event_sendv: new_event_notification (26446-30603-11): Broken pipe (32)</div><div>Oct 13 17:03:57 wings1 cib[26446]:  warning: cib_notify_send_one: Notification of client crmd/fe944296-b3a1-4177-a94c-650568e8ff0a failed</div></div><div><br></div><div>..................</div><div><br></div><div>So it keeps restarting, I even had to unmanage resources and stop pacemaker/cman. </div><div><br></div><div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: qb_ipcs_event_sendv: new_event_notification (26448-32444-6): Bad file descriptor (9)</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 pacemakerd[26440]:   notice: pcmk_child_exit: Child process crmd terminated with signal 13 (pid=32444, core=0)</div><div>Oct 13 17:04:13 wings1 pacemakerd[26440]:   notice: pcmk_process_exit: Respawning failed child process: crmd</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 lrmd[26448]:  warning: send_client_notify: Notification of client crmd/ea7ab099-1005-450b-9e46-d9d13ea266e4 failed</div><div>Oct 13 17:04:13 wings1 cib[26446]:  warning: qb_ipcs_event_sendv: new_event_notification (26446-32444-11): Broken pipe (32)</div><div>Oct 13 17:04:13 wings1 cib[26446]:  warning: cib_notify_send_one: Notification of client crmd/ef727424-ce2b-4b3b-8749-82136dc72af8 failed</div><div><br></div><div><br></div><div><br></div><div>And one more thing (probably not related, but who knows) - I have CentOS 7.0 on one of the VMs, LRMD is unable to establish communications with pacemaker_remote on that VM:</div><div><br></div><div>(node):</div><div><div>Oct 13 17:31:43 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 6.</div><div>Oct 13 17:31:45 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 7.</div><div>Oct 13 17:31:47 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 8.</div><div>Oct 13 17:31:48 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 9.</div><div>Oct 13 17:31:50 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 10.</div><div>Oct 13 17:31:51 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 11.</div><div>Oct 13 17:31:53 wings1 crmd[3844]:    error: lrmd_tls_send_recv: Remote lrmd server disconnected while waiting for reply with id 12.<br><br>(VM):</div></div><div><div>Oct 13 21:27:32 bank systemd: Started Pacemaker Remote Service.</div><div>Oct 13 21:27:32 bank pacemaker_remoted: Cannot change active directory to /var/lib/pacemaker/cores: No such file or directory (2)</div><div>Oct 13 21:27:32 bank pacemaker_remoted[1853]: notice: lrmd_init_remote_tls_server: Starting a tls listener on port 3121.</div><div>Oct 13 21:27:32 bank pacemaker_remoted[1853]: notice: bind_and_listen: Listening on address ::</div><div>Oct 13 21:31:39 bank pacemaker_remoted[1853]: notice: lrmd_remote_listen: LRMD client connection established. 0x1c49d60 id: de49ea57-e94c-45bf-9d2d-d0f36cb2c4f7</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_abort: crm_remote_header: Triggered assert at remote.c:118 : endian == ENDIAN_LOCAL</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_remote_header: Invalid message detected, endian mismatch: badadbbd is neither 6d726c3c nor the swab'd 3c6</div><div>c726d</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_abort: crm_remote_header: Triggered assert at remote.c:118 : endian == ENDIAN_LOCAL</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_remote_header: Invalid message detected, endian mismatch: badadbbd is neither 6d726c3c nor the swab'd 3c6c726d</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_abort: crm_remote_header: Triggered assert at remote.c:118 : endian == ENDIAN_LOCAL</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: error: crm_remote_header: Invalid message detected, endian mismatch: badadbbd is neither 6d726c3c nor the swab'd 3c6c726d</div><div>Oct 13 21:31:40 bank pacemaker_remoted[1853]: notice: lrmd_remote_client_destroy: LRMD client disconnecting remote client - name: <unknown> id: de49ea57-e94c-45bf-9d2d-d0f36cb2c4f7</div></div><div><br></div><div><br></div><div><br></div>-- <br>Best regards,<div>Alexandr</div></div></div>