<div dir="ltr">Thanks Andrew.<br><br>I upgraded corosync and pacemaker and the cluster works fine now.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jan 8, 2015 at 8:26 AM, Andrew Beekhof <span dir="ltr"><<a href="mailto:andrew@beekhof.net" target="_blank">andrew@beekhof.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
> On 15 Dec 2014, at 4:29 pm, Bharathiraja P <<a href="mailto:raja@where2getit.com">raja@where2getit.com</a>> wrote:<br>
><br>
> Hi Andrew,<br>
><br>
> Frequently one node gets disconnected from CIB and stops the cluster resources. I'm not able to start or cleanup failed actions for any of the resources. For ex, if nodeA gets disconnected from CIB, I won't be able to run actions on a resource like cleanup/stop/restart,... as that hangs forever.<br>
><br>
> In corosync log I will see a message like this " cib:    debug: qb_ipcs_disconnect:       qb_ipcs_disconnect(3760-5529-<br>
> 13) state:2"<br>
><br>
> All I had to do is to force kill the cib process on both nodes multiple times.<br>
><br>
> Let me know if you need any other info to nail down this issue.<br>
<br>
</span>For starters, we'd need to know what process 5529 was and what the rest of the processes in the cluster were doing.<br>
Its impossible to say anything from so few non-error logs.<br>
<div class="HOEnZb"><div class="h5"><br>
><br>
> --<br>
> Bharathiraja<br>
><br>
> On Mon, Dec 15, 2014 at 9:19 AM, Andrew Beekhof <<a href="mailto:andrew@beekhof.net">andrew@beekhof.net</a>> wrote:<br>
><br>
> > On 12 Dec 2014, at 9:57 pm, Bharathiraja P <<a href="mailto:raja@where2getit.com">raja@where2getit.com</a>> wrote:<br>
> ><br>
> > Hi,<br>
> ><br>
> > We run pacemaker+corosync cluster on OpenSuSE 13.1 QEMU guests.<br>
> ><br>
> > Frequently, one node gets disconnected from cib. This is the message seen in corosync logs,<br>
> ><br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:    debug: qb_ipcs_dispatch_connection_request:      HUP conn (3760-5529-13)<br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:    debug: qb_ipcs_disconnect:       qb_ipcs_disconnect(3760-5529-13) state:2<br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:     info: crm_client_destroy:       Destroying 0 events<br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:    debug: qb_rb_close:      Free'ing ringbuffer: /dev/shm/qb-cib_ro-response-3760-5529-13-header<br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:    debug: qb_rb_close:      Free'ing ringbuffer: /dev/shm/qb-cib_ro-event-3760-5529-13-header<br>
> > Nov 25 08:36:07 [3760] sysmon-secondary        cib:    debug: qb_rb_close:      Free'ing ringbuffer: /dev/shm/qb-cib_ro-request-3760-5529-13-header<br>
> ><br>
> ><br>
> > Can you pls help fix the issue?<br>
><br>
> What issue?<br>
><br>
><br>
> _______________________________________________<br>
> Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
> <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
><br>
> Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
> Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
> Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
><br>
<br>
</div></div></blockquote></div><br></div>