<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Helvetica;
        panose-1:2 11 6 4 2 2 2 2 2 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
p.ydp2ed250c4yiv0112698999msonormal, li.ydp2ed250c4yiv0112698999msonormal, div.ydp2ed250c4yiv0112698999msonormal
        {mso-style-name:ydp2ed250c4yiv0112698999msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
p.ydp2ed250c4yiv0112698999msolistparagraph, li.ydp2ed250c4yiv0112698999msolistparagraph, div.ydp2ed250c4yiv0112698999msolistparagraph
        {mso-style-name:ydp2ed250c4yiv0112698999msolistparagraph;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle22
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:447240536;
        mso-list-template-ids:-1885837360;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Hi Strahil –<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I think you may be right about the token timeouts being too short. I’ve also noticed that periods of high load can cause drbd to disconnect. What would you recommend for changes to the timeouts?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I’m running Red Hat’s Corosync Cluster Engine, version 2.4.3. The config is relatively simple.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Corosync config looks like this…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">totem {<o:p></o:p></p>
<p class="MsoNormal">    version: 2<o:p></o:p></p>
<p class="MsoNormal">    cluster_name: 001db01ab<o:p></o:p></p>
<p class="MsoNormal">    secauth: off<o:p></o:p></p>
<p class="MsoNormal">    transport: udpu<o:p></o:p></p>
<p class="MsoNormal">}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">nodelist {<o:p></o:p></p>
<p class="MsoNormal">    node {<o:p></o:p></p>
<p class="MsoNormal">        ring0_addr: 001db01a<o:p></o:p></p>
<p class="MsoNormal">        nodeid: 1<o:p></o:p></p>
<p class="MsoNormal">    }<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">    node {<o:p></o:p></p>
<p class="MsoNormal">        ring0_addr: 001db01b<o:p></o:p></p>
<p class="MsoNormal">        nodeid: 2<o:p></o:p></p>
<p class="MsoNormal">    }<o:p></o:p></p>
<p class="MsoNormal">}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">quorum {<o:p></o:p></p>
<p class="MsoNormal">    provider: corosync_votequorum<o:p></o:p></p>
<p class="MsoNormal">    two_node: 1<o:p></o:p></p>
<p class="MsoNormal">}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">logging {<o:p></o:p></p>
<p class="MsoNormal">    to_logfile: yes<o:p></o:p></p>
<p class="MsoNormal">    logfile: /var/log/cluster/corosync.log<o:p></o:p></p>
<p class="MsoNormal">    to_syslog: yes<o:p></o:p></p>
<p class="MsoNormal">}<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Users <users-bounces@clusterlabs.org> <b>On Behalf Of
</b>Strahil Nikolov<br>
<b>Sent:</b> Wednesday, February 5, 2020 6:39 PM<br>
<b>To:</b> Cluster Labs - All topics related to open-source clustering welcomed <users@clusterlabs.org>; Andrei Borzenkov <arvidjaar@gmail.com><br>
<b>Subject:</b> Re: [ClusterLabs] Why Do Nodes Leave the Cluster?<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">Hi Andrei,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New""><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">don't trust Azure so much :D . I've seen stuff that was way more unbelievable.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">Can you check other systems in the same subnet reported any issues. Yet, pcs most probably won't report any short-term issues. I have noticed that RHEL7 defaults for token and consensus
 are quite small and any short-term disruption could cause an issue. <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">Actually when I tested live migration on oVirt - the other hosts fenced the node that was migrated.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">What is your corosync config and OS version ?<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New""><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">Best Regards,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New"">Strahil Nikolov<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Courier New""><o:p> </o:p></span></p>
</div>
</div>
<div id="ydp2ed250c4yahoo_quoted_1368837609">
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">В четвъртък, 6 февруари 2020 г., 01:44:55 ч. Гринуич+2, Eric Robinson <<a href="mailto:eric.robinson@psmnv.com">eric.robinson@psmnv.com</a>> написа:
<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p> </o:p></span></p>
</div>
<div>
<div id="ydp2ed250c4yiv0112698999">
<div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">Hi Strahil –<o:p></o:p></span></p>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">I can’t prove there was no network loss, but:<o:p></o:p></span></p>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<ol start="1" type="1">
<li class="ydp2ed250c4yiv0112698999msolistparagraph" style="color:#26282A;mso-list:l0 level1 lfo1">
<span style="font-size:10.0pt;font-family:"Helvetica",sans-serif">There were no dmesg indications of ethernet link loss.<o:p></o:p></span></li><li class="ydp2ed250c4yiv0112698999msolistparagraph" style="color:#26282A;mso-list:l0 level1 lfo1">
<span style="font-size:10.0pt;font-family:"Helvetica",sans-serif">Other than corosync, there are no other log messages about connectivity issues.<o:p></o:p></span></li><li class="ydp2ed250c4yiv0112698999msolistparagraph" style="color:#26282A;mso-list:l0 level1 lfo1">
<span style="font-size:10.0pt;font-family:"Helvetica",sans-serif">Wouldn’t pcsd say something about connectivity loss?<o:p></o:p></span></li><li class="ydp2ed250c4yiv0112698999msolistparagraph" style="color:#26282A;mso-list:l0 level1 lfo1">
<span style="font-size:10.0pt;font-family:"Helvetica",sans-serif">Both servers are in Azure.<o:p></o:p></span></li><li class="ydp2ed250c4yiv0112698999msolistparagraph" style="color:#26282A;mso-list:l0 level1 lfo1">
<span style="font-size:10.0pt;font-family:"Helvetica",sans-serif">There are many other servers in the same Azure subscription, including other corosync clusters, none of which had issues.<o:p></o:p></span></li></ol>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">So I guess it’s possible, but it seems unlikely.
<o:p></o:p></span></p>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">--Eric<o:p></o:p></span></p>
</div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="ydp2ed250c4yiv0112698999msonormal"><b><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">From:</span></b><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> Users <<a href="mailto:users-bounces@clusterlabs.org">users-bounces@clusterlabs.org</a>>
<b>On Behalf Of </b>Strahil Nikolov<br>
<b>Sent:</b> Wednesday, February 5, 2020 3:13 PM<br>
<b>To:</b> Cluster Labs - All topics related to open-source clustering welcomed <<a href="mailto:users@clusterlabs.org">users@clusterlabs.org</a>>; Andrei Borzenkov <<a href="mailto:arvidjaar@gmail.com">arvidjaar@gmail.com</a>><br>
<b>Subject:</b> Re: [ClusterLabs] Why Do Nodes Leave the Cluster?<o:p></o:p></span></p>
</div>
</div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
<div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A">Hi Erik,</span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> </span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A">what has led you to think that there was no network loss ?</span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> </span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A">Best Regards,</span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A">Strahil Nikolov</span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:12.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> </span><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><o:p></o:p></span></p>
</div>
</div>
<div id="ydp2ed250c4yiv0112698999ydp16f6cb4ayahoo_quoted_0998543261">
<div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">В сряда, 5 февруари 2020 г., 22:59:56 ч. Гринуич+2, Eric Robinson <<a href="mailto:eric.robinson@psmnv.com" target="_blank">eric.robinson@psmnv.com</a>>
 написа: <o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
</div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"> <o:p></o:p></span></p>
</div>
<div>
<div>
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><br>
> -----Original Message-----<br>
> From: Users <<a href="mailto:users-bounces@clusterlabs.org" target="_blank">users-bounces@clusterlabs.org</a>> On Behalf Of Strahil Nikolov<br>
> Sent: Wednesday, February 5, 2020 1:59 PM<br>
> To: Andrei Borzenkov <<a href="mailto:arvidjaar@gmail.com" target="_blank">arvidjaar@gmail.com</a>>;
<a href="mailto:users@clusterlabs.org" target="_blank">users@clusterlabs.org</a><br>
> Subject: Re: [ClusterLabs] Why Do Nodes Leave the Cluster?<br>
><br>
> On February 5, 2020 8:14:06 PM GMT+02:00, Andrei Borzenkov<br>
> <<a href="mailto:arvidjaar@gmail.com" target="_blank">arvidjaar@gmail.com</a>> wrote:<br>
> >05.02.2020 20:55, Eric Robinson пишет:<br>
> >> The two servers 001db01a and 001db01b were up and responsive. Neither<br>
> >had been rebooted and neither were under heavy load. There's no<br>
> >indication in the logs of loss of network connectivity. Any ideas on<br>
> >why both nodes seem to think the other one is at fault?<br>
> ><br>
> >The very fact that nodes lost connection to each other *is* indication<br>
> >of network problems. Your logs start too late, after any problem<br>
> >already happened.<br>
> ><br>
> >><br>
> >> (Yes, it's a 2-node cluster without quorum. A 3-node cluster is not<br>
> >an option at this time.)<br>
> >><br>
> >> Log from 001db01a:<br>
> >><br>
> >> Feb  5 08:01:02 001db01a corosync[1306]: [TOTEM ] A processor failed,<br>
> >forming new configuration.<br>
> >> Feb  5 08:01:03 001db01a corosync[1306]: [TOTEM ] A new membership<br>
> >(10.51.14.33:960) was formed. Members left: 2<br>
> >> Feb  5 08:01:03 001db01a corosync[1306]: [TOTEM ] Failed to receive<br>
> >the leave message. failed: 2<br>
> >> Feb  5 08:01:03 001db01a attrd[1525]:  notice: Node 001db01b state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01a attrd[1525]:  notice: Removing all 001db01b<br>
> >attributes for peer loss<br>
> >> Feb  5 08:01:03 001db01a cib[1522]:  notice: Node 001db01b state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01a cib[1522]:  notice: Purged 1 peer with id=2<br>
> >and/or uname=001db01b from the membership cache<br>
> >> Feb  5 08:01:03 001db01a attrd[1525]:  notice: Purged 1 peer with<br>
> >id=2 and/or uname=001db01b from the membership cache<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]: warning: No reason to expect<br>
> >node 2 to be down<br>
> >> Feb  5 08:01:03 001db01a stonith-ng[1523]:  notice: Node 001db01b<br>
> >state is now lost<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]:  notice: Stonith/shutdown of<br>
> >001db01b not matched<br>
> >> Feb  5 08:01:03 001db01a corosync[1306]: [QUORUM] Members[1]: 1 Feb<br>
> >> 5 08:01:03 001db01a corosync[1306]: [MAIN  ] Completed service<br>
> >synchronization, ready to provide service.<br>
> >> Feb  5 08:01:03 001db01a stonith-ng[1523]:  notice: Purged 1 peer<br>
> >with id=2 and/or uname=001db01b from the membership cache<br>
> >> Feb  5 08:01:03 001db01a pacemakerd[1491]:  notice: Node 001db01b<br>
> >state is now lost<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]:  notice: State transition S_IDLE<br>
> >-> S_POLICY_ENGINE<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]:  notice: Node 001db01b state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]: warning: No reason to expect<br>
> >node 2 to be down<br>
> >> Feb  5 08:01:03 001db01a crmd[1527]:  notice: Stonith/shutdown of<br>
> >001db01b not matched<br>
> >> Feb  5 08:01:03 001db01a pengine[1526]:  notice: On loss of CCM<br>
> >Quorum: Ignore<br>
> >><br>
> >> From 001db01b:<br>
> >><br>
> >> Feb  5 08:01:03 001db01b corosync[1455]: [TOTEM ] A new membership<br>
> >(10.51.14.34:960) was formed. Members left: 1<br>
> >> Feb  5 08:01:03 001db01b crmd[1693]:  notice: Our peer on the DC<br>
> >(001db01a) is dead<br>
> >> Feb  5 08:01:03 001db01b stonith-ng[1689]:  notice: Node 001db01a<br>
> >state is now lost<br>
> >> Feb  5 08:01:03 001db01b corosync[1455]: [TOTEM ] Failed to receive<br>
> >the leave message. failed: 1<br>
> >> Feb  5 08:01:03 001db01b corosync[1455]: [QUORUM] Members[1]: 2 Feb<br>
> >> 5 08:01:03 001db01b corosync[1455]: [MAIN  ] Completed service<br>
> >synchronization, ready to provide service.<br>
> >> Feb  5 08:01:03 001db01b stonith-ng[1689]:  notice: Purged 1 peer<br>
> >with id=1 and/or uname=001db01a from the membership cache<br>
> >> Feb  5 08:01:03 001db01b pacemakerd[1678]:  notice: Node 001db01a<br>
> >state is now lost<br>
> >> Feb  5 08:01:03 001db01b crmd[1693]:  notice: State transition<br>
> >S_NOT_DC -> S_ELECTION<br>
> >> Feb  5 08:01:03 001db01b crmd[1693]:  notice: Node 001db01a state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01b attrd[1691]:  notice: Node 001db01a state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01b attrd[1691]:  notice: Removing all 001db01a<br>
> >attributes for peer loss<br>
> >> Feb  5 08:01:03 001db01b attrd[1691]:  notice: Lost attribute writer<br>
> >001db01a<br>
> >> Feb  5 08:01:03 001db01b attrd[1691]:  notice: Purged 1 peer with<br>
> >id=1 and/or uname=001db01a from the membership cache<br>
> >> Feb  5 08:01:03 001db01b crmd[1693]:  notice: State transition<br>
> >S_ELECTION -> S_INTEGRATION<br>
> >> Feb  5 08:01:03 001db01b cib[1688]:  notice: Node 001db01a state is<br>
> >now lost<br>
> >> Feb  5 08:01:03 001db01b cib[1688]:  notice: Purged 1 peer with id=1<br>
> >and/or uname=001db01a from the membership cache<br>
> >> Feb  5 08:01:03 001db01b stonith-ng[1689]:  notice: [cib_diff_notify]<br>
> >Patch aborted: Application of an update diff failed (-206)<br>
> >> Feb  5 08:01:03 001db01b crmd[1693]: warning: Input I_ELECTION_DC<br>
> >received in state S_INTEGRATION from do_election_check<br>
> >> Feb  5 08:01:03 001db01b pengine[1692]:  notice: On loss of CCM<br>
> >Quorum: Ignore<br>
> >><br>
> >><br>
> >> -Eric<br>
> >><br>
> >><br>
> >><br>
> >> Disclaimer : This email and any files transmitted with it are<br>
> >confidential and intended solely for intended recipients. If you are<br>
> >not the named addressee you should not disseminate, distribute, copy or<br>
> >alter this email. Any views or opinions presented in this email are<br>
> >solely those of the author and might not represent those of Physician<br>
> >Select Management. Warning: Although Physician Select Management has<br>
> >taken reasonable precautions to ensure no viruses are present in this<br>
> >email, the company cannot accept responsibility for any loss or damage<br>
> >arising from the use of this email or attachments.<br>
> >><br>
> >><br>
> >> _______________________________________________<br>
> >> Manage your subscription:<br>
> >> <a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">
https://lists.clusterlabs.org/mailman/listinfo/users</a><br>
> >><br>
> >> ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><br>
> >><br>
> ><br>
> >_______________________________________________<br>
> >Manage your subscription:<br>
> ><a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a><br>
> ><br>
> >ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><br>
><br>
> Hi Eric,<br>
> Do you use 2 corosync rings (routed  via separare  switches) ?<br>
><br>
<br>
I've done that with all my other clusters, but these two servers are in Azure, so the network is out of our control.<br>
<br>
> If not, you can easily set them up without downtime.<br>
><br>
> Also, are you using  multicast or unicast ?<br>
><br>
<br>
Unicast, as Azure does not support multicast.<br>
<br>
> If 3rd node is not an option, you can check if your version is supporting<br>
> 'qdevice' which can be on a separate network and requires very low<br>
> resources - a simple VM will be enough.<br>
<br>
Thanks for the tip. I looked into qdevice years ago but it didn't seem mature at the time. I appreciate the reminder. I will pop over there and investigate!<br>
<br>
><br>
> Best Regards,<br>
> Strahil Nikolov<br>
> _______________________________________________<br>
> Manage your subscription:<br>
> <a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">
https://lists.clusterlabs.org/mailman/listinfo/users</a><br>
><br>
> ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><o:p></o:p></span></p>
<div id="ydp2ed250c4yiv0112698999yqtfd85843">
<div id="ydp2ed250c4yiv0112698999ydp16f6cb4ayqtfd76253">
<p class="ydp2ed250c4yiv0112698999msonormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A"><br>
Disclaimer : This email and any files transmitted with it are confidential and intended solely for intended recipients. If you are not the named addressee you should not disseminate, distribute, copy or alter this email. Any views or opinions presented in this
 email are solely those of the author and might not represent those of Physician Select Management. Warning: Although Physician Select Management has taken reasonable precautions to ensure no viruses are present in this email, the company cannot accept responsibility
 for any loss or damage arising from the use of this email or attachments.<br>
_______________________________________________<br>
Manage your subscription:<br>
<a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a><br>
<br>
ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div id="ydp2ed250c4yiv0112698999yqtfd03813">
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">Disclaimer : This email and any files transmitted with it are confidential and intended solely for intended recipients. If you are not the named addressee you
 should not disseminate, distribute, copy or alter this email. Any views or opinions presented in this email are solely those of the author and might not represent those of Physician Select Management. Warning: Although Physician Select Management has taken
 reasonable precautions to ensure no viruses are present in this email, the company cannot accept responsibility for any loss or damage arising from the use of this email or attachments.
<o:p></o:p></span></p>
</div>
</div>
</div>
<div id="ydp2ed250c4yqtfd60317">
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Helvetica",sans-serif;color:#26282A">_______________________________________________<br>
Manage your subscription:<br>
<a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a><br>
<br>
ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
Disclaimer : This email and any files transmitted with it are confidential and intended solely for intended recipients. If you are not the named addressee you should not disseminate, distribute, copy or alter this email. Any views or opinions presented in this
 email are solely those of the author and might not represent those of Physician Select Management. Warning: Although Physician Select Management has taken reasonable precautions to ensure no viruses are present in this email, the company cannot accept responsibility
 for any loss or damage arising from the use of this email or attachments.
</body>
</html>