<div dir="ltr">Hello all,<div><br></div><div>I have two nginx nodes running nginx version: nginx/1.11.10 (nginx-plus-r12-p2), Corosync Cluster Engine, version '2.3.5', and Pacemaker 1.1.14 on Ubuntu 16.04.1 LTS.  </div><div><br></div><div>This cluster is intended to replace our old nginx cluster running on 14.04 and older versions of corosync/pacemaker. </div><div><br></div><div>On initial set up of the cluster everything works wonderfully and I can put a node on standby and failover works as expected. However if I reboot one of the nodes the cluster gets into a split situation where each node thinks the other node is offline. I've tried numerous things to correct it but I cannot get them to both show as online.</div><div><br></div><div>crm status from nginx1:</div><div><br></div><div>root@prod-nginx1:~# crm status<br></div><div><div>Online: [ prod-nginx1 ]</div><div>OFFLINE: [ prod-nginx2 ]</div><div><br></div><div>Full list of resources:</div><div><br></div><div> ClusterIP<span class="Apple-tab-span" style="white-space:pre"> </span>(ocf::heartbeat:IPaddr2):<span class="Apple-tab-span" style="white-space:pre">   </span>Started prod-nginx1</div><div> ClusterIPRestricted<span class="Apple-tab-span" style="white-space:pre">     </span>(ocf::heartbeat:IPaddr2):<span class="Apple-tab-span" style="white-space:pre">   </span>Started prod-nginx1</div><div> Nginx<span class="Apple-tab-span" style="white-space:pre">   </span>(ocf::heartbeat:nginx):<span class="Apple-tab-span" style="white-space:pre">     </span>Started prod-nginx1</div></div><div><br></div><div>and crm status from nginx2:</div><div><br></div><div>root@prod-nginx2:~# crm status<br></div><div><div>Online: [ prod-nginx2 ]</div><div>OFFLINE: [ prod-nginx1 ]</div><div><br></div><div>Full list of resources:</div><div><br></div><div> ClusterIP<span class="Apple-tab-span" style="white-space:pre">        </span>(ocf::heartbeat:IPaddr2):<span class="Apple-tab-span" style="white-space:pre">   </span>Started prod-nginx2</div><div> ClusterIPRestricted<span class="Apple-tab-span" style="white-space:pre">     </span>(ocf::heartbeat:IPaddr2):<span class="Apple-tab-span" style="white-space:pre">   </span>Started prod-nginx2</div><div> Nginx<span class="Apple-tab-span" style="white-space:pre">   </span>(ocf::heartbeat:nginx):<span class="Apple-tab-span" style="white-space:pre">     </span>Started prod-nginx2</div></div><div><br></div><div>I've tried forcing the nodes back online, restarting both pacemaker and corosync on both servers, but nothing seems to work. I do not have this issue with corosync/pacemaker on ubuntu 14.04.</div><div><br></div><div>Here is the current corosync.conf which works on ubuntu 14.04<br><br><div>totem {</div><div>version: 2</div><div>secauth: on</div><div>cluster_name: pacemaker1</div><div>transport: udpu</div><div>token: 1000</div><div>token_retransmits_before_loss_const: 10</div><div>}</div><div><br></div><div>nodelist {</div><div>node {</div><div>ring0_addr: 10.10.16.100</div><div>nodeid: 101</div><div>}</div><div>node {</div><div>ring0_addr: 10.10.16.101</div><div>nodeid: 102</div><div>}</div><div>}</div><div><br></div><div>quorum {</div><div>provider: corosync_votequorum</div><div>two_node: 1</div><div>wait_for_all: 1</div><div>last_man_standing: 1</div><div>auto_tie_breaker: 0</div><div>}</div><div><br></div><div>logging {</div><div>        # Log the source file and line where messages are being</div><div>        # generated. When in doubt, leave off. Potentially useful for</div><div>        # debugging.</div><div>        fileline: off</div><div>        # Log to standard error. When in doubt, set to no. Useful when</div><div>        # running in the foreground (when invoking "corosync -f")</div><div>        to_stderr: no</div><div>        # Log to a log file. When set to "no", the "logfile" option</div><div>        # must not be set.</div><div>        to_logfile: yes</div><div>        logfile: /var/log/corosync/corosync.log</div><div>        # Log to the system log daemon. When in doubt, set to yes.</div><div>        to_syslog: yes</div><div>        # Log debug messages (very verbose). When in doubt, leave off.</div><div>        debug: off</div><div>        # Log messages with time stamps. When in doubt, set to on</div><div>        # (unless you are only logging to syslog, where double</div><div>        # timestamps can be annoying).</div><div>        timestamp: on</div><div>        logger_subsys {</div><div>                subsys: QUORUM</div><div>                debug: off</div><div>        }</div><div>}</div></div></div>