<div dir="ltr"><br>Hello team,<br><br>I am a newbie in pacemaker and corosync cluster.<br>I am facing trouble with fence_agent on RHEL 6.5<br>I have installed pcs, pacemaker, corosync, cman on RHEL 6.5 on two virtual nodes (libvirt) cluster.<br>SELINUX and firewall is completely disabled.<br><br># yum list installed | egrep &#39;pacemaker|corosync|cman|fence&#39;<br>cman.x86_64                      3.0.12.1-78.el6         @rhel-ha-for-rhel-6-server-rpms<br>corosync.x86_64                  1.4.7-5.el6             @rhel-ha-for-rhel-6-server-rpms<br>corosynclib.x86_64               1.4.7-5.el6             @rhel-ha-for-rhel-6-server-rpms<br>fence-agents.x86_64              4.0.15-12.el6           @rhel-6-server-rpms    <br>fence-virt.x86_64                0.2.3-19.el6            @rhel-ha-for-rhel-6-server-eus-rpms<br>pacemaker.x86_64                 1.1.14-8.el6_8.2        @rhel-ha-for-rhel-6-server-rpms<br>pacemaker-cli.x86_64             1.1.14-8.el6_8.2        @rhel-ha-for-rhel-6-server-rpms<br>pacemaker-cluster-libs.x86_64    1.1.14-8.el6_8.2        @rhel-ha-for-rhel-6-server-rpms<br>pacemaker-libs.x86_64            1.1.14-8.el6_8.2        @rhel-ha-for-rhel-6-server-rpms<br>                  <br><br>I bring up cluster using pcs cluster start --all<br>also done pcs property set stonith-enabled=false<br><br>Below is the status<br>---------------------------<br># pcs status<br>Cluster name: roamclus<br>Last updated: Fri Dec 16 18:54:40 2016        Last change: Fri Dec 16 17:44:50 2016 by root via cibadmin on cnode1<br>Stack: cman<br>Current DC: NONE<br>2 nodes and 2 resources configured<br><br>Online: [ cnode1 ]<br>OFFLINE: [ cnode2 ]<br><br>Full list of resources:<br><br>PCSD Status:<br>  cnode1: Online<br>  cnode2: Online<br>---------------------------<br>Same kind of output is observed on other node = cnode2<br>So nodes see each other as OFFLINE.<br>Expected result is Online: [ cnode1 cnode2 ]<br>I did same packages installation on RHEL 6.8 and when I am starting the cluster,<br>it shows both nodes ONLINE from each other.<br><br>I need to resolve this such that on RHEL 6.5 nodes when we start cluster by default<br>both nodes should display each others status as online.<br>----------------------------------------------<br>Below is the  /etc/cluster/cluster.conf<br><br>&lt;cluster config_version=&quot;9&quot; name=&quot;roamclus&quot;&gt;<br>  &lt;fence_daemon/&gt;<br>  &lt;clusternodes&gt;<br>    &lt;clusternode name=&quot;cnode1&quot; nodeid=&quot;1&quot; votes=&quot;1&quot;&gt;<br>      &lt;fence&gt;<br>        &lt;method name=&quot;pcmk-method&quot;&gt;<br>          &lt;device name=&quot;pcmk-redirect&quot; port=&quot;cnode1&quot;/&gt;<br>        &lt;/method&gt;<br>      &lt;/fence&gt;<br>    &lt;/clusternode&gt;<br>    &lt;clusternode name=&quot;cnode2&quot; nodeid=&quot;2&quot; votes=&quot;1&quot;&gt;<br>      &lt;fence&gt;<br>        &lt;method name=&quot;pcmk-method&quot;&gt;<br>          &lt;device name=&quot;pcmk-redirect&quot; port=&quot;cnode2&quot;/&gt;<br>        &lt;/method&gt;<br>      &lt;/fence&gt;<br>    &lt;/clusternode&gt;<br>  &lt;/clusternodes&gt;<br>  &lt;cman broadcast=&quot;no&quot; expected_votes=&quot;1&quot; transport=&quot;udp&quot; two_node=&quot;1&quot;/&gt;<br>  &lt;fencedevices&gt;<br>    &lt;fencedevice agent=&quot;fence_pcmk&quot; name=&quot;pcmk-redirect&quot;/&gt;<br>  &lt;/fencedevices&gt;<br>  &lt;rm&gt;<br>    &lt;failoverdomains/&gt;<br>    &lt;resources/&gt;<br>  &lt;/rm&gt;<br>&lt;/cluster&gt;<br>----------------------------------------------<br># cat /var/lib/pacemaker/cib/cib.xml<br>&lt;cib crm_feature_set=&quot;3.0.10&quot; validate-with=&quot;pacemaker-2.4&quot; epoch=&quot;15&quot; num_updates=&quot;0&quot; admin_epoch=&quot;0&quot; cib-last-written=&quot;Fri Dec 16 18:57:10 2016&quot; update-origin=&quot;cnode1&quot; update-client=&quot;cibadmin&quot; update-user=&quot;root&quot; have-quorum=&quot;1&quot; dc-uuid=&quot;cnode1&quot;&gt;<br>  &lt;configuration&gt;<br>    &lt;crm_config&gt;<br>      &lt;cluster_property_set id=&quot;cib-bootstrap-options&quot;&gt;<br>        &lt;nvpair id=&quot;cib-bootstrap-options-have-watchdog&quot; name=&quot;have-watchdog&quot; value=&quot;false&quot;/&gt;<br>        &lt;nvpair id=&quot;cib-bootstrap-options-dc-version&quot; name=&quot;dc-version&quot; value=&quot;1.1.14-8.el6_8.2-70404b0&quot;/&gt;<br>        &lt;nvpair id=&quot;cib-bootstrap-options-cluster-infrastructure&quot; name=&quot;cluster-infrastructure&quot; value=&quot;cman&quot;/&gt;<br>        &lt;nvpair id=&quot;cib-bootstrap-options-stonith-enabled&quot; name=&quot;stonith-enabled&quot; value=&quot;false&quot;/&gt;<br>      &lt;/cluster_property_set&gt;<br>    &lt;/crm_config&gt;<br>    &lt;nodes&gt;<br>      &lt;node id=&quot;cnode1&quot; uname=&quot;cnode1&quot;/&gt;<br>      &lt;node id=&quot;cnode2&quot; uname=&quot;cnode2&quot;/&gt;<br>    &lt;/nodes&gt;<br>    &lt;resources/&gt;<br>    &lt;constraints/&gt;<br>  &lt;/configuration&gt;<br>&lt;/cib&gt;<br>------------------------------------------------<br>/var/log/messages have below contents :<br><br>Dec 15 20:29:43 cnode2 kernel: DLM (built Oct 26 2016 10:26:08) installed<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Corosync Cluster Engine (&#39;1.4.7&#39;): started and ready to provide service.<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Corosync built-in features: nss dbus rdma snmp<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Successfully read config from /etc/cluster/cluster.conf<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Successfully parsed cman config<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [TOTEM ] Initializing transport (UDP/IP Multicast).<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0).<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [TOTEM ] The network interface [10.10.18.138] is now up.<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [QUORUM] Using quorum provider quorum_cman<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync cluster quorum service v0.1<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [CMAN  ] CMAN 3.0.12.1 (built Feb  1 2016 07:06:19) started<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync CMAN membership service 2.90<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: openais checkpoint service B.01.01<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync extended virtual synchrony service<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync configuration service<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync cluster closed process group service v1.01<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync cluster config database access v1.01<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync profile loading service<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [QUORUM] Using quorum provider quorum_cman<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [SERV  ] Service engine loaded: corosync cluster quorum service v0.1<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Compatibility mode set to whitetank.  Using V1 and V2 of the synchronization engine.<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [TOTEM ] A processor joined or left the membership and a new membership was formed.<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [CMAN  ] quorum regained, resuming activity<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [QUORUM] This node is within the primary component and will provide service.<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [QUORUM] Members[1]: 2<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [QUORUM] Members[1]: 2<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [CPG   ] chosen downlist: sender r(0) ip(10.10.18.138) ; members(old:0 left:0)<br>Dec 15 20:29:46 cnode2 corosync[2464]:   [MAIN  ] Completed service synchronization, ready to provide service.<br>Dec 15 20:29:50 cnode2 fenced[2529]: fenced 3.0.12.1 started<br>Dec 15 20:29:50 cnode2 dlm_controld[2543]: dlm_controld 3.0.12.1 started<br>Dec 15 20:29:51 cnode2 gfs_controld[2606]: gfs_controld 3.0.12.1 started<br>Dec 15 20:30:36 cnode2 pacemaker: Starting Pacemaker Cluster Manager<br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: Additional logging available in /var/log/pacemaker.log<br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: Switching to /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: Starting Pacemaker 1.1.14-8.el6_8.2 (Build: 70404b0):  generated-manpages agent-manpages ascii-docs ncurses libqb-logging libqb-ipc nagios  corosync-plugin cman acls<br><br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: Membership 4: quorum acquired<br>Dec 15 20:30:36 cnode2 pacemakerd[2767]:   notice: cman_event_callback: Node cnode2[2] - state is now member (was (null))<br><br>Dec 15 20:30:36 cnode2 cib[2773]:   notice: Additional logging available in /var/log/cluster/corosync.log<br><br>Dec 15 20:30:36 cnode2 cib[2773]:   notice: Using new config location: /var/lib/pacemaker/cib<br>Dec 15 20:30:36 cnode2 cib[2773]:  warning: Could not verify cluster configuration file /var/lib/pacemaker/cib/cib.xml: No such file or directory (2)<br>Dec 15 20:30:36 cnode2 cib[2773]:  warning: Primary configuration corrupt or unusable, trying backups in /var/lib/pacemaker/cib<br>Dec 15 20:30:36 cnode2 cib[2773]:  warning: Continuing with an empty configuration.<br>Dec 15 20:30:36 cnode2 stonith-ng[2774]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 stonith-ng[2774]:   notice: Connecting to cluster infrastructure: cman<br>Dec 15 20:30:36 cnode2 attrd[2776]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 attrd[2776]:   notice: Connecting to cluster infrastructure: cman<br>Dec 15 20:30:36 cnode2 stonith-ng[2774]:   notice: crm_update_peer_proc: Node cnode2[2] - state is now member (was (null))<br>Dec 15 20:30:36 cnode2 pengine[2777]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 lrmd[2775]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 attrd[2776]:   notice: crm_update_peer_proc: Node cnode2[2] - state is now member (was (null))<br>Dec 15 20:30:36 cnode2 crmd[2778]:   notice: Additional logging available in /var/log/cluster/corosync.log<br>Dec 15 20:30:36 cnode2 crmd[2778]:   notice: CRM Git Version: 1.1.14-8.el6_8.2 (70404b0)<br>Dec 15 20:30:36 cnode2 cib[2773]:   notice: Connecting to cluster infrastructure: cman<br>Dec 15 20:30:36 cnode2 attrd[2776]:   notice: Starting mainloop...<br>Dec 15 20:30:36 cnode2 cib[2773]:   notice: crm_update_peer_proc: Node cnode2[2] - state is now member (was (null))<br>Dec 15 20:30:36 cnode2 cib[2782]:  warning: Could not verify cluster configuration file /var/lib/pacemaker/cib/cib.xml: No such file or directory (2)<br>Dec 15 20:30:37 cnode2 stonith-ng[2774]:   notice: Watching for stonith topology changes<br>Dec 15 20:30:37 cnode2 crmd[2778]:   notice: Connecting to cluster infrastructure: cman<br>Dec 15 20:30:37 cnode2 crmd[2778]:   notice: Membership 4: quorum acquired<br>Dec 15 20:30:37 cnode2 crmd[2778]:   notice: cman_event_callback: Node cnode2[2] - state is now member (was (null))<br>Dec 15 20:30:37 cnode2 crmd[2778]:   notice: The local CRM is operational<br>Dec 15 20:30:37 cnode2 crmd[2778]:   notice: State transition S_STARTING -&gt; S_PENDING [ input=I_PENDING cause=C_FSA_INTERNAL origin=do_started ]<br>Dec 15 20:30:42 cnode2 fenced[2529]: fencing node cnode1<br>Dec 15 20:30:42 cnode2 fence_pcmk[2805]: Requesting Pacemaker fence cnode1 (reset)<br>Dec 15 20:30:42 cnode2 stonith-ng[2774]:   notice: Client stonith_admin.cman.2806.6d791bd8 wants to fence (reboot) &#39;cnode1&#39; with device &#39;(any)&#39;<br>Dec 15 20:30:42 cnode2 stonith-ng[2774]:   notice: Initiating remote operation reboot for cnode1: c398b8b7-6ba1-4068-a174-547bac72476d (0)<br>Dec 15 20:30:42 cnode2 stonith-ng[2774]:   notice: Couldn&#39;t find anyone to fence (reboot) cnode1 with any device<br>Dec 15 20:30:42 cnode2 stonith-ng[2774]:    error: Operation reboot of cnode1 by &lt;no-one&gt; for stonith_admin.cman.2806@cnode2.c398b8b7: No such device<br>Dec 15 20:30:42 cnode2 crmd[2778]:   notice: Peer cnode1 was not terminated (reboot) by &lt;anyone&gt; for cnode2: No such device (ref=c398b8b7-6ba1-4068-a174-547bac72476d) by client stonith_admin.cman.2806<br>Dec 15 20:30:42 cnode2 fence_pcmk[2805]: Call to fence cnode1 (reset) failed with rc=237<br>Dec 15 20:30:42 cnode2 fenced[2529]: fence cnode1 dev 0.0 agent fence_pcmk result: error from agent<br>Dec 15 20:30:42 cnode2 fenced[2529]: fence cnode1 failed<br>Dec 15 20:30:45 cnode2 fenced[2529]: fencing node cnode1<br>Dec 15 20:30:45 cnode2 fence_pcmk[2825]: Requesting Pacemaker fence cnode1 (reset)<br>Dec 15 20:30:45 cnode2 stonith-ng[2774]:   notice: Client stonith_admin.cman.2826.f2c208fe wants to fence (reboot) &#39;cnode1&#39; with device &#39;(any)&#39;<br>Dec 15 20:30:45 cnode2 stonith-ng[2774]:   notice: Initiating remote operation reboot for cnode1: b5df8517-d8a7-4f33-8cd2-d41c512d13ae (0)<br>Dec 15 20:30:45 cnode2 stonith-ng[2774]:   notice: Couldn&#39;t find anyone to fence (reboot) cnode1 with any device<br>Dec 15 20:30:45 cnode2 stonith-ng[2774]:    error: Operation reboot of cnode1 by &lt;no-one&gt; for stonith_admin.cman.2826@cnode2.b5df8517: No such device<br>Dec 15 20:30:48 cnode2 crmd[2778]:   notice: Peer cnode1 was not terminated (reboot) by &lt;anyone&gt; for cnode2: No such device (ref=aff3eb58-4777-4fca-9802-eb084dc56ad4) by client stonith_admin.cman.2846<br>Dec 15 20:30:48 cnode2 fence_pcmk[2845]: Call to fence cnode1 (reset) failed with rc=237<br>Dec 15 20:30:48 cnode2 fenced[2529]: fence cnode1 dev 0.0 agent fence_pcmk result: error from agent<br>Dec 15 20:30:48 cnode2 fenced[2529]: fence cnode1 failed<br>Dec 15 20:30:51 cnode2 fence_pcmk[2869]: Requesting Pacemaker fence cnode1 (reset)<br>Dec 15 20:30:51 cnode2 stonith-ng[2774]:   notice: Client stonith_admin.cman.2870.1c9e3d98 wants to fence (reboot) &#39;cnode1&#39; with device &#39;(any)&#39;<br>Dec 15 20:30:51 cnode2 stonith-ng[2774]:   notice: Initiating remote operation reboot for cnode1: b2435128-3702-44a0-a42e-52b642278686 (0)<br>Dec 15 20:30:51 cnode2 stonith-ng[2774]:   notice: Couldn&#39;t find anyone to fence (reboot) cnode1 with any device<br>Dec 15 20:30:51 cnode2 stonith-ng[2774]:    error: Operation reboot of cnode1 by &lt;no-one&gt; for stonith_admin.cman.2870@cnode2.b2435128: No such device<br><br>================================================================<br><br>Please help to solve this problem.<br><br><br></div>