You can setup the system in such case that on fabric fence, the node is rebooted which will allow it to 'unfence' itself afterwards.<div id="yMail_cursorElementTracker_1630233003413"><br></div><div id="yMail_cursorElementTracker_1630233003593">For details check https://access.redhat.com/solutions/3367151 or  https://access.redhat.com/node/65187 (You may use RH developer subscription in order to acess it).</div><div id="yMail_cursorElementTracker_1630233212690"><br></div><div id="yMail_cursorElementTracker_1630233212895"><br></div><div id="yMail_cursorElementTracker_1630233213069">It seems that fence_mpath has watchdog integration after a certain version, while you can still use /usr/share/cluster/fence_mpath_check (via watchdog service and supported watchdog device). Even if you don't have a proper watchdog device, you can use the 'softdog' module as the system is fenced via SAN and even if not rebooted , there is no risk .</div><div id="yMail_cursorElementTracker_1630233334992"><br></div><div id="yMail_cursorElementTracker_1630233335215"><br></div><div id="yMail_cursorElementTracker_1630233003786">Best Regards,</div><div id="yMail_cursorElementTracker_1630233007704">Strahil Nikolov<br><br><div id="ymail_android_signature"><a id="ymail_android_signature_link" href="https://go.onelink.me/107872968?pid=InProduct&c=Global_Internal_YGrowth_AndroidEmailSig__AndroidUsers&af_wl=ym&af_sub1=Internal&af_sub2=Global_YGrowth&af_sub3=EmailSignature">Sent from Yahoo Mail on Android</a></div> <br> <blockquote style="margin: 0 0 20px 0;"> <div style="font-family:Roboto, sans-serif; color:#6D00F6;"> <div>On Sat, Aug 28, 2021 at 10:14, Andrei Borzenkov</div><div><arvidjaar@gmail.com> wrote:</div> </div> <div style="padding: 10px 0 0 20px; margin: 10px 0 0 0; border-left: 1px solid #6D00F6;"> On Fri, Aug 27, 2021 at 8:11 PM Gerry R Sommerville <<a shape="rect" ymailto="mailto:gerry@ca.ibm.com" href="mailto:gerry@ca.ibm.com">gerry@ca.ibm.com</a>> wrote:<br clear="none">><br clear="none">> Hey all,<br clear="none">><br clear="none">> From what I see in the documentation for fabric fencing, Pacemaker requires an administrator to login to the node to manually start and unfence the node after some failure.<br clear="none">>   <a shape="rect" href="https://clusterlabs.org/pacemaker/doc/deprecated/en-US/Pacemaker/2.0/html/Pacemaker_Explained/s-unfencing.html" target="_blank">https://clusterlabs.org/pacemaker/doc/deprecated/en-US/Pacemaker/2.0/html/Pacemaker_Explained/s-unfencing.html</a><br clear="none">><br clear="none"><br clear="none">This is about fabric (or resource) fencing. In this case node is cut<br clear="none">off from some vital resources but remains up and running. In this case<br clear="none">someone indeed needs to intervene manually.<br clear="none"><br clear="none">> The concern I have is if there is an intermittent network issues, a node may get fenced and we have to wait for someone to log into the cluster and bring the node back online. Meanwhile the network issue may have resolved itself shortly after the node was fenced.<br clear="none">><br clear="none">> I wonder if there are any configurations or popular solutions that people use to automatically unfence nodes and have them rejoin the cluster?<br clear="none">><br clear="none"><br clear="none">Most people use stonith (or node fencing) and affected node is<br clear="none">rebooted. As long as pacemaker is configured to start automatically<br clear="none">and network connectivity is restored after reboot node will join<br clear="none">custer automatically.<br clear="none"><br clear="none">I think that in case of fabric fencing node is undefnced automatically<br clear="none">when it reboots and attempts to join cluster (hopefully someone may<br clear="none">chime in here). I am not sure what happens if node is not rebooted but<br clear="none">connectivity is restored.<div class="yqt4982240669" id="yqtfd35713"><br clear="none">_______________________________________________<br clear="none">Manage your subscription:<br clear="none"><a shape="rect" href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a><br clear="none"><br clear="none">ClusterLabs home: <a shape="rect" href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a><br clear="none"></div> </div> </blockquote></div>