<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
span.EmailStyle20
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:"Courier New";}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">We see in the log on 001db01a…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">Feb 28 07:33:50 [61707] 001db02a.ccnva.local pengine: info: master_color: ms_drbd1: Promoted 1 instances of a possible 1 to master<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and then…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre>Feb 28 07:33:50 [61707] 001db02a.ccnva.local pengine: notice: LogAction: * Move p_fs_clust04 ( 001db02b -> 001db02a )<o:p></o:p></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and then…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre>Feb 28 07:34:03 [61708] 001db02a.ccnva.local crmd: notice: te_rsc_command: Initiating stop operation p_fs_clust04_stop_0 on 001db02b | action 69<o:p></o:p></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">..and then…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre>Feb 28 07:34:04 [61708] 001db02a.ccnva.local crmd: info: match_graph_event: Action p_fs_clust04_stop_0 (69) confirmed on 001db02b (rc=0)<o:p></o:p></pre>
<pre>Feb 28 07:34:04 [61708] 001db02a.ccnva.local crmd: notice: te_rsc_command: Initiating start operation p_fs_clust04_start_0 locally on 001db02a | action 70<o:p></o:p></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and finally…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre>Feb 28 07:34:04 Filesystem(p_fs_clust04)[15357]: INFO: Running start for /dev/drbd1 on /ha02_mysql<o:p></o:p></pre>
<pre>Feb 28 07:34:09 Filesystem(p_fs_clust04)[15357]: ERROR: Couldn't mount filesystem /dev/drbd1 on /ha02_mysql<o:p></o:p></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Resource ms_drbd1 is not becoming master, so the filesystem won’t mount.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Am I reading that right? <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">-Eric<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Users <users-bounces@clusterlabs.org> <b>On Behalf Of
</b>Eric Robinson<br>
<b>Sent:</b> Sunday, February 28, 2021 6:56 AM<br>
<b>To:</b> Cluster Labs - All topics related to open-source clustering welcomed <users@clusterlabs.org><br>
<b>Subject:</b> Re: [ClusterLabs] Filesystem Resource Move Fails Because Underlying DRBD Resource Won't Move<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Oops, sorry, here are links to the text logs.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Node 001db02a: <a href="https://www.dropbox.com/s/ymbatz91x3y84wp/001db02a_log.txt?dl=0">
https://www.dropbox.com/s/ymbatz91x3y84wp/001db02a_log.txt?dl=0</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Node 001db02b: <a href="https://www.dropbox.com/s/etq6mn460imdega/001db02b_log.txt?dl=0">
https://www.dropbox.com/s/etq6mn460imdega/001db02b_log.txt?dl=0</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">-Eric<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Users <<a href="mailto:users-bounces@clusterlabs.org">users-bounces@clusterlabs.org</a>>
<b>On Behalf Of </b>Eric Robinson<br>
<b>Sent:</b> Sunday, February 28, 2021 6:46 AM<br>
<b>To:</b> Cluster Labs - All topics related to open-source clustering welcomed <<a href="mailto:users@clusterlabs.org">users@clusterlabs.org</a>><br>
<b>Subject:</b> [ClusterLabs] Filesystem Resource Move Fails Because Underlying DRBD Resource Won't Move<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Beginning with this cluster status…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Cluster name: 001db02ab<o:p></o:p></p>
<p class="MsoNormal">Stack: corosync<o:p></o:p></p>
<p class="MsoNormal">Current DC: 001db02a (version 1.1.18-11.el7_5.3-2b07d5c5a9) - partition with quorum<o:p></o:p></p>
<p class="MsoNormal">Last updated: Sun Feb 28 07:24:31 2021<o:p></o:p></p>
<p class="MsoNormal">Last change: Sun Feb 28 07:19:51 2021 by hacluster via crmd on 001db02a<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">2 nodes configured<o:p></o:p></p>
<p class="MsoNormal">14 resources configured<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Online: [ 001db02a 001db02b ]<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Full list of resources:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Master/Slave Set: ms_drbd0 [p_drbd0]<o:p></o:p></p>
<p class="MsoNormal"> Masters: [ 001db02a ]<o:p></o:p></p>
<p class="MsoNormal"> Slaves: [ 001db02b ]<o:p></o:p></p>
<p class="MsoNormal">Master/Slave Set: ms_drbd1 [p_drbd1]<o:p></o:p></p>
<p class="MsoNormal"> Masters: [ 001db02b ]<o:p></o:p></p>
<p class="MsoNormal"> Slaves: [ 001db02a ]<o:p></o:p></p>
<p class="MsoNormal">p_fs_clust03 (ocf::heartbeat:Filesystem): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_fs_clust04 (ocf::heartbeat:Filesystem): Started 001db02b<o:p></o:p></p>
<p class="MsoNormal">p_mysql_009 (lsb:mysql_009): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_010 (lsb:mysql_010): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_011 (lsb:mysql_011): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_012 (lsb:mysql_012): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_014 (lsb:mysql_014): Started 001db02b<o:p></o:p></p>
<p class="MsoNormal">p_mysql_015 (lsb:mysql_015): Started 001db02b<o:p></o:p></p>
<p class="MsoNormal">p_mysql_016 (lsb:mysql_016): Started 001db02b<o:p></o:p></p>
<p class="MsoNormal">stonith-001db02ab (stonith:fence_azure_arm): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Daemon Status:<o:p></o:p></p>
<p class="MsoNormal"> corosync: active/enabled<o:p></o:p></p>
<p class="MsoNormal"> pacemaker: active/enabled<o:p></o:p></p>
<p class="MsoNormal"> pcsd: active/enabled<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and with these constraints…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Location Constraints:<o:p></o:p></p>
<p class="MsoNormal">Ordering Constraints:<o:p></o:p></p>
<p class="MsoNormal"> promote ms_drbd0 then start p_fs_clust03 (kind:Mandatory) (id:order-ms_drbd0-p_fs_clust03-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> promote ms_drbd1 then start p_fs_clust04 (kind:Mandatory) (id:order-ms_drbd1-p_fs_clust04-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust03 then start p_mysql_009 (kind:Mandatory) (id:order-p_fs_clust03-p_mysql_009-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust03 then start p_mysql_010 (kind:Mandatory) (id:order-p_fs_clust03-p_mysql_010-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust03 then start p_mysql_011 (kind:Mandatory) (id:order-p_fs_clust03-p_mysql_011-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust03 then start p_mysql_012 (kind:Mandatory) (id:order-p_fs_clust03-p_mysql_012-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust04 then start p_mysql_014 (kind:Mandatory) (id:order-p_fs_clust04-p_mysql_014-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust04 then start p_mysql_015 (kind:Mandatory) (id:order-p_fs_clust04-p_mysql_015-mandatory)<o:p></o:p></p>
<p class="MsoNormal"> start p_fs_clust04 then start p_mysql_016 (kind:Mandatory) (id:order-p_fs_clust04-p_mysql_016-mandatory)<o:p></o:p></p>
<p class="MsoNormal">Colocation Constraints:<o:p></o:p></p>
<p class="MsoNormal"> p_fs_clust03 with ms_drbd0 (score:INFINITY) (id:colocation-p_fs_clust03-ms_drbd0-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_fs_clust04 with ms_drbd1 (score:INFINITY) (id:colocation-p_fs_clust04-ms_drbd1-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_009 with p_fs_clust03 (score:INFINITY) (id:colocation-p_mysql_009-p_fs_clust03-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_010 with p_fs_clust03 (score:INFINITY) (id:colocation-p_mysql_010-p_fs_clust03-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_011 with p_fs_clust03 (score:INFINITY) (id:colocation-p_mysql_011-p_fs_clust03-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_012 with p_fs_clust03 (score:INFINITY) (id:colocation-p_mysql_012-p_fs_clust03-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_014 with p_fs_clust04 (score:INFINITY) (id:colocation-p_mysql_014-p_fs_clust04-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_015 with p_fs_clust04 (score:INFINITY) (id:colocation-p_mysql_015-p_fs_clust04-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"> p_mysql_016 with p_fs_clust04 (score:INFINITY) (id:colocation-p_mysql_016-p_fs_clust04-INFINITY)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and this drbd status on node 001db02a…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">ha01_mysql role:Primary<o:p></o:p></p>
<p class="MsoNormal"> disk:UpToDate<o:p></o:p></p>
<p class="MsoNormal"> 001db02b role:Secondary<o:p></o:p></p>
<p class="MsoNormal"> peer-disk:UpToDate<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">ha02_mysql role:Secondary<o:p></o:p></p>
<p class="MsoNormal"> disk:UpToDate<o:p></o:p></p>
<p class="MsoNormal"> 001db02b role:Primary<o:p></o:p></p>
<p class="MsoNormal"> peer-disk:UpToDate<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…we issue the command…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"># pcs resource move p_fs_clust04 <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…we get result…<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Full list of resources:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Master/Slave Set: ms_drbd0 [p_drbd0]<o:p></o:p></p>
<p class="MsoNormal"> Masters: [ 001db02a ]<o:p></o:p></p>
<p class="MsoNormal"> Slaves: [ 001db02b ]<o:p></o:p></p>
<p class="MsoNormal">Master/Slave Set: ms_drbd1 [p_drbd1]<o:p></o:p></p>
<p class="MsoNormal"> Masters: [ 001db02b ]<o:p></o:p></p>
<p class="MsoNormal"> Slaves: [ 001db02a ]<o:p></o:p></p>
<p class="MsoNormal">p_fs_clust03 (ocf::heartbeat:Filesystem): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_fs_clust04 (ocf::heartbeat:Filesystem): Stopped<o:p></o:p></p>
<p class="MsoNormal">p_mysql_009 (lsb:mysql_009): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_010 (lsb:mysql_010): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_011 (lsb:mysql_011): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_012 (lsb:mysql_012): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal">p_mysql_014 (lsb:mysql_014): Stopped<o:p></o:p></p>
<p class="MsoNormal">p_mysql_015 (lsb:mysql_015): Stopped<o:p></o:p></p>
<p class="MsoNormal">p_mysql_016 (lsb:mysql_016): Stopped<o:p></o:p></p>
<p class="MsoNormal">stonith-001db02ab (stonith:fence_azure_arm): Started 001db02a<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Failed Actions:<o:p></o:p></p>
<p class="MsoNormal">* p_fs_clust04_start_0 on 001db02a 'unknown error' (1): call=126, status=complete, exitreason='Couldn't mount filesystem /dev/drbd1 on /ha02_mysql',<o:p></o:p></p>
<p class="MsoNormal"> last-rc-change='Sun Feb 28 07:34:04 2021', queued=0ms, exec=5251ms<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Here is the log from node 001db02a: <a href="https://www.dropbox.com/s/vq3ytcsuvvmqwe5/001db02a_log?dl=0">
https://www.dropbox.com/s/vq3ytcsuvvmqwe5/001db02a_log?dl=0</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Here is the log from node 001db02b: <a href="https://www.dropbox.com/s/g0el6ft0jmvzqsi/001db02b_log?dl=0">
https://www.dropbox.com/s/g0el6ft0jmvzqsi/001db02b_log?dl=0</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">From reading the logs, it seems that the filesystem p_fs_clust04 is getting successfully unmounted on node 001db02b, but the drbd resource never stops. On node 001db01b, it tries to mount the filesystem but fails because the drbd volume
is not master. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Why isn’t drbd transitioning?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">Disclaimer : This email and any files transmitted with it are confidential and intended solely for intended recipients. If you are not the named addressee you should not disseminate, distribute, copy or alter this email. Any views or opinions
presented in this email are solely those of the author and might not represent those of Physician Select Management. Warning: Although Physician Select Management has taken reasonable precautions to ensure no viruses are present in this email, the company
cannot accept responsibility for any loss or damage arising from the use of this email or attachments.
<o:p></o:p></p>
</div>
</div>
Disclaimer : This email and any files transmitted with it are confidential and intended solely for intended recipients. If you are not the named addressee you should not disseminate, distribute, copy or alter this email. Any views or opinions presented in this
email are solely those of the author and might not represent those of Physician Select Management. Warning: Although Physician Select Management has taken reasonable precautions to ensure no viruses are present in this email, the company cannot accept responsibility
for any loss or damage arising from the use of this email or attachments.
</body>
</html>