<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">Probably you need to enable_startup_fencing = 0 instead of enable_fencing = 0.<br class=""><div class="">
<div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><br class="Apple-interchange-newline"><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">S pozdravem Kristián Feldsam</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Tel.: +420 773 303 353, +421 944 137 535</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">E-mail.: <a href="mailto:support@feldhost.cz" class="">support@feldhost.cz</a></span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class=""><a href="http://www.feldhost.cz" class="">www.feldhost.cz</a> -<span class="Apple-converted-space"> </span></span><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; font-weight: bold;" class="">Feld</span><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Host</span><span style="color: rgb(0, 0, 0); font-variant-caps: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">™</span><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class=""><span class="Apple-converted-space"> </span>– </span><font size="3" class="">Hostingové služby přizpůsobíme Vám </font><font size="3" class="">Máte specifické požadavky? Poradíme si s nimi.</font><br class=""><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">FELDSAM s.r.o.</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><font size="3" class="">V Chotejně 765/15<br class="">Praha 10 – Hostivař, PSČ 102 00</font><span class=""><br class=""></span><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">IČ: 290 60 958, DIČ: CZ290 60 958</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">C 200350 vedená u Městského soudu v Praze</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Banka: Fio banka a.s.</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">Číslo účtu: 2400330446/2010</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">BIC: FIOBCZPPXX</span><br style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="color: rgb(0, 0, 0); font-family: Baskerville; font-size: 16px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">IBAN: CZ82 2010 0000 0024 0033 0446</span></div></div></div></div></div></div>
</div>
<div><br class=""><blockquote type="cite" class=""><div class="">On 1 Oct 2018, at 18:55, Patrick Whitney <<a href="mailto:pwhitney@luminoso.com" class="">pwhitney@luminoso.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class=""><div dir="ltr" class=""><div dir="ltr" class=""><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Fencing in clustering is always required, but unlike pacemaker that lets<br class="">you turn it off and take your chances, DLM doesn't.</blockquote><div class=""><br class=""></div><div class="">As a matter of fact, DLM has a setting "enable_fencing=0|1" for what that's worth.   </div><div class=""> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">You must have<br class="">working fencing for DLM (and anything using it) to function correctly.<br class=""></blockquote><div class=""><br class=""></div><div class="">We do have fencing enabled in the cluster; we've tested both node level fencing and resource fencing; DLM behaved identically in both scenarios, until we set it to 'enable_fencing=0' in the dlm.conf file. </div><div class=""> <br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Basically, cluster config changes (node declared lost), dlm informed and<br class="">blocks, fence attempt begins and loops until it succeeds, on success,<br class="">informs DLM, dlm reaps locks held by the lost node and normal operation<br class="">continues.<br class=""></blockquote><div class="">This isn't quite what I was seeing in the logs.  The "failed" node would be fenced off, pacemaker appeared to be sane, reporting services running on the running nodes, but once the failed node was seen as missing by dlm (dlm_controld), dlm would request fencing, from what I can tell by the log entry.  Here is an example of the suspect log entry:</div><div class="">Sep 26 09:41:35 pcmk-test-1 dlm_controld[837]: 38 fence request 2 pid 1446 startup time 1537969264 fence_all dlm_stonith<br class=""></div><div class=""> <br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">This isn't a question of node count or other configuration concerns.<br class="">It's simply that you must have proper fencing for DLM.</blockquote><div class=""><br class=""></div><div class="">Can you speak more to what "proper fencing" is for DLM? </div><div class=""><br class=""></div><div class="">Best,</div><div class="">-Pat</div><div class=""><br class=""></div><div class="">  </div></div></div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="">On Mon, Oct 1, 2018 at 12:30 PM Digimer <<a href="mailto:lists@alteeve.ca" class="">lists@alteeve.ca</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 2018-10-01 12:04 PM, Ferenc Wágner wrote:<br class="">
> Patrick Whitney <<a href="mailto:pwhitney@luminoso.com" target="_blank" class="">pwhitney@luminoso.com</a>> writes:<br class="">
> <br class="">
>> I have a two node (test) cluster running corosync/pacemaker with DLM<br class="">
>> and CLVM.<br class="">
>><br class="">
>> I was running into an issue where when one node failed, the remaining node<br class="">
>> would appear to do the right thing, from the pcmk perspective, that is.<br class="">
>> It would  create a new cluster (of one) and fence the other node, but<br class="">
>> then, rather surprisingly, DLM would see the other node offline, and it<br class="">
>> would go offline itself, abandoning the lockspace.<br class="">
>><br class="">
>> I changed my DLM settings to "enable_fencing=0", disabling DLM fencing, and<br class="">
>> our tests are now working as expected.<br class="">
> <br class="">
> I'm running a larger Pacemaker cluster with standalone DLM + cLVM (that<br class="">
> is, they are started by systemd, not by Pacemaker).  I've seen weird DLM<br class="">
> fencing behavior, but not what you describe above (though I ran with<br class="">
> more than two nodes from the very start).  Actually, I don't even<br class="">
> understand how it occured to you to disable DLM fencing to fix that...<br class="">
<br class="">
Fencing in clustering is always required, but unlike pacemaker that lets<br class="">
you turn it off and take your chances, DLM doesn't. You must have<br class="">
working fencing for DLM (and anything using it) to function correctly.<br class="">
<br class="">
Basically, cluster config changes (node declared lost), dlm informed and<br class="">
blocks, fence attempt begins and loops until it succeeds, on success,<br class="">
informs DLM, dlm reaps locks held by the lost node and normal operation<br class="">
continues.<br class="">
<br class="">
This isn't a question of node count or other configuration concerns.<br class="">
It's simply that you must have proper fencing for DLM.<br class="">
<br class="">
>> I'm a little concern I have masked an issue by doing this, as in all<br class="">
>> of the tutorials and docs I've read, there is no mention of having to<br class="">
>> configure DLM whatsoever.<br class="">
> <br class="">
> Unfortunately it's very hard to come by any reliable info about DLM.  I<br class="">
> had a couple of enlightening exchanges with David Teigland (its primary<br class="">
> author) on this list, he is very helpful indeed, but I'm still very far<br class="">
> from having a working understanding of it.<br class="">
> <br class="">
> But I've been running with --enable_fencing=0 for years without issues,<br class="">
> leaving all fencing to Pacemaker.  Note that manual cLVM operations are<br class="">
> the only users of DLM here, so delayed fencing does not cause any<br class="">
> problems, the cluster services do not depend on DLM being operational (I<br class="">
> mean it can stay frozen for several days -- as it happened in a couple<br class="">
> of pathological cases).  GFS2 would be a very different thing, I guess.<br class="">
> <br class="">
<br class="">
<br class="">
-- <br class="">
Digimer<br class="">
Papers and Projects: <a href="https://alteeve.com/w/" rel="noreferrer" target="_blank" class="">https://alteeve.com/w/</a><br class="">
"I am, somehow, less interested in the weight and convolutions of<br class="">
Einstein’s brain than in the near certainty that people of equal talent<br class="">
have lived and died in cotton fields and sweatshops." - Stephen Jay Gould<br class="">
</blockquote></div><br clear="all" class=""><div class=""><br class=""></div>-- <br class=""><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr" class="">Patrick Whitney<div class="">DevOps Engineer -- Tools</div></div></div>
_______________________________________________<br class="">Users mailing list: <a href="mailto:Users@clusterlabs.org" class="">Users@clusterlabs.org</a><br class=""><a href="https://lists.clusterlabs.org/mailman/listinfo/users" class="">https://lists.clusterlabs.org/mailman/listinfo/users</a><br class=""><br class="">Project Home: http://www.clusterlabs.org<br class="">Getting started: http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf<br class="">Bugs: http://bugs.clusterlabs.org<br class=""></div></blockquote></div><br class=""></body></html>