<div dir="ltr">Hi,<div><br></div><div>Please find attached debug logs for the stated problem as well as crm_mon command outputs. </div><div>In this case we are trying to remove/delete res3 and system/node (<span style="background-color:rgb(255,229,153)">0005B94238BC</span><span style="background-color:rgb(255,229,153)">)</span> from the cluster.</div><div><br></div><div><b><u>Test reproduction steps</u></b></div><div><br></div><div>Current Configuration of the cluster:</div><div><div><span style="background-color:rgb(255,229,153)"> 0005B9423910  - res2 </span></div><div><span style="background-color:rgb(255,229,153)"> 0005B9427C5A - res1</span></div><div><span style="background-color:rgb(255,229,153)"> 0005B94238BC - res3</span></div></div><div><br></div><div><b>crm_mon output:</b></div><div><br></div><div><div>Defaulting to one-shot mode<br></div><div>You need to have curses available at compile time to enable console mode</div><div>Stack: corosync</div><div>Current DC: 0005B9423910 (version 1.1.14-5a6cdd1) - partition with quorum</div><div>Last updated: Tue May 16 12:21:23 2017          Last change: Tue May 16 12:13:40 2017 by root via crm_attribute on 0005B9423910</div><div><br></div><div>3 nodes and 3 resources configured</div><div><br></div><div>Online: [ 0005B94238BC 0005B9423910 0005B9427C5A ]</div><div><br></div><div> res2   (ocf::redundancy:RedundancyRA): Started 0005B9423910</div><div> res1   (ocf::redundancy:RedundancyRA): Started 0005B9427C5A</div><div> res3   (ocf::redundancy:RedundancyRA): Started 0005B94238BC</div></div><div><br></div><div><br></div><div>Trigger the delete operation for res3 and node <span style="background-color:rgb(255,229,153)">0005B94238BC.</span></div><div><span style="background-color:rgb(255,229,153)"><br></span></div><div>Following commands applied from node 0005B94238BC</div><div>$ pcs resource delete res3 --force</div><div>$ crm_resource -C res3</div><div>$ pcs cluster stop --force </div><div><br></div><div>Following command applied from DC(0005B9423910)</div><div>$ crm_node -R 0005B94238BC --force</div><div><br></div><div><br></div><div><b>crm_mon output:</b><br></div><div><b><br></b></div><div><div>Defaulting to one-shot mode</div><div>You need to have curses available at compile time to enable console mode</div><div>Stack: corosync</div><div>Current DC: 0005B9423910 (version 1.1.14-5a6cdd1) - partition with quorum</div><div>Last updated: Tue May 16 <span style="background-color:rgb(255,255,0)">12:21:27</span> 2017          Last change: Tue May 16 12:21:26 2017 by root via cibadmin on 0005B94238BC</div><div><br></div><div>3 nodes and 2 resources configured</div><div><br></div><div>Online: [ 0005B94238BC 0005B9423910 0005B9427C5A ]</div></div><div><br></div><div><br></div><div>Observation is remaining two resources res2 and res1 were stopped and started.</div><div><br></div><div><br></div><div><div class="gmail_extra">Regards,</div><div class="gmail_extra">Aswathi</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 15, 2017 at 8:11 PM, Ken Gaillot <span dir="ltr"><<a href="mailto:kgaillot@redhat.com" target="_blank">kgaillot@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-">On 05/15/2017 06:59 AM, Klaus Wenninger wrote:<br>
> On 05/15/2017 12:25 PM, Anu Pillai wrote:<br>
>> Hi Klaus,<br>
>><br>
>> Please find attached cib.xml as well as corosync.conf.<br>
<br>
</span>Maybe you're only setting this while testing, but having<br>
stonith-enabled=false and no-quorum-policy=ignore is highly dangerous in<br>
any kind of network split.<br>
<br>
FYI, default-action-timeout is deprecated in favor of setting a timeout<br>
in op_defaults, but it doesn't hurt anything.<br>
<span class="gmail-"><br>
> Why wouldn't you keep placement-strategy with default<br>
> to keep things simple. You aren't using any load-balancing<br>
> anyway as far as I understood it.<br>
<br>
</span>It looks like the intent is to use placement-strategy to limit each node<br>
to 1 resource. The configuration looks good for that.<br>
<span class="gmail-"><br>
> Haven't used resource-stickiness=INF. No idea which strange<br>
> behavior that triggers. Try to have it just higher than what<br>
> the other scores might some up to.<br>
<br>
</span>Either way would be fine. Using INFINITY ensures that no other<br>
combination of scores will override it.<br>
<span class="gmail-"><br>
> I might have overseen something in your scores but otherwise<br>
> there is nothing obvious to me.<br>
><br>
> Regards,<br>
> Klaus<br>
<br>
</span>I don't see anything obvious either. If you have logs around the time of<br>
the incident, that might help.<br>
<span class="gmail-im gmail-HOEnZb"><br>
>> Regards,<br>
>> Aswathi<br>
>><br>
>> On Mon, May 15, 2017 at 2:46 PM, Klaus Wenninger <<a href="mailto:kwenning@redhat.com">kwenning@redhat.com</a><br>
>> <mailto:<a href="mailto:kwenning@redhat.com">kwenning@redhat.com</a>>> wrote:<br>
>><br>
>>     On 05/15/2017 09:36 AM, Anu Pillai wrote:<br>
>>     > Hi,<br>
>>     ><br>
>>     > We are running pacemaker cluster for managing our resources. We<br>
>>     have 6<br>
>>     > system running 5 resources and one is acting as standby. We have a<br>
>>     > restriction that, only one resource can run in one node. But our<br>
>>     > observation is whenever we add or delete a resource from cluster all<br>
>>     > the remaining resources in the cluster are stopped and started back.<br>
>>     ><br>
>>     > Can you please guide us whether this normal behavior or we are<br>
>>     missing<br>
>>     > any configuration that is leading to this issue.<br>
>><br>
>>     It should definitely be possible to prevent this behavior.<br>
>>     If you share your config with us we might be able to<br>
>>     track that down.<br>
>><br>
>>     Regards,<br>
>>     Klaus<br>
>><br>
>>     ><br>
>>     > Regards<br>
>>     > Aswathi<br>
<br>
______________________________<wbr>_________________<br>
Users mailing list: <a href="mailto:Users@clusterlabs.org">Users@clusterlabs.org</a><br>
</span><div class="gmail-HOEnZb"><div class="gmail-h5"><a href="http://lists.clusterlabs.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.clusterlabs.org/<wbr>mailman/listinfo/users</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" rel="noreferrer" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" rel="noreferrer" target="_blank">http://www.clusterlabs.org/<wbr>doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" rel="noreferrer" target="_blank">http://bugs.clusterlabs.org</a><br>
</div></div></blockquote></div><br></div></div></div>