<div dir="ltr"><div><div>Thank you for your reply.<br> <br>There is no reason to set location for the resources, I think, because all the resources are set with clone options so they are started on all nodes at the same time. And when it comes to stickiness I forgot to mention that but it set to 200. and also I have stonith configured  to use vmware esxi.<br><br></div>Best regards<br></div>Octavian Ciobanu<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Aug 26, 2017 at 6:16 PM, John Keates <span dir="ltr"><<a href="mailto:john@keates.nl" target="_blank">john@keates.nl</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div>While I am by no means a CRM/Pacemaker expert, I only see the resource primitives and the order constraints. Wouldn’t you need location and/or colocation as well as stickiness settings to prevent this from happening? What I think it might be doing is seeing the new node, then trying to move the resources (but not finding it a suitable target) and then moving them back where they came from, but fast enough for you to only see it as a restart.</div><div><br></div><div>If you crm_resource -P, it should also restart all resources, but put them in the preferred spot. If they end up in the same place, you probably didn’t put and weighing in the config or have stickiness set to INF.</div><br><div>
Kind regards,<br><br>John Keates<br></div><div><br class="m_2526223477779239585webkit-block-placeholder"></div><div><blockquote type="cite"><div><div class="h5"><div>On 26 Aug 2017, at 14:23, Octavian Ciobanu <<a href="mailto:coctavian1979@gmail.com" target="_blank">coctavian1979@gmail.com</a>> wrote:</div><br class="m_2526223477779239585Apple-interchange-newline"></div></div><div><div><div class="h5"><div dir="ltr"><div><div><div><div><div><div><div><div>Hello all,</div><div><br></div>While playing with cluster configuration I noticed a strange behavior. If I stop/standby cluster services on one node and reboot it, when it joins the cluster all the resources that were started and working on active nodes get stopped and restarted.<br></div><br></div>My testing configuration is based on 4 nodes. One node is a storage node that makes 3 iSCSI targets available for the other nodes to use,it is not configured to join cluster, and three nodes that are configured in a cluster using the following commands.<br><br></div>pcs resource create DLM ocf:pacemaker:controld op monitor interval="60" on-fail="fence" clone meta clone-max="3" clone-node-max="1" interleave="true" ordered="true"<br>pcs resource create iSCSI1 ocf:heartbeat:iscsi portal="<a href="http://10.0.0.1:3260/" target="_blank">10.0.0.1:3260</a>" target="<a href="http://iqn.2017-08.example.com" target="_blank">iqn.2017-08.example.<wbr>com</a>:tgt1" op start interval="0" timeout="20" op stop interval="0" timeout="20" op monitor interval="120" timeout="30" clone meta clone-max="3" clone-node-max="1"<br>pcs resource create iSCSI2 ocf:heartbeat:iscsi portal="<a href="http://10.0.0.1:3260/" target="_blank">10.0.0.1:3260</a>" target="<a href="http://iqn.2017-08.example.com" target="_blank">iqn.2017-08.example.<wbr>com</a>:tgt2" op start interval="0" timeout="20" op stop interval="0" timeout="20" op monitor interval="120" timeout="30" clone meta clone-max="3" clone-node-max="1"<br>pcs resource create iSCSI3 ocf:heartbeat:iscsi portal="<a href="http://10.0.0.1:3260/" target="_blank">10.0.0.1:3260</a>" 
target="<a href="http://iqn.2017-08.example.com" target="_blank">iqn.2017-08.example.<wbr>com</a>:tgt3" op start interval="0" timeout="20"
 op stop interval="0" timeout="20" op monitor interval="120" 
timeout="30" clone meta clone-max="3" clone-node-max="1"<br>pcs resource create Mount1 ocf:heartbeat:Filesystem device="/dev/disk/by-label/<wbr>MyCluster:Data1" directory="/mnt/data1" fstype="gfs2" options="noatime,nodiratime,<wbr>rw" op monitor interval="90" on-fail="fence" clone meta clone-max="3" clone-node-max="1" interleave="true"<br>pcs resource create Mount2 ocf:heartbeat:Filesystem 
device="/dev/disk/by-label/<wbr>MyCluster:Data2" directory="/mnt/data2" 
fstype="gfs2" options="noatime,nodiratime,<wbr>rw" op monitor interval="90" 
on-fail="fence" clone meta clone-max="3" clone-node-max="1" 
interleave="true"<br>pcs resource create Mount3 ocf:heartbeat:Filesystem 
device="/dev/disk/by-label/<wbr>MyCluster:Data3" directory="/mnt/data3" 
fstype="gfs2" options="noatime,nodiratime,<wbr>rw" op monitor interval="90" 
on-fail="fence" clone meta clone-max="3" clone-node-max="1" 
interleave="true"<br>pcs constraint order DLM-clone then iSCSI1-clone<br>pcs constraint order DLM-clone then iSCSI2-clone<br>pcs constraint order DLM-clone then iSCSI3-clone<br>pcs constraint order iSCSI1-clone then Mount1-clone<br>pcs constraint order iSCSI2-clone then Mount2-clone<br>pcs constraint order iSCSI3-clone then Mount3-clone<br><br></div>If I issue the command "pcs cluster standby node1" or "pcs cluster stop" on node 1 and after that I reboot the node. When the node gets back online (unstandby if it was put in standby mode) all the "MountX" resources get stopped on node 3 and 4 and started again.<br><br></div>Can anyone help me figure out where and what is the mistake in my configuration as I would like to keep the started resources on active nodes (avoid stop and start of resources)?<br><br></div>Thank you in advance<br></div>Octavian Ciobanu<br></div></div></div>
______________________________<wbr>_________________<br>Users mailing list: <a href="mailto:Users@clusterlabs.org" target="_blank">Users@clusterlabs.org</a><br><a href="http://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">http://lists.clusterlabs.org/<wbr>mailman/listinfo/users</a><br><br>Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/<wbr>doc/Cluster_from_Scratch.pdf</a><br>Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br></div></blockquote></div><br></div><br>______________________________<wbr>_________________<br>
Users mailing list: <a href="mailto:Users@clusterlabs.org">Users@clusterlabs.org</a><br>
<a href="http://lists.clusterlabs.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.clusterlabs.org/<wbr>mailman/listinfo/users</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" rel="noreferrer" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" rel="noreferrer" target="_blank">http://www.clusterlabs.org/<wbr>doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" rel="noreferrer" target="_blank">http://bugs.clusterlabs.org</a><br>
<br></blockquote></div><br></div>