<div dir="ltr"><div>Hi!<br><br></div><div>I am new in the pacemaker world, and I, unfortunately, have problems with simple actions like group removal. Please, help me understand when I'm wrong.<br></div><div><br></div><div>For simplicity I will use standard resources like IPaddr2 (but we have this problem on any type of our custom resources).<br><br></div><div>I have 5 groups like this:<br><br><span style="font-family:monospace">Full List of Resources:<br>  * Resource Group: group-1:<br>    * ip-11        (ocf::heartbeat:IPaddr2):        Started vdc16<br>    * ip-12   (ocf::heartbeat:IPaddr2):        Started vdc16<br>  * Resource Group: group-2:<br>    * ip-21    (ocf::heartbeat:IPaddr2):        Started vdc17<br>    * ip-22   (ocf::heartbeat:IPaddr2):        Started vdc17<br>  * Resource Group: group-3:<br>    * ip-31    (ocf::heartbeat:IPaddr2):        Started vdc18<br>    * ip-32   (ocf::heartbeat:IPaddr2):        Started vdc18<br>  * Resource Group: group-4:<br>    * ip-41    (ocf::heartbeat:IPaddr2):        Started vdc16<br>    * ip-42   (ocf::heartbeat:IPaddr2):        Started vdc16</span></div><div><br></div><div>Groups were created by next simple script:<br></div><div><span style="font-family:monospace">cat groups.sh<br></span></div><div><span style="font-family:monospace">pcs resource create ip-11 ocf:heartbeat:IPaddr2 ip=10.7.1.11 cidr_netmask=24 nic=lo op monitor interval=10s --group group-1<br>pcs resource create ip-12 ocf:heartbeat:IPaddr2 ip=10.7.1.12 cidr_netmask=24 nic=lo op monitor interval=10s --group group-1<br><br>pcs resource create ip-21 ocf:heartbeat:IPaddr2 ip=10.7.1.21 cidr_netmask=24 nic=lo op monitor interval=10s --group group-2<br>pcs resource create ip-22 ocf:heartbeat:IPaddr2 ip=10.7.1.22 cidr_netmask=24 nic=lo op monitor interval=10s --group group-2<br><br>pcs resource create ip-31 ocf:heartbeat:IPaddr2 ip=10.7.1.31 cidr_netmask=24 nic=lo op monitor interval=10s --group group-3<br>pcs resource create ip-32 ocf:heartbeat:IPaddr2 ip=10.7.1.32 cidr_netmask=24 nic=lo op monitor interval=10s --group group-3<br><br>pcs resource create ip-41 ocf:heartbeat:IPaddr2 ip=10.7.1.41 cidr_netmask=24 nic=lo op monitor interval=10s --group group-4<br>pcs resource create ip-42 ocf:heartbeat:IPaddr2 ip=10.7.1.42 cidr_netmask=24 nic=lo op monitor interval=10s --group group-4</span></div><div><br></div><div>Next, i try to remove all of these group in 'parallel':<br></div><div><span style="font-family:monospace">cat remove.sh<br>pcs resource remove group-1 &<br>sleep 0.2<br>pcs resource remove group-2 &<br>sleep 0.2<br>pcs resource remove group-3 &<br>sleep 0.2<br>pcs resource remove group-4 &</span><br><br></div><div>After this, every time I have a few resources in some groups which were not removed. It looks like:<br><br><span style="font-family:monospace">Full List of Resources:<br>  * Resource Group: group-2 (disabled):<br>    * ip-21     (ocf::heartbeat:IPaddr2):        Stopped (disabled)<br>  * Resource Group: group-4 (disabled):<br>    * ip-41    (ocf::heartbeat:IPaddr2):        Stopped (disabled)</span><br><br></div><div>In logs, I can see success stopping all resources, but after stopping some resources it looks like pacemaker just 'forgot' about deletion and didn't.<br><br></div><div><span style="font-family:monospace">Cluster name: pacemaker1<br>Cluster Summary:<br>  * Stack: corosync<br>  * Current DC: vdc16 (version 2.1.0-8.el8-7c3f660707) - partition with quorum<br>  * Last updated: Fri May 17 14:30:14 2024<br>  * Last change:  Fri May 17 14:30:05 2024 by root via cibadmin on vdc16<br>  * 3 nodes configured<br>  * 2 resource instances configured (2 DISABLED)<br><br>Node List:<br>  * Online: [ vdc16 vdc17 vdc18 ]</span><br><br></div><div>Host OS is CentOS 8.4. Cluster with default settings. vdc16,vdc17,vdc18 are VMs with 4 vCPU.<br></div><div><br></div></div>