<div dir="ltr">David,<div><br></div><div>The Infiniband network takes a nondeterministic amount of time to actually finish initializing, so we use ethmonitor to watch it; the OS is supposed to bring it up at boot time, but it moves on through the boot sequence without actually waiting for it.  So in self defense we watch it with pacemaker.  I guess I could restructure this to use a resource that brings up IB (with a really long time out) and use ordering to wait for that complete, but it seems that ethmonitor would be more adaptive to short-term IB network issues.  Since ethmonitor works by setting an attribute (the RA running means it is watching the network, not that the network is up), I've used location constraints instead of ordering constraints.</div>
<div><br></div><div>So I have completely restarted my cluster.  Right now the physical nodes see each other, and the fencing agents are running.  The first thing that should start are the ethmonitor resource agents on the VM hosts (the c-watch-ib0 clones of the p-watch-ib0 primitive).  They are not starting (like they used to).  The cib snapshot can be seen in <a href="http://pastebin.com/TccTHQPS">http://pastebin.com/TccTHQPS</a>  (some slight editing to hide passwords in fencing agents).</div>
<div><br></div><div>/Lindsay</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Oct 23, 2013 at 11:20 AM, David Vossel <span dir="ltr"><<a href="mailto:dvossel@redhat.com" target="_blank">dvossel@redhat.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">----- Original Message -----<br>
> From: "Lindsay Todd" <<a href="mailto:rltodd.ml1@gmail.com">rltodd.ml1@gmail.com</a>><br>
> To: "The Pacemaker cluster resource manager" <<a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a>><br>
> Sent: Tuesday, October 22, 2013 4:19:11 PM<br>
> Subject: [Pacemaker] Asymmetric cluster, clones, and location constraints<br>
><br>
> I am getting rather unexpected behavior when I combine clones, location<br>
> constraints, and remote nodes in an asymmetric cluster. My cluster is<br>
> configured to be asymmetric, distinguishing between vmhosts and various<br>
> sorts of remote nodes. Currently I am running upstream version b6d42ed. I am<br>
> simplifying my description to avoid confusion, hoping in so doing I don't<br>
> miss any salient points...<br>
><br>
> My physical cluster nodes, also the VM hosts, have the attribute<br>
> "nodetype=vmhost". They also have Infiniband interfaces, which take some<br>
> time to come up. I don't want my shared file system (which needs IB), or<br>
> libvirtd (which needs the file system), to come up before IB... So I have<br>
> this in my configuration:<br>
><br>
><br>
><br>
><br>
> primitive p-watch-ib0 ocf:heartbeat:ethmonitor \<br>
> params \<br>
> interface="ib0" \<br>
> op monitor timeout="100s" interval="10s"<br>
> clone c-watch-ib0 p-watch-ib0 \<br>
> meta interleave="true"<br>
> #<br>
> location loc-watch-ib-only-vmhosts c-watch-ib0 \<br>
> rule 0: nodetype eq "vmhost"<br>
><br>
> Something broke between upstream versions 0a2570a and c68919f -- the<br>
> c-watch-ib0 clone never starts. I've found that if I run "crm_resource<br>
> --force-start -r p-watch-ib0" when IB is running, the ethmonitor-ib0<br>
> attribute is not set like it used to be. Oh well, I can set it manually. So<br>
> let's.<br>
<br>
</div></div>A re-write of the attrd component was introduced around that time period.  This should have been resolved at this point in the b6d42ed build.<br>
<div class="im"><br>
> We use GPFS for a shared file system, so I have an agent to start it and wait<br>
> for a file system to mount. It should only run on VM hosts, and only when IB<br>
> is running. So I have this:<br>
<br>
</div>So the IB resource is setting some attribute that enables the fs to run?  Why can't a ordering constraint be used here between IB and FS?<br>
<div><div class="h5"><br>
><br>
><br>
><br>
><br>
> primitive p-fs-gpfs ocf:ccni:gpfs \<br>
> params \<br>
> fspath="/gpfs/lb/utility" \<br>
> op monitor timeout="20s" interval="30s" \<br>
> op start timeout="180s" \<br>
> op stop timeout="120s"<br>
> clone c-fs-gpfs p-fs-gpfs \<br>
> meta interleave="true"<br>
> location loc-fs-gpfs-needs-ib0 c-fs-gpfs \<br>
> rule -inf: not_defined "ethmonitor-ib0" or "ethmonitor-ib0" eq 0<br>
> location loc-fs-gpfs-on-vmhosts c-fs-gpfs \<br>
> rule 0: nodetype eq "vmhost"<br>
><br>
> That all used to start nicely. Now even if I set the ethmonitor-ib0<br>
> attribute, it doesn't. However, I can use "crm_resource --force-start -r<br>
> p-fs-gpfs" on each of my VM hosts, then issue "crm resource cleanup<br>
> c-fs-gpfs", and all is well. I can use "crm status" to see something like:<br>
><br>
><br>
><br>
> Last updated: Tue Oct 22 16:35:43 2013<br>
> Last change: Tue Oct 22 15:50:52 2013 via crmd on cvmh01<br>
> Stack: cman<br>
> Current DC: cvmh04 - partition with quorum<br>
> Version: 1.1.10-19.el6.ccni-b6d42ed<br>
> 8 Nodes configured<br>
> 92 Resources configured<br>
><br>
><br>
> Online: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
><br>
> fence-cvmh01 (stonith:fence_ipmilan): Started cvmh04<br>
> fence-cvmh02 (stonith:fence_ipmilan): Started cvmh01<br>
> fence-cvmh03 (stonith:fence_ipmilan): Started cvmh01<br>
> fence-cvmh04 (stonith:fence_ipmilan): Started cvmh01<br>
> Clone Set: c-fs-gpfs [p-fs-gpfs]<br>
> Started: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
> which is what I would expect (other than I expect pacemaker to have started<br>
> these for me, like it used to).<br>
><br>
> Now I also have clone resources to NFS-mount another file system, and<br>
> actually do a bind mount out of the GPFS file system, which behave like the<br>
> GPFS resource -- they used to just work, now I need to use "crm_resource<br>
> --force-start" and clean up. That finally lets me start libvirtd, using this<br>
> configuration:<br>
><br>
><br>
><br>
><br>
> primitive p-libvirtd lsb:libvirtd \<br>
> op monitor interval="30s"<br>
> clone c-p-libvirtd p-libvirtd \<br>
> meta interleave="true"<br>
> order o-libvirtd-after-storage inf: \<br>
> ( c-fs-libvirt-VM-xcm c-fs-bind-libvirt-VM-cvmh ) \<br>
> c-p-libvirtd<br>
> location loc-libvirtd-on-vmhosts c-p-libvirtd \<br>
> rule 0: nodetype eq "vmhost"<br>
><br>
> Of course that used to just work, but now, like the other clones, I need to<br>
> force-start libvirtd on the VM hosts, and clean up. Once I do that, all my<br>
> VM resources, which are not clones, just start up like they are supposed to!<br>
> Several of these are configured as remote nodes, and they have services<br>
> configured to run in them. But now other strange things happen:<br>
><br>
><br>
><br>
><br>
> Last updated: Tue Oct 22 16:46:29 2013<br>
> Last change: Tue Oct 22 15:50:52 2013 via crmd on cvmh01<br>
> Stack: cman<br>
> Current DC: cvmh04 - partition with quorum<br>
> Version: 1.1.10-19.el6.ccni-b6d42ed<br>
> 8 Nodes configured<br>
> 92 Resources configured<br>
><br>
><br>
> ContainerNode slurmdb02:vm-slurmdb02: UNCLEAN (offline)<br>
> Online: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
> Containers: [ db02:vm-db02 ldap01:vm-ldap01 ldap02:vm-ldap02 ]<br>
><br>
> fence-cvmh01 (stonith:fence_ipmilan): Started cvmh04<br>
> fence-cvmh02 (stonith:fence_ipmilan): Started cvmh01<br>
> fence-cvmh03 (stonith:fence_ipmilan): Started cvmh01<br>
> fence-cvmh04 (stonith:fence_ipmilan): Started cvmh01<br>
> Clone Set: c-p-libvirtd [p-libvirtd]<br>
> p-libvirtd (lsb:libvirtd): FAILED slurmdb02<br>
> Started: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
> Stopped: [ db02 ldap01 ldap02 ]<br>
> Clone Set: c-watch-ib0 [p-watch-ib0]<br>
> p-watch-ib0 (ocf::heartbeat:ethmonitor): FAILED slurmdb02<br>
> Started: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
> Stopped: [ db02 ldap01 ldap02 ]<br>
> Clone Set: c-fs-gpfs [p-fs-gpfs]<br>
> p-fs-gpfs (ocf::ccni:gpfs): FAILED slurmdb02<br>
> Started: [ cvmh01 cvmh02 cvmh03 cvmh04 ]<br>
> Stopped: [ db02 ldap01 ldap02 ]<br>
> vm-compute-test (ocf::ccni:xcatVirtualDomain): FAILED [ cvmh04 slurmdb0<br>
> 2 ]<br>
> vm-swbuildsl6 (ocf::ccni:xcatVirtualDomain): FAILED slurmdb02<br>
> vm-db02 (ocf::ccni:xcatVirtualDomain): Started cvmh01<br>
> vm-ldap01 (ocf::ccni:xcatVirtualDomain): Started cvmh02<br>
> vm-ldap02 (ocf::ccni:xcatVirtualDomain): Started cvmh03<br>
> p-postgres (ocf::heartbeat:pgsql): FAILED [ db02 slurmdb02 ]<br>
> p-mysql (ocf::heartbeat:mysql): FAILED [ db02 slurmdb02 ]<br>
> Clone Set: c-fs-share-config-data [fs-share-config-data]<br>
> fs-share-config-data (ocf::heartbeat:Filesystem): FAILED slurmdb02<br>
> Stopped: [ cvmh01 cvmh02 cvmh03 cvmh04 db02 ldap01 ldap02 ]<br>
> p-mysql-slurm (ocf::heartbeat:mysql): FAILED slurmdb02<br>
> p-slurmdbd (ocf::ccni:SlurmDBD): FAILED slurmdb02<br>
> Clone Set: c-ldapagent [s-ldapagent]<br>
> s-ldapagent (ocf::ccni:WrapInitScript): FAILED slurmdb02<br>
> Stopped: [ cvmh01 cvmh02 cvmh03 cvmh04 db02 ldap01 ldap02 ]<br>
> Clone Set: c-ldap [s-ldap]<br>
> s-ldap (ocf::ccni:WrapInitScript): FAILED slurmdb02<br>
> Started: [ ldap01 ldap02 ]<br>
> Stopped: [ cvmh01 cvmh02 cvmh03 cvmh04 db02 ]<br>
><br>
> Now this is unexpected for a couple of reasons. I do have constraints like:<br>
><br>
><br>
><br>
><br>
> location loc-vm-swbuildsl6 vm-swbuildsl6 \<br>
> rule $id="loc-vm-swbuildsl6-rule" 0: nodetype eq vmhost<br>
> order o-vm-swbuildsl6 inf: c-p-libvirtd vm-swbuildsl6<br>
><br>
> And it is not the case that slurmdb02 has the vmhost attribute set; using<br>
> "crm_mon -o -1 -N -A" we see:<br>
><br>
><br>
><br>
><br>
> Node Attributes:<br>
> * Node cvmh01:<br>
> + ethmonitor-ib0 : 1<br>
> + nodetype : vmhost<br>
> * Node cvmh02:<br>
> + ethmonitor-ib0 : 1<br>
> + nodetype : vmhost<br>
> * Node cvmh03:<br>
> + ethmonitor-ib0 : 1<br>
> + nodetype : vmhost<br>
> * Node cvmh04:<br>
> + ethmonitor-ib0 : 1<br>
> + nodetype : vmhost<br>
> * Node db02:<br>
> * Node ldap01:<br>
> * Node ldap02:<br>
> * Node slurmdb02:<br>
><br>
> The results are unexpected to me also because I (perhaps naively) wouldn't<br>
> expect it to show me the new nodes on the "stopped" lines -- I kind of<br>
> expected a location rule to limit where clones would even be attempted. For<br>
> example, with the rule limiting c-p-libvirtd to the vmhosts, I don't really<br>
> expect to be told that the clones are stopped on the remote VM nodes db02,<br>
> ldap01, and ldap02 (let alone be started on slurmdb02!).<br>
><br>
> Until I wrote this note, even the cloned ldap resource c-ldap needed to be<br>
> started using force-start. Not sure why this time it started on its own...<br>
> Perhaps this stack trace in the core dump pacemaker left on one of the VM<br>
> hosts has a clue?<br>
><br>
><br>
><br>
><br>
><br>
> #0 0x00007f121e9ac8e5 in raise () from /lib64/libc.so.6<br>
> #1 0x00007f121e9ae0c5 in abort () from /lib64/libc.so.6<br>
> #2 0x00007f121e9ea7f7 in __libc_message () from /lib64/libc.so.6<br>
> #3 0x00007f121e9f0126 in malloc_printerr () from /lib64/libc.so.6<br>
> #4 0x00007f121e9f05ad in malloc_consolidate () from /lib64/libc.so.6<br>
> #5 0x00007f121e9f33c5 in _int_malloc () from /lib64/libc.so.6<br>
> #6 0x00007f121e9f45e6 in calloc () from /lib64/libc.so.6<br>
> #7 0x00007f121e9e91ed in open_memstream () from /lib64/libc.so.6<br>
> #8 0x00007f121ea5ebdb in __vsyslog_chk () from /lib64/libc.so.6<br>
> #9 0x00007f121ea5f1b3 in __syslog_chk () from /lib64/libc.so.6<br>
> #10 0x00007f121e72b9fb in ?? () from /usr/lib64/libqb.so.0<br>
> #11 0x00007f121e72a6a2 in qb_log_real_va_ () from /usr/lib64/libqb.so.0<br>
> #12 0x00007f121e72a91d in qb_log_real_ () from /usr/lib64/libqb.so.0<br>
> #13 0x000000000042e994 in te_rsc_command (graph=0x20c7b40, action=0x23b0c90)<br>
> at te_actions.c:412<br>
<br>
</div></div>This is crashing at a log message.  Apparently we are trying to plug a "NULL" pointer into one of the format strings "%s" entries.  Looking at that log message, none of those values should be NULL, something is wrong here.<br>

<div class="im"><br>
<br>
> #14 0x0000003a64404019 in initiate_action (graph=0x20c7b40) at graph.c:172<br>
> #15 fire_synapse (graph=0x20c7b40) at graph.c:211<br>
> #16 run_graph (graph=0x20c7b40) at graph.c:366<br>
> #17 0x000000000042f8cd in te_graph_trigger (user_data=<value optimized out>)<br>
> at te_utils.c:331<br>
> #18 0x0000003a6202b283 in crm_trigger_dispatch (source=<value optimized out>,<br>
> callback=<value optimized out>, userdata=<value optimized out>)<br>
> at mainloop.c:105<br>
> #19 0x00000038b3c38f0e in g_main_context_dispatch ()<br>
> from /lib64/libglib-2.0.so.0<br>
> #20 0x00000038b3c3c938 in ?? () from /lib64/libglib-2.0.so.0<br>
> #21 0x00000038b3c3cd55 in g_main_loop_run () from /lib64/libglib-2.0.so.0<br>
> #22 0x00000000004058ee in crmd_init () at main.c:154<br>
> #23 0x0000000000405c2c in main (argc=1, argv=0x7fffdc207528) at main.c:121<br>
><br>
> Not sure how to take this further. It has been difficult to characterize what<br>
> exactly is or isn't happening, and hopefully I've not left out some critical<br>
> detail. Thanks.<br>
<br>
</div>There is a whole lot going on here, which is making it a bit difficult to know where to start.  You are using attributes and rules to enable resources.  The attrd has recently been re-written which could have caused some of the problems you are seeing (especially if you ever attempted to write an attribute to remote-node using a build from sometime in September)<br>

<br>
To make this easier to understand I'd recommend this... Get to the point where you'd expect a resource to start and it isn't.  Capture the cib "cibadmin -q > cibsnapshot.cib".  pastebin the cib and tell us which resource you'd expect to be starting.  Then we can try and determine accurately what is preventing it from starting.  That will at least give us something solid to work from.<br>

<br>
-- Vossel<br>
<br>
> /Lindsay<br>
><br>
><br>
><br>
><br>
> _______________________________________________<br>
> Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
> <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
><br>
> Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
> Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
> Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
><br>
<br>
_______________________________________________<br>
Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
<a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
</blockquote></div><br></div>