<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>I'm trying to have my NFS share exported via pacemaker and now it doesn't seem to be working, it also kills off nfs-mountd.  It looks like the rbd device could have something to do with it, the nfsroot doesn't get exported, but there's no indication why:<br></div><div><br></div><div><br></div><div><br></div><div>Feb 22 15:36:23 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: The local CRM is operational<br>Feb 22 15:36:23 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: State transition S_STARTING -> S_PENDING<br>Feb 22 15:36:24 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Could not obtain a node name for corosync nodeid 3<br>Feb 22 15:36:24 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Could not obtain a node name for corosync nodeid 2<br>Feb 22 15:36:24 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Could not obtain a node name for corosync nodeid 3<br>Feb 22 15:36:44 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: State transition S_PENDING -> S_NOT_DC<br>Feb 22 15:36:45 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32648]: INFO: Status: rpcbind<br>Feb 22 15:36:45 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32655]: INFO: Status: nfs-mountd<br>Feb 22 15:36:45 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32662]: INFO: Status: nfs-idmapd<br>Feb 22 15:36:45 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32674]: INFO: Status: rpc-statd<br>Feb 22 15:36:45 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_nfs_server on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_rbd_map_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 7 (not running)<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32720]: INFO: Stopping NFS server ...<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopping NFS server and services...<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopped NFS server and services.<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopping NFSv4 ID-name mapping service...<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> rpc.mountd[32525]: Caught signal 15, un-registering and exiting.<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopping NFS Mount Daemon...<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopped NFSv4 ID-name mapping service.<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopped NFS Mount Daemon.<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: nfsd: last server has exited, flushing export cache<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32744]: INFO: Stop: threads<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopping NFS status monitor for NFSv2/3 locking....<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopped NFS status monitor for NFSv2/3 locking..<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32755]: INFO: Stop: rpc-statd<br>Feb 22 15:36:50 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[32765]: INFO: Stop: nfs-idmapd<br>Feb 22 15:36:51 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[313]: INFO: Stop: nfs-mountd<br>Feb 22 15:36:51 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[324]: INFO: Stop: rpc-gssd<br>Feb 22 15:36:51 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[333]: INFO: Stop: umount (1/10 attempts)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopped target rpc_pipefs.target.<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> systemd[1]: Stopping rpc_pipefs.target.<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> nfsserver(p_nfs_server)[349]: INFO: NFS server stopped<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of stop operation for p_nfs_server on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_nfs_export_root_1)[411]: INFO: Directory /mnt/nfsroot is not exported to <a href="http://172.20.3.0/255.255.255.0">172.20.3.0/255.255.255.0</a> (stopped).<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_nfs_export_root_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 7 (not running)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> Filesystem(p_fs_rbd_1)[431]: WARNING: Couldn't find device [/dev/rbd0]. Expected /dev/??? to exist<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_fs_rbd_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 7 (not running)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_ip_nfs_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 7 (not running)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[547]: ERROR: /mnt/nfsroot/rbd0/cart_sigtrack does not exist or is not a directory<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[553]: INFO: environment is invalid, resource considered stopped<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> lrmd[32597]:   notice: p_exportfs_cart_sigtrack_monitor_0:522:stderr [ ocf-exit-reason:/mnt/nfsroot/rbd0/cart_sigtrack does not exist or is not a directory ]<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of probe operation for p_exportfs_cart_sigtrack on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 7 (not running)<br>Feb 22 15:36:52 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: cephmgr101.corp.mydomain.com-p_exportfs_cart_sigtrack_monitor_0:27 [ ocf-exit-reason:/mnt/nfsroot/rbd0/cart_sigtrack does not exist or is not a directory\n ]<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: libceph: mon1 <a href="http://172.20.3.22:6789">172.20.3.22:6789</a> session established<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: libceph: client94252 fsid d36fd17c-174e-40d6-95b9-86bdd196b7d2<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: rbd: rbd0: capacity 8589934592 features 0x1<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> <a href="http://rbd.in">rbd.in</a>(p_rbd_map_1)[587]: INFO: /dev/rbd0<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of start operation for p_rbd_map_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> Filesystem(p_fs_rbd_1)[655]: INFO: Running start for /dev/rbd0 on /mnt/nfsroot/rbd0<br>Feb 22 15:36:55 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: XFS (rbd0): Mounting V5 Filesystem<br>Feb 22 15:36:56 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> kernel: XFS (rbd0): Ending clean mount<br>Feb 22 15:36:56 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of start operation for p_fs_rbd_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br>Feb 22 15:36:56 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> IPaddr2(p_ip_nfs_1)[791]: INFO: Adding inet address <a href="http://172.20.3.52/24">172.20.3.52/24</a> with broadcast address 172.20.3.255 to device ens160<br>Feb 22 15:36:56 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> IPaddr2(p_ip_nfs_1)[800]: INFO: Bringing device ens160 up<br>Feb 22 15:36:56 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> IPaddr2(p_ip_nfs_1)[809]: INFO: /usr/libexec/heartbeat/send_arp -i 200 -c 5 -p /var/run/resource-agents/send_arp-172.20.3.52 -I ens160 -m auto 172.20.3.52<br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of start operation for p_ip_nfs_1 on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[872]: INFO: Directory /mnt/nfsroot/rbd0/cart_sigtrack is not exported to <a href="http://172.20.3.0/255.255.255.0">172.20.3.0/255.255.255.0</a> (stopped).<br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[887]: INFO: Exporting file system ...<br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[911]: INFO: exportfs: No file systems exported! exporting <a href="http://172.20.3.0/255.255.255.0:/mnt/nfsroot/rbd0/cart_sigtrack">172.20.3.0/255.255.255.0:/mnt/nfsroot/rbd0/cart_sigtrack</a><br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> exportfs(p_exportfs_cart_sigtrack)[922]: INFO: File system exported<br>Feb 22 15:37:00 <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a> crmd[32600]:   notice: Result of start operation for p_exportfs_cart_sigtrack on <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>: 0 (ok)<br><br><br># ls -la /dev/rbd0<br>brw-rw---- 1 root disk 252, 0 Feb 22 15:36 /dev/rbd0<br><br><br># mount | grep rbd0<br>/dev/rbd0 on /mnt/nfsroot/rbd0 type xfs (rw,relatime,attr2,inode64,sunit=8192,swidth=8192,noquota)<br><br><br><br><br>Once I restart nfs-mountd, I see its not exporting the nfsroot:<br><br># showmount -e<br>Export list for <a href="http://cephmgr101.corp.mydomain.com">cephmgr101.corp.mydomain.com</a>:<br>/mnt/nfsroot/rbd0/cart_sigtrack <a href="http://172.20.3.0/255.255.255.0">172.20.3.0/255.255.255.0</a><br><br><br><br><br># pcs resource show p_nfs_export_root_1<br> Resource: p_nfs_export_root_1 (class=ocf provider=heartbeat type=exportfs)<br>  Attributes: clientspec=<a href="http://172.20.3.0/255.255.255.0">172.20.3.0/255.255.255.0</a> directory=/mnt/nfsroot fsid=0 options=rw,crossmnt,async,no_root_squash<br>  Operations: monitor interval=30s (p_nfs_export_root_1-monitor-interval-30s)<br>              start interval=0s timeout=40 (p_nfs_export_root_1-start-interval-0s)<br>              stop interval=0s timeout=120 (p_nfs_export_root_1-stop-interval-0s)<br><br></div><div><br></div><div><br></div><div><br></div><div>I've set the constraints the way I think is right, changing it doesn't seem to help:<br></div><div># pcs constraint order<br>Ordering Constraints:<br>  start p_rbd_map_1 then start p_nfs_export_root_1 (kind:Mandatory)<br>  start p_nfs_export_root_1 then start g_nfs_1 (kind:Mandatory)<br><br></div></div></div></div></div></div>