<div dir="ltr">Hello,<div><br></div><div>I have a two node cluster with two resource groups that I want to run on separate nodes.</div><div>These resource groups contain two filesystems replicated with DRBD tool.</div><div><br></div><div><div><font face="monospace, monospace">[root@pbx-fs-dc ~]# pcs status</font></div><div><font face="monospace, monospace">Cluster name: frontend</font></div><div><font face="monospace, monospace">Last updated: Thu Apr 30 10:23:48 2015</font></div><div><font face="monospace, monospace">Last change: Thu Apr 30 10:09:24 2015</font></div><div><font face="monospace, monospace">Stack: corosync</font></div><div><font face="monospace, monospace">Current DC: pbx-fs-cluster-drc (2) - partition with quorum</font></div><div><font face="monospace, monospace">Version: 1.1.12-a14efad</font></div><div><font face="monospace, monospace">2 Nodes configured</font></div><div><font face="monospace, monospace">13 Resources configured</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Online: [ pbx-fs-cluster-dc pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Full list of resources:</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> pbx-fs-cluster-dc-ipmi (stonith:fence_ipmilan):        Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace"> pbx-fs-cluster-drc-ipmi        (stonith:fence_ipmilan):        Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec01Clone [Rec01Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace">     Slaves: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec02Clone [Rec02Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace">     Slaves: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace"> Resource Group: Frontend01</font></div><div><font face="monospace, monospace">     RecFS01    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     voipIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     coreIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Resource Group: Frontend02</font></div><div><font face="monospace, monospace">     RecFS02    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace">     voipIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace">     coreIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace"> Resource Group: ModCC01</font></div><div><font face="monospace, monospace">     modccIP01  (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">PCSD Status:</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-dc: Online</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-drc: Online</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Daemon Status:</font></div><div><font face="monospace, monospace">  corosync: active/enabled</font></div><div><font face="monospace, monospace">  pacemaker: active/enabled</font></div><div><font face="monospace, monospace">  pcsd: active/enabled</font></div><div><font face="monospace, monospace"><br></font></div></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">[root@pbx-fs-dc ~]# pcs constraint show</font></div><div><font face="monospace, monospace">Location Constraints:</font></div><div><font face="monospace, monospace">  Resource: Rec01Clone</font></div><div><font face="monospace, monospace">    Constraint: location-Rec01Clone</font></div><div><font face="monospace, monospace">      Rule: score=INFINITY role=master</font></div><div><font face="monospace, monospace">        Expression: uname eq pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">  Resource: Rec02Clone</font></div><div><font face="monospace, monospace">    Constraint: location-Rec02Clone</font></div><div><font face="monospace, monospace">      Rule: score=INFINITY role=master</font></div><div><font face="monospace, monospace">        Expression: uname eq pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace">  Resource: modccIP01</font></div><div><font face="monospace, monospace">    Enabled on: pbx-fs-cluster-dc (score:INFINITY)</font></div><div><font face="monospace, monospace">Ordering Constraints:</font></div><div><font face="monospace, monospace">  promote Rec01Clone then start RecFS01 (kind:Mandatory)</font></div><div><font face="monospace, monospace">  promote Rec02Clone then start RecFS02 (kind:Mandatory)</font></div><div><font face="monospace, monospace">Colocation Constraints:</font></div><div><font face="monospace, monospace">  RecFS01 with Rec01Clone (score:INFINITY) (with-rsc-role:Master)</font></div><div><font face="monospace, monospace">  RecFS02 with Rec02Clone (score:INFINITY) (with-rsc-role:Master)</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">[root@pbx-fs-dc ~]# cat /proc/drbd</font></div><div><font face="monospace, monospace">version: 8.4.6 (api:1/proto:86-101)</font></div><div><font face="monospace, monospace">GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by phil@Build64R7, 2015-04-10 05:13:52</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> 1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----</font></div><div><font face="monospace, monospace">    ns:2052 nr:0 dw:2048 dr:4992 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0</font></div><div><font face="monospace, monospace"> 2: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----</font></div><div><font face="monospace, monospace">    ns:0 nr:140 dw:140 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0</font></div></div><div><br></div><div><br></div><div>When one node crashes (eg. <span style="font-family:monospace,monospace">pbx-fs-cluster-drc</span>) all resources move correctly to second node (<span style="font-family:monospace,monospace">pbx-fs-cluster-dc</span>)</div><div><br></div><div><font face="monospace, monospace">[root@pbx-fs-drc ~]# pcs cluster standby pbx-fs-cluster-drc<br></font></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">[root@pbx-fs-drc ~]# pcs status</font></div><div><font face="monospace, monospace">Cluster name: frontend</font></div><div><font face="monospace, monospace">Last updated: Thu Apr 30 10:33:24 2015</font></div><div><font face="monospace, monospace">Last change: Thu Apr 30 10:33:07 2015</font></div><div><font face="monospace, monospace">Stack: corosync</font></div><div><font face="monospace, monospace">Current DC: pbx-fs-cluster-drc (2) - partition with quorum</font></div><div><font face="monospace, monospace">Version: 1.1.12-a14efad</font></div><div><font face="monospace, monospace">2 Nodes configured</font></div><div><font face="monospace, monospace">13 Resources configured</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Node pbx-fs-cluster-drc (2): standby</font></div><div><font face="monospace, monospace">Online: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Full list of resources:</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> pbx-fs-cluster-dc-ipmi (stonith:fence_ipmilan):        Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> pbx-fs-cluster-drc-ipmi        (stonith:fence_ipmilan):        Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec01Clone [Rec01Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace">     Stopped: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec02Clone [Rec02Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace">     Stopped: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"> Resource Group: Frontend01</font></div><div><font face="monospace, monospace">     RecFS01    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     voipIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     coreIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Resource Group: Frontend02</font></div><div><font face="monospace, monospace">     RecFS02    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     voipIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     coreIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Resource Group: ModCC01</font></div><div><font face="monospace, monospace">     modccIP01  (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">PCSD Status:</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-dc: Online</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-drc: Online</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Daemon Status:</font></div><div><font face="monospace, monospace">  corosync: active/enabled</font></div><div><font face="monospace, monospace">  pacemaker: active/enabled</font></div><div><font face="monospace, monospace">  pcsd: active/enabled</font></div></div><div><font face="monospace, monospace"><br></font></div><div><div><font face="monospace, monospace">[root@pbx-fs-dc ~]# cat /proc/drbd</font></div><div><font face="monospace, monospace">version: 8.4.6 (api:1/proto:86-101)</font></div><div><font face="monospace, monospace">GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by phil@Build64R7, 2015-04-10 05:13:52</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> 1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----</font></div><div><font face="monospace, monospace">    ns:2052 nr:0 dw:2048 dr:4992 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0</font></div><div><font face="monospace, monospace"> 2: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----</font></div><div><font face="monospace, monospace">    ns:0 nr:152 dw:2200 dr:1620 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:2048</font></div></div><div><br></div><div><br></div><div>Till now everything is OK.</div><div><br></div><div>When I bring the crashed node (<span style="font-family:monospace,monospace">pbx-fs-cluster-drc</span>) back to live, the resources that prefer this node move to it as expected, but DRBD is in disconnected state.</div><div><br></div><div><div><font face="monospace, monospace">[root@pbx-fs-dc ~]# pcs status</font></div><div><font face="monospace, monospace">Cluster name: frontend</font></div><div><font face="monospace, monospace">Last updated: Thu Apr 30 10:56:32 2015</font></div><div><font face="monospace, monospace">Last change: Thu Apr 30 10:40:26 2015</font></div><div><font face="monospace, monospace">Stack: corosync</font></div><div><font face="monospace, monospace">Current DC: pbx-fs-cluster-drc (2) - partition with quorum</font></div><div><font face="monospace, monospace">Version: 1.1.12-a14efad</font></div><div><font face="monospace, monospace">2 Nodes configured</font></div><div><font face="monospace, monospace">13 Resources configured</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Online: [ pbx-fs-cluster-dc pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Full list of resources:</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> pbx-fs-cluster-dc-ipmi (stonith:fence_ipmilan):        Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> pbx-fs-cluster-drc-ipmi        (stonith:fence_ipmilan):        Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec01Clone [Rec01Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace">     Slaves: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace"> Master/Slave Set: Rec02Clone [Rec02Data]</font></div><div><font face="monospace, monospace">     Masters: [ pbx-fs-cluster-drc ]</font></div><div><font face="monospace, monospace">     Slaves: [ pbx-fs-cluster-dc ]</font></div><div><font face="monospace, monospace"> Resource Group: Frontend01</font></div><div><font face="monospace, monospace">     RecFS01    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     voipIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace">     coreIP01   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"> Resource Group: Frontend02</font></div><div><font face="monospace, monospace">     RecFS02    (ocf::heartbeat:Filesystem):    Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace">     voipIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace">     coreIP02   (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-drc</font></div><div><font face="monospace, monospace"> Resource Group: ModCC01</font></div><div><font face="monospace, monospace">     modccIP01  (ocf::heartbeat:IPaddr2):       Started pbx-fs-cluster-dc</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">PCSD Status:</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-dc: Online</font></div><div><font face="monospace, monospace">  pbx-fs-cluster-drc: Online</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">Daemon Status:</font></div><div><font face="monospace, monospace">  corosync: active/enabled</font></div><div><font face="monospace, monospace">  pacemaker: active/enabled</font></div><div><font face="monospace, monospace">  pcsd: active/enabled</font></div></div><div><br></div><div><div><font face="monospace, monospace">[root@pbx-fs-drc ~]# cat /proc/drbd</font></div><div><font face="monospace, monospace">version: 8.4.6 (api:1/proto:86-101)</font></div><div><font face="monospace, monospace">GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by phil@Build64R7, 2015-04-10 05:13:52</font></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace"> 1: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----</font></div><div><font face="monospace, monospace">    ns:0 nr:164 dw:164 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0</font></div><div><font face="monospace, monospace"> 2: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown   r-----</font></div><div><font face="monospace, monospace">    ns:0 nr:0 dw:2076 dr:1944 al:2 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:2060</font></div></div><div><br></div><div>What is worse, it seems that cluster did not synced devices before promoting it on the node bringed back to life, so all changes were lost.</div><div><br></div><div>Below you can find system logs:</div><div><br></div><div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation pbx-fs-cluster-drc-ipmi_stop_0: ok (node=pbx-fs-cluster-dc, call=122, rc=0, cib-update=69, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=126, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec01Data_notify_0: ok (node=pbx-fs-cluster-dc, call=125, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc IPaddr2(coreIP02)[40952]: INFO: IP status = ok, IP_CIP=</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation coreIP02_stop_0: ok (node=pbx-fs-cluster-dc, call=124, rc=0, cib-update=70, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc IPaddr2(voipIP02)[41057]: INFO: IP status = ok, IP_CIP=</font></div><div><font face="monospace, monospace">Apr 30 10:40:26 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation voipIP02_stop_0: ok (node=pbx-fs-cluster-dc, call=128, rc=0, cib-update=71, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:27 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: Running stop for /dev/drbd2 on /data/rec02</font></div><div><font face="monospace, monospace">Apr 30 10:40:27 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: Trying to unmount /data/rec02</font></div><div><font face="monospace, monospace">Apr 30 10:40:27 pbx-fs-dc Filesystem(RecFS02)[41112]: ERROR: Couldn't unmount /data/rec02; trying cleanup with TERM</font></div><div><font face="monospace, monospace">Apr 30 10:40:27 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: sending signal TERM to: root      5756  5664  0 09:47 pts/0    Ss+    0:00 -bash</font></div><div><font face="monospace, monospace">Apr 30 10:40:28 pbx-fs-dc Filesystem(RecFS02)[41112]: ERROR: Couldn't unmount /data/rec02; trying cleanup with TERM</font></div><div><font face="monospace, monospace">Apr 30 10:40:28 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: sending signal TERM to: root      5756  5664  0 09:47 pts/0    Ss+    0:00 -bash</font></div><div><font face="monospace, monospace">Apr 30 10:40:29 pbx-fs-dc Filesystem(RecFS02)[41112]: ERROR: Couldn't unmount /data/rec02; trying cleanup with TERM</font></div><div><font face="monospace, monospace">Apr 30 10:40:29 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: sending signal TERM to: root      5756  5664  0 09:47 pts/0    Ss+    0:00 -bash</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec01Data_notify_0: ok (node=pbx-fs-cluster-dc, call=131, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: drbd rec01: Handshake successful: Agreed network protocol version 101</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: drbd rec01: Agreed to support TRIM on protocol level</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: drbd rec01: conn( WFConnection -> WFReportParams )</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: drbd rec01: Starting ack_recv thread (from drbd_r_rec01 [30637])</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: drbd_sync_handshake:</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: self D1738D6AEB0D2ED7:A79967DFC9150419:2694B00ED5C0E490:2693B00ED5C0E490 bits:0 flags:0</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: peer A79967DFC9150418:0000000000000000:2694B00ED5C0E490:2693B00ED5C0E490 bits:0 flags:0</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: uuid_compare()=1 by rule 70</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: peer( Unknown -> Secondary ) conn( WFReportParams -> WFBitMapS ) pdsk( DUnknown -> Consistent )</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: send bitmap stats [Bytes(packets)]: plain 0(0), RLE 23(1), total 23; compression: 100.0%</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: receive bitmap stats [Bytes(packets)]: plain 0(0), RLE 23(1), total 23; compression: 100.0%</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: helper command: /sbin/drbdadm before-resync-source minor-1</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: helper command: /sbin/drbdadm before-resync-source minor-1 exit code 0 (0x0)</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: conn( WFBitMapS -> SyncSource ) pdsk( Consistent -> Inconsistent )</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: Began resync as SyncSource (will sync 0 KB [0 bits set]).</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: updated sync UUID D1738D6AEB0D2ED7:A79A67DFC9150419:A79967DFC9150419:2694B00ED5C0E490</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: Resync done (total 1 sec; paused 0 sec; 0 K/sec)</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: updated UUIDs D1738D6AEB0D2ED7:0000000000000000:A79A67DFC9150419:A79967DFC9150419</font></div><div><font face="monospace, monospace">Apr 30 10:40:30 pbx-fs-dc kernel: block drbd1: conn( SyncSource -> Connected ) pdsk( Inconsistent -> UpToDate )</font></div><div><font face="monospace, monospace">Apr 30 10:40:31 pbx-fs-dc Filesystem(RecFS02)[41112]: ERROR: Couldn't unmount /data/rec02; trying cleanup with KILL</font></div><div><font face="monospace, monospace">Apr 30 10:40:31 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: sending signal KILL to: root      5756  5664  0 09:47 pts/0    Ss+    0:00 -bash</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc Filesystem(RecFS02)[41112]: INFO: unmounted /data/rec02 successfully</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ umount: /data/rec02: target is busy. ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [         (In some cases useful info about processes that use ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [          the device is found by lsof(8) or fuser(1)) ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ ocf-exit-reason:Couldn't unmount /data/rec02; trying cleanup with TERM ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ umount: /data/rec02: target is busy. ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [         (In some cases useful info about processes that use ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [          the device is found by lsof(8) or fuser(1)) ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ ocf-exit-reason:Couldn't unmount /data/rec02; trying cleanup with TERM ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ umount: /data/rec02: target is busy. ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [         (In some cases useful info about processes that use ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [          the device is found by lsof(8) or fuser(1)) ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ ocf-exit-reason:Couldn't unmount /data/rec02; trying cleanup with TERM ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ umount: /data/rec02: target is busy. ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [         (In some cases useful info about processes that use ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [          the device is found by lsof(8) or fuser(1)) ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc lrmd[3812]: notice: operation_finished: RecFS02_stop_0:41112:stderr [ ocf-exit-reason:Couldn't unmount /data/rec02; trying cleanup with KILL ]</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation RecFS02_stop_0: ok (node=pbx-fs-cluster-dc, call=130, rc=0, cib-update=72, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=132, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc kernel: block drbd2: role( Primary -> Secondary )</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc kernel: block drbd2: bitmap WRITE of 2 pages took 0 jiffies</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc kernel: block drbd2: 2080 KB (520 bits) marked out-of-sync by on disk bit-map.</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_demote_0: ok (node=pbx-fs-cluster-dc, call=133, rc=0, cib-update=73, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=134, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:32 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=135, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:35 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=136, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:35 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=137, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_notify_0: ok (node=pbx-fs-cluster-dc, call=138, rc=0, cib-update=0, confirmed=true)</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc crmd[3815]: notice: process_lrm_event: Operation Rec02Data_monitor_60000: ok (node=pbx-fs-cluster-dc, call=139, rc=0, cib-update=74, confirmed=false)</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Handshake successful: Agreed network protocol version 101</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Agreed to support TRIM on protocol level</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: conn( WFConnection -> WFReportParams )</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Starting ack_recv thread (from drbd_r_rec02 [19050])</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: drbd_sync_handshake:</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: self 71B04D381988A024:8D0BCDF6F65527CA:914700D99A398BB8:914600D99A398BB9 bits:520 flags:0</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: peer E8F800BB587A0E57:8D0BCDF6F65527CA:914700D99A398BB9:914600D99A398BB9 bits:0 flags:0</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: uuid_compare()=100 by rule 90</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: helper command: /sbin/drbdadm initial-split-brain minor-2</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: helper command: /sbin/drbdadm initial-split-brain minor-2 exit code 0 (0x0)</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: Split-Brain detected but unresolved, dropping connection!</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: helper command: /sbin/drbdadm split-brain minor-2</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: block drbd2: helper command: /sbin/drbdadm split-brain minor-2 exit code 0 (0x0)</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: conn( WFReportParams -> Disconnecting )</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: error receiving ReportState, e: -5 l: 0!</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: ack_receiver terminated</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Terminating drbd_a_rec02</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Connection closed</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: conn( Disconnecting -> StandAlone )</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: receiver terminated</font></div><div><font face="monospace, monospace">Apr 30 10:40:36 pbx-fs-dc kernel: drbd rec02: Terminating drbd_r_rec02</font></div></div><div><br></div><div><br></div><div>Can you help please ?</div><div><br></div><div>Regards</div><div>Adam Kusmirek</div><div><br></div><div><br></div></div>