<div dir="ltr">Hi All,<div><br></div><div>> pacemakerd -$<br></div><div>Pacemaker 1.1.15-11.el7<br><br>> corosync -v<br>Corosync Cluster Engine, version '2.4.0'<br><br>> rpm -qi libqb<br>Name        : libqb<br>Version     : 1.0.1<br></div><div><br></div><div>Please assist. Recently faced a strange bug (I suppose), when one of the cluster nodes gets different from others "Ring ID" for example after corosync config reload , e.g.:</div><div><br></div><div></div><div><br><b>Affected node:</b><br>============<br>(target.standby)> sudo corosync-quorumtool <br>Quorum information<br>------------------<br>Date:             Tue Jan 26 01:58:54 2021<br>Quorum provider:  corosync_votequorum<br>Nodes:            5<br>Node ID:          5<br>Ring ID:          <b>7/59268</b> <<<<<<<<br>Quorate:          Yes<br><br>Votequorum information<br>----------------------<br>Expected votes:   5<br>Highest expected: 5<br>Total votes:      5<br>Quorum:           3  <br>Flags:            Quorate <br><br>Membership information<br>----------------------<br>    Nodeid      Votes Name<br>         7          1 dispatching-sbc<br>         8          1 dispatching-sbc-2-6<br>         3          1 10.27.77.202<br>         5          1 cassandra-3 (local)<br>         6          1 10.27.77.205<br><br>============<br><br><b>OK nodes:</b><br>> sudo corosync-quorumtool<br>Quorum information<br>------------------<br>Date:             Tue Jan 26 01:59:13 2021<br>Quorum provider:  corosync_votequorum<br>Nodes:            4<br>Node ID:          8<br>Ring ID:          <b>7/59300</b> <<<<<<<<br>Quorate:          Yes<br><br>Votequorum information<br>----------------------<br>Expected votes:   5<br>Highest expected: 5<br>Total votes:      4<br>Quorum:           3  <br>Flags:            Quorate <br><br>Membership information<br>----------------------<br>    Nodeid      Votes Name<br>         7          1 10.27.77.106<br>         8          1 10.27.77.107 (local)<br>         3          1 10.27.77.202<br>         6          1 10.27.77.205<br>============<br><br><br>Also strange is that <b>crm status shows only two of five nodes</b> on the affected node, but at the same time<br><b>"sudo crm_node -l" shows all 5 nodes as members</b>.<br>============<br>(target.standby)> sudo crm_node -l<br>5 target.standby member<br>7 target.dsbc1 member<br>3 target.sip member<br>8 target.dsbc member<br>6 target.sec.sip member<br><br>-------<br><br>(target.standby)> sudo crm status<br>Stack: corosync<br>Current DC: target.sip (version 1.1.15-11.el7-e174ec8) - partition with quorum<br>Last updated: Tue Jan 26 02:08:02 2021          Last change: Mon Jan 25 14:27:18 2021 by root via crm_node on target.sec.sip<br><br>2 nodes and 7 resources configured<br><br>Online: [ target.sec.sip target.sip ] <<<<<<<br><br>Full list of resources:<br>============<br><br>The issue here is that crm configure operations fail with timeout error:<br>============<br>(target.standby)> sudo crm configure property maintenance-mode=true<br><b>Call cib_apply_diff failed (-62): Timer expired</b><br>ERROR: could not patch cib (rc=62)<br>INFO: offending xml diff: <diff format="2"><br>  <change operation="modify" path="/cib/configuration/crm_config/cluster_property_set[@id=&apos;cib-bootstrap-options&apos;]/nvpair[@id=&apos;cib-bootstrap-options-maintenance-mode&apos;]"><br>    <change-list><br>      <change-attr name="value" operation="set" value="true"/><br>    </change-list><br>    <change-result><br>      <nvpair name="maintenance-mode" value="true" id="cib-bootstrap-options-maintenance-mode"/><br>    </change-result><br>  </change><br></diff><br>============<br><br><br>In the log there are errors that totem is unable to form a cluster:<br>============<br>(target.standby)</div><div><br><b>First entry seems caused by node reloading (corosync-cfgtool -R):</b></div><div><b><br></b>Jan 26 01:40:35 [13190] destination-standby corosync notice  [CFG   ] Config reload requested by node 7<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] removing dynamic member 10.27.77.106 for ring 0<br>Jan 26 01:40:35 [13190] destination-standby corosync notice  [TOTEM ] removing UDPU member {10.27.77.106}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] Closing socket to: {10.27.77.106}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] removing dynamic member 10.27.77.107 for ring 0<br>Jan 26 01:40:35 [13190] destination-standby corosync notice  [TOTEM ] removing UDPU member {10.27.77.107}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] Closing socket to: {10.27.77.107}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] removing dynamic member 10.27.77.204 for ring 0<br>Jan 26 01:40:35 [13190] destination-standby corosync notice  [TOTEM ] removing UDPU member {10.27.77.204}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] Closing socket to: {10.27.77.204}<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] Configuration reloaded. Dumping actual totem config.<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] Token Timeout (5000 ms) retransmit timeout (1190 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] token hold (942 ms) retransmits before loss (4 retrans)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] join (50 ms) send_join (0 ms) consensus (6000 ms) merge (200 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] downcheck (1000 ms) fail to recv const (2500 msgs)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] seqno unchanged const (30 rotations) Maximum network MTU 1369<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] window size per rotation (50 messages) maximum messages per rotation (17 messages)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] missed count const (5 messages)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP token expired timeout (1190 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP token problem counter (2000 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP threshold (10 problem count)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP multicast threshold (100 problem count)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP automatic recovery check timeout (1000 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] RRP mode set to none.<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] heartbeat_failures_allowed (0)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [TOTEM ] max_network_delay (50 ms)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [VOTEQ ] Reading configuration (runtime: 1)<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [VOTEQ ] No nodelist defined or our node is not in the nodelist<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [VOTEQ ] ev_tracking=0, ev_tracking_barrier = 0: expected_votes = 2<br>Jan 26 01:40:35 [13190] destination-standby corosync debug   [VOTEQ ] flags: quorate: Yes Leaving: No WFA Status: No First: No Qdevice: No QdeviceAlive: No QdeviceCastVote: No QdeviceMasterWins: No<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] got nodeinfo message from cluster node 8<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] nodeinfo message[8]: votes: 1, expected: 5 flags: 1<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] flags: quorate: Yes Leaving: No WFA Status: No First: No Qdevice: No QdeviceAlive: No QdeviceCastVote: No QdeviceMasterWins: No<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] total_votes=5, expected_votes=2<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] Sending expected votes callback<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] node 3 state=1, votes=1, expected=5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] node 5 state=1, votes=1, expected=5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] node 6 state=1, votes=1, expected=5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] node 7 state=1, votes=1, expected=5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] node 8 state=1, votes=1, expected=5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] lowest node id: 3 us: 5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] highest node id: 8 us: 5<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] got nodeinfo message from cluster node 8<br>Jan 26 01:40:35 [13191] destination-standby corosync debug   [VOTEQ ] nodeinfo message[0]: votes: 0, expected: 0 flags: 0<br>Jan 26 01:40:38 [13191] destination-standby corosync error   [TOTEM ] FAILED TO RECEIVE<br>Jan 26 01:40:38 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 6(failed to receive).<br>Jan 26 01:40:44 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 0(consensus timeout).<br>Jan 26 01:40:48 [13240] destination-standby       crmd:    debug: throttle_cib_load:    cib load: 0.000333 (1 ticks in 30s)<br>Jan 26 01:40:48 [13240] destination-standby       crmd:    debug: throttle_load_avg:    Current load is 1.010000 (full: 1.01 0.52 0.45 2/471 10513)<br>Jan 26 01:40:48 [13240] destination-standby       crmd:    debug: throttle_io_load:     Current IO load is 0.000000<br>Jan 26 01:40:55 [13191] destination-standby corosync debug   [TOTEM ] The consensus timeout expired.<br>Jan 26 01:40:55 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 3(The consensus timeout expired.).<br>Jan 26 01:41:06 [13191] destination-standby corosync debug   [TOTEM ] The consensus timeout expired.<br>Jan 26 01:41:06 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 3(The consensus timeout expired.).<br>Jan 26 01:41:17 [13191] destination-standby corosync debug   [TOTEM ] The consensus timeout expired.<br>Jan 26 01:41:17 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 3(The consensus timeout expired.).<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [QB    ] IPC credentials authenticated (13191-14633-16)<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [QB    ] connecting to client [14633]<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [QB    ] shm size:1048589; real_size:1052672; rb->word_size:263168<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [QB    ] shm size:1048589; real_size:1052672; rb->word_size:263168<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [QB    ] shm size:1048589; real_size:1052672; rb->word_size:263168<br>Jan 26 01:41:18 [13191] destination-standby corosync debug   [MAIN  ] connection created<br>Jan 26 01:41:18 [13240] destination-standby       crmd:    debug: throttle_cib_load:    cib load: 0.000000 (0 ticks in 30s)<br>Jan 26 01:41:18 [13240] destination-standby       crmd:    debug: throttle_load_avg:    Current load is 1.360000 (full: 1.36 0.64 0.49 1/475 14633)<br>Jan 26 01:41:18 [13240] destination-standby       crmd:    debug: throttle_io_load:     Current IO load is 0.000000<br>Jan 26 01:41:28 [13191] destination-standby corosync debug   [TOTEM ] The consensus timeout expired.<br>Jan 26 01:41:28 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 3(The consensus timeout expired.).<br>Jan 26 01:41:28 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br>Jan 26 01:41:30 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br></div><div><br>Jan 26 02:10:42 [13191] destination-standby corosync warning [MAIN  ] <b>Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.</b><br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: crm_client_new:       Connecting 0x560a4bef1f60 for uid=0 gid=0 pid=6916 id=5a414534-bc62-4544-a5d2-6deb772a6b49<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: handle_new_connection:        IPC credentials authenticated (13235-6916-13)<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_ipcs_shm_connect:  connecting to client [6916]<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: cib_acl_enabled:      CIB ACL is disabled<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_ipcs_dispatch_connection_request:  HUP conn (13235-6916-13)<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_ipcs_disconnect:   qb_ipcs_disconnect(13235-6916-13) state:2<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: crm_client_destroy:   Destroying 0 events<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-response-13235-6916-13-header<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-event-13235-6916-13-header<br>Jan 26 02:10:42 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-request-13235-6916-13-header<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: crm_client_new:       Connecting 0x55ce3bb0e6f0 for uid=0 gid=0 pid=6919 id=3a72b777-daa0-4b0e-acc2-fc58a07f31a6<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: handle_new_connection:        IPC credentials authenticated (13240-6919-13)<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: qb_ipcs_shm_connect:  connecting to client [6919]<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:42 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:44 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_ipcs_dispatch_connection_request:  HUP conn (13240-6125-14)<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_ipcs_disconnect:   qb_ipcs_disconnect(13240-6125-14) state:2<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: crm_client_destroy:   Destroying 0 events<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-response-13240-6125-14-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-event-13240-6125-14-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-request-13240-6125-14-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: crm_client_new:       Connecting 0x55ce3bb22960 for uid=0 gid=0 pid=6928 id=039044f3-e674-4afa-9857-47459d1f0d0a<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: handle_new_connection:        IPC credentials authenticated (13240-6928-14)<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_ipcs_shm_connect:  connecting to client [6928]<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_open_2: shm size:131085; real_size:135168; rb->word_size:33792<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: crm_client_new:       Connecting 0x560a4bef1f60 for uid=0 gid=0 pid=6928 id=45726483-e7b8-4ed5-8388-c6e8578d3366<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: handle_new_connection:        IPC credentials authenticated (13235-6928-13)<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_ipcs_shm_connect:  connecting to client [6928]<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_open_2: shm size:524301; real_size:528384; rb->word_size:132096<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: cib_acl_enabled:      CIB ACL is disabled<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_ipcs_dispatch_connection_request:  HUP conn (13235-6928-13)<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_ipcs_disconnect:   qb_ipcs_disconnect(13235-6928-13) state:2<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: crm_client_destroy:   Destroying 0 events<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-response-13235-6928-13-header<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-event-13235-6928-13-header<br>Jan 26 02:10:44 [13235] destination-standby        cib:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-cib_rw-request-13235-6928-13-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_ipcs_dispatch_connection_request:  HUP conn (13240-6928-14)<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_ipcs_disconnect:   qb_ipcs_disconnect(13240-6928-14) state:2<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: crm_client_destroy:   Destroying 0 events<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-response-13240-6928-14-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-event-13240-6928-14-header<br>Jan 26 02:10:44 [13240] destination-standby       crmd:    debug: qb_rb_close_helper:   Free'ing ringbuffer: /dev/shm/qb-crmd-request-13240-6928-14-header<br>Jan 26 02:10:45 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br>Jan 26 02:10:47 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br>Jan 26 02:10:48 [13191] destination-standby corosync debug   [TOTEM ] The consensus timeout expired.<br>Jan 26 02:10:48 [13191] destination-standby corosync debug   [TOTEM ] entering GATHER state from 3(The consensus timeout expired.).<br>Jan 26 02:10:48 [13191] destination-standby corosync warning [MAIN  ] Totem is unable to form a cluster because of an operating system or network fault. The most common cause of this message is that the local firewall is configured improperly.<br>============<br><br>(target.standby)> cat /etc/corosync/corosync.conf<br>totem {<br>        token: 5000<br>        version: 2<br>        secauth: off<br>        threads: 0<br>        interface {<br>                ringnumber: 0<br>                mcastport: 5405<br>                bindnetaddr: 10.27.77.204<br>        }<br>        transport: udpu<br>}<br><br>nodelist {<br>        node {<br>            ring0_addr: 10.27.77.202<br>            name: target.sip<br>            nodeid: 3<br><br>        }<br>        node {<br>            ring0_addr: 10.27.77.205<br>            name: target.sec.sip<br>            nodeid: 6<br><br>        }<br>        node {<br>            ring0_addr: 10.27.77.106<br>            name: target.dsbc1<br>            nodeid: 7<br><br>        }<br>        node {<br>            ring0_addr: 10.27.77.107<br>            name: target.dsbc<br>            nodeid: 8<br><br>        }<br>        node {<br>            ring0_addr: 10.27.77.204<br>            name: target.standby<br>            nodeid: 5<br><br>        }<br>}<br><br>logging {<br>        fileline: off<br>        to_stderr: no<br>        to_logfile: yes<br>        to_syslog: no<br>        logfile: /var/<a href="http://10.27.77.204/log/cluster-suite/corosync.log">10.27.77.204/log/cluster-suite/corosync.log</a><br>        syslog_facility: local0<br>        debug: on<br>        timestamp: on<br>        logger_subsys {<br>                subsys: QUORUM<br>                debug: on<br>        }<br>}<br><br>quorum {<br>        provider: corosync_votequorum<br>        expected_votes: 5<br>}<br><br>===================<br><br>(target.standby)> ping 10.27.77.106 (target.dsbc1)<br>PING 10.27.77.106 (10.27.77.106) 56(84) bytes of data.<br>64 bytes from <a href="http://10.27.77.106">10.27.77.106</a>: icmp_seq=1 ttl=64 time=0.177 ms<br>64 bytes from <a href="http://10.27.77.106">10.27.77.106</a>: icmp_seq=2 ttl=64 time=0.173 ms<br><br>===================<br><br>> sudo nmap -sU -p 5405 10.27.77.106<br><br>Starting Nmap 6.40 ( <a href="http://nmap.org">http://nmap.org</a> ) at 2021-01-26 02:24 UTC<br>Nmap scan report for dispatching-sbc (10.27.77.106)<br>Host is up (0.00029s latency).<br>PORT     STATE         SERVICE<br>5405/udp open|filtered unknown<br><br>=========<br><br>My observation showed that it can be fixed by stopping all nodes and starting one by one.<br>Or restart of the affected node may help as well.</div><div>Nodes see each other when Ring ID is equal on all nodes.<br><br>Do you have any ideas?<br></div><div>Could you explain what is Ring ID in terms of corosync-quorum (rrp is not configured)?</div><div>Why does it differ?</div><div>What additional info may I provide if reproduced again?</div><div><br></div><div>It is reproduced sporadically, sometimes the issue is combined with 100% CPU usage by corosync also required to restart pacemaker/corosync on the affected node and sometimes all nodes. In this particular case CPU usage is normal.</div></div>