<div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><span style="color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">Hi,</span><br></div><div dir="ltr"><p style="box-sizing:border-box;margin-bottom:16px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px;margin-top:0px">Can you help me with troubleshooting postgres pacemaker cluster failure?<br style="box-sizing:border-box">Today cluster failed without promoting secondary to master. At the same time appeared ldap time out.<br style="box-sizing:border-box">Here are the logs, master was stopped by pacemaker at 10:03:40 AM UTC.<br style="box-sizing:border-box">Thank you in advance.</p><p style="box-sizing:border-box;margin-bottom:16px;margin-top:0px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">corosync.log</p><blockquote style="box-sizing:border-box;margin:0px 0px 16px;border-left:0.25em solid rgb(223,226,229);color:rgb(106,115,125);padding:0px 1em;font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><p style="box-sizing:border-box;margin-bottom:0px;margin-top:0px">Apr 17 10:03:34 master crmd[12481]: notice: State transition S_IDLE -> S_POLICY_ENGINE [ input=I_PE_CALC cause=C_FSA_INTERNAL origin=abort_transition_graph ]<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: On loss of CCM Quorum: Ignore<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for fencing-secondary on master: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for fencing-master on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for PGSQL:1 on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing fencing-secondary away from master after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing fencing-master away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: Recover PGSQL:1     (Slave secondary)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: Calculated Transition 3461: /var/lib/pacemaker/pengine/pe-input-58.bz2<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: On loss of CCM Quorum: Ignore<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for fencing-secondary on master: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for fencing-master on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Processing failed op monitor for PGSQL:1 on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing fencing-secondary away from master after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing fencing-master away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing PGSQL-HA away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: warning: Forcing PGSQL-HA away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: Stop PGSQL:1 (secondary)<br style="box-sizing:border-box">Apr 17 10:03:34 master pengine[12480]: notice: Calculated Transition 3462: /var/lib/pacemaker/pengine/pe-input-59.bz2<br style="box-sizing:border-box">Apr 17 10:03:40 master lrmd[12477]: warning: PGSQL_monitor_15000 process (PID 32372) timed out<br style="box-sizing:border-box">Apr 17 10:03:40 master lrmd[12477]: warning: PGSQL_monitor_15000:32372 - timed out after 10000ms<br style="box-sizing:border-box">Apr 17 10:03:40 master crmd[12481]: notice: Transition aborted by PGSQL_monitor_15000 'modify' on master: Old event (magic=2:1;8:7:8:319e4083-ccc0-440a-ae43-1bbd39275fe7, cib=0.93.14, source=process_graph_event:605, 0)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32400-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32400]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32400-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32400-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-response-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-event-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-request-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32400-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32400]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32400-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32400-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-response-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-event-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-request-23321-32400-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32393]: DEBUG: _get_controldata: found: {<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32393]: DEBUG: pgsql_notify: environment variables: {<br style="box-sizing:border-box">Apr 17 10:03:40 master crmd[12481]: notice: Operation PGSQL_notify_0: ok (node=master, call=52, rc=0, cib-update=0, confirmed=true)<br style="box-sizing:border-box">Apr 17 10:03:40 master crmd[12481]: notice: Transition 3462 (Complete=5, Pending=0, Fired=0, Skipped=1, Incomplete=6, Source=/var/lib/pacemaker/pengine/pe-input-59.bz2): Stopped<br style="box-sizing:border-box">Apr 17 10:03:40 master nslcd[1518]: [d7e446] <group(all)> ldap_result() timed out<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: notice: On loss of CCM Quorum: Ignore<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Processing failed op monitor for fencing-secondary on master: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Processing failed op monitor for PGSQL:0 on master: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Processing failed op monitor for fencing-master on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Processing failed op monitor for PGSQL:1 on secondary: unknown error (1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing PGSQL-HA away from master after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing PGSQL-HA away from master after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing fencing-secondary away from master after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing fencing-master away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing PGSQL-HA away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: warning: Forcing PGSQL-HA away from secondary after 1 failures (max=1)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: notice: Stop AWSVIP     (master)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: notice: Demote PGSQL:0 (Master -> Stopped master)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: notice: Stop PGSQL:1      (secondary)<br style="box-sizing:border-box">Apr 17 10:03:40 master pengine[12480]: notice: Calculated Transition 3463: /var/lib/pacemaker/pengine/pe-input-60.bz2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32414-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32414]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32414-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32414-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-response-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-event-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-request-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32414-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32414]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32414-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32414-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-response-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-event-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-request-23321-32414-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _get_controldata: found: {<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: pgsql_notify: environment variables: {<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_isready -h /var/run/postgresql/ -p 5432"<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: pgsql_monitor: instance "PGSQL" is listening<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _query: SELECT pg_is_in_recovery()<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _query: psql return code: 0<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _query: <a class="m_998500370574971983m_-3592071083694406879gmail-user-mention" href="https://github.com/res" style="box-sizing:border-box;background-color:transparent;color:rgb(36,41,46);text-decoration-line:none;font-weight:600;white-space:nowrap" target="_blank">@res</a>: [<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32407]: DEBUG: _confirm_role: instance PGSQL is a primary<br style="box-sizing:border-box">Apr 17 10:03:40 master crmd[12481]: notice: Operation PGSQL_notify_0: ok (node=master, call=53, rc=0, cib-update=0, confirmed=true)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32438-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32438]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32438-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32438-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-response-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-event-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cpg-request-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] IPC credentials authenticated (23321-32438-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] connecting to client [32438]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: message repeated 2 times: [ [QB ] shm size:1048589; real_size:1052672; rb->word_size:263168]<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] HUP conn (23321-32438-25)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] qb_ipcs_disconnect(23321-32438-25) state:2<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] epoll_ctl(del): Bad file descriptor (9)<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-response-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-event-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master corosync[23321]: [QB ] Free'ing ringbuffer: /dev/shm/qb-cmap-request-23321-32438-25-header<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _get_controldata: found: {<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_isready -h /var/run/postgresql/ -p 5432"<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: pgsql_monitor: instance "PGSQL" is listening<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _query: SELECT pg_is_in_recovery()<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _query: psql return code: 0<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _query: <a class="m_998500370574971983m_-3592071083694406879gmail-user-mention" href="https://github.com/res" style="box-sizing:border-box;background-color:transparent;color:rgb(36,41,46);text-decoration-line:none;font-weight:600;white-space:nowrap" target="_blank">@res</a>: [<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _confirm_role: instance PGSQL is a primary<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: pgsql_demote: "PGSQL" currently running as a primary<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _get_action_timeout: known timeout: 120<br style="box-sizing:border-box">Apr 17 10:03:40 master pgsqlms(PGSQL)[32431]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_ctl --pgdata /var/lib/postgresql/9.5/main --mode fast -w --timeout 180 stop"<br style="box-sizing:border-box">Apr 17 10:03:40 master <a href="mailto:postgresql@9.5-main" style="box-sizing:border-box;background-color:transparent;color:rgb(3,102,214);text-decoration-line:none" target="_blank">postgresql@9.5-main</a>[32458]: Cluster is not running.<br style="box-sizing:border-box">Apr 17 10:03:40 master systemd[1]: <a href="mailto:postgresql@9.5-main.service" style="box-sizing:border-box;background-color:transparent;color:rgb(3,102,214);text-decoration-line:none" target="_blank">postgresql@9.5-main.service</a>: Control process exited, code=exited status=2<br style="box-sizing:border-box">Apr 17 10:03:40 master systemd[1]: <a href="mailto:postgresql@9.5-main.service" style="box-sizing:border-box;background-color:transparent;color:rgb(3,102,214);text-decoration-line:none" target="_blank">postgresql@9.5-main.service</a>: Unit entered failed state.<br style="box-sizing:border-box">Apr 17 10:03:40 master systemd[1]: <a href="mailto:postgresql@9.5-main.service" style="box-sizing:border-box;background-color:transparent;color:rgb(3,102,214);text-decoration-line:none" target="_blank">postgresql@9.5-main.service</a>: Failed with result 'exit-code'.<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_isready -h /var/run/postgresql/ -p 5432"<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: pgsql_monitor: instance "PGSQL" is not listening<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_isready -h /var/run/postgresql/ -p 5432"<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: pgsql_monitor: instance "PGSQL" is not listening<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _get_controldata: found: {<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: pgsql_start: instance "PGSQL" is not running, starting it as a secondary<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _create_recovery_conf: get replication configuration from the template file "/etc/postgresql/9.5/main/recovery.conf.pcmk"<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _create_recovery_conf: write the replication configuration to "/var/lib/postgresql/9.5/main/recovery.conf" file<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _get_action_timeout: known timeout: 120<br style="box-sizing:border-box">Apr 17 10:03:41 master pgsqlms(PGSQL)[32431]: DEBUG: _runas: launching as "postgres" command "/usr/lib/postgresql/9.5/bin/pg_ctl --pgdata /var/lib/postgresql/9.5/main -w --timeout 180 s</p></blockquote><p style="box-sizing:border-box;margin-bottom:16px;margin-top:0px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">postgres.log</p><blockquote style="box-sizing:border-box;margin:0px 0px 16px;border-left:0.25em solid rgb(223,226,229);color:rgb(106,115,125);padding:0px 1em;font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><p style="box-sizing:border-box;margin-bottom:0px;margin-top:0px">2019-04-17 10:03:40 UTC LOG: received fast shutdown request<br style="box-sizing:border-box">2019-04-17 10:03:40 UTC LOG: aborting any active transactions<br style="box-sizing:border-box">2019-04-17 10:03:40 UTC FATAL: terminating connection due to administrator command<br style="box-sizing:border-box">2019-04-17 10:03:40 UTC LOG: autovacuum launcher shutting down<br style="box-sizing:border-box">2019-04-17 10:03:40 UTC LOG: shutting down<br style="box-sizing:border-box">2019-04-17 10:03:40 UTC LOG: database system is shut down<br style="box-sizing:border-box"><a href="https://github.com/ClusterLabs/resource-agents/files/3089787/syslog_1704.txt" style="box-sizing:border-box;background-color:transparent;color:rgb(3,102,214);text-decoration-line:none" target="_blank">syslog_1704.txt</a></p></blockquote><p style="box-sizing:border-box;margin-bottom:16px;margin-top:0px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">Installed packages:</p><blockquote style="box-sizing:border-box;margin:0px 0px 16px;border-left:0.25em solid rgb(223,226,229);color:rgb(106,115,125);padding:0px 1em;font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><p style="box-sizing:border-box;margin-bottom:0px;margin-top:0px">hi corosync 2.3.5-3ubuntu2.1 amd64 cluster engine daemon and utilities<br style="box-sizing:border-box">ii libcorosync-common4:amd64 2.3.5-3ubuntu2.1 amd64 cluster engine common library<br style="box-sizing:border-box">hi crmsh 2.2.0-1 amd64 CRM shell for the pacemaker cluster manager<br style="box-sizing:border-box">hi pacemaker 1.1.14-2ubuntu1.4 amd64 cluster resource manager<br style="box-sizing:border-box">ii pacemaker-cli-utils 1.1.14-2ubuntu1.4 amd64 cluster resource manager command line utilities<br style="box-sizing:border-box">ii pacemaker-common 1.1.14-2ubuntu1.4 all cluster resource manager common files<br style="box-sizing:border-box">ii pacemaker-resource-agents 1.1.14-2ubuntu1.4 all cluster resource manager general resource agents</p></blockquote><p style="box-sizing:border-box;margin-bottom:16px;margin-top:0px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">OS version:</p><blockquote style="box-sizing:border-box;margin:0px 0px 16px;border-left:0.25em solid rgb(223,226,229);color:rgb(106,115,125);padding:0px 1em;font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><p style="box-sizing:border-box;margin-bottom:0px;margin-top:0px">Distributor ID:        Ubuntu<br style="box-sizing:border-box">Description:    Ubuntu 16.04.5 LTS<br style="box-sizing:border-box">Release:    16.04<br style="box-sizing:border-box">Codename:        xenial</p></blockquote><p style="box-sizing:border-box;margin-bottom:16px;margin-top:0px;color:rgb(36,41,46);font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px">Cluster configuration:</p><blockquote style="box-sizing:border-box;margin:0px;border-left:0.25em solid rgb(223,226,229);color:rgb(106,115,125);padding:0px 1em;font-family:-apple-system,system-ui,"Segoe UI",Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:14px"><p style="box-sizing:border-box;margin-bottom:0px;margin-top:0px">node 1: secondary <br style="box-sizing:border-box">attributes master-PGSQL=1000<br style="box-sizing:border-box">node 2: master <br style="box-sizing:border-box">attributes master-PGSQL=1001<br style="box-sizing:border-box">primitive AWSVIP awsvip <br style="box-sizing:border-box">params secondary_private_ip=10.x.x.x api_delay=5<br style="box-sizing:border-box">primitive PGSQL pgsqlms <br style="box-sizing:border-box">params pgdata="/var/lib/postgresql/9.5/main" bindir="/usr/lib/postgresql/9.5/bin" pghost="/var/run/postgresql/" recovery_template="/etc/postgresql/9.5/main/recovery.conf.pcmk" start_opts="-c config_file=/etc/postgresql/9.5/main/postgresql.conf" <br style="box-sizing:border-box">op start timeout=60s interval=0 <br style="box-sizing:border-box">op stop timeout=60s interval=0 <br style="box-sizing:border-box">op promote timeout=15s interval=0 <br style="box-sizing:border-box">op demote timeout=120s interval=0 <br style="box-sizing:border-box">op monitor interval=15s timeout=10s role=Master <br style="box-sizing:border-box">op monitor interval=16s timeout=10s role=Slave <br style="box-sizing:border-box">op notify timeout=60 interval=0<br style="box-sizing:border-box">primitive fencing-master stonith:external/ec2 <br style="box-sizing:border-box">params port=master <br style="box-sizing:border-box">op start interval=0s timeout=60s <br style="box-sizing:border-box">op monitor interval=360s timeout=60s <br style="box-sizing:border-box">op stop interval=0s timeout=60s<br style="box-sizing:border-box">primitive fencing-secondary stonith:external/ec2 <br style="box-sizing:border-box">params port=secondary <br style="box-sizing:border-box">op start interval=0s timeout=60s <br style="box-sizing:border-box">op monitor interval=360s timeout=60s <br style="box-sizing:border-box">op stop interval=0s timeout=60s<br style="box-sizing:border-box">ms PGSQL-HA PGSQL <br style="box-sizing:border-box">meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true interleave=true<br style="box-sizing:border-box">colocation IPAWSIP-WITH-MASTER inf: AWSVIP PGSQL-HA:Master<br style="box-sizing:border-box">order demote-then-stop-ip Mandatory: <em style="box-sizing:border-box">rsc_set</em> PGSQL-HA:demote AWSVIP:stop symmetrical=false<br style="box-sizing:border-box">location loc-fence-master fencing-master -inf: master<br style="box-sizing:border-box">location loc-fence-secondary fencing-secondary -inf: secondary<br style="box-sizing:border-box">order promote-then-ip Mandatory: <em style="box-sizing:border-box">rsc_set</em> PGSQL-HA:promote AWSVIP:start symmetrical=false<br style="box-sizing:border-box">property cib-bootstrap-options: <br style="box-sizing:border-box">have-watchdog=false <br style="box-sizing:border-box">dc-version=1.1.14-70404b0 <br style="box-sizing:border-box">cluster-infrastructure=corosync <br style="box-sizing:border-box">cluster-name=cgc-staging-psql <br style="box-sizing:border-box">stonith-enabled=true <br style="box-sizing:border-box">no-quorum-policy=ignore <br style="box-sizing:border-box">last-lrm-refresh=1555497766 <br style="box-sizing:border-box">maintenance-mode=false<br style="box-sizing:border-box">rsc_defaults rsc-options: <br style="box-sizing:border-box">resource-stickiness=10 <br style="box-sizing:border-box">migration-threshold=1</p></blockquote></div></div></div>