
<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div>Hello,</div><div><br></div><div>I have a mysql resource (ocf:heartbeat:mysql) that has failed after playing a bit with the configuration and now it is stopped logging messages like these every 15 minutes:</div><div><br></div><div><div><i>Jul 27 05:00:10 eol1 pengine: [16643]: notice: unpack_rsc_op: Hard error - p_mysqld_left_start_0 failed with rc=5: Preventing p_mysqld_left from re-starting on eol1</i></div><div><i>Jul 27 05:00:10 eol1 pengine: [16643]: notice: unpack_rsc_op: Hard error - p_mysqld_left_start_0 failed with rc=5: Preventing p_mysqld_left from re-starting on eol2</i></div></div><div><br></div><div>If I try to cleanup the resource nothing happens:</div><div><br></div><div><div><i>[root@eol1 ~]# crm resource cleanup p_mysqld_left</i></div><div><i>Cleaning up p_mysqld_left on eol1</i></div><div><i>Cleaning up p_mysqld_left on eol2</i></div></div><div><i><br></i></div><div><div><i>[root@eol1 ~]# crm_mon -1</i></div><div><i>============</i></div><div><i>Last updated: Tue Jul 27 05:12:21 2010</i></div><div><i>Stack: openais</i></div><div><i>Current DC: eol1 - partition with quorum</i></div><div><i>Version: 1.0.9-89bd754939df5150de7cd76835f98fe90851b677</i></div><div><i>2 Nodes configured, 2 expected votes</i></div><div><i>4 Resources configured.</i></div><div><i>============</i></div><div><i><br></i></div><div><i>Online: [ eol1 eol2 ]</i></div><div><i><br></i></div><div><i> p_ip_stacked_left</i><span class="Apple-tab-span" style="white-space:pre"><i> </i></span><i>(ocf::heartbeat:IPaddr2):</i><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>Started eol1</i></div><div><i> Master/Slave Set: ms_drbd_left</i></div><div><i>     Masters: [ eol1 ]</i></div><div><i>     Slaves: [ eol2 ]</i></div><div><i> Master/Slave Set: ms_drbd_stacked</i></div><div><i>     Masters: [ eol1 ]</i></div><div><i> Resource Group: g_drbd_left</i></div><div><i>     p_fs_drbd_left</i><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>(ocf::heartbeat:Filesystem):</i><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>Started eol1</i></div><div><i>     p_node_activate_left</i><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>(heartbeat:node-activate):</i><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>Started eol1</i></div><div><i>     p_apache_left</i><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>(ocf::heartbeat:apache):</i><span class="Apple-tab-span" style="white-space:pre"><i>      </i></span><i>Started eol1</i></div><div><i>     p_mysqld_left</i><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>(ocf::heartbeat:mysql):</i><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>Stopped </i></div><div><i><br></i></div><div><i>Failed actions:</i></div><div><i>    p_mysqld_left_start_0 (node=eol1, call=192, rc=5, status=complete): not installed</i></div><div><i>    p_mysqld_left_start_0 (node=eol2, call=79, rc=5, status=complete): not installed</i></div><div><br></div></div><div>This is the log that it is produced when I invoke the cleanup:</div><div><br></div><div><div><i>Jul 27 05:09:46 eol1 crm_resource: [18035]: info: Invoked: crm_resource -C -r p_mysqld_left -H eol2 </i></div><div><i>Jul 27 05:10:18 eol1 cibadmin: [18069]: info: Invoked: cibadmin -Ql -o nodes </i></div><div><i>Jul 27 05:10:18 eol1 cibadmin: [18070]: info: Invoked: cibadmin -Ql -o resources </i></div><div><i>Jul 27 05:10:18 eol1 cibadmin: [18071]: info: Invoked: cibadmin -Ql -o resources </i></div><div><i>Jul 27 05:10:18 eol1 crm_resource: [18072]: info: Invoked: crm_resource -C -r p_mysqld_left -H eol1 </i></div><div><i>Jul 27 05:10:18 eol1 crmd: [16644]: notice: do_lrm_invoke: Not creating resource for a delete event: (null)</i></div><div><i>Jul 27 05:10:18 eol1 crmd: [16644]: info: send_direct_ack: ACK'ing resource op p_mysqld_left_delete_60000 from 0:0:crm-resource-18072: lrm_invoke-lrmd-1280200218-1033</i></div><div><i>Jul 27 05:10:19 eol1 cibadmin: [18074]: info: Invoked: cibadmin -Ql -o resources </i></div><div><i>Jul 27 05:10:19 eol1 cibadmin: [18075]: info: Invoked: cibadmin -Ql -o resources </i></div><div><i>Jul 27 05:10:19 eol1 crm_resource: [18076]: info: Invoked: crm_resource -C -r p_mysqld_left -H eol2 </i></div></div><div><br></div><div>I know this kind of problem must have been answered a thousand times, but all I have found googling was to cleanup the resource to force it to be restarted which seems to not work for me or to "time out" the resource, which I'm afraid I don't know exactly how it is done.</div><div><br></div><div>Do you know how could I force the mysql resource to be restarted after I have fixed the problems that generated the problem?</div><div><br></div><div>Configuration follows:</div><div><br></div><div><div><i>[root@eol1 ~]# crm configure show</i></div><div><i>node eol1 \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>attributes standby="off"</i></div><div><i>node eol2 \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>attributes standby="off"</i></div><div><i>primitive p_apache_left ocf:heartbeat:apache \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>params configfile="/etc/httpd/conf/httpd.conf" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>op monitor interval="1min" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i> </i></span><i>op start interval="0" timeout="40s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>      </i></span><i>op stop interval="0" timeout="60s"</i></div><div><i>primitive p_drbd_left ocf:linbit:drbd \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>params drbd_resource="left" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>op monitor interval="15s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>op start interval="0" timeout="240s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>op stop interval="0" timeout="100s"</i></div><div><i>primitive p_drbd_stacked ocf:linbit:drbd \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>params drbd_resource="stacked" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>op monitor interval="15s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>op start interval="0" timeout="240s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>op stop interval="0" timeout="100s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>      </i></span><i>meta is-managed="true"</i></div><div><i>primitive p_fs_drbd_left ocf:heartbeat:Filesystem \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>params device="/dev/drbd1" directory="/opt/manhattan" fstype="ext3" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>op start interval="0" timeout="60s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>      </i></span><i>op stop interval="0" timeout="60s"</i></div><div><i>primitive p_ip_stacked_left ocf:heartbeat:IPaddr2 \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>params ip="192.168.6.225" nic="eth0" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>meta target-role="Started" is-managed="true"</i></div><div><i>primitive p_mysqld_left ocf:heartbeat:mysql \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>params binary="/usr/bin/mysqld_safe" config="/etc/my.cnf" test_table="monitor.boolean" test_user="p_mon" test_passwd="p_mon" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>op monitor interval="15s" timeout="30s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>op start interval="0" timeout="120s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>op stop interval="0" timeout="120s" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>      </i></span><i>meta target-role="Started"</i></div><div><i>primitive p_node_activate_left heartbeat:node-activate \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i> </i></span><i>op monitor interval="15s"</i></div><div><i>group g_drbd_left p_fs_drbd_left p_node_activate_left p_apache_left p_mysqld_left \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>meta target-role="Started"</i></div><div><i>ms ms_drbd_left p_drbd_left \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" is-managed="true" target-role="Master"</i></div><div><i>ms ms_drbd_stacked p_drbd_stacked \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>meta master-max="1" clone-max="1" clone-node-max="1" master-node-max="1" notify="true" target-role="Master"</i></div><div><i>location cli-prefer-p_ip_stacked_left p_ip_stacked_left \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>     </i></span><i>rule $id="cli-prefer-rule-p_ip_stacked_left" inf: #uname eq eol2</i></div><div><i>colocation c_drbd_stacked_on_ip_left inf: ms_drbd_stacked p_ip_stacked_left</i></div><div><i>colocation c_g_drbd_on_ms_drbd_stacked inf: g_drbd_left ms_drbd_stacked:Master</i></div><div><i>colocation c_ip_on_left_master inf: p_ip_stacked_left ms_drbd_left:Master</i></div><div><i>order o_drbd_left_before_stacked_left inf: ms_drbd_left:promote ms_drbd_stacked:start</i></div><div><i>order o_drbd_stacked_before_g_drbd_left inf: ms_drbd_stacked:promote g_drbd_left:start</i></div><div><i>order o_ip_before_stacked_left inf: p_ip_stacked_left ms_drbd_stacked:start</i></div><div><i>property $id="cib-bootstrap-options" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>       </i></span><i>dc-version="1.0.9-89bd754939df5150de7cd76835f98fe90851b677" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>        </i></span><i>cluster-infrastructure="openais" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>   </i></span><i>expected-quorum-votes="2" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>stonith-enabled="false" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>no-quorum-policy="ignore" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>  </i></span><i>last-lrm-refresh="1279875820"</i></div><div><i>rsc_defaults $id="rsc-options" \</i></div><div><span class="Apple-tab-span" style="white-space:pre"><i>    </i></span><i>resource-stickiness="100"</i></div></div><div><br></div><div><br></div><div>Thanks in advance.</div><div><br></div><div>Best regards,</div><div><br></div><div>Rafa</div><div><br></div><div>

<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; font-family: Helvetica; font-size: 12px; "><div>-- <br>Rafael Porres Molina<br>Consultor�a y Proyectos<br>Qindel Consulting S.L.<br><br>M�vil: (+34) 678650609<br>e-mail: <a href="mailto:rafael.porres@qindel.com">rafael.porres@qindel.com</a><br>Direcci�n: c/Juli�n Camarillo 29, Edificio D2, 4�Izda, 28037 Madrid, SPAIN / ESPA�A</div><div><br></div></div><br class="Apple-interchange-newline"><br class="Apple-interchange-newline">

</div>

<br>

<br><br></body></html>