<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
{mso-style-priority:99;
mso-style-link:"Balloon Text Char";
margin:0in;
margin-bottom:.0001pt;
font-size:8.0pt;
font-family:"Tahoma","sans-serif";}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
{mso-style-priority:34;
margin-top:0in;
margin-right:0in;
margin-bottom:0in;
margin-left:.5in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
span.BalloonTextChar
{mso-style-name:"Balloon Text Char";
mso-style-priority:99;
mso-style-link:"Balloon Text";
font-family:"Tahoma","sans-serif";}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Hi,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We’re having an issue with our cluster where after a reboot of our system a location constraint reappears for the ClusterIP. This causes a problem, because we have a daemon that checks the cluster state and waits until the ClusterIP is
started before it kicks off our application. We didn’t have this issue when using an earlier version of pacemaker. Here is the constraint as shown by pcs:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# pcs constraint<o:p></o:p></p>
<p class="MsoNormal">Location Constraints:<o:p></o:p></p>
<p class="MsoNormal"> Resource: ClusterIP<o:p></o:p></p>
<p class="MsoNormal"> Disabled on: g5se-f3efce (role: Started)<o:p></o:p></p>
<p class="MsoNormal">Ordering Constraints:<o:p></o:p></p>
<p class="MsoNormal">Colocation Constraints:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">…and here is our cluster status with the ClusterIP being Stopped:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# pcs status<o:p></o:p></p>
<p class="MsoNormal">Cluster name: cl-g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">Last updated: Thu Feb 18 11:36:01 2016<o:p></o:p></p>
<p class="MsoNormal">Last change: Thu Feb 18 10:48:33 2016 via crm_resource on g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">Stack: cman<o:p></o:p></p>
<p class="MsoNormal">Current DC: g5se-f3efce - partition with quorum<o:p></o:p></p>
<p class="MsoNormal">Version: 1.1.11-97629de<o:p></o:p></p>
<p class="MsoNormal">1 Nodes configured<o:p></o:p></p>
<p class="MsoNormal">4 Resources configured<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Online: [ g5se-f3efce ]<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Full list of resources:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">sw-ready-g5se-f3efce (ocf::pacemaker:GBmon): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">meta-data (ocf::pacemaker:GBmon): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">netmon (ocf::heartbeat:ethmonitor): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">ClusterIP (ocf::heartbeat:IPaddr2): Stopped<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The cluster really just has one node at this time.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I retrieve the constraint ID, remove the constraint, verify that ClusterIP is started, and then reboot:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# pcs constraint ref ClusterIP<o:p></o:p></p>
<p class="MsoNormal">Resource: ClusterIP<o:p></o:p></p>
<p class="MsoNormal"> cli-ban-ClusterIP-on-g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# pcs constraint remove cli-ban-ClusterIP-on-g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# pcs status<o:p></o:p></p>
<p class="MsoNormal">Cluster name: cl-g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">Last updated: Thu Feb 18 11:45:09 2016<o:p></o:p></p>
<p class="MsoNormal">Last change: Thu Feb 18 11:44:53 2016 via crm_resource on g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">Stack: cman<o:p></o:p></p>
<p class="MsoNormal">Current DC: g5se-f3efce - partition with quorum<o:p></o:p></p>
<p class="MsoNormal">Version: 1.1.11-97629de<o:p></o:p></p>
<p class="MsoNormal">1 Nodes configured<o:p></o:p></p>
<p class="MsoNormal">4 Resources configured<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Online: [ g5se-f3efce ]<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Full list of resources:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">sw-ready-g5se-f3efce (ocf::pacemaker:GBmon): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">meta-data (ocf::pacemaker:GBmon): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">netmon (ocf::heartbeat:ethmonitor): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal">ClusterIP (ocf::heartbeat:IPaddr2): Started g5se-f3efce<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# reboot<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">….after reboot, log in, and the constraint is back and ClusterIP has not started.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have noticed in /var/lib/pacemaker/cib that the cib-x.raw files get created when there are changes to the cib (cib.xml). After a reboot, I see the constraint being added in a diff between .raw files:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@g5se-f3efce cib]# diff cib-7.raw cib-8.raw<o:p></o:p></p>
<p class="MsoNormal">1c1<o:p></o:p></p>
<p class="MsoNormal">< <cib epoch="239" num_updates="0" admin_epoch="0" validate-with="pacemaker-1.2" cib-last-written="Thu Feb 18 11:44:53 2016" update-origin="g5se-f3efce" update-client="crm_resource" crm_feature_set="3.0.9" have-quorum="1" dc-uuid="g5se-f3efce"><o:p></o:p></p>
<p class="MsoNormal">---<o:p></o:p></p>
<p class="MsoNormal">> <cib epoch="240" num_updates="0" admin_epoch="0" validate-with="pacemaker-1.2" cib-last-written="Thu Feb 18 11:46:49 2016" update-origin="g5se-f3efce" update-client="crm_resource" crm_feature_set="3.0.9" have-quorum="1" dc-uuid="g5se-f3efce"><o:p></o:p></p>
<p class="MsoNormal">50c50,52<o:p></o:p></p>
<p class="MsoNormal">< <constraints/><o:p></o:p></p>
<p class="MsoNormal">---<o:p></o:p></p>
<p class="MsoNormal">> <constraints><o:p></o:p></p>
<p class="MsoNormal">> <rsc_location id="cli-ban-ClusterIP-on-g5se-f3efce" rsc="ClusterIP" role="Started" node="g5se-f3efce" score="-INFINITY"/><o:p></o:p></p>
<p class="MsoNormal">> </constraints><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have also looked in /var/log/cluster/corosync.log and seen logs where it seems the cib is getting updated. I’m not sure if the constraint is being put back in at shutdown or at start up. I just don’t understand why it’s being put back
in. I don’t think our daemon code or other scripts are doing this, but it is something I could verify.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">********************************<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">From “yum info pacemaker”, my current version is:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Name : pacemaker<o:p></o:p></p>
<p class="MsoNormal">Arch : x86_64<o:p></o:p></p>
<p class="MsoNormal">Version : 1.1.12<o:p></o:p></p>
<p class="MsoNormal">Release : 8.el6_7.2<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">My earlier version was:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Name : pacemaker<o:p></o:p></p>
<p class="MsoNormal">Arch : x86_64<o:p></o:p></p>
<p class="MsoNormal">Version : 1.1.10<o:p></o:p></p>
<p class="MsoNormal">Release : 1.el6_4.4<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I’m still using an earlier version pcs, because the new one seems to have issues with python:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Name : pcs<o:p></o:p></p>
<p class="MsoNormal">Arch : noarch<o:p></o:p></p>
<p class="MsoNormal">Version : 0.9.90<o:p></o:p></p>
<p class="MsoNormal">Release : 1.0.1.el6.centos<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">*******************************<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">If anyone has ideas on the cause or thoughts on this, anything would be greatly appreciated.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks!<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><span style="font-family:"Arial","sans-serif";color:black">Jeremy Matthews</span></b><span style="font-size:13.5pt;color:black"> <br>
<br>
</span><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>