<div dir="ltr">Hi,<div><br></div><div>Looking for some guidance here as we are completely blocked otherwise :(.</div><div><br></div><div>-Regards</div><div>Nikhil</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Apr 29, 2016 at 6:11 PM, Sriram <span dir="ltr"><<a href="mailto:sriram.ec@gmail.com" target="_blank">sriram.ec@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Corrected the subject.<br><br></div>We went ahead and captured corosync debug logs for our ppc board.<br></div><div>After log analysis and comparison with the sucessful logs( from x86 machine) , <br>we didnt find <b> "[ MAIN  ] Completed service synchronization, ready to provide service.</b>" in ppc logs.<br></div><div>So, looks like corosync is not in a position to accept connection from Pacemaker. <br></div><div>Even I tried with the new corosync.conf with no success. <br></div><div><br>Any hints on this issue would be really helpful. <br><br></div><div>Attaching ppc_notworking.log, x86_working.log, corosync.conf.<br><br></div><div>Regards,<br></div><div>Sriram<br><br><br></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Apr 29, 2016 at 2:44 PM, Sriram <span dir="ltr"><<a href="mailto:sriram.ec@gmail.com" target="_blank">sriram.ec@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div>Hi,<br><br></div>I went ahead and made some changes in file system(Like I brought in /etc/init.d/corosync and /etc/init.d/pacemaker, /etc/sysconfig ), After that I was able to run  "pcs cluster start".<br></div>But it failed with the following error <br> # pcs cluster start<br>Starting Cluster...<br>Starting Pacemaker Cluster Manager[FAILED]<br>Error: unable to start pacemaker<br></div><br>And in the /var/log/pacemaker.log, I saw these errors<br>pacemakerd:     info: mcp_read_config:  cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 4s<br>Apr 29 08:53:47 [15863] node_cu pacemakerd:     info: mcp_read_config:  cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 5s<br>Apr 29 08:53:52 [15863] node_cu pacemakerd:  warning: mcp_read_config:  Could not connect to Cluster Configuration Database API, error 6<br>Apr 29 08:53:52 [15863] node_cu pacemakerd:   notice: main:     Could not obtain corosync config data, exiting<br>Apr 29 08:53:52 [15863] node_cu pacemakerd:     info: crm_xml_cleanup:  Cleaning up memory from libxml2<br><br><br></div>And in the /var/log/Debuglog, I saw these errors coming from corosync<br>20160429 <a href="tel:085347.487050" value="+4985347487050" target="_blank">085347.487050</a> airv_cu daemon.warn corosync[12857]:   [QB    ] Denied connection, is not ready (12857-15863-14)<br>20160429 <a href="tel:085347.487067" value="+4985347487067" target="_blank">085347.487067</a> airv_cu <a href="http://daemon.info" target="_blank">daemon.info</a> corosync[12857]:   [QB    ] Denied connection, is not ready (12857-15863-14)<br><br><div><div><div><div><br></div><div>I browsed the code of libqb to find that it is failing in <br><br><a href="https://github.com/ClusterLabs/libqb/blob/master/lib/ipc_setup.c" target="_blank">https://github.com/ClusterLabs/libqb/blob/master/lib/ipc_setup.c</a><br><br></div><div>Line 600 : <br>handle_new_connection function<br><br>Line 637:<br>if (auth_result == 0 && c->service->serv_fns.connection_accept) {<br>        res = c->service->serv_fns.connection_accept(c,<br>                                 c->euid, c->egid);<br>    }<br>    if (res != 0) {<br>        goto send_response;<br>    }<br></div><div><br></div><div>Any hints on this issue would be really helpful for me to go ahead.<br></div><div>Please let me know if any logs are required,<br><br></div><div>Regards,<br></div><div>Sriram<br></div></div></div></div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 28, 2016 at 2:42 PM, Sriram <span dir="ltr"><<a href="mailto:sriram.ec@gmail.com" target="_blank">sriram.ec@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div>Thanks Ken and Emmanuel. <br></div>Its a big endian machine. I will try with running "pcs cluster setup" and "pcs cluster start"<br></div>Inside cluster.py, "service pacemaker start" and "service corosync start" are executed to bring up pacemaker and corosync.<br></div>Those service scripts and the infrastructure needed to bring up the processes in the above said manner doesn't exist in my board.<br></div>As it is a embedded board with the limited memory, full fledged linux is not installed.<br></div>Just curious to know, what could be reason the pacemaker throws that error.<span><br><br><i>"cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 1s"<br><br></i></span></div>Thanks for response.<br><br></div>Regards,<br></div>Sriram.<br></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 28, 2016 at 8:55 AM, Ken Gaillot <span dir="ltr"><<a href="mailto:kgaillot@redhat.com" target="_blank">kgaillot@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span>On 04/27/2016 11:25 AM, emmanuel segura wrote:<br>
> you need to use pcs to do everything, pcs cluster setup and pcs<br>
> cluster start, try to use the redhat docs for more information.<br>
<br>
</span>Agreed -- pcs cluster setup will create a proper corosync.conf for you.<br>
Your corosync.conf below uses corosync 1 syntax, and there were<br>
significant changes in corosync 2. In particular, you don't need the<br>
file created in step 4, because pacemaker is no longer launched via a<br>
corosync plugin.<br>
<div><div><br>
> 2016-04-27 17:28 GMT+02:00 Sriram <<a href="mailto:sriram.ec@gmail.com" target="_blank">sriram.ec@gmail.com</a>>:<br>
>> Dear All,<br>
>><br>
>> I m trying to use pacemaker and corosync for the clustering requirement that<br>
>> came up recently.<br>
>> We have cross compiled corosync, pacemaker and pcs(python) for ppc<br>
>> environment (Target board where pacemaker and corosync are supposed to run)<br>
>> I m having trouble bringing up pacemaker in that environment, though I could<br>
>> successfully bring up corosync.<br>
>> Any help is welcome.<br>
>><br>
>> I m using these versions of pacemaker and corosync<br>
>> [root@node_cu pacemaker]# corosync -v<br>
>> Corosync Cluster Engine, version '2.3.5'<br>
>> Copyright (c) 2006-2009 Red Hat, Inc.<br>
>> [root@node_cu pacemaker]# pacemakerd -$<br>
>> Pacemaker 1.1.14<br>
>> Written by Andrew Beekhof<br>
>><br>
>> For running corosync, I did the following.<br>
>> 1. Created the following directories,<br>
>>     /var/lib/pacemaker<br>
>>     /var/lib/corosync<br>
>>     /var/lib/pacemaker<br>
>>     /var/lib/pacemaker/cores<br>
>>     /var/lib/pacemaker/pengine<br>
>>     /var/lib/pacemaker/blackbox<br>
>>     /var/lib/pacemaker/cib<br>
>><br>
>><br>
>> 2. Created a file called corosync.conf under /etc/corosync folder with the<br>
>> following contents<br>
>><br>
>> totem {<br>
>><br>
>>         version: 2<br>
>>         token:          5000<br>
>>         token_retransmits_before_loss_const: 20<br>
>>         join:           1000<br>
>>         consensus:      7500<br>
>>         vsftype:        none<br>
>>         max_messages:   20<br>
>>         secauth:        off<br>
>>         cluster_name:   mycluster<br>
>>         transport:      udpu<br>
>>         threads:        0<br>
>>         clear_node_high_bit: yes<br>
>><br>
>>         interface {<br>
>>                 ringnumber: 0<br>
>>                 # The following three values need to be set based on your<br>
>> environment<br>
>>                 bindnetaddr: 10.x.x.x<br>
>>                 mcastaddr: 226.94.1.1<br>
>>                 mcastport: 5405<br>
>>         }<br>
>>  }<br>
>><br>
>>  logging {<br>
>>         fileline: off<br>
>>         to_syslog: yes<br>
>>         to_stderr: no<br>
>>         to_syslog: yes<br>
>>         logfile: /var/log/corosync.log<br>
>>         syslog_facility: daemon<br>
>>         debug: on<br>
>>         timestamp: on<br>
>>  }<br>
>><br>
>>  amf {<br>
>>         mode: disabled<br>
>>  }<br>
>><br>
>>  quorum {<br>
>>         provider: corosync_votequorum<br>
>>  }<br>
>><br>
>> nodelist {<br>
>>   node {<br>
>>         ring0_addr: node_cu<br>
>>         nodeid: 1<br>
>>        }<br>
>> }<br>
>><br>
>> 3.  Created authkey under /etc/corosync<br>
>><br>
>> 4.  Created a file called pcmk under /etc/corosync/service.d and contents as<br>
>> below,<br>
>>       cat pcmk<br>
>>       service {<br>
>>          # Load the Pacemaker Cluster Resource Manager<br>
>>          name: pacemaker<br>
>>          ver:  1<br>
>>       }<br>
>><br>
>> 5. Added the node name "node_cu" in /etc/hosts with 10.X.X.X ip<br>
>><br>
>> 6. ./corosync -f -p & --> this step started corosync<br>
>><br>
>> [root@node_cu pacemaker]# netstat -alpn | grep -i coros<br>
>> udp        0      0 10.X.X.X:61841     0.0.0.0:*<br>
>> 9133/corosync<br>
>> udp        0      0 10.X.X.X:5405      0.0.0.0:*<br>
>> 9133/corosync<br>
>> unix  2      [ ACC ]     STREAM     LISTENING     148888 9133/corosync<br>
>> @quorum<br>
>> unix  2      [ ACC ]     STREAM     LISTENING     148884 9133/corosync<br>
>> @cmap<br>
>> unix  2      [ ACC ]     STREAM     LISTENING     148887 9133/corosync<br>
>> @votequorum<br>
>> unix  2      [ ACC ]     STREAM     LISTENING     148885 9133/corosync<br>
>> @cfg<br>
>> unix  2      [ ACC ]     STREAM     LISTENING     148886 9133/corosync<br>
>> @cpg<br>
>> unix  2      [ ]         DGRAM                    148840 9133/corosync<br>
>><br>
>> 7. ./pacemakerd -f & gives the following error and exits.<br>
>> [root@node_cu pacemaker]# pacemakerd -f<br>
>> cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 1s<br>
>> cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 2s<br>
>> cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 3s<br>
>> cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 4s<br>
>> cmap connection setup failed: CS_ERR_TRY_AGAIN.  Retrying in 5s<br>
>> Could not connect to Cluster Configuration Database API, error 6<br>
>><br>
>> Can you please point me, what is missing in these steps ?<br>
>><br>
>> Before trying these steps, I tried running "pcs cluster start", but that<br>
>> command fails with "service" script not found. As the root filesystem<br>
>> doesn't contain either /etc/init.d/ or /sbin/service<br>
>><br>
>> So, the plan is to bring up corosync and pacemaker manually, later do the<br>
>> cluster configuration using "pcs" commands.<br>
>><br>
>> Regards,<br>
>> Sriram<br>
>><br>
>> _______________________________________________<br>
>> Users mailing list: <a href="mailto:Users@clusterlabs.org" target="_blank">Users@clusterlabs.org</a><br>
>> <a href="http://clusterlabs.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://clusterlabs.org/mailman/listinfo/users</a><br>
>><br>
>> Project Home: <a href="http://www.clusterlabs.org" rel="noreferrer" target="_blank">http://www.clusterlabs.org</a><br>
>> Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" rel="noreferrer" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
>> Bugs: <a href="http://bugs.clusterlabs.org" rel="noreferrer" target="_blank">http://bugs.clusterlabs.org</a><br>
>><br>
><br>
><br>
><br>
<br>
<br>
_______________________________________________<br>
Users mailing list: <a href="mailto:Users@clusterlabs.org" target="_blank">Users@clusterlabs.org</a><br>
<a href="http://clusterlabs.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://clusterlabs.org/mailman/listinfo/users</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" rel="noreferrer" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" rel="noreferrer" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" rel="noreferrer" target="_blank">http://bugs.clusterlabs.org</a><br>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div></div></div></div>
<br>_______________________________________________<br>
Users mailing list: <a href="mailto:Users@clusterlabs.org">Users@clusterlabs.org</a><br>
<a href="http://clusterlabs.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://clusterlabs.org/mailman/listinfo/users</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" rel="noreferrer" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" rel="noreferrer" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" rel="noreferrer" target="_blank">http://bugs.clusterlabs.org</a><br>
<br></blockquote></div><br></div>