<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Hi Jiaqi,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Which OS version do you use and which crmsh version do you use?<br>
I highly recommend you update your crmsh to latest version.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Besides that, did you mean you already have <span style="color: rgb(32, 31, 30); font-family: Arial, Helvetica, sans-serif; font-size: 13.3333px; background-color: rgb(255, 255, 255); display: inline !important;">ceha03 and <span style="background-color:rgb(255, 255, 255);display:inline !important">ceha04
 nodes running the cluster service?</span></span></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<span style="color:rgb(32, 31, 30);font-family:Arial, Helvetica, sans-serif;font-size:13.3333px;background-color:rgb(255, 255, 255);display:inline !important"><span style="background-color:rgb(255, 255, 255);display:inline !important">From ha-cluster-bootstrapceha03.log,
 I can't see you have record of init cluster successfully.</span></span></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<span style="color:rgb(32, 31, 30);font-family:Arial, Helvetica, sans-serif;font-size:13.3333px;background-color:rgb(255, 255, 255);display:inline !important"><span style="background-color:rgb(255, 255, 255);display:inline !important"><br>
</span></span></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<span style="color:rgb(32, 31, 30);font-family:Arial, Helvetica, sans-serif;font-size:13.3333px;background-color:rgb(255, 255, 255);display:inline !important"><span style="background-color:rgb(255, 255, 255);display:inline !important">Ideally, you should run:</span></span></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<ol>
<li><span style="color:rgb(32, 31, 30);font-family:Arial, Helvetica, sans-serif;font-size:13.3333px;background-color:rgb(255, 255, 255);display:inline !important"><span style="background-color:rgb(255, 255, 255);display:inline !important">on ceha03:    crm
 cluster init -y</span></span></li><li>on ceha01:   crm cluster join -c ceha03 -y<br>
</li></ol>
<span style="color:rgb(32, 31, 30);font-family:Arial, Helvetica, sans-serif;font-size:13.3333px;background-color:rgb(255, 255, 255);display:inline !important"><span style="background-color:rgb(255, 255, 255);display:inline !important"></span></span></div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Users <users-bounces@clusterlabs.org> on behalf of Jiaqi Tian1 <Dylan.Jiaqi.Tian@ibm.com><br>
<b>Sent:</b> Tuesday, October 27, 2020 12:15 AM<br>
<b>To:</b> users@clusterlabs.org <users@clusterlabs.org><br>
<b>Subject:</b> Re: [ClusterLabs] Adding a node to an active cluster</font>
<div> </div>
</div>
<div>
<div class="x_socmaildefaultfont" dir="ltr" style="font-family:Arial,Helvetica,sans-serif; font-size:10pt">
<div dir="ltr">Hi Xin,</div>
<div dir="ltr">I have ceha03 and ceha04 in cluster and trying to add ceha01 to the cluster. Running crm cluster join -c ceha03 -y on ceha01. Here are logs in ceha03 and ceha01. the log file in ceha04 is empty.</div>
<div dir="ltr"> </div>
<div dir="ltr">Thanks,</div>
<div dir="ltr">Jiaqi</div>
<div dir="ltr"> </div>
<blockquote dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px">
----- Original message -----<br>
From: Xin Liang <XLiang@suse.com><br>
Sent by: "Users" <users-bounces@clusterlabs.org><br>
To: "users@clusterlabs.org" <users@clusterlabs.org><br>
Cc:<br>
Subject: [EXTERNAL] Re: [ClusterLabs] Adding a node to an active cluster<br>
Date: Mon, Oct 26, 2020 8:43 AM<br>
 <br>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Hi Jiaqi</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
 </div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Could you give me your "/var/log/crmsh/ha-cluster-bootstrap.log" or "/var/log/ha-cluster-bootstrap.log" on these 3 nodes?</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
 </div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Thanks</div>
<div id="x_appendonsend"> </div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div dir="ltr" id="x_divRplyFwdMsg"><font color="#000000" face="Calibri, sans-serif" style="font-size:11pt"><b>From:</b> Users <users-bounces@clusterlabs.org> on behalf of Jiaqi Tian1 <Dylan.Jiaqi.Tian@ibm.com><br>
<b>Sent:</b> Saturday, October 24, 2020 5:48 AM<br>
<b>To:</b> users@clusterlabs.org <users@clusterlabs.org><br>
<b>Subject:</b> Re: [ClusterLabs] Adding a node to an active cluster</font>
<div> </div>
</div>
<div>
<div dir="ltr" style="font-family:Arial,Helvetica,sans-serif; font-size:10pt">
<div dir="ltr">Hi,</div>
<div dir="ltr">Thank you for your suggestion. The case I have is, I have host1 and host2 in cluster that has resources running, then I try to join host3 to the cluster by running "crm cluster join -c host1 -y". But I get this "Configuring csync2...ERROR: cluster.join:
 Can't invoke crm cluster init init csync2_remote on host3" issue. Are there any other requirements for running this command?</div>
<div dir="ltr"> </div>
<div dir="ltr">Thanks</div>
<div dir="ltr"> </div>
<div dir="ltr">Jiaqi Tian</div>
<div dir="ltr"> </div>
<blockquote dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px">
----- Original message -----<br>
From: Xin Liang <XLiang@suse.com><br>
Sent by: "Users" <users-bounces@clusterlabs.org><br>
To: Cluster Labs - All topics related to open-source clustering welcomed <users@clusterlabs.org><br>
Cc:<br>
Subject: [EXTERNAL] Re: [ClusterLabs] Adding a node to an active cluster<br>
Date: Wed, Oct 21, 2020 9:44 PM<br>
 
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Hi Jiaqi,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
 </div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Assuming you already have node1 running resources, you can try to run this command on node2:</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
 </div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
"crm cluster join -c node1 -y"</div>
<div id="x_x_appendonsend"> </div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div dir="ltr" id="x_x_divRplyFwdMsg"><font color="#000000" face="Calibri, sans-serif" style="font-size:11pt"><b>From:</b> Users <users-bounces@clusterlabs.org> on behalf of Jiaqi Tian1 <Dylan.Jiaqi.Tian@ibm.com><br>
<b>Sent:</b> Wednesday, October 21, 2020 10:03 PM<br>
<b>To:</b> users@clusterlabs.org <users@clusterlabs.org><br>
<b>Subject:</b> [ClusterLabs] Adding a node to an active cluster</font>
<div> </div>
</div>
<div>
<div dir="ltr" style="font-family:Arial,Helvetica,sans-serif; font-size:10pt">
<div dir="ltr">
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
Hi,</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
I'm trying to add a new node into an active pacemaker cluster with resources up and running.</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
After steps:</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
1. update corosync.conf files among all hosts in cluster including the new node</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
2. copy corosync auth file to the new node</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
3. enable corosync and pacemaker on the new node </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
4. adding the new node to the list of node in /var/lib/pacemaker/cib/cib.xml</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
 </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
Then I run crm status, the new node is displayed as offline. It will not become online, unless we run restart corosync and pacemaker on all nodes in cluster. But this is not what we want, since we want to keep existing nodes and resources up and running. Also
 in this case crm_node -l doesn't list the new node.</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
 </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
So my question is:</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
 </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
1. Is there another approach to have the existing nodes aware of the new node and have crm status indicates the node is online while keeping other nodes and resources up and running?</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
2. which config file crm_node command reads?</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
 </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
Thanks,</div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
 </div>
<div dir="ltr" style="outline:none; color:rgb(18,18,18); font-family:Arial,Helvetica,sans-serif; font-size:13.3333px; font-style:normal; font-variant-ligatures:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; orphans:2; text-align:start; text-indent:0px; text-transform:none; white-space:normal; widows:2; word-spacing:0px; background-color:rgb(255,255,255); text-decoration-style:initial; text-decoration-color:initial">
Jiaqi Tian</div>
</div>
</div>
</div>
<div><font face="Default Monospace,Courier New,Courier,monospace" size="2">_______________________________________________<br>
Manage your subscription:<br>
<a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a> <br>
<br>
ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a> </font></div>
</blockquote>
<div dir="ltr"> </div>
</div>
</div>
<div><font face="Default Monospace,Courier New,Courier,monospace" size="2">_______________________________________________<br>
Manage your subscription:<br>
<a href="https://lists.clusterlabs.org/mailman/listinfo/users" target="_blank">https://lists.clusterlabs.org/mailman/listinfo/users</a> <br>
<br>
ClusterLabs home: <a href="https://www.clusterlabs.org/" target="_blank">https://www.clusterlabs.org/</a> </font></div>
</blockquote>
<div dir="ltr"> </div>
</div>
<br>
</div>
</body>
</html>