<br><br><div class="gmail_quote">2012/4/18 Andreas Kurz <span dir="ltr"><<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On 04/17/2012 09:31 PM, ruslan usifov wrote:<br>
><br>
><br>
> 2012/4/17 Proskurin Kirill <<a href="mailto:k.proskurin@corp.mail.ru">k.proskurin@corp.mail.ru</a><br>
> <mailto:<a href="mailto:k.proskurin@corp.mail.ru">k.proskurin@corp.mail.ru</a>>><br>
<div class="im">><br>
>     On 04/17/2012 03:46 PM, ruslan usifov wrote:<br>
><br>
>         2012/4/17 Andreas Kurz <<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a><br>
</div>>         <mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>> <mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a><br>
<div><div class="h5">>         <mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>>>><br>
><br>
><br>
>            On 04/14/2012 11:14 PM, ruslan usifov wrote:<br>
>             > Hello<br>
>             ><br>
>             > I remove 2 nodes from cluster, with follow sequence:<br>
>             ><br>
>             > crm_node --force -R <id of node1><br>
>             > crm_node --force -R <id of node2><br>
>             > cibadmin --delete --obj_type nodes --crm_xml '<node<br>
>         uname="node1"/>'<br>
>             > cibadmin --delete --obj_type status --crm_xml '<node_state<br>
>            uname="node1"/>'<br>
>             > cibadmin --delete --obj_type nodes --crm_xml '<node<br>
>         uname="node2"/>'<br>
>             > cibadmin --delete --obj_type status --crm_xml '<node_state<br>
>            uname="node2"/>'<br>
>             ><br>
>             ><br>
>             > Nodes after this deleted, but if for example i restart<br>
>         (reboot)<br>
>            one of<br>
>             > existent nodes in working cluster, this deleted nodes<br>
>         appear again in<br>
>             > OFFLINE state<br>
><br>
><br>
>     I have this problem some time ago.<br>
>     I "solved" it something like that:<br>
><br>
>     crm node delete NODENAME<br>
>     crm_node --force --remove NODENAME<br>
>     cibadmin --delete --obj_type nodes --crm_xml '<node uname="NODENAME"/>'<br>
>     cibadmin --delete --obj_type status --crm_xml '<node_state<br>
>     uname="NODENAME"/>'<br>
><br>
>     --<br>
><br>
><br>
> I do the same, but some times after cluster reconfiguration (node failed<br>
> due power supply failure) removed nodes appear again, and this happens<br>
> 3-4 times<br>
<br>
</div></div>And the same behavior if you switch your cluster into maintenance-mode<br>
(to avoid service downtime) and stop/start pacemaker and corosync<br>
completely?<br>
<div class="im HOEnZb"><br></div></blockquote></div><br>We will have maintenance window at this Friday (20.04.2012) so after that i can report more info.<br><br>PS: I had similar situation on other cluster some times ago, and there i fully restart cluster and problem reproduced. But after some time(about 1-2 week) not existent nodes have ceased to appear<br>