<html>
  <head>
    <meta content="text/html; charset=windows-1252"
      http-equiv="Content-Type">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    Hello,<br>
    <br>
    We've also setup a fairly large cluster - 24 nodes / 348 resources
    (pacemaker 1.1.12, corosync 1.4.7) - and pacemaker 1.1.12 is
    definitely the minimum version you'll want, thanks to changes on how
    the CIB is handled.<br>
    <br>
    If you're going to handle a large number (~several hundreds) of
    resources as well, you may need to concern yourself with the CIB
    size as well.<br>
    <br>
    You may want to have a look at pp.17-18 of the document I wrote to
    describre our setup:
    <a class="moz-txt-link-freetext" href="http://cedric.dufour.name/cv/download/idiap_havc2.pdf">http://cedric.dufour.name/cv/download/idiap_havc2.pdf</a><br>
    <br>
    Currently, I would consider that with 24 nodes / 348 resources, we
    are close to the limit of what our cluster can handle, the
    bottleneck being CPU(core) power for CIB/CRM handling. Our "worst
    performing nodes" (out of the 24 in the cluster) are Xeon E7-2830 @
    2.13GHz.<br>
    The main issue we currently face in when a DC is taken out and a new
    one must be elected: CPU goes 100% for several tens of seconds (even
    minutes), during which the cluster is totally unresponsive.
    Fortunately, resources themselves just seat tight and remain
    available (I can't say about those who would need to be migrated
    because being colocated with the DC; we manually avoid that
    situation when performing maintenance that may affect the DC)<br>
    <br>
    I'm looking forwards to migrate to corosync 2+ (there are some
    backports available for debian/Jessie) and see it this would allow
    to push the limit further. Unfortunately, I can't say for sure as I
    have only a limited understanding of how Pacemaker/Corosync work and
    where CPU is bond to become a bottleneck.<br>
    <br>
    'Hope it can help,<br>
    <br>
    Cédric<br>
    <br>
    <div class="moz-cite-prefix">On 04/11/15 23:26, Radoslaw Garbacz
      wrote:<br>
    </div>
    <blockquote
cite="mid:CAHBw7oTbEQpJH5VEYsyOrqAHXiv2rDxcbiG+u0N2BFzBbj+OCg@mail.gmail.com"
      type="cite">
      <div dir="ltr">Thank you, will give it a try.<br>
      </div>
      <div class="gmail_extra"><br>
        <div class="gmail_quote">On Wed, Nov 4, 2015 at 12:50 PM, Trevor
          Hemsley <span dir="ltr"><<a moz-do-not-send="true"
              href="mailto:themsley@voiceflex.com" target="_blank">themsley@voiceflex.com</a>></span>
          wrote:<br>
          <blockquote class="gmail_quote" style="margin:0 0 0
            .8ex;border-left:1px #ccc solid;padding-left:1ex"><span
              class="">On 04/11/15 18:41, Radoslaw Garbacz wrote:<br>
              > Details:<br>
              > OS: CentOS 6<br>
              > Pacemaker: Pacemaker 1.1.9-1512.el6<br>
              > Corosync: Corosync Cluster Engine, version '2.3.2'<br>
              <br>
            </span>yum update<br>
            <br>
            Pacemaker is currently 1.1.12 and corosync 1.4.7 on CentOS
            6. There were<br>
            major improvements in speed with later versions of
            pacemaker.<br>
            <br>
            Trevor<br>
            <br>
            _______________________________________________<br>
            Pacemaker mailing list: <a moz-do-not-send="true"
              href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
            <a moz-do-not-send="true"
              href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker"
              rel="noreferrer" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
            <br>
            Project Home: <a moz-do-not-send="true"
              href="http://www.clusterlabs.org" rel="noreferrer"
              target="_blank">http://www.clusterlabs.org</a><br>
            Getting started: <a moz-do-not-send="true"
              href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf"
              rel="noreferrer" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
            Bugs: <a moz-do-not-send="true"
              href="http://bugs.clusterlabs.org" rel="noreferrer"
              target="_blank">http://bugs.clusterlabs.org</a><br>
          </blockquote>
        </div>
        <br>
        <br clear="all">
        <br>
        -- <br>
        <div class="gmail_signature">
          <div dir="ltr">
            <div>Best Regards,<br>
              <br>
              Radoslaw Garbacz<br>
            </div>
            XtremeData Incorporation<br>
          </div>
        </div>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
Pacemaker mailing list: <a class="moz-txt-link-abbreviated" href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a>
<a class="moz-txt-link-freetext" href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a>

Project Home: <a class="moz-txt-link-freetext" href="http://www.clusterlabs.org">http://www.clusterlabs.org</a>
Getting started: <a class="moz-txt-link-freetext" href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a>
Bugs: <a class="moz-txt-link-freetext" href="http://bugs.clusterlabs.org">http://bugs.clusterlabs.org</a>
</pre>
    </blockquote>
    <br>
  </body>
</html>