<div>Could you use vxlan to create an overlay network, then use a floating ip managed by the cluster on the overlay network, using that as a dependency for service managing the floating ip from azure?  I haven't fully thought through this and it might be a tad hacky, but it feels like it should work.<br></div><div><br></div><div>I wrote something a while back to use vxlan to create a layer2 in gcp and aws: <a href="https://github.com/TassatGroup/manage_vxlan">https://github.com/TassatGroup/manage_vxlan</a><br></div><div class="protonmail_signature_block protonmail_signature_block-empty"><div class="protonmail_signature_block-user protonmail_signature_block-empty"></div><div class="protonmail_signature_block-proton protonmail_signature_block-empty"></div></div><div><br></div><div><br></div><div class="protonmail_quote"><div>‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br></div><div>On Thursday, October 28th, 2021 at 08:43, Paul Warwicker <paul.warwicker@gmail.com> wrote:<br></div></div><div><br></div><blockquote type="cite" class="protonmail_quote"><p>Hello,<br></p><p>I originally posted this in the Azure forums first but have had
      no replies. Trying here instead in case anyone has encountered it.<br></p><p>I am trying to setup up a High Availability Cluster in Azure
      using CentOS 8, Pacemaker and Corosync. Everything is deployed
      using terraform.<br></p><p>For our application, we need to migrate a floating IP address, a
      shared storage and our daemon between nodes. These resources are
      grouped into a service and these are successfully migrating
      between nodes as required. We are also using a private DNS zone
      and there is no firewall on either server. There is a DNS entry
      for the floating IP and that is resolvable by both servers and
      client.<br></p><p>The problem is that floating IP address is only pingable on the
      server which has the floating IP address assigned as a secondary
      address. All other nodes in the same subnet will get the error
      Destination Host Unreachable, but pings to the primary address
      will succeed. All the IP addresses are in the same subnet
      (172.16.31.0/24). Auto-registration is enabled for the servers and
      client which makes up the test environment. The floating address
      was a somewhat arbitrary choice, but remains in that same subnet
      and would not be otherwise allocated. I mentioned the auto
      registration because the floating IP is <b>not</b> auto-registered.<br></p><p>If I migrate the service to the other server node, the roles are
      reversed, the server which could not ping the address can now do
      so and the server which could, cannot.<br></p><p>Any insight would be welcome.<br></p><p>Additional detail considering the audience:<br></p><div style="color: rgb(212, 212, 212); background-color: rgb(30, 30, 30); font-family: Consolas, "Courier New", monospace; font-weight: normal; font-size: 14px; line-height: 19px; white-space: pre; --darkreader-inline-color: #cdc8c2; --darkreader-inline-bgcolor: #171819;" data-darkreader-inline-color="" data-darkreader-inline-bgcolor=""><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs host auth -u hacluster -p ******** haswmfs-lin-vm-000 haswmfs-lin-vm-001</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs cluster setup haswmfs haswmfs-lin-vm-000 haswmfs-lin-vm-001</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs cluster enable --all</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs cluster start --all</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">sleep 30</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs property set stonith-enabled=false</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs resource create haswmfs-fs ocf:heartbeat:Filesystem device=/dev/sdc directory=/mnt/smallworld fstype=xfs</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs resource create haswmfs-daemon lsb:smallworld_GIS</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs resource create haswmfs-ip ocf:heartbeat:IPaddr2 ip=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">var</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">virtual_ip</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> cidr_netmask=24 nic=eth0 iflabel=haswmfs op monitor interval=30s</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs resource group add haswmfs-service haswmfs-ip haswmfs-daemon haswmfs-fs</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">fence_azure_arm -l </span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">var</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">app_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> -p </span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">external</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">service_principal</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">result</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">password</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> --resourceGroup </span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">var</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">resource_group_name</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> --tenantId </span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">azurerm_client_config</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">current</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">tenant_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> --subscriptionId </span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">azurerm_client_config</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">current</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">subscription_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> -o list</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs stonith create haswmfs-fence fence_azure_arm login=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">var</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">app_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> passwd=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">external</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">service_principal</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">result</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">password</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> resourceGroup=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">var</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">resource_group_name</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">  tenantId=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">azurerm_client_config</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">current</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">tenant_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> subscriptionId=</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">${</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">data</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">azurerm_client_config</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">current</span><span style="color: rgb(212, 212, 212); --darkreader-inline-color: #cdc8c2;" data-darkreader-inline-color="">.</span><span style="color: rgb(156, 220, 254); --darkreader-inline-color: #87d5fe;" data-darkreader-inline-color="">subscription_id</span><span style="color: rgb(86, 156, 214); --darkreader-inline-color: #60a4d8;" data-darkreader-inline-color="">}</span><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color=""> pcmk_host_list="haswmfs-lin-vm-000 haswmfs-lin-vm-001" power_timeout=240 pcmk_reboot_timeout=480 pcmk_reboot_retries=4 pcmk_reboot_action=reboot # op monitor interval=60s</span> <br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs property set stonith-enabled=true</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs property config --all | egrep "stonith|quorum"</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">sleep 60</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs cluster verify --full # should be blank if ok</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">crm_verify -LV # should be blank if ok</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs cluster config</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs resource config haswmfs-service</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs stonith config</span><br></div><div><span style="color: rgb(206, 145, 120); --darkreader-inline-color: #cf947b;" data-darkreader-inline-color="">pcs status</span><br></div></div><p>As mentioned in the original post, everything is failing over as
      expected and the only issue is the pinging of the virtual IP.<br></p><p>Thanks<br></p><div>-paul<br></div></blockquote><div><br></div>