<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Sep 16, 2016 at 9:26 AM, Michal Skrivanek <span dir="ltr">&lt;<a href="mailto:michal.skrivanek@redhat.com" target="_blank">michal.skrivanek@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
&gt; On 16 Sep 2016, at 08:29, <a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a> wrote:<br>
&gt;<br>
&gt; There are more ideas?<br>
&gt;<br>
&gt; 15.09.2016, 14:40, &quot;<a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a>&quot; &lt;<a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a>&gt;:<br>
&gt;&gt; Martin, I physically turned off the server through the iLO2. See screenshots.<br>
&gt;&gt; I did not touch Virtual Machine (KOM-AD01-PBX02) at the same time.<br>
&gt;&gt; The virtual machine has been turned on at the time when the host shut down.<br>
&gt;&gt;<br>
&gt;&gt; 15.09.2016, 14:27, &quot;Martin Perina&quot; &lt;<a href="mailto:mperina@redhat.com">mperina@redhat.com</a>&gt;:<br>
&gt;&gt;&gt;  Hi,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  I found out this in the log:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  2016-09-15 12:02:04,661 INFO  [org.ovirt.engine.core.<wbr>vdsbroker.monitoring.<wbr>VmAnalyzer] (ForkJoinPool-1-worker-6) [] VM &#39;660bafca-e9c3-4191-99b4-<wbr>295ff8553488&#39;(KOM-AD01-PBX02) moved from &#39;Up&#39; --&gt; &#39;Down&#39;<br>
&gt;&gt;&gt;  2016-09-15 12:02:04,788 INFO  [org.ovirt.engine.core.dal.<wbr>dbbroker.auditloghandling.<wbr>AuditLogDirector] (ForkJoinPool-1-worker-6) [] Correlation ID: null, Call Stack: null, Custom Event ID: -1, Message: VM KOM-AD01-PBX02 is down. Exit message: User shut down from within the guest<br>
<br>
since it shut down cleanly, can you please check the guest&#39;s logs to see what triggered the shutdown? In such cases it is considered a user requested shutdown and such VMs are not restarted automatically<br></blockquote><div><br><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​That&#39;s exactly what I meant by my response. From the log it&#39;s obvious that VM was shutdown properly, so engine will not restart it on a different. host. Also on most modern hosts if you execute power management off action, a signal is sent to OS to execute ​</div> <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​regular shutdown so VMs are also shutted down properly.<br>​</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
We are aware of a similar issue on specific hw - <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1341106" rel="noreferrer" target="_blank">https://bugzilla.redhat.com/<wbr>show_bug.cgi?id=1341106</a><br>
<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  If I&#39;m not mistaken, this means that VM was properly shutted down from within itself and in that case it&#39;s not restarted automatically. So I&#39;m curious what actions have you made to make host KOM-AD01-VM31 non-responsive?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  If you want to test fencing properly, then I suggest you to either block connection between host and engine on host side and forcibly stop ovirtmgmt network interface on host and watch fencing is applied.<br></blockquote><div><br><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​Try above if you want to test fencing. Of course you can always configure firewall rule to drop all packets between engine and host or unplug host network cable​.<br><br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  Martin<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;  On Thu, Sep 15, 2016 at 1:16 PM, &lt;<a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;  engine.log for this period.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;  15.09.2016, 14:01, &quot;Martin Perina&quot; &lt;<a href="mailto:mperina@redhat.com">mperina@redhat.com</a>&gt;:<br>
&gt;&gt;&gt;&gt;&gt;  On Thu, Sep 15, 2016 at 12:47 PM, &lt;<a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;  Hi Martin.<br>
&gt;&gt;&gt;&gt;&gt;&gt;  I have a stupid question. Use Watchdog device mandatory to automatically start a virtual machine in host Fencing process?<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;  ​AFAIK it&#39;s not, but I&#39;m not na expert, adding Arik.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;  You need correct power management setup for the hosts and VM has to be marked as highly available​ for sure.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;  15.09.2016, 13:43, &quot;Martin Perina&quot; &lt;<a href="mailto:mperina@redhat.com">mperina@redhat.com</a>&gt;:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Hi,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  could you please share whole engine.log?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Thanks<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Martin Perina<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  On Thu, Sep 15, 2016 at 12:01 PM, &lt;<a href="mailto:aleksey.maksimov@it-kb.ru">aleksey.maksimov@it-kb.ru</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Hello oVirt guru`s !<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  I have oVirt Hosted Engine 4.0.3-1.el7.centos on two CentOS 7.2 hosts (HP ProLiant DL 360 G5) connected to shared FC SAN Storage.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  1. I configured Power Management for the Hosts (successfully added Fencing Agent for iLO2 from my hosts)<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  2. I created new VM (KOM-AD01-PBX02) and installed Guest OS (Ubuntu Server 16.04 LTS) and oVirt Guest Agent<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  (As described herein <a href="https://blog.it-kb.ru/2016/09/14/install-ovirt-4-0-part-2-about-data-center-iso-domain-logical-network-vlan-vm-settings-console-guest-agent-live-migration/" rel="noreferrer" target="_blank">https://blog.it-kb.ru/2016/09/<wbr>14/install-ovirt-4-0-part-2-<wbr>about-data-center-iso-domain-<wbr>logical-network-vlan-vm-<wbr>settings-console-guest-agent-<wbr>live-migration/</a>)<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;     In VM settings on &quot;High Availability&quot; I turned on the option &quot;Highly Available&quot; and change &quot;Priority&quot; to &quot;High&quot;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  3. Now I&#39;m trying to check Hard-Fencing and power off my first host (KOM-AD01-VM31) from his iLO (KOM-AD01-ILO31).<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Fencing successfully works and server is automatically turned on, but my HA VM not started on second host (KOM-AD01-VM32).<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  These events I see in the oVirt web console:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:08:13 PM        Host KOM-AD01-VM31 power management was verified successfully.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:08:13 PM        Status of host KOM-AD01-VM31 was set to Up.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:08:05 PM        Executing power management status on Host KOM-AD01-VM31 using Proxy Host KOM-AD01-VM32 and Fence Agent ilo:<a href="http://KOM-AD01-ILO31.holding.com" rel="noreferrer" target="_blank">KOM-AD01-ILO31.holding.com</a><wbr>.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:48 PM        Host KOM-AD01-VM31 is rebooting.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:48 PM        Host KOM-AD01-VM31 was started by SYSTEM.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:48 PM        Power management start of Host KOM-AD01-VM31 succeeded.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:41 PM        Executing power management status on Host KOM-AD01-VM31 using Proxy Host KOM-AD01-VM32 and Fence Agent ilo:<a href="http://KOM-AD01-ILO31.holding.com" rel="noreferrer" target="_blank">KOM-AD01-ILO31.holding.com</a><wbr>.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:19 PM        Executing power management start on Host KOM-AD01-VM31 using Proxy Host KOM-AD01-VM32 and Fence Agent ilo:<a href="http://KOM-AD01-ILO31.holding.com" rel="noreferrer" target="_blank">KOM-AD01-ILO31.holding.com</a><wbr>.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:19 PM        Power management start of Host KOM-AD01-VM31 initiated.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:19 PM        Auto fence for host KOM-AD01-VM31 was started.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:11 PM        Executing power management status on Host KOM-AD01-VM31 using Proxy Host KOM-AD01-VM32 and Fence Agent ilo:<a href="http://KOM-AD01-ILO31.holding.com" rel="noreferrer" target="_blank">KOM-AD01-ILO31.holding.com</a><wbr>.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:04 PM        Executing power management status on Host KOM-AD01-VM31 using Proxy Host KOM-AD01-VM32 and Fence Agent ilo:<a href="http://KOM-AD01-ILO31.holding.com" rel="noreferrer" target="_blank">KOM-AD01-ILO31.holding.com</a><wbr>.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:05:04 PM        Host KOM-AD01-VM31 is non responsive.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:02:32 PM        Host KOM-AD01-VM31 is not responding. It will stay in Connecting state for a grace period of 60 seconds and after that an attempt to fence the host will be issued.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:02:32 PM        VDSM KOM-AD01-VM31 command failed: Heartbeat exeeded<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Sep 15, 2016 12:02:04 PM        VM KOM-AD01-PBX02 is down. Exit message: User shut down from within the guest<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  What am I doing wrong? Why HA VM not start on a second host?<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  ______________________________<wbr>_________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Users mailing list<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;  <a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/<wbr>mailman/listinfo/users</a><br>
&gt; ______________________________<wbr>_________________<br>
&gt; Users mailing list<br>
&gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/<wbr>mailman/listinfo/users</a><br>
&gt;<br>
&gt;<br>
<br>
</blockquote></div><br></div></div>