<div style="line-height:1.6;font-size:16px;font-family:'苹方','微软雅黑','sans-serif';">sorry, I used 192.168.223 to replace 192.168.122.65, forget tell you,  hosted-engine.ovirt.com=192.168.122.91, it is engine VM, visit  hosted-engine.ovirt.com show me web UI.<br/><br/>发自网易邮箱手机版<br/><br/></div><div class='ne-quoted'><blockquote id='ntes-andriodmail-quote' style="margin:0px !important;padding:0px !important;border: none !important;"><div class="J-reply" style="background-color:#f2f2f2;color:black;padding-top:6px;padding-bottom:6px;border-radius:3px;-moz-border-radius:3px;-webkit-border-radius:3px;margin-top:45px;margin-bottom:20px;">
    <div style="font-size:14px;line-height:1.5;word-break:break-all;margin-left:10px;margin-right:10px">在<span class="mail-date">2018年04月26日 14:52</span>,<a class="mail-to" style="text-decoration:none;color:#2a97ff;" href="mailto:msivak@redhat.com">Martin Sivak</a> 写道:</div>
</div> <br/>Hi, <br/> <br/>&gt; hosted-engine1 : 192.168.122.66 <br/>&gt; hosted-engine2 : 192.168.122.223 <br/> <br/>But you said in an earlier email that: <br/> <br/>&gt; I hava two node, A:192.168.122.65 , &nbsp; B:192.168.122.66 <br/> <br/>Make sure your names resolve properly. So far it does exactly what it <br/>is supposed to do - when the engine is unreachable, it tries <br/>restarting it. Did you really use hosted-engine.ovirt.com as the fqdn? <br/>Are you sure it resolves to whatever IP the VM has (192.168.122.91)? <br/> <br/>Maybe you used /etc/hosts to configure the name on the first host and <br/>in the VM, but miss the record on the second host? <br/> <br/>What does $(host hosted-engine.ovirt.com) show you? <br/> <br/>&gt; I can not visit web UI, but my engine VM is run, i can login it. &nbsp;engine has <br/>&gt; some error <br/>&gt; <br/>&gt; VdsIdVDSCommandParametersBase:{hostId='1b5f799a-125d-4f4e-8aef-cb2ecdd63136'})' <br/>&gt; &nbsp;execution failed: java.net.NoRouteToHostException: No route to host <br/> <br/>I told you before. This is normal as it is trying to figure out <br/>whether the host is up. <br/> <br/> <br/>Best regards <br/> <br/>Martin Sivak <br/> <br/> <br/>On Thu, Apr 26, 2018 at 4:14 AM, &nbsp;&lt;dhy336@sina.com&gt; wrote: <br/>&gt; engine VM:192.168.122.91 <br/>&gt; hosted-engine1 : 192.168.122.66 <br/>&gt; hosted-engine2 : 192.168.122.223 <br/>&gt; <br/>&gt; I can not visit web UI, but my engine VM is run, i can login it. &nbsp;engine has <br/>&gt; some error <br/>&gt; <br/>&gt; &nbsp;2018-04-25 18:35:03,401+08 INFO <br/>&gt; &nbsp;[org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp Reactor) <br/>&gt; &nbsp;[] Connecting to hosted-engine1/192.168.122.66 <br/>&gt; &nbsp;2018-04-25 18:35:06,411+08 ERROR <br/>&gt; &nbsp;[org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt; &nbsp;(EE-ManagedThreadFactory-engineScheduled-Thread-2) [] Command <br/>&gt; &nbsp;'GetAllVmStatsVDSCommand(HostName = hosted-engine1, <br/>&gt; <br/>&gt; VdsIdVDSCommandParametersBase:{hostId='1b5f799a-125d-4f4e-8aef-cb2ecdd63136'})' <br/>&gt; &nbsp;execution failed: java.net.NoRouteToHostException: No route to host <br/>&gt; ---------------------------------------------------------------------------------------------------------------------------------------- <br/>&gt; [root@hosted-engine2 ~]# hosted-engine --check-liveliness <br/>&gt; Hosted Engine is not up! <br/>&gt; ----------------------------------------------------------------------------------------------------------------------------------------- <br/>&gt; [root@hosted-engine2 ~]# curl <br/>&gt; <a href="http://hosted-engine.ovirt.com/ovirt-engine/services/health">http://hosted-engine.ovirt.com/ovirt-engine/services/health</a> <br/>&gt; &lt;html&gt;&lt;head&gt;&lt;title&gt;Error&lt;/title&gt;&lt;/head&gt;&lt;body&gt;404 - Not Found&lt;/body&gt;&lt;/html&gt; <br/>&gt; <br/>&gt; Note: this command is blocked ,it takes 5 minutes <br/>&gt; ----------------------------------------------------------------------------------------------------------------------------------------- <br/>&gt; --== Host 1 status ==-- <br/>&gt; <br/>&gt; conf_on_shared_storage &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : True <br/>&gt; Status up-to-date &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: False <br/>&gt; Hostname &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : hosted-engine1 <br/>&gt; Host ID &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 1 <br/>&gt; Engine status &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: unknown stale-data <br/>&gt; Score &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 3400 <br/>&gt; stopped &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: False <br/>&gt; Local maintenance &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: False <br/>&gt; crc32 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 1eae8968 <br/>&gt; local_conf_timestamp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 48907 <br/>&gt; Host timestamp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 48907 <br/>&gt; Extra metadata (valid at timestamp): <br/>&gt; metadata_parse_version=1 <br/>&gt; metadata_feature_version=1 <br/>&gt; timestamp=48907 (Thu Apr 26 01:57:14 2018) <br/>&gt; host-id=1 <br/>&gt; score=3400 <br/>&gt; vm_conf_refresh_time=48907 (Thu Apr 26 01:57:15 2018) <br/>&gt; conf_on_shared_storage=True <br/>&gt; maintenance=False <br/>&gt; state=EngineUp <br/>&gt; stopped=False <br/>&gt; <br/>&gt; <br/>&gt; --== Host 2 status ==-- <br/>&gt; <br/>&gt; conf_on_shared_storage &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : True <br/>&gt; Status up-to-date &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: True <br/>&gt; Hostname &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : hosted-engine2 <br/>&gt; Host ID &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 2 <br/>&gt; Engine status &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: {&quot;reason&quot;: &quot;failed liveliness check&quot;, <br/>&gt; &quot;health&quot;: &quot;bad&quot;, &quot;vm&quot;: &quot;up&quot;, &quot;detail&quot;: &quot;Up&quot;} <br/>&gt; Score &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 3000 <br/>&gt; stopped &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: False <br/>&gt; Local maintenance &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: False <br/>&gt; crc32 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;: 1b92756d <br/>&gt; local_conf_timestamp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 44057 <br/>&gt; Host timestamp &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; : 44057 <br/>&gt; Extra metadata (valid at timestamp): <br/>&gt; metadata_parse_version=1 <br/>&gt; metadata_feature_version=1 <br/>&gt; timestamp=44057 (Thu Apr 26 02:00:57 2018) <br/>&gt; host-id=2 <br/>&gt; score=3000 <br/>&gt; vm_conf_refresh_time=44057 (Thu Apr 26 02:00:57 2018) <br/>&gt; conf_on_shared_storage=True <br/>&gt; maintenance=False <br/>&gt; state=EngineStarting <br/>&gt; stopped=False <br/>&gt; <br/>&gt; <br/>&gt; <br/>&gt; <br/>&gt; <br/>&gt; <br/>&gt; ----- Original Message -----ovirt <br/>&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt; Cc: users &lt;users@ovirt.org&gt; <br/>&gt; Subject: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt; Date: 2018-04-25 20:41 <br/>&gt; <br/>&gt; <br/>&gt;&gt; 2018-04-25 18:35:06,411+08 ERROR <br/>&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt;&gt; (EE-ManagedThreadFactory-engineScheduled-Thread-2) [] Command <br/>&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine1, <br/>&gt;&gt; <br/>&gt;&gt; VdsIdVDSCommandParametersBase:{hostId='1b5f799a-125d-4f4e-8aef-cb2ecdd63136'})' <br/>&gt;&gt; execution failed: java.net.NoRouteToHostException: No route to host <br/>&gt; This is expected and normal. The ovirt-engine service is trying to <br/>&gt; find out whether host A is still unreachable or not. This is not the <br/>&gt; issue you are looking for. <br/>&gt;&gt; 192.168.122.66 has been powered off, and hosted engine VM run in <br/>&gt;&gt; 192.168.122.223, I think engine should connect to 192.168.122.223, <br/>&gt; You are mixing the IP of the engine VM and the IP of a host. The <br/>&gt; engine runs in VM with stable .122.223 (independent on which host the <br/>&gt; VM runs at) and manages two hosts .122.65 and .122.66. The engine <br/>&gt; constantly monitors all its hosts and that means it is trying to <br/>&gt; connect to them every now and then. <br/>&gt; Please execute the two following commands on Host B and show us the <br/>&gt; results (use the proper fqdn): <br/>&gt; $(hosted-engine --check-liveliness) <br/>&gt; $(curl <a href="http://{fqdn}/ovirt-engine/services/health">http://{fqdn}/ovirt-engine/services/health</a>) <br/>&gt; Best regards <br/>&gt; Martin Sivak <br/>&gt; On Wed, Apr 25, 2018 at 2:34 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt; I login in engine VM by (#hosted-engine --console) , I find ovirt-engine <br/>&gt;&gt; process. and I find some error in /var/log/ovirt-engine/engine.log <br/>&gt;&gt; <br/>&gt;&gt; 192.168.122.66 has been powered off, and hosted engine VM run in <br/>&gt;&gt; 192.168.122.223, I think engine should connect to 192.168.122.223, <br/>&gt;&gt; <br/>&gt;&gt; <br/>&gt;&gt; 2018-04-25 18:35:03,401+08 INFO <br/>&gt;&gt; [org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp Reactor) <br/>&gt;&gt; [] Connecting to hosted-engine1/192.168.122.66 <br/>&gt;&gt; 2018-04-25 18:35:06,411+08 ERROR <br/>&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt;&gt; (EE-ManagedThreadFactory-engineScheduled-Thread-2) [] Command <br/>&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine1, <br/>&gt;&gt; <br/>&gt;&gt; VdsIdVDSCommandParametersBase:{hostId='1b5f799a-125d-4f4e-8aef-cb2ecdd63136'})' <br/>&gt;&gt; execution failed: java.net.NoRouteToHostException: No route to host <br/>&gt;&gt; 2018-04-25 18:35:06,411+08 INFO <br/>&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher] <br/>&gt;&gt; (EE-ManagedThreadFactory-engineScheduled-Thread-2) [] Failed to fetch vms <br/>&gt;&gt; info for host 'hosted-engine1' - skipping VMs monitoring. <br/>&gt;&gt; 2018-04-25 18:35:21,420+08 INFO <br/>&gt;&gt; [org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp Reactor) <br/>&gt;&gt; [] Connecting to hosted-engine1/192.168.122.66 <br/>&gt;&gt; 2018-04-25 18:35:24,430+08 ERROR <br/>&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt;&gt; (EE-ManagedThreadFactory-engineScheduled-Thread-1) [] Command <br/>&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine1, <br/>&gt;&gt; <br/>&gt;&gt; VdsIdVDSCommandParametersBase:{hostId='1b5f799a-125d-4f4e-8aef-cb2ecdd63136'})' <br/>&gt;&gt; execution failed: java.net.NoRouteToHostException: No route to host <br/>&gt;&gt; 2018-04-25 18:35:24,431+08 INFO <br/>&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher] <br/>&gt;&gt; (EE-ManagedThreadFactory-engineScheduled-Thread-1) [] Failed to fetch vms <br/>&gt;&gt; info for host 'hosted-engine1' - skipping VMs monitoring. <br/>&gt;&gt; 2018-04-25 18:35:39,438+08 INFO <br/>&gt;&gt; [org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp Reactor) <br/>&gt;&gt; [] Connecting to hosted-engine1/192.168.122.66 <br/>&gt;&gt; <br/>&gt;&gt; <br/>&gt;&gt; <br/>&gt;&gt; ----- Original Message ----- <br/>&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt; Cc: users &lt;users@ovirt.org&gt; <br/>&gt;&gt; Subject: Re: [ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt;&gt; Date: 2018-04-25 20:27 <br/>&gt;&gt; <br/>&gt;&gt; <br/>&gt;&gt; The engine will try connecting to all registered hosts all the time. <br/>&gt;&gt; That is normal. <br/>&gt;&gt; If your host can reach the engine then check whether it can reach <br/>&gt;&gt; <a href="http://{fqdn}/ovirt-engine/services/health">http://{fqdn}/ovirt-engine/services/health</a> as that is what is used to <br/>&gt;&gt; make sure the engine is alive. <br/>&gt;&gt; Best regards <br/>&gt;&gt; Martin Sivak <br/>&gt;&gt; On Wed, Apr 25, 2018 at 2:15 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt; Hi Martin, <br/>&gt;&gt;&gt; <br/>&gt;&gt;&gt; thank you for answer <br/>&gt;&gt;&gt; my host can reach the engine, I confuse why engine connect to another <br/>&gt;&gt;&gt; host <br/>&gt;&gt;&gt; which has been power off by me? <br/>&gt;&gt;&gt; <br/>&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;, users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt; Subject: Re: Re: Re: Re: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can <br/>&gt;&gt;&gt; not_switch <br/>&gt;&gt;&gt; Date: 2018-04-25 19:12 <br/>&gt;&gt;&gt; <br/>&gt;&gt;&gt; It is as I expected: <br/>&gt;&gt;&gt; Engine status : {&quot;reason&quot;: &quot;failed liveliness check&quot; <br/>&gt;&gt;&gt; The host can't talk to the ovirt-engine service. Please make sure the <br/>&gt;&gt;&gt; host can reach the engine fqdn as configured in <br/>&gt;&gt;&gt; /etc/ovirt-hosted-engine/hosted-engine.conf on the fqdn= line. <br/>&gt;&gt;&gt; You can check it manually by executing $(hosted-engine <br/>&gt;&gt;&gt; --check-liveliness) from the host. <br/>&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt; On Wed, Apr 25, 2018 at 12:51 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt; Hi, <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; two node : <br/>&gt;&gt;&gt;&gt; 192.168.122.66 hosted-engine1 <br/>&gt;&gt;&gt;&gt; 192.168.122.223 hosted-engine2 <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; I power off hosted-engine1, so I do not attach hosted-engine1`s log, <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; [root@hosted-engine2 ~]# hosted-engine --vm-status <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; --== Host 1 status ==-- <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; conf_on_shared_storage : True <br/>&gt;&gt;&gt;&gt; Status up-to-date : False <br/>&gt;&gt;&gt;&gt; Hostname : hosted-engine1 <br/>&gt;&gt;&gt;&gt; Host ID : 1 <br/>&gt;&gt;&gt;&gt; Engine status : unknown stale-data <br/>&gt;&gt;&gt;&gt; Score : 3400 <br/>&gt;&gt;&gt;&gt; stopped : False <br/>&gt;&gt;&gt;&gt; Local maintenance : False <br/>&gt;&gt;&gt;&gt; crc32 : a7af0afa <br/>&gt;&gt;&gt;&gt; local_conf_timestamp : 11485 <br/>&gt;&gt;&gt;&gt; Host timestamp : 11485 <br/>&gt;&gt;&gt;&gt; Extra metadata (valid at timestamp): <br/>&gt;&gt;&gt;&gt; metadata_parse_version=1 <br/>&gt;&gt;&gt;&gt; metadata_feature_version=1 <br/>&gt;&gt;&gt;&gt; timestamp=11485 (Wed Apr 25 10:08:34 2018) <br/>&gt;&gt;&gt;&gt; host-id=1 <br/>&gt;&gt;&gt;&gt; score=3400 <br/>&gt;&gt;&gt;&gt; vm_conf_refresh_time=11485 (Wed Apr 25 10:08:34 2018) <br/>&gt;&gt;&gt;&gt; conf_on_shared_storage=True <br/>&gt;&gt;&gt;&gt; maintenance=False <br/>&gt;&gt;&gt;&gt; state=EngineUp <br/>&gt;&gt;&gt;&gt; stopped=False <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; --== Host 2 status ==-- <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; conf_on_shared_storage : True <br/>&gt;&gt;&gt;&gt; Status up-to-date : True <br/>&gt;&gt;&gt;&gt; Hostname : hosted-engine2 <br/>&gt;&gt;&gt;&gt; Host ID : 2 <br/>&gt;&gt;&gt;&gt; Engine status : {&quot;reason&quot;: &quot;failed liveliness check&quot;, <br/>&gt;&gt;&gt;&gt; &quot;health&quot;: &quot;bad&quot;, &quot;vm&quot;: &quot;up&quot;, &quot;detail&quot;: &quot;Up&quot;} <br/>&gt;&gt;&gt;&gt; Score : 3000 <br/>&gt;&gt;&gt;&gt; stopped : False <br/>&gt;&gt;&gt;&gt; Local maintenance : False <br/>&gt;&gt;&gt;&gt; crc32 : a2e82883 <br/>&gt;&gt;&gt;&gt; local_conf_timestamp : 6278 <br/>&gt;&gt;&gt;&gt; Host timestamp : 6278 <br/>&gt;&gt;&gt;&gt; Extra metadata (valid at timestamp): <br/>&gt;&gt;&gt;&gt; metadata_parse_version=1 <br/>&gt;&gt;&gt;&gt; metadata_feature_version=1 <br/>&gt;&gt;&gt;&gt; timestamp=6278 (Wed Apr 25 10:37:44 2018) <br/>&gt;&gt;&gt;&gt; host-id=2 <br/>&gt;&gt;&gt;&gt; score=3000 <br/>&gt;&gt;&gt;&gt; vm_conf_refresh_time=6278 (Wed Apr 25 10:37:44 2018) <br/>&gt;&gt;&gt;&gt; conf_on_shared_storage=True <br/>&gt;&gt;&gt;&gt; maintenance=False <br/>&gt;&gt;&gt;&gt; state=EngineStop <br/>&gt;&gt;&gt;&gt; stopped=False <br/>&gt;&gt;&gt;&gt; timeout=Thu Jan 1 09:49:38 1970 <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;, users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt; Subject: Re: Re: Re: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can <br/>&gt;&gt;&gt;&gt; not_switch <br/>&gt;&gt;&gt;&gt; Date: 2018-04-25 17:41 <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt; Please attach the output of hosted-engine --vm-status and the <br/>&gt;&gt;&gt;&gt; /var/log/ovirt-hosted-engine-ha/agent.log file from both hosts. <br/>&gt;&gt;&gt;&gt; The VM will restart if the ovirt-engine service does not become <br/>&gt;&gt;&gt;&gt; available within timeout. And that might mean couple of things - the <br/>&gt;&gt;&gt;&gt; FQDN of the engine is wrong, the engine needs something that was only <br/>&gt;&gt;&gt;&gt; available on the dead host (A) like some storage, host B cannot ping <br/>&gt;&gt;&gt;&gt; the gateway.. <br/>&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt; On Wed, Apr 25, 2018 at 11:33 AM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt; sorry, I mis-represent, <br/>&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt; I hava two node, A:192.168.122.65 , B:192.168.122.66 with <br/>&gt;&gt;&gt;&gt;&gt; hosted-engine. <br/>&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt; testing engine HA : <br/>&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt; first two node is up, and hosted-engine VM run in A, then I poweroff A, <br/>&gt;&gt;&gt;&gt;&gt; and <br/>&gt;&gt;&gt;&gt;&gt; after 3 minutes, B start it`s hosted engine VM, <br/>&gt;&gt;&gt;&gt;&gt; But it`s ovirt-engine connect to host A, and continue for about 10 <br/>&gt;&gt;&gt;&gt;&gt; minutes, <br/>&gt;&gt;&gt;&gt;&gt; then hosted engine VM restart. <br/>&gt;&gt;&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt; Subject: Re: Re: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can <br/>&gt;&gt;&gt;&gt;&gt; not_switch <br/>&gt;&gt;&gt;&gt;&gt; Date: 2018-04-25 17:11 <br/>&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt; Your hosted engine VM has its own address that does not depend on <br/>&gt;&gt;&gt;&gt;&gt; which host it is currently running. So it should be available on the <br/>&gt;&gt;&gt;&gt;&gt; same address no matter where the VM is running. <br/>&gt;&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt;&gt; On Wed, Apr 25, 2018 at 9:07 AM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I deploy two node for hosted engine, first hosted engine VM run in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 192.168.122.65, I power off this host, hosted-engine VM switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; another host,but ovirt engine still connect 192.168.122.65. if <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; restart <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ovirt-engine server, it is work. <br/>&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; I think this issue is error, because hosted engine VM has power up in <br/>&gt;&gt;&gt;&gt;&gt;&gt; another host( 192.168.122.66), so hosted engine should <br/>&gt;&gt;&gt;&gt;&gt;&gt; connect to host( 192.168.122.66), not connet to host(192.168.122.66)? <br/>&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; thanks <br/>&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt;&gt;&gt;&gt;&gt;&gt; Date: 2018-04-20 18:28 <br/>&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt; Hi, <br/>&gt;&gt;&gt;&gt;&gt;&gt; No, this is not an error. You killed the host without moving it to <br/>&gt;&gt;&gt;&gt;&gt;&gt; maintenance first. The engine has no way to distinguish this from <br/>&gt;&gt;&gt;&gt;&gt;&gt; temporary network failure for example. Give it some time and the host <br/>&gt;&gt;&gt;&gt;&gt;&gt; will move its status to one of the error states and handle the highly <br/>&gt;&gt;&gt;&gt;&gt;&gt; available VMs on it (if fencing is properly configured). <br/>&gt;&gt;&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt;&gt;&gt; On Fri, Apr 20, 2018 at 12:13 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; this process is not error ? <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: Re: [ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Date: 2018-04-20 18:05 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; the engine does not know you killed the host. It will notice <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; eventually and handle the situation. Just give it time (5 minutes or <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; so). <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; -- <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; SLA / oVirt <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, Apr 20, 2018 at 12:00 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi, thanks for your feedback. I hava another qeustions <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I deploy two node for hosted engine, first hosted engine VM run in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 192.168.122.65, I power off this host, hosted-engine VM switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; another host,but ovirt engine still connect 192.168.122.65. if <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; restart <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ovirt-engine server, it is work. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 17:13:04,692+08 ERROR <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-en gineScheduled-Thread-98) [] Command <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine2, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; VdsIdVDSCommandParametersBase:{hos <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; tId='a5428ef7-9df6-4a86-91de-7e36fda340fa'})' execution failed: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; java.net.NoRouteToHostException: No route to host <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 6568 2018-04-20 17:13:04,693+08 INFO <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-engi neScheduled-Thread-98) [] Failed to <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; fetch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; vms info for host 'hosted-engin2' - skipping VMs monitoring. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 6569 2018-04-20 17:13:19,710+08 INFO <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Reactor) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [] Connecting to hosted-engine2/192.168.122.656570 2018-04-20 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 17:13:22,730+08 ERROR <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-en gineScheduled-Thread-45) [] Command <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine-tchyp2, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; VdsIdVDSCommandParametersBase:{hos <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; tId='a5428ef7-9df6-4a86-91de-7e36fda340fa'})' execution failed: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; java.net.NoRouteToHostException: No route to host <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 6571 2018-04-20 17:13:22,732+08 INFO <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-engi neScheduled-Thread-45) [] Failed to <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; fetch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; vms info for host 'hosted-engine2' - skipping VMs monitoring. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- Original Message ----- <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Subject: Re: [ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Date: 2018-04-20 16:40 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; your ovirt-hosted-engine-ha package is too old. You need at least <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2.1.9 to properly support 4.2 engine. The same applies to vdsm. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Please <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; upgrade the node. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Fri, Apr 20, 2018 at 3:58 AM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi I find some error logs in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /var/log/ovirt-hosted-engine-ha/broker. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [root@hosted-engine2 ~]# ll /rhev/data-center/mnt <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; total 0 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 3 vdsm kvm 76 Apr 18 22:28 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 192.168.122.218:_exports_data <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 3 vdsm kvm 76 Apr 18 22:12 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 192.168.122.218:_exports_hosted-engine-test1 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [root@hosted-engine2 ~]# ll <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt/192.168.122.218\:_exports_hosted-engine-test1/ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; total 0 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 5 vdsm kvm 50 Apr 18 22:14 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 8a734205-65b7-4801-b7f0-d380eb45dbae <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; -rwxr-xr-x. 1 vdsm kvm 0 Apr 20 09:54 __DIRECT_IO_TEST__ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; uuid 8a734205-65b7-4801-b7f0-d380eb45dbae is in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt/192.168.122.218\:_exports_hosted-engine-test1/ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; but broker find it in /rhev/data-center/mnt, is it my version is <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; error? <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; my <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ovirt-hosted-engine-ha version is 2.1.5, vdsm is 4.20.5, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ovirt-engine is 4.2 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,479::listener::41::ovirt_hosted_engine_ha.broker.listener.Listener::(__init__) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Initializing SocketServer <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,480::listener::56::ovirt_hosted_engine_ha.broker.listener.Listener::(__init__) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; SocketServer ready <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,558::listener::134::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(setup) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Connection established <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::ERROR::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,559::listener::192::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(handle) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Error handling request, data: 'set-storage-domain FilesystemBackend <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; dom_type=nfs3 sd_uuid=8a734205-65b7-4801-b7f0-d380eb45dbae' <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Traceback (most recent call last): <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/listener.py&quot;, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; line 166, in handle <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; data) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/listener.py&quot;, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; line 299, in _dispatch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; .set_storage_domain(client, sd_type, **options) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/storage_broker.py&quot;, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; line 66, in set_storage_domain <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; self._backends[client].connect() <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/storage_backends.py&quot;, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; line 462, in connect <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; self._dom_type) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/storage_backends.py&quot;, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; line 107, in get_domain_path <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &quot; in {1}&quot;.format(sd_uuid, parent)) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; BackendFailureException: path to storage domain <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 8a734205-65b7-4801-b7f0-d380eb45dbae not found in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,563::listener::186::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(handle) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Connection closed <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thread-2::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:26:44,601::listener::134::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(setup) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Connection established <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- 原始邮件 ----- <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 发件人:&lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 收件人:&quot;Martin Sivak&quot; &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 抄送人:users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 主题:[ovirt-users] 回复:Re: Hosted-engine can not_switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 日期:2018年04月20日 09点30分 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; libvirt has not error logs . I only find some error for vdsm. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; vdsm log is: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:52,610+0800 INFO (jsonrpc/1) [vdsm.api] FINISH <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; getVolumeInfo return={'info': {'status': 'OK', 'domain': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; '8a734205-65b7-4801-b7f0-d380eb45dbae', 'voltype': 'LEAF', <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'description': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'hosted-engine.lockspace', 'parent': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; '00000000-0000-0000-0000-000000000000', <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'format': 'RAW', 'generation': 0, 'image': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; '611272bd-c2cc-42bc-94e2-9aa52e754c35', 'ctime': '1524032037', <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'disktype': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; '2', 'legality': 'LEGAL', 'mtime': '0', 'apparentsize': '1048576', <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'children': [], 'pool': '', 'capacity': '1048576', 'uuid': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; u'7037aac6-7c8e-4efd-82f7-ca618c953fe6', 'truesize': '1048576', <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'type': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 'PREALLOCATED', 'lease': {'owners': [], 'version': None}}} <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; from=::1,48306, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; task_id=03a7938e-8afb-4b16-b8dd-126c2b1f5d52 (api:52) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:52,611+0800 INFO (jsonrpc/1) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [jsonrpc.JsonRpcServer] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; RPC <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; call Volume.getInfo succeeded in 0.03 seconds (__init__:630) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,113+0800 ERROR (periodic/3) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [virt.periodic.Operation] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; &lt;vdsm.virt.sampling.VMBulkstatsMonitor object at 0x1e92f90&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; operation <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; failed <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (periodic:215) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Traceback (most recent call last): <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File &quot;/usr/lib/python2.7/site-packages/vdsm/virt/periodic.py&quot;, line <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 213, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; in __call__ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; self._func() <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File &quot;/usr/lib/python2.7/site-packages/vdsm/virt/sampling.py&quot;, line <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 522, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; in __call__ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; self._send_metrics() <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File &quot;/usr/lib/python2.7/site-packages/vdsm/virt/sampling.py&quot;, line <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 538, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; in _send_metrics <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; vm_sample.interval) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File &quot;/usr/lib/python2.7/site-packages/vdsm/virt/vmstats.py&quot;, line <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 45, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; produce <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; networks(vm, stats, first_sample, last_sample, interval) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; File &quot;/usr/lib/python2.7/site-packages/vdsm/virt/vmstats.py&quot;, line <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 322, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; in <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; networks <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; if nic.name.startswith('hostdev'): <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; AttributeError: name <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,800+0800 INFO (Reactor thread) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [ProtocolDetector.AcceptorImpl] Accepted connection from ::1:48308 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (protocoldetector:61) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,810+0800 INFO (Reactor thread) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [ProtocolDetector.Detector] Detected protocol stomp from ::1:48308 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (protocoldetector:125) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,810+0800 INFO (Reactor thread) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [Broker.StompAdapter] <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Processing CONNECT request (stompreactor:103) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,818+0800 INFO (JsonRpc (StompReactor)) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; [Broker.StompAdapter] Subscribe command received (stompreactor:132) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:55,119+0800 INFO (jsonrpc/6) [api.host] START <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; getHardwareInfo() from=::1,48308 (api:46) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ----- 原始邮件 ----- <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 发件人:Martin Sivak &lt;msivak@redhat.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 收件人:dhy336 &lt;dhy336@sina.com&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 抄送人:users &lt;users@ovirt.org&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 主题:Re: [ovirt-users] Hosted-engine can not switch <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 日期:2018年04月19日 20点16分 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; We need more than just this small log snippet. Please check the <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; vdsm <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; and libvirt logs as well. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Best regards <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Martin Sivak <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Thu, Apr 19, 2018 at 2:05 PM, &lt;dhy336@sina.com&gt; wrote: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi, <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I deploy three node with hosted engine, I force shut down a node <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; which <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host-engine VM is run, But hosted engine VM in other nodes can not <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; run. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I find some error in /var/log/ovirt-hosted-engine-ha/agent.log <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:35,787::hosted_engine::1192::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_clean_vdsm_state) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cleaning state for non-running VM <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:42,587::hosted_engine::1176::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_clean_vdsm_state) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Vdsm state for VM clean <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:42,589::hosted_engine::1125::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Starting vm using `/usr/sbin/hosted-engine --vm-start` <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,599::hosted_engine::1131::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; stdout: <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,600::hosted_engine::1132::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; stderr: Virtual machine does not exist: {'vmId': <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; u'08bbd680-a8a7-4267-82e7-89f36e87e930'} <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,600::hosted_engine::1144::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Engine VM started on localhost <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,609::brokerlink::111::ovirt_hosted_engine_ha.lib.brokerlink.BrokerLink::(notify) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Trying: notify time=1524139007.61 type=state_transition <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; detail=EngineStart-EngineStarting hostname='hosted-engine2' <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,670::brokerlink::121::ovirt_hosted_engine_ha.lib.brokerlink.BrokerLink::(notify) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Success, was notification of state_transition <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EngineStart-EngineStarting) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; sent? sent <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,670::hosted_engine::604::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_vdsm) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Initializing VDSM <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:50,095::hosted_engine::630::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_storage_images) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Connecting the storage <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:50,096::storage_server::220::ovirt_hosted_engine_ha.lib.storage_server.StorageServer::(validate_storage_server) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Validating storage server <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19 <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:52,449::hosted_engine::639::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_storage_images) <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Storage domain reported as valid and reconnect is not forced. <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users mailing list <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users@ovirt.org <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users">http://lists.ovirt.org/mailman/listinfo/users</a> <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________ <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users mailing list <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users@ovirt.org <br/>&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users">http://lists.ovirt.org/mailman/listinfo/users</a> <br/> <br/></blockquote></div>