<div>Hi Martin,</div><div><br></div><div>thank you for answer</div><div>my host can reach the engine, I confuse why engine connect to another host which has been power off by me?</div><div><br></div><div id="origbody"><div style="background: #f2f2f2;">----- Original Message -----<br>From: Martin Sivak &lt;msivak@redhat.com&gt;<br>To: dhy336 &lt;dhy336@sina.com&gt;, users &lt;users@ovirt.org&gt;<br>Subject: Re: Re: Re: Re: Re: Re: [ovirt-users] 回复：Re: Hosted-engine can not_switch<br>Date: 2018-04-25 19:12<br></div><div><br></div>It is as I expected:<br>Engine status : {"reason": "failed liveliness check"<br>The host can't talk to the ovirt-engine service. Please make sure the<br>host can reach the engine fqdn as configured in<br>/etc/ovirt-hosted-engine/hosted-engine.conf on the fqdn= line.<br>You can check it manually by executing $(hosted-engine<br>--check-liveliness) from the host.<br>Best regards<br>Martin Sivak<br>On Wed, Apr 25, 2018 at 12:51 PM,  &lt;dhy336@sina.com&gt; wrote:<br>&gt; Hi,<br>&gt;<br>&gt;  two node :<br>&gt; 192.168.122.66 hosted-engine1<br>&gt; 192.168.122.223 hosted-engine2<br>&gt;<br>&gt; I power off  hosted-engine1, so I do not attach  hosted-engine1`s log,<br>&gt;<br>&gt; [root@hosted-engine2 ~]# hosted-engine --vm-status<br>&gt;<br>&gt; --== Host 1 status ==--<br>&gt;<br>&gt; conf_on_shared_storage             : True<br>&gt; Status up-to-date                  : False<br>&gt; Hostname                           : hosted-engine1<br>&gt; Host ID                            : 1<br>&gt; Engine status                      : unknown stale-data<br>&gt; Score                              : 3400<br>&gt; stopped                            : False<br>&gt; Local maintenance                  : False<br>&gt; crc32                              : a7af0afa<br>&gt; local_conf_timestamp               : 11485<br>&gt; Host timestamp                     : 11485<br>&gt; Extra metadata (valid at timestamp):<br>&gt; metadata_parse_version=1<br>&gt; metadata_feature_version=1<br>&gt; timestamp=11485 (Wed Apr 25 10:08:34 2018)<br>&gt; host-id=1<br>&gt; score=3400<br>&gt; vm_conf_refresh_time=11485 (Wed Apr 25 10:08:34 2018)<br>&gt; conf_on_shared_storage=True<br>&gt; maintenance=False<br>&gt; state=EngineUp<br>&gt; stopped=False<br>&gt;<br>&gt;<br>&gt; --== Host 2 status ==--<br>&gt;<br>&gt; conf_on_shared_storage             : True<br>&gt; Status up-to-date                  : True<br>&gt; Hostname                           : hosted-engine2<br>&gt; Host ID                            : 2<br>&gt; Engine status                      : {"reason": "failed liveliness check",<br>&gt; "health": "bad", "vm": "up", "detail": "Up"}<br>&gt; Score                              : 3000<br>&gt; stopped                            : False<br>&gt; Local maintenance                  : False<br>&gt; crc32                              : a2e82883<br>&gt; local_conf_timestamp               : 6278<br>&gt; Host timestamp                     : 6278<br>&gt; Extra metadata (valid at timestamp):<br>&gt; metadata_parse_version=1<br>&gt; metadata_feature_version=1<br>&gt; timestamp=6278 (Wed Apr 25 10:37:44 2018)<br>&gt; host-id=2<br>&gt; score=3000<br>&gt; vm_conf_refresh_time=6278 (Wed Apr 25 10:37:44 2018)<br>&gt; conf_on_shared_storage=True<br>&gt; maintenance=False<br>&gt; state=EngineStop<br>&gt; stopped=False<br>&gt; timeout=Thu Jan  1 09:49:38 1970<br>&gt;<br>&gt;<br>&gt;<br>&gt; ----- Original Message -----<br>&gt; From: Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt; To: dhy336 &lt;dhy336@sina.com&gt;, users &lt;users@ovirt.org&gt;<br>&gt; Subject: Re: Re: Re: Re: Re: [ovirt-users] 回复：Re: Hosted-engine can<br>&gt; not_switch<br>&gt; Date: 2018-04-25 17:41<br>&gt;<br>&gt;<br>&gt; Please attach the output of hosted-engine --vm-status and the<br>&gt; /var/log/ovirt-hosted-engine-ha/agent.log file from both hosts.<br>&gt; The VM will restart if the ovirt-engine service does not become<br>&gt; available within timeout. And that might mean couple of things - the<br>&gt; FQDN of the engine is wrong, the engine needs something that was only<br>&gt; available on the dead host (A) like some storage, host B cannot ping<br>&gt; the gateway..<br>&gt; Best regards<br>&gt; Martin Sivak<br>&gt; On Wed, Apr 25, 2018 at 11:33 AM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt; sorry, I mis-represent,<br>&gt;&gt;<br>&gt;&gt; I hava two node, A:192.168.122.65 , B:192.168.122.66 with hosted-engine.<br>&gt;&gt;<br>&gt;&gt; testing engine HA :<br>&gt;&gt;<br>&gt;&gt; first two node is up, and hosted-engine VM run in A, then I poweroff A,<br>&gt;&gt; and<br>&gt;&gt; after 3 minutes, B start it`s hosted engine VM,<br>&gt;&gt; But it`s ovirt-engine connect to host A, and continue for about 10<br>&gt;&gt; minutes,<br>&gt;&gt; then hosted engine VM restart.<br>&gt;&gt; ----- Original Message -----<br>&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;<br>&gt;&gt; Subject: Re: Re: Re: Re: [ovirt-users] 回复：Re: Hosted-engine can not_switch<br>&gt;&gt; Date: 2018-04-25 17:11<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Your hosted engine VM has its own address that does not depend on<br>&gt;&gt; which host it is currently running. So it should be available on the<br>&gt;&gt; same address no matter where the VM is running.<br>&gt;&gt; Best regards<br>&gt;&gt; Martin Sivak<br>&gt;&gt; On Wed, Apr 25, 2018 at 9:07 AM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt;&gt;&gt;&gt; I deploy two node for hosted engine, first hosted engine VM run in<br>&gt;&gt;&gt;&gt;&gt; 192.168.122.65, I power off this host, hosted-engine VM switch<br>&gt;&gt;&gt;&gt;&gt; another host，but ovirt engine still connect 192.168.122.65. if restart<br>&gt;&gt;&gt;&gt;&gt; ovirt-engine server, it is work.<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; I think this issue is error, because hosted engine VM has power up in<br>&gt;&gt;&gt; another host( 192.168.122.66), so hosted engine should<br>&gt;&gt;&gt; connect to host( 192.168.122.66), not connet to host(192.168.122.66)?<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; thanks<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; ----- Original Message -----<br>&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;<br>&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt;<br>&gt;&gt;&gt; Subject: Re: Re: Re: [ovirt-users] 回复：Re: Hosted-engine can not_switch<br>&gt;&gt;&gt; Date: 2018-04-20 18:28<br>&gt;&gt;&gt;<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; Hi,<br>&gt;&gt;&gt; No, this is not an error. You killed the host without moving it to<br>&gt;&gt;&gt; maintenance first. The engine has no way to distinguish this from<br>&gt;&gt;&gt; temporary network failure for example. Give it some time and the host<br>&gt;&gt;&gt; will move its status to one of the error states and handle the highly<br>&gt;&gt;&gt; available VMs on it (if fencing is properly configured).<br>&gt;&gt;&gt; Best regards<br>&gt;&gt;&gt; Martin Sivak<br>&gt;&gt;&gt; On Fri, Apr 20, 2018 at 12:13 PM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt;&gt;&gt; this process is not error ?<br>&gt;&gt;&gt;&gt; ----- Original Message -----<br>&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;<br>&gt;&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt;<br>&gt;&gt;&gt;&gt; Subject: Re: Re: [ovirt-users] 回复：Re: Hosted-engine can not_switch<br>&gt;&gt;&gt;&gt; Date: 2018-04-20 18:05<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Hi,<br>&gt;&gt;&gt;&gt; the engine does not know you killed the host. It will notice<br>&gt;&gt;&gt;&gt; eventually and handle the situation. Just give it time (5 minutes or<br>&gt;&gt;&gt;&gt; so).<br>&gt;&gt;&gt;&gt; Best regards<br>&gt;&gt;&gt;&gt; --<br>&gt;&gt;&gt;&gt; Martin Sivak<br>&gt;&gt;&gt;&gt; SLA / oVirt<br>&gt;&gt;&gt;&gt; On Fri, Apr 20, 2018 at 12:00 PM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt;&gt;&gt;&gt; Hi， thanks for your feedback. I hava another qeustions<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; I deploy two node for hosted engine, first hosted engine VM run in<br>&gt;&gt;&gt;&gt;&gt; 192.168.122.65, I power off this host, hosted-engine VM switch<br>&gt;&gt;&gt;&gt;&gt; another host，but ovirt engine still connect 192.168.122.65. if restart<br>&gt;&gt;&gt;&gt;&gt; ovirt-engine server, it is work.<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; 2018-04-20 17:13:04,692+08 ERROR<br>&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand]<br>&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-en gineScheduled-Thread-98) [] Command<br>&gt;&gt;&gt;&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine2,<br>&gt;&gt;&gt;&gt;&gt; VdsIdVDSCommandParametersBase:{hos<br>&gt;&gt;&gt;&gt;&gt; tId='a5428ef7-9df6-4a86-91de-7e36fda340fa'})' execution failed:<br>&gt;&gt;&gt;&gt;&gt; java.net.NoRouteToHostException: No route to host<br>&gt;&gt;&gt;&gt;&gt; 6568 2018-04-20 17:13:04,693+08 INFO<br>&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher]<br>&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-engi neScheduled-Thread-98) [] Failed to fetch<br>&gt;&gt;&gt;&gt;&gt; vms info for host 'hosted-engin2' - skipping VMs monitoring.<br>&gt;&gt;&gt;&gt;&gt; 6569 2018-04-20 17:13:19,710+08 INFO<br>&gt;&gt;&gt;&gt;&gt; [org.ovirt.vdsm.jsonrpc.client.reactors.ReactorClient] (SSL Stomp<br>&gt;&gt;&gt;&gt;&gt; Reactor)<br>&gt;&gt;&gt;&gt;&gt; [] Connecting to hosted-engine2/192.168.122.656570 2018-04-20<br>&gt;&gt;&gt;&gt;&gt; 17:13:22,730+08 ERROR<br>&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.vdsbroker.GetAllVmStatsVDSCommand]<br>&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-en gineScheduled-Thread-45) [] Command<br>&gt;&gt;&gt;&gt;&gt; 'GetAllVmStatsVDSCommand(HostName = hosted-engine-tchyp2,<br>&gt;&gt;&gt;&gt;&gt; VdsIdVDSCommandParametersBase:{hos<br>&gt;&gt;&gt;&gt;&gt; tId='a5428ef7-9df6-4a86-91de-7e36fda340fa'})' execution failed:<br>&gt;&gt;&gt;&gt;&gt; java.net.NoRouteToHostException: No route to host<br>&gt;&gt;&gt;&gt;&gt; 6571 2018-04-20 17:13:22,732+08 INFO<br>&gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.vdsbroker.monitoring.PollVmStatsRefresher]<br>&gt;&gt;&gt;&gt;&gt; (EE-ManagedThreadFactory-engi neScheduled-Thread-45) [] Failed to fetch<br>&gt;&gt;&gt;&gt;&gt; vms info for host 'hosted-engine2' - skipping VMs monitoring.<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; ----- Original Message -----<br>&gt;&gt;&gt;&gt;&gt; From: Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt;&gt;&gt;&gt;&gt; To: dhy336 &lt;dhy336@sina.com&gt;<br>&gt;&gt;&gt;&gt;&gt; Cc: users &lt;users@ovirt.org&gt;<br>&gt;&gt;&gt;&gt;&gt; Subject: Re: [ovirt-users] 回复：Re: Hosted-engine can not_switch<br>&gt;&gt;&gt;&gt;&gt; Date: 2018-04-20 16:40<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; Hi,<br>&gt;&gt;&gt;&gt;&gt; your ovirt-hosted-engine-ha package is too old. You need at least<br>&gt;&gt;&gt;&gt;&gt; 2.1.9 to properly support 4.2 engine. The same applies to vdsm. Please<br>&gt;&gt;&gt;&gt;&gt; upgrade the node.<br>&gt;&gt;&gt;&gt;&gt; Best regards<br>&gt;&gt;&gt;&gt;&gt; Martin Sivak<br>&gt;&gt;&gt;&gt;&gt; On Fri, Apr 20, 2018 at 3:58 AM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt;&gt;&gt;&gt;&gt; Hi I find some error logs in /var/log/ovirt-hosted-engine-ha/broker.<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; [root@hosted-engine2 ~]# ll /rhev/data-center/mnt<br>&gt;&gt;&gt;&gt;&gt;&gt; total 0<br>&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 3 vdsm kvm 76 Apr 18 22:28 192.168.122.218:_exports_data<br>&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 3 vdsm kvm 76 Apr 18 22:12<br>&gt;&gt;&gt;&gt;&gt;&gt; 192.168.122.218:_exports_hosted-engine-test1<br>&gt;&gt;&gt;&gt;&gt;&gt; [root@hosted-engine2 ~]# ll<br>&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt/192.168.122.218\:_exports_hosted-engine-test1/<br>&gt;&gt;&gt;&gt;&gt;&gt; total 0<br>&gt;&gt;&gt;&gt;&gt;&gt; drwxr-xr-x. 5 vdsm kvm 50 Apr 18 22:14<br>&gt;&gt;&gt;&gt;&gt;&gt; 8a734205-65b7-4801-b7f0-d380eb45dbae<br>&gt;&gt;&gt;&gt;&gt;&gt; -rwxr-xr-x. 1 vdsm kvm 0 Apr 20 09:54 __DIRECT_IO_TEST__<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; uuid 8a734205-65b7-4801-b7f0-d380eb45dbae is in<br>&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt/192.168.122.218\:_exports_hosted-engine-test1/<br>&gt;&gt;&gt;&gt;&gt;&gt; but broker find it in /rhev/data-center/mnt, is it my version is<br>&gt;&gt;&gt;&gt;&gt;&gt; error?<br>&gt;&gt;&gt;&gt;&gt;&gt; my<br>&gt;&gt;&gt;&gt;&gt;&gt; ovirt-hosted-engine-ha version is 2.1.5, vdsm is 4.20.5，<br>&gt;&gt;&gt;&gt;&gt;&gt; ovirt-engine is 4.2<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,479::listener::41::ovirt_hosted_engine_ha.broker.listener.Listener::(__init__)<br>&gt;&gt;&gt;&gt;&gt;&gt; Initializing SocketServer<br>&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,480::listener::56::ovirt_hosted_engine_ha.broker.listener.Listener::(__init__)<br>&gt;&gt;&gt;&gt;&gt;&gt; SocketServer ready<br>&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,558::listener::134::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(setup)<br>&gt;&gt;&gt;&gt;&gt;&gt; Connection established<br>&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::ERROR::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,559::listener::192::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(handle)<br>&gt;&gt;&gt;&gt;&gt;&gt; Error handling request, data: 'set-storage-domain FilesystemBackend<br>&gt;&gt;&gt;&gt;&gt;&gt; dom_type=nfs3 sd_uuid=8a734205-65b7-4801-b7f0-d380eb45dbae'<br>&gt;&gt;&gt;&gt;&gt;&gt; Traceback (most recent call last):<br>&gt;&gt;&gt;&gt;&gt;&gt; File<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/listener.py",<br>&gt;&gt;&gt;&gt;&gt;&gt; line 166, in handle<br>&gt;&gt;&gt;&gt;&gt;&gt; data)<br>&gt;&gt;&gt;&gt;&gt;&gt; File<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/listener.py",<br>&gt;&gt;&gt;&gt;&gt;&gt; line 299, in _dispatch<br>&gt;&gt;&gt;&gt;&gt;&gt; .set_storage_domain(client, sd_type, **options)<br>&gt;&gt;&gt;&gt;&gt;&gt; File<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/broker/storage_broker.py",<br>&gt;&gt;&gt;&gt;&gt;&gt; line 66, in set_storage_domain<br>&gt;&gt;&gt;&gt;&gt;&gt; self._backends[client].connect()<br>&gt;&gt;&gt;&gt;&gt;&gt; File<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/storage_backends.py",<br>&gt;&gt;&gt;&gt;&gt;&gt; line 462, in connect<br>&gt;&gt;&gt;&gt;&gt;&gt; self._dom_type)<br>&gt;&gt;&gt;&gt;&gt;&gt; File<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; "/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/storage_backends.py",<br>&gt;&gt;&gt;&gt;&gt;&gt; line 107, in get_domain_path<br>&gt;&gt;&gt;&gt;&gt;&gt; " in {1}".format(sd_uuid, parent))<br>&gt;&gt;&gt;&gt;&gt;&gt; BackendFailureException: path to storage domain<br>&gt;&gt;&gt;&gt;&gt;&gt; 8a734205-65b7-4801-b7f0-d380eb45dbae not found in<br>&gt;&gt;&gt;&gt;&gt;&gt; /rhev/data-center/mnt<br>&gt;&gt;&gt;&gt;&gt;&gt; Thread-1::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:31,563::listener::186::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(handle)<br>&gt;&gt;&gt;&gt;&gt;&gt; Connection closed<br>&gt;&gt;&gt;&gt;&gt;&gt; Thread-2::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 19:26:44,601::listener::134::ovirt_hosted_engine_ha.broker.listener.ConnectionHandler::(setup)<br>&gt;&gt;&gt;&gt;&gt;&gt; Connection established<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; ----- 原始邮件 -----<br>&gt;&gt;&gt;&gt;&gt;&gt; 发件人：&lt;dhy336@sina.com&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 收件人："Martin Sivak" &lt;msivak@redhat.com&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 抄送人：users &lt;users@ovirt.org&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 主题：[ovirt-users] 回复：Re: Hosted-engine can not_switch<br>&gt;&gt;&gt;&gt;&gt;&gt; 日期：2018年04月20日 09点30分<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; libvirt has not error logs . I only find some error for vdsm.<br>&gt;&gt;&gt;&gt;&gt;&gt; vdsm log is:<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:52,610+0800 INFO (jsonrpc/1) [vdsm.api] FINISH<br>&gt;&gt;&gt;&gt;&gt;&gt; getVolumeInfo return={'info': {'status': 'OK', 'domain':<br>&gt;&gt;&gt;&gt;&gt;&gt; '8a734205-65b7-4801-b7f0-d380eb45dbae', 'voltype': 'LEAF',<br>&gt;&gt;&gt;&gt;&gt;&gt; 'description':<br>&gt;&gt;&gt;&gt;&gt;&gt; 'hosted-engine.lockspace', 'parent':<br>&gt;&gt;&gt;&gt;&gt;&gt; '00000000-0000-0000-0000-000000000000',<br>&gt;&gt;&gt;&gt;&gt;&gt; 'format': 'RAW', 'generation': 0, 'image':<br>&gt;&gt;&gt;&gt;&gt;&gt; '611272bd-c2cc-42bc-94e2-9aa52e754c35', 'ctime': '1524032037',<br>&gt;&gt;&gt;&gt;&gt;&gt; 'disktype':<br>&gt;&gt;&gt;&gt;&gt;&gt; '2', 'legality': 'LEGAL', 'mtime': '0', 'apparentsize': '1048576',<br>&gt;&gt;&gt;&gt;&gt;&gt; 'children': [], 'pool': '', 'capacity': '1048576', 'uuid':<br>&gt;&gt;&gt;&gt;&gt;&gt; u'7037aac6-7c8e-4efd-82f7-ca618c953fe6', 'truesize': '1048576',<br>&gt;&gt;&gt;&gt;&gt;&gt; 'type':<br>&gt;&gt;&gt;&gt;&gt;&gt; 'PREALLOCATED', 'lease': {'owners': [], 'version': None}}}<br>&gt;&gt;&gt;&gt;&gt;&gt; from=::1,48306,<br>&gt;&gt;&gt;&gt;&gt;&gt; task_id=03a7938e-8afb-4b16-b8dd-126c2b1f5d52 (api:52)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:52,611+0800 INFO (jsonrpc/1) [jsonrpc.JsonRpcServer]<br>&gt;&gt;&gt;&gt;&gt;&gt; RPC<br>&gt;&gt;&gt;&gt;&gt;&gt; call Volume.getInfo succeeded in 0.03 seconds (__init__:630)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,113+0800 ERROR (periodic/3)<br>&gt;&gt;&gt;&gt;&gt;&gt; [virt.periodic.Operation]<br>&gt;&gt;&gt;&gt;&gt;&gt; &lt;vdsm.virt.sampling.VMBulkstatsMonitor object at 0x1e92f90&gt; operation<br>&gt;&gt;&gt;&gt;&gt;&gt; failed<br>&gt;&gt;&gt;&gt;&gt;&gt; (periodic:215)<br>&gt;&gt;&gt;&gt;&gt;&gt; Traceback (most recent call last):<br>&gt;&gt;&gt;&gt;&gt;&gt; File "/usr/lib/python2.7/site-packages/vdsm/virt/periodic.py", line<br>&gt;&gt;&gt;&gt;&gt;&gt; 213,<br>&gt;&gt;&gt;&gt;&gt;&gt; in __call__<br>&gt;&gt;&gt;&gt;&gt;&gt; self._func()<br>&gt;&gt;&gt;&gt;&gt;&gt; File "/usr/lib/python2.7/site-packages/vdsm/virt/sampling.py", line<br>&gt;&gt;&gt;&gt;&gt;&gt; 522,<br>&gt;&gt;&gt;&gt;&gt;&gt; in __call__<br>&gt;&gt;&gt;&gt;&gt;&gt; self._send_metrics()<br>&gt;&gt;&gt;&gt;&gt;&gt; File "/usr/lib/python2.7/site-packages/vdsm/virt/sampling.py", line<br>&gt;&gt;&gt;&gt;&gt;&gt; 538,<br>&gt;&gt;&gt;&gt;&gt;&gt; in _send_metrics<br>&gt;&gt;&gt;&gt;&gt;&gt; vm_sample.interval)<br>&gt;&gt;&gt;&gt;&gt;&gt; File "/usr/lib/python2.7/site-packages/vdsm/virt/vmstats.py", line 45,<br>&gt;&gt;&gt;&gt;&gt;&gt; in<br>&gt;&gt;&gt;&gt;&gt;&gt; produce<br>&gt;&gt;&gt;&gt;&gt;&gt; networks(vm, stats, first_sample, last_sample, interval)<br>&gt;&gt;&gt;&gt;&gt;&gt; File "/usr/lib/python2.7/site-packages/vdsm/virt/vmstats.py", line<br>&gt;&gt;&gt;&gt;&gt;&gt; 322,<br>&gt;&gt;&gt;&gt;&gt;&gt; in<br>&gt;&gt;&gt;&gt;&gt;&gt; networks<br>&gt;&gt;&gt;&gt;&gt;&gt; if nic.name.startswith('hostdev'):<br>&gt;&gt;&gt;&gt;&gt;&gt; AttributeError: name<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,800+0800 INFO (Reactor thread)<br>&gt;&gt;&gt;&gt;&gt;&gt; [ProtocolDetector.AcceptorImpl] Accepted connection from ::1:48308<br>&gt;&gt;&gt;&gt;&gt;&gt; (protocoldetector:61)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,810+0800 INFO (Reactor thread)<br>&gt;&gt;&gt;&gt;&gt;&gt; [ProtocolDetector.Detector] Detected protocol stomp from ::1:48308<br>&gt;&gt;&gt;&gt;&gt;&gt; (protocoldetector:125)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,810+0800 INFO (Reactor thread)<br>&gt;&gt;&gt;&gt;&gt;&gt; [Broker.StompAdapter]<br>&gt;&gt;&gt;&gt;&gt;&gt; Processing CONNECT request (stompreactor:103)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:54,818+0800 INFO (JsonRpc (StompReactor))<br>&gt;&gt;&gt;&gt;&gt;&gt; [Broker.StompAdapter] Subscribe command received (stompreactor:132)<br>&gt;&gt;&gt;&gt;&gt;&gt; 2018-04-20 09:24:55,119+0800 INFO (jsonrpc/6) [api.host] START<br>&gt;&gt;&gt;&gt;&gt;&gt; getHardwareInfo() from=::1,48308 (api:46)<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; ----- 原始邮件 -----<br>&gt;&gt;&gt;&gt;&gt;&gt; 发件人：Martin Sivak &lt;msivak@redhat.com&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 收件人：dhy336 &lt;dhy336@sina.com&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 抄送人：users &lt;users@ovirt.org&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; 主题：Re: [ovirt-users] Hosted-engine can not switch<br>&gt;&gt;&gt;&gt;&gt;&gt; 日期：2018年04月19日 20点16分<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; We need more than just this small log snippet. Please check the vdsm<br>&gt;&gt;&gt;&gt;&gt;&gt; and libvirt logs as well.<br>&gt;&gt;&gt;&gt;&gt;&gt; Best regards<br>&gt;&gt;&gt;&gt;&gt;&gt; Martin Sivak<br>&gt;&gt;&gt;&gt;&gt;&gt; On Thu, Apr 19, 2018 at 2:05 PM, &lt;dhy336@sina.com&gt; wrote:<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi，<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; I deploy three node with hosted engine, I force shut down a node<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; which<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host-engine VM is run, But hosted engine VM in other nodes can not<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; run.<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; I find some error in /var/log/ovirt-hosted-engine-ha/agent.log<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:35,787::hosted_engine::1192::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_clean_vdsm_state)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cleaning state for non-running VM<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:42,587::hosted_engine::1176::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_clean_vdsm_state)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Vdsm state for VM clean<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:42,589::hosted_engine::1125::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Starting vm using `/usr/sbin/hosted-engine --vm-start`<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,599::hosted_engine::1131::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; stdout:<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,600::hosted_engine::1132::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; stderr: Virtual machine does not exist: {'vmId':<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; u'08bbd680-a8a7-4267-82e7-89f36e87e930'}<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,600::hosted_engine::1144::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_start_engine_vm)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Engine VM started on localhost<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,609::brokerlink::111::ovirt_hosted_engine_ha.lib.brokerlink.BrokerLink::(notify)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Trying: notify time=1524139007.61 type=state_transition<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; detail=EngineStart-EngineStarting hostname='hosted-engine2'<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,670::brokerlink::121::ovirt_hosted_engine_ha.lib.brokerlink.BrokerLink::(notify)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Success, was notification of state_transition<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; (EngineStart-EngineStarting)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; sent? sent<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:47,670::hosted_engine::604::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_vdsm)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Initializing VDSM<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:50,095::hosted_engine::630::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_storage_images)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Connecting the storage<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:50,096::storage_server::220::ovirt_hosted_engine_ha.lib.storage_server.StorageServer::(validate_storage_server)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Validating storage server<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; MainThread::INFO::2018-04-19<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; 19:56:52,449::hosted_engine::639::ovirt_hosted_engine_ha.agent.hosted_engine.HostedEngine::(_initialize_storage_images)<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Storage domain reported as valid and reconnect is not forced.<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users mailing list<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; Users@ovirt.org<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt; http://lists.ovirt.org/mailman/listinfo/users<br>&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>&gt;&gt;&gt;&gt;&gt;&gt; Users mailing list<br>&gt;&gt;&gt;&gt;&gt;&gt; Users@ovirt.org<br>&gt;&gt;&gt;&gt;&gt;&gt; http://lists.ovirt.org/mailman/listinfo/users<br></div>