<div dir="ltr">Hi,<div><br></div><div>I use this version : ovirt-hosted-engine-ha-1.1.2-1.el6.noarch</div><div><br></div><div>For 3 days, my engine-ha worked perfectly but i tried to snapshot a Vm and ha service make defunct ==&gt; 400% CPU !!</div>
<div><br></div><div>Agent.log and broker.log says nothing. But vdsm.log i have errors :</div><div><br></div><div><div>Thread-9462::DEBUG::2014-04-28 07:23:58,994::libvirtconnection::124::root::(wrapper) Unknown libvirterror: ecode: 84 edom: 10 level: 2 message: Operation not supported: live disk snapshot not supported with this QEMU binary</div>
<div><br></div><div><div>Thread-9462::ERROR::2014-04-28 07:23:58,995::vm::4006::vm.Vm::(snapshot) vmId=`773f6e6d-c670-49f3-ae8c-dfbcfa22d0a5`::Unable to take snapshot</div></div><div><br></div><div><br></div><div>Thread-9352::DEBUG::2014-04-28 08:41:39,922::lvm::295::Storage.Misc.excCmd::(cmd) &#39;/usr/bin/sudo -n /sbin/lvm vgs --config &quot; devices { preferred_names = [\\&quot;^/dev/mapper/\\&quot;] ignore_suspended_devices=1 write_cache_state=0 disable_after_error_count=3 obtain_device_list_from_udev=0 filter = [ \&#39;r|.*|\&#39; ] }  global {  locking_type=1  prioritise_write_locks=1  wait_for_locks=1 }  backup {  retain_min = 50  retain_days = 0 } &quot; --noheadings --units b --nosuffix --separator | -o uuid,name,attr,size,free,extent_size,extent_count,free_count,tags,vg_mda_size,vg_mda_free,lv_count,pv_count,pv_name cc51143e-8ad7-4b0b-a4d2-9024dffc1188 ff98d346-4515-4349-8437-fb2f5e9eaadf&#39; (cwd None)</div>
</div><div><br></div><div>I&#39;ll try to reboot my node with hosted-engine.</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-04-25 13:54 GMT+02:00 Martin Sivak <span dir="ltr">&lt;<a href="mailto:msivak@redhat.com" target="_blank">msivak@redhat.com</a>&gt;</span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Kevin,<br>
<br>
can you please tell us what version of hosted-engine are you running?<br>
<br>
rpm -q ovirt-hosted-engine-ha<br>
<br>
Also, do I understand it correctly that the engine VM is running, but you see bad status when you execute the hosted-engine --vm-status command?<br>
<br>
If that is so, can you give us current logs from /var/log/ovirt-hosted-engine-ha?<br>
<div class="HOEnZb"><div class="h5"><br>
--<br>
Martin Sivák<br>
<a href="mailto:msivak@redhat.com">msivak@redhat.com</a><br>
Red Hat Czech<br>
RHEV-M SLA / Brno, CZ<br>
<br>
----- Original Message -----<br>
&gt; Ok i mount manualy the domain for hosted engine and agent go up.<br>
&gt;<br>
&gt; But vm-status :<br>
&gt;<br>
&gt; --== Host 2 status ==--<br>
&gt;<br>
&gt; Status up-to-date                  : False<br>
&gt; Hostname                           : 192.168.99.103<br>
&gt; Host ID                            : 2<br>
&gt; Engine status                      : unknown stale-data<br>
&gt; Score                              : 0<br>
&gt; Local maintenance                  : False<br>
&gt; Host timestamp                     : 1398333438<br>
&gt;<br>
&gt; And in my engine, host02 Ha is no active.<br>
&gt;<br>
&gt;<br>
&gt; 2014-04-24 12:48 GMT+02:00 Kevin Tibi &lt;<a href="mailto:kevintibi@hotmail.com">kevintibi@hotmail.com</a>&gt;:<br>
&gt;<br>
&gt; &gt; Hi,<br>
&gt; &gt;<br>
&gt; &gt; I try to reboot my hosts and now [supervdsmServer] is &lt;defunct&gt;.<br>
&gt; &gt;<br>
&gt; &gt; /var/log/vdsm/supervdsm.log<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; MainProcess|Thread-120::DEBUG::2014-04-24<br>
&gt; &gt; 12:22:19,955::supervdsmServer::103::SuperVdsm.ServerCallback::(wrapper)<br>
&gt; &gt; return validateAccess with None<br>
&gt; &gt; MainProcess|Thread-120::DEBUG::2014-04-24<br>
&gt; &gt; 12:22:20,010::supervdsmServer::96::SuperVdsm.ServerCallback::(wrapper) call<br>
&gt; &gt; validateAccess with (&#39;qemu&#39;, (&#39;qemu&#39;, &#39;kvm&#39;),<br>
&gt; &gt; &#39;/rhev/data-center/mnt/host01.ovirt.lan:_home_export&#39;, 5) {}<br>
&gt; &gt; MainProcess|Thread-120::DEBUG::2014-04-24<br>
&gt; &gt; 12:22:20,014::supervdsmServer::103::SuperVdsm.ServerCallback::(wrapper)<br>
&gt; &gt; return validateAccess with None<br>
&gt; &gt; MainProcess|Thread-120::DEBUG::2014-04-24<br>
&gt; &gt; 12:22:20,059::supervdsmServer::96::SuperVdsm.ServerCallback::(wrapper) call<br>
&gt; &gt; validateAccess with (&#39;qemu&#39;, (&#39;qemu&#39;, &#39;kvm&#39;),<br>
&gt; &gt; &#39;/rhev/data-center/mnt/host01.ovirt.lan:_home_iso&#39;, 5) {}<br>
&gt; &gt; MainProcess|Thread-120::DEBUG::2014-04-24<br>
&gt; &gt; 12:22:20,063::supervdsmServer::103::SuperVdsm.ServerCallback::(wrapper)<br>
&gt; &gt; return validateAccess with None<br>
&gt; &gt;<br>
&gt; &gt; and one host don&#39;t mount the NFS used for hosted engine.<br>
&gt; &gt;<br>
&gt; &gt; MainThread::CRITICAL::2014-04-24<br>
&gt; &gt; 12:36:16,603::agent::103::ovirt_hosted_engine_ha.agent.agent.Agent::(run)<br>
&gt; &gt; Could not start ha-agent<br>
&gt; &gt; Traceback (most recent call last):<br>
&gt; &gt;   File<br>
&gt; &gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/agent/agent.py&quot;,<br>
&gt; &gt; line 97, in run<br>
&gt; &gt;     self._run_agent()<br>
&gt; &gt;   File<br>
&gt; &gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/agent/agent.py&quot;,<br>
&gt; &gt; line 154, in _run_agent<br>
&gt; &gt;     hosted_engine.HostedEngine(self.shutdown_requested).start_monitoring()<br>
&gt; &gt;   File<br>
&gt; &gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py&quot;,<br>
&gt; &gt; line 299, in start_monitoring<br>
&gt; &gt;     self._initialize_vdsm()<br>
&gt; &gt;   File<br>
&gt; &gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/agent/hosted_engine.py&quot;,<br>
&gt; &gt; line 418, in _initialize_vdsm<br>
&gt; &gt;     self._sd_path = env_path.get_domain_path(self._config)<br>
&gt; &gt;   File<br>
&gt; &gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/env/path.py&quot;, line<br>
&gt; &gt; 40, in get_domain_path<br>
&gt; &gt;     .format(sd_uuid, parent))<br>
&gt; &gt; Exception: path to storage domain aea040f8-ab9d-435b-9ecf-ddd4272e592f not<br>
&gt; &gt; found in /rhev/data-center/mnt<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; 2014-04-23 17:40 GMT+02:00 Kevin Tibi &lt;<a href="mailto:kevintibi@hotmail.com">kevintibi@hotmail.com</a>&gt;:<br>
&gt; &gt;<br>
&gt; &gt; top<br>
&gt; &gt;&gt; 1729 vdsm      20   0     0    0    0 Z 373.8  0.0 252:08.51<br>
&gt; &gt;&gt; ovirt-ha-broker &lt;defunct&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; [root@host01 ~]# ps axwu | grep 1729<br>
&gt; &gt;&gt; vdsm      1729  0.7  0.0      0     0 ?        Zl   Apr02 240:24<br>
&gt; &gt;&gt; [ovirt-ha-broker] &lt;defunct&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; [root@host01 ~]# ll<br>
&gt; &gt;&gt; /rhev/data-center/mnt/host01.ovirt.lan\:_home_NFS01/aea040f8-ab9d-435b-9ecf-ddd4272e592f/ha_agent/<br>
&gt; &gt;&gt; total 2028<br>
&gt; &gt;&gt; -rw-rw----. 1 vdsm kvm 1048576 23 avril 17:35 hosted-engine.lockspace<br>
&gt; &gt;&gt; -rw-rw----. 1 vdsm kvm 1028096 23 avril 17:35 hosted-engine.metadata<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; cat /var/log/vdsm/vdsm.log<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Thread-120518::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,299::task::1185::TaskManager.Task::(prepare)<br>
&gt; &gt;&gt; Task=`f13e71f1-ac7c-49ab-8079-8f099ebf72b6`::finished:<br>
&gt; &gt;&gt; {&#39;aea040f8-ab9d-435b-9ecf-ddd4272e592f&#39;: {&#39;code&#39;: 0, &#39;version&#39;: 3,<br>
&gt; &gt;&gt; &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.000410963&#39;, &#39;lastCheck&#39;: &#39;3.4&#39;, &#39;valid&#39;:<br>
&gt; &gt;&gt; True}, &#39;5ae613a4-44e4-42cb-89fc-7b5d34c1f30f&#39;: {&#39;code&#39;: 0, &#39;version&#39;: 3,<br>
&gt; &gt;&gt; &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.000412357&#39;, &#39;lastCheck&#39;: &#39;6.8&#39;, &#39;valid&#39;:<br>
&gt; &gt;&gt; True}, &#39;cc51143e-8ad7-4b0b-a4d2-9024dffc1188&#39;: {&#39;code&#39;: 0, &#39;version&#39;: 0,<br>
&gt; &gt;&gt; &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.000455292&#39;, &#39;lastCheck&#39;: &#39;1.2&#39;, &#39;valid&#39;:<br>
&gt; &gt;&gt; True}, &#39;ff98d346-4515-4349-8437-fb2f5e9eaadf&#39;: {&#39;code&#39;: 0, &#39;version&#39;: 0,<br>
&gt; &gt;&gt; &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.00817113&#39;, &#39;lastCheck&#39;: &#39;1.7&#39;, &#39;valid&#39;:<br>
&gt; &gt;&gt; True}}<br>
&gt; &gt;&gt; Thread-120518::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,300::task::595::TaskManager.Task::(_updateState)<br>
&gt; &gt;&gt; Task=`f13e71f1-ac7c-49ab-8079-8f099ebf72b6`::moving from state preparing<br>
&gt; &gt;&gt; -&gt;<br>
&gt; &gt;&gt; state finished<br>
&gt; &gt;&gt; Thread-120518::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,300::resourceManager::940::ResourceManager.Owner::(releaseAll)<br>
&gt; &gt;&gt; Owner.releaseAll requests {} resources {}<br>
&gt; &gt;&gt; Thread-120518::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,300::resourceManager::977::ResourceManager.Owner::(cancelAll)<br>
&gt; &gt;&gt; Owner.cancelAll requests {}<br>
&gt; &gt;&gt; Thread-120518::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,300::task::990::TaskManager.Task::(_decref)<br>
&gt; &gt;&gt; Task=`f13e71f1-ac7c-49ab-8079-8f099ebf72b6`::ref 0 aborting False<br>
&gt; &gt;&gt; Thread-120518::ERROR::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,302::brokerlink::72::ovirt_hosted_engine_ha.lib.brokerlink.BrokerLink::(connect)<br>
&gt; &gt;&gt; Failed to connect to broker: [Errno 2] No such file or directory<br>
&gt; &gt;&gt; Thread-120518::ERROR::2014-04-23<br>
&gt; &gt;&gt; 17:38:02,302::API::1612::vds::(_getHaInfo) failed to retrieve Hosted<br>
&gt; &gt;&gt; Engine<br>
&gt; &gt;&gt; HA info<br>
&gt; &gt;&gt;  Traceback (most recent call last):<br>
&gt; &gt;&gt;   File &quot;/usr/share/vdsm/API.py&quot;, line 1603, in _getHaInfo<br>
&gt; &gt;&gt;     stats = instance.get_all_stats()<br>
&gt; &gt;&gt;   File<br>
&gt; &gt;&gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/client/client.py&quot;,<br>
&gt; &gt;&gt; line 83, in get_all_stats<br>
&gt; &gt;&gt;     with broker.connection():<br>
&gt; &gt;&gt;   File &quot;/usr/lib64/python2.6/contextlib.py&quot;, line 16, in __enter__<br>
&gt; &gt;&gt;     return self.gen.next()<br>
&gt; &gt;&gt;   File<br>
&gt; &gt;&gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py&quot;,<br>
&gt; &gt;&gt; line 96, in connection<br>
&gt; &gt;&gt;     self.connect()<br>
&gt; &gt;&gt;   File<br>
&gt; &gt;&gt; &quot;/usr/lib/python2.6/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py&quot;,<br>
&gt; &gt;&gt; line 64, in connect<br>
&gt; &gt;&gt;     self._socket.connect(constants.BROKER_SOCKET_FILE)<br>
&gt; &gt;&gt;   File &quot;&lt;string&gt;&quot;, line 1, in connect<br>
&gt; &gt;&gt; error: [Errno 2] No such file or directory<br>
&gt; &gt;&gt; Thread-78::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:05,490::fileSD::225::Storage.Misc.excCmd::(getReadDelay) &#39;/bin/dd<br>
&gt; &gt;&gt; iflag=direct<br>
&gt; &gt;&gt; if=/rhev/data-center/mnt/host01.ovirt.lan:_home_DATA/5ae613a4-44e4-42cb-89fc-7b5d34c1f30f/dom_md/metadata<br>
&gt; &gt;&gt; bs=4096 count=1&#39; (cwd None)<br>
&gt; &gt;&gt; Thread-78::DEBUG::2014-04-23<br>
&gt; &gt;&gt; 17:38:05,523::fileSD::225::Storage.Misc.excCmd::(getReadDelay) SUCCESS:<br>
&gt; &gt;&gt; &lt;err&gt; = &#39;0+1 records in\n0+1 records out\n545 bytes (545 B) copied,<br>
&gt; &gt;&gt; 0.000412209 s, 1.3 MB/s\n&#39;; &lt;rc&gt; = 0<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; 2014-04-23 17:27 GMT+02:00 Martin Sivak &lt;<a href="mailto:msivak@redhat.com">msivak@redhat.com</a>&gt;:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Hi Kevin,<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; same pb.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Are you missing the lockspace file as well while running on top of<br>
&gt; &gt;&gt;&gt; GlusterFS?<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; ovirt-ha-broker have 400% cpu and is defunct. I can&#39;t kill with -9.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Defunct process eating full four cores? I wonder how is that possible..<br>
&gt; &gt;&gt;&gt; What are the status flags of that process when you do ps axwu?<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Can you attach the log files please?<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; --<br>
&gt; &gt;&gt;&gt; Martin Sivák<br>
&gt; &gt;&gt;&gt; <a href="mailto:msivak@redhat.com">msivak@redhat.com</a><br>
&gt; &gt;&gt;&gt; Red Hat Czech<br>
&gt; &gt;&gt;&gt; RHEV-M SLA / Brno, CZ<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt;&gt; &gt; same pb. ovirt-ha-broker have 400% cpu and is defunct. I can&#39;t kill<br>
&gt; &gt;&gt;&gt; with -9.<br>
&gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; 2014-04-23 13:55 GMT+02:00 Martin Sivak &lt;<a href="mailto:msivak@redhat.com">msivak@redhat.com</a>&gt;:<br>
&gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; Hi,<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; Isn&#39;t this file created when hosted engine is started?<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; The file is created by the setup script. If it got lost then there<br>
&gt; &gt;&gt;&gt; was<br>
&gt; &gt;&gt;&gt; &gt; &gt; probably something bad happening in your NFS or Gluster storage.<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; Or how can I create this file manually?<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; I can give you experimental treatment for this. We do not have any<br>
&gt; &gt;&gt;&gt; &gt; &gt; official way as this is something that should not ever happen :)<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; !! But before you do that make sure you do not have any nodes running<br>
&gt; &gt;&gt;&gt; &gt; &gt; properly. This will destroy and reinitialize the lockspace database<br>
&gt; &gt;&gt;&gt; for the<br>
&gt; &gt;&gt;&gt; &gt; &gt; whole hosted-engine environment (which you apparently lack, but..).<br>
&gt; &gt;&gt;&gt; !!<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; You have to create the ha_agent/hosted-engine.lockspace file with the<br>
&gt; &gt;&gt;&gt; &gt; &gt; expected size (1MB) and then tell sanlock to initialize it as a<br>
&gt; &gt;&gt;&gt; lockspace<br>
&gt; &gt;&gt;&gt; &gt; &gt; using:<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; # python<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;&gt;&gt; import sanlock<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;&gt;&gt; sanlock.write_lockspace(lockspace=&quot;hosted-engine&quot;,<br>
&gt; &gt;&gt;&gt; &gt; &gt; ... path=&quot;/rhev/data-center/mnt/&lt;nfs&gt;/&lt;hosted engine storage<br>
&gt; &gt;&gt;&gt; &gt; &gt; domain&gt;/ha_agent/hosted-engine.lockspace&quot;,<br>
&gt; &gt;&gt;&gt; &gt; &gt; ... offset=0)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; Then try starting the services (both broker and agent) again.<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; --<br>
&gt; &gt;&gt;&gt; &gt; &gt; Martin Sivák<br>
&gt; &gt;&gt;&gt; &gt; &gt; <a href="mailto:msivak@redhat.com">msivak@redhat.com</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; Red Hat Czech<br>
&gt; &gt;&gt;&gt; &gt; &gt; RHEV-M SLA / Brno, CZ<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; On 04/23/2014 11:08 AM, Martin Sivak wrote:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Hi René,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; libvirtError: Failed to acquire lock: No space left on device<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 2014-04-22 12:38:17+0200 654 [3093]: r2 cmd_acquire 2,9,5733<br>
&gt; &gt;&gt;&gt; invalid<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; lockspace found -1 failed 0 name<br>
&gt; &gt;&gt;&gt; &gt; &gt; 2851af27-8744-445d-9fb1-a0d083c8dc82<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Can you please check the contents of /rhev/data-center/&lt;your nfs<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; mount&gt;/&lt;nfs domain uuid&gt;/ha_agent/?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; This is how it should look like:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; [root@dev-03 ~]# ls -al<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; /rhev/data-center/mnt/euryale\:_home_ovirt_he/e16de6a2-53f5-4ab3-95a3-255d08398824/ha_agent/<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; total 2036<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; drwxr-x---. 2 vdsm kvm    4096 Mar 19 18:46 .<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; drwxr-xr-x. 6 vdsm kvm    4096 Mar 19 18:46 ..<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; -rw-rw----. 1 vdsm kvm 1048576 Apr 23 11:05<br>
&gt; &gt;&gt;&gt; hosted-engine.lockspace<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; -rw-rw----. 1 vdsm kvm 1028096 Mar 19 18:46<br>
&gt; &gt;&gt;&gt; hosted-engine.metadata<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; The errors seem to indicate that you somehow lost the lockspace<br>
&gt; &gt;&gt;&gt; file.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; True :)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; Isn&#39;t this file created when hosted engine is started? Or how can I<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; create this file manually?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Martin Sivák<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; <a href="mailto:msivak@redhat.com">msivak@redhat.com</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; Red Hat Czech<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; RHEV-M SLA / Brno, CZ<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; On 04/23/2014 12:28 AM, Doron Fediuck wrote:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Hi Rene,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; any idea what closed your ovirtmgmt bridge?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; as long as it is down vdsm may have issues starting up properly<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; and this is why you see the complaints on the rpc server.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Can you try manually fixing the network part first and then<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; restart vdsm?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; Once vdsm is happy hosted engine VM will start.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; Thanks for your feedback, Doron.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; My ovirtmgmt bridge seems to be on or isn&#39;t it:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; # brctl show ovirtmgmt<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; bridge name        bridge id               STP enabled<br>
&gt; &gt;&gt;&gt; interfaces<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; ovirtmgmt          8000.0025907587c2       no<br>
&gt; &gt;&gt;&gt;  eth0.200<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; # ip a s ovirtmgmt<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; 7: ovirtmgmt: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500 qdisc<br>
&gt; &gt;&gt;&gt; noqueue<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; state UNKNOWN<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;       link/ether 00:25:90:75:87:c2 brd ff:ff:ff:ff:ff:ff<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;       inet <a href="http://10.0.200.102/24" target="_blank">10.0.200.102/24</a> brd 10.0.200.255 scope global<br>
&gt; &gt;&gt;&gt; ovirtmgmt<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;       inet6 fe80::225:90ff:fe75:87c2/64 scope link<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;          valid_lft forever preferred_lft forever<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; # ip a s eth0.200<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; 6: eth0.200@eth0: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 1500<br>
&gt; &gt;&gt;&gt; qdisc<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; noqueue state UP<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;       link/ether 00:25:90:75:87:c2 brd ff:ff:ff:ff:ff:ff<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;       inet6 fe80::225:90ff:fe75:87c2/64 scope link<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;          valid_lft forever preferred_lft forever<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; I tried the following yesterday:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; Copy virtual disk from GlusterFS storage to local disk of host<br>
&gt; &gt;&gt;&gt; and<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; create a new vm with virt-manager which loads ovirtmgmt disk. I<br>
&gt; &gt;&gt;&gt; could<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; reach my engine over the ovirtmgmt bridge (so bridge must be<br>
&gt; &gt;&gt;&gt; working).<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; I also started libvirtd with Option -v and I saw the following<br>
&gt; &gt;&gt;&gt; in<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; libvirtd.log when trying to start ovirt engine:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; 2014-04-22 14:18:25.432+0000: 8901: debug :<br>
&gt; &gt;&gt;&gt; virCommandRunAsync:2250 :<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; Command result 0, with PID 11491<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; 2014-04-22 14:18:25.478+0000: 8901: debug : virCommandRun:2045 :<br>
&gt; &gt;&gt;&gt; &gt; &gt; Result<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; exit status 255, stdout: &#39;&#39; stderr: &#39;iptables v1.4.7: goto<br>
&gt; &gt;&gt;&gt; &#39;FO-vnet0&#39;<br>
&gt; &gt;&gt;&gt; &gt; &gt; is<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; not a chain<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; So it could be that something is broken in my hosted-engine<br>
&gt; &gt;&gt;&gt; network.<br>
&gt; &gt;&gt;&gt; &gt; &gt; Do<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; you have any clue how I can troubleshoot this?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; Thanks,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt; René<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; From: &quot;René Koch&quot; &lt;<a href="mailto:rkoch@linuxland.at">rkoch@linuxland.at</a>&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; To: &quot;Martin Sivak&quot; &lt;<a href="mailto:msivak@redhat.com">msivak@redhat.com</a>&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Cc: <a href="mailto:users@ovirt.org">users@ovirt.org</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Sent: Tuesday, April 22, 2014 1:46:38 PM<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Subject: Re: [ovirt-users] hosted engine health check issues<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Hi,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; I rebooted one of my ovirt hosts today and the result is now<br>
&gt; &gt;&gt;&gt; that I<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; can&#39;t start hosted-engine anymore.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ovirt-ha-agent isn&#39;t running because the lockspace file is<br>
&gt; &gt;&gt;&gt; missing<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; (sanlock complains about it).<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; So I tried to start hosted-engine with --vm-start and I get<br>
&gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; following errors:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ==&gt; /var/log/sanlock.log &lt;==<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 2014-04-22 12:38:17+0200 654 [3093]: r2 cmd_acquire 2,9,5733<br>
&gt; &gt;&gt;&gt; invalid<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; lockspace found -1 failed 0 name<br>
&gt; &gt;&gt;&gt; &gt; &gt; 2851af27-8744-445d-9fb1-a0d083c8dc82<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ==&gt; /var/log/messages &lt;==<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:38:17 ovirt-host02 sanlock[3079]: 2014-04-22<br>
&gt; &gt;&gt;&gt; &gt; &gt; 12:38:17+0200 654<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; [3093]: r2 cmd_acquire 2,9,5733 invalid lockspace found -1<br>
&gt; &gt;&gt;&gt; failed 0<br>
&gt; &gt;&gt;&gt; &gt; &gt; name<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 2851af27-8744-445d-9fb1-a0d083c8dc82<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:38:17 ovirt-host02 kernel: ovirtmgmt: port 2(vnet0)<br>
&gt; &gt;&gt;&gt; &gt; &gt; entering<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; disabled state<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:38:17 ovirt-host02 kernel: device vnet0 left<br>
&gt; &gt;&gt;&gt; promiscuous<br>
&gt; &gt;&gt;&gt; &gt; &gt; mode<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:38:17 ovirt-host02 kernel: ovirtmgmt: port 2(vnet0)<br>
&gt; &gt;&gt;&gt; &gt; &gt; entering<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; disabled state<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ==&gt; /var/log/vdsm/vdsm.log &lt;==<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thread-21::DEBUG::2014-04-22<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 12:38:17,563::libvirtconnection::124::root::(wrapper) Unknown<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; libvirterror: ecode: 38 edom: 42 level: 2 message: Failed to<br>
&gt; &gt;&gt;&gt; acquire<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; lock: No space left on device<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thread-21::DEBUG::2014-04-22<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 12:38:17,563::vm::2263::vm.Vm::(_startUnderlyingVm)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; vmId=`f26dd37e-13b5-430c-b2f2-ecd098b82a91`::_ongoingCreations<br>
&gt; &gt;&gt;&gt; &gt; &gt; released<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thread-21::ERROR::2014-04-22<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 12:38:17,564::vm::2289::vm.Vm::(_startUnderlyingVm)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; vmId=`f26dd37e-13b5-430c-b2f2-ecd098b82a91`::The vm start<br>
&gt; &gt;&gt;&gt; process<br>
&gt; &gt;&gt;&gt; &gt; &gt; failed<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Traceback (most recent call last):<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;      File &quot;/usr/share/vdsm/vm.py&quot;, line 2249, in<br>
&gt; &gt;&gt;&gt; _startUnderlyingVm<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;        self._run()<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;      File &quot;/usr/share/vdsm/vm.py&quot;, line 3170, in _run<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;        self._connection.createXML(domxml, flags),<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;      File<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt;  &quot;/usr/lib64/python2.6/site-packages/vdsm/libvirtconnection.py&quot;,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; line 92, in wrapper<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;        ret = f(*args, **kwargs)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;      File &quot;/usr/lib64/python2.6/site-packages/libvirt.py&quot;,<br>
&gt; &gt;&gt;&gt; line<br>
&gt; &gt;&gt;&gt; &gt; &gt; 2665, in<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; createXML<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;        if ret is None:raise libvirtError(&#39;virDomainCreateXML()<br>
&gt; &gt;&gt;&gt; &gt; &gt; failed&#39;,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; conn=self)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; libvirtError: Failed to acquire lock: No space left on device<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ==&gt; /var/log/messages &lt;==<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:38:17 ovirt-host02 vdsm vm.Vm ERROR<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; vmId=`f26dd37e-13b5-430c-b2f2-ecd098b82a91`::The vm start<br>
&gt; &gt;&gt;&gt; process<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; failed#012Traceback (most recent call last):#012  File<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; &quot;/usr/share/vdsm/vm.py&quot;, line 2249, in _startUnderlyingVm#012<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; self._run()#012  File &quot;/usr/share/vdsm/vm.py&quot;, line 3170, in<br>
&gt; &gt;&gt;&gt; &gt; &gt; _run#012<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;     self._connection.createXML(domxml, flags),#012  File<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &quot;/usr/lib64/python2.6/site-packages/vdsm/libvirtconnection.py&quot;,<br>
&gt; &gt;&gt;&gt; &gt; &gt; line 92,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; in wrapper#012    ret = f(*args, **kwargs)#012  File<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; &quot;/usr/lib64/python2.6/site-packages/libvirt.py&quot;, line 2665, in<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; createXML#012    if ret is None:raise<br>
&gt; &gt;&gt;&gt; &gt; &gt; libvirtError(&#39;virDomainCreateXML()<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; failed&#39;, conn=self)#012libvirtError: Failed to acquire lock:<br>
&gt; &gt;&gt;&gt; No<br>
&gt; &gt;&gt;&gt; &gt; &gt; space<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; left on device<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ==&gt; /var/log/vdsm/vdsm.log &lt;==<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thread-21::DEBUG::2014-04-22<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; 12:38:17,569::vm::2731::vm.Vm::(setDownStatus)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; vmId=`f26dd37e-13b5-430c-b2f2-ecd098b82a91`::Changed state to<br>
&gt; &gt;&gt;&gt; Down:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Failed to acquire lock: No space left on device<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; No space left on device is nonsense as there is enough space<br>
&gt; &gt;&gt;&gt; (I had<br>
&gt; &gt;&gt;&gt; &gt; &gt; this<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; issue last time as well where I had to patch machine.py, but<br>
&gt; &gt;&gt;&gt; this<br>
&gt; &gt;&gt;&gt; &gt; &gt; file<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; is now Python 2.6.6 compatible.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Any idea what prevents hosted-engine from starting?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; ovirt-ha-broker, vdsmd and sanlock are running btw.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Btw, I can see in log that json rpc server module is missing<br>
&gt; &gt;&gt;&gt; - which<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; package is required for CentOS 6.5?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Apr 22 12:37:14 ovirt-host02 vdsm vds WARNING Unable to load<br>
&gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt;&gt; &gt; &gt; json<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; rpc server module. Please make sure it is installed.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Thanks,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; René<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; On 04/17/2014 10:02 AM, Martin Sivak wrote:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; How can I disable notifications?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; The notification is configured in<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; /etc/ovirt-hosted-engine-ha/broker.conf<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; section notification.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; The email is sent when the key state_transition exists and<br>
&gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt;&gt; &gt; &gt; string<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; OldState-NewState contains the (case insensitive) regexp<br>
&gt; &gt;&gt;&gt; from the<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; value.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is it intended to send out these messages and detect that<br>
&gt; &gt;&gt;&gt; ovirt<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; engine<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; is down (which is false anyway), but not to restart the<br>
&gt; &gt;&gt;&gt; vm?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Forget about emails for now and check the<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; /var/log/ovirt-hosted-engine-ha/agent.log and broker.log (and<br>
&gt; &gt;&gt;&gt; &gt; &gt; attach<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; them<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; as well btw).<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; oVirt hosts think that hosted engine is down because it<br>
&gt; &gt;&gt;&gt; seems<br>
&gt; &gt;&gt;&gt; &gt; &gt; that<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; hosts<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; can&#39;t write to hosted-engine.lockspace due to glusterfs<br>
&gt; &gt;&gt;&gt; issues<br>
&gt; &gt;&gt;&gt; &gt; &gt; (or<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; at<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; least I think so).<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; The hosts think so or can&#39;t really write there? The<br>
&gt; &gt;&gt;&gt; lockspace is<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; managed<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; by<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; sanlock and our HA daemons do not touch it at all. We only<br>
&gt; &gt;&gt;&gt; ask<br>
&gt; &gt;&gt;&gt; &gt; &gt; sanlock<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; to<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; get make sure we have unique server id.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is is possible or planned to make the whole ha feature<br>
&gt; &gt;&gt;&gt; optional?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Well the system won&#39;t perform any automatic actions if you<br>
&gt; &gt;&gt;&gt; put the<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; hosted<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; engine to global maintenance and only start/stop/migrate the<br>
&gt; &gt;&gt;&gt; VM<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; manually.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; I would discourage you from stopping agent/broker, because<br>
&gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt;&gt; &gt; &gt; engine<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; itself has some logic based on the reporting.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Regards<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; --<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Martin Sivák<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; <a href="mailto:msivak@redhat.com">msivak@redhat.com</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; Red Hat Czech<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; RHEV-M SLA / Brno, CZ<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt; ----- Original Message -----<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; On 04/15/2014 04:53 PM, Jiri Moskovcak wrote:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; On 04/14/2014 10:50 AM, René Koch wrote:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I have some issues with hosted engine status.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; oVirt hosts think that hosted engine is down because it<br>
&gt; &gt;&gt;&gt; seems<br>
&gt; &gt;&gt;&gt; &gt; &gt; that<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; hosts<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; can&#39;t write to hosted-engine.lockspace due to glusterfs<br>
&gt; &gt;&gt;&gt; issues<br>
&gt; &gt;&gt;&gt; &gt; &gt; (or<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; at<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; least I think so).<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Here&#39;s the output of vm-status:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; # hosted-engine --vm-status<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --== Host 1 status ==--<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status up-to-date                  : False<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hostname                           : 10.0.200.102<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host ID                            : 1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Engine status                      : unknown stale-data<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Score                              : 2400<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local maintenance                  : False<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host timestamp                     : 1397035677<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Extra metadata (valid at timestamp):<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         metadata_parse_version=1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         metadata_feature_version=1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         timestamp=1397035677 (Wed Apr  9 11:27:57 2014)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         host-id=1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         score=2400<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         maintenance=False<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         state=EngineUp<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; --== Host 2 status ==--<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Status up-to-date                  : True<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Hostname                           : 10.0.200.101<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host ID                            : 2<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Engine status                      : {&#39;reason&#39;: &#39;vm not<br>
&gt; &gt;&gt;&gt; running<br>
&gt; &gt;&gt;&gt; &gt; &gt; on<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; this<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; host&#39;, &#39;health&#39;: &#39;bad&#39;, &#39;vm&#39;: &#39;down&#39;, &#39;detail&#39;: &#39;unknown&#39;}<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Score                              : 0<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Local maintenance                  : False<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Host timestamp                     : 1397464031<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Extra metadata (valid at timestamp):<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         metadata_parse_version=1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         metadata_feature_version=1<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         timestamp=1397464031 (Mon Apr 14 10:27:11 2014)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         host-id=2<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         score=0<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         maintenance=False<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         state=EngineUnexpectedlyDown<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;         timeout=Mon Apr 14 10:35:05 2014<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; oVirt engine is sending me 2 emails every 10 minutes with<br>
&gt; &gt;&gt;&gt; the<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; following<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; subjects:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - ovirt-hosted-engine state transition<br>
&gt; &gt;&gt;&gt; EngineDown-EngineStart<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; - ovirt-hosted-engine state transition<br>
&gt; &gt;&gt;&gt; EngineStart-EngineUp<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; In oVirt webadmin I can see the following message:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; VM HostedEngine is down. Exit message: internal error<br>
&gt; &gt;&gt;&gt; Failed to<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; acquire<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; lock: error -243.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; These messages are really annoying as oVirt isn&#39;t doing<br>
&gt; &gt;&gt;&gt; anything<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; with<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; hosted engine - I have an uptime of 9 days in my engine<br>
&gt; &gt;&gt;&gt; vm.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; So my questions are now:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is it intended to send out these messages and detect that<br>
&gt; &gt;&gt;&gt; ovirt<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; engine<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; is down (which is false anyway), but not to restart the<br>
&gt; &gt;&gt;&gt; vm?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; How can I disable notifications? I&#39;m planning to write a<br>
&gt; &gt;&gt;&gt; Nagios<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; plugin<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; which parses the output of hosted-engine --vm-status and<br>
&gt; &gt;&gt;&gt; only<br>
&gt; &gt;&gt;&gt; &gt; &gt; Nagios<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; should notify me, not hosted-engine script.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Is is possible or planned to make the whole ha feature<br>
&gt; &gt;&gt;&gt; &gt; &gt; optional? I<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; really really really hate cluster software as it causes<br>
&gt; &gt;&gt;&gt; more<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; troubles<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; then standalone machines and in my case the hosted-engine<br>
&gt; &gt;&gt;&gt; ha<br>
&gt; &gt;&gt;&gt; &gt; &gt; feature<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; really causes troubles (and I didn&#39;t had a hardware or<br>
&gt; &gt;&gt;&gt; network<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; outage<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; yet only issues with hosted-engine ha agent). I don&#39;t<br>
&gt; &gt;&gt;&gt; need any<br>
&gt; &gt;&gt;&gt; &gt; &gt; ha<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; feature for hosted engine. I just want to run engine<br>
&gt; &gt;&gt;&gt; &gt; &gt; virtualized on<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; oVirt and if engine vm fails (e.g. because of issues with<br>
&gt; &gt;&gt;&gt; a<br>
&gt; &gt;&gt;&gt; &gt; &gt; host)<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I&#39;ll<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; restart it on another node.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; Hi, you can:<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; 1. edit<br>
&gt; &gt;&gt;&gt; /etc/ovirt-hosted-engine-ha/{agent,broker}-log.conf and<br>
&gt; &gt;&gt;&gt; &gt; &gt; tweak<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; the logger as you like<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; 2. or kill ovirt-ha-broker &amp; ovirt-ha-agent services<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Thanks for the information.<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; So engine is able to run when ovirt-ha-broker and<br>
&gt; &gt;&gt;&gt; ovirt-ha-agent<br>
&gt; &gt;&gt;&gt; &gt; &gt; isn&#39;t<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; running?<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Regards,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; René<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt; --Jirka<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks,<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; René<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; Users mailing list<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; _______________________________________________<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; Users mailing list<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt; &gt; _______________________________________________<br>
&gt; &gt;&gt;&gt; &gt; &gt; Users mailing list<br>
&gt; &gt;&gt;&gt; &gt; &gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt;&gt;&gt; &gt; &gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt; &gt;&gt;&gt; &gt; &gt;<br>
&gt; &gt;&gt;&gt; &gt;<br>
&gt; &gt;&gt;&gt; _______________________________________________<br>
&gt; &gt;&gt;&gt; Users mailing list<br>
&gt; &gt;&gt;&gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;<br>
&gt;<br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
</div></div></blockquote></div><br></div>