<div dir="ltr"><div><div><div><div><div>Hi All, <br><br></div>I have installed successfully several times oVirt (version 4.1) with 3 nodes on top glusterfs. <br><br></div>This time, when trying to configure the same setup, I am facing the following issue which doesn&#39;t seem to go away. During installation i get the error: <br></div><br><span style="font-family:monospace,monospace">Failed to execute stage &#39;Misc configuration&#39;: Cannot acquire host id: (u&#39;a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922&#39;, SanlockException(22, &#39;Sanlock lockspace add failure&#39;, &#39;Invalid argument&#39;))</span><br><br></div><div>The only different in this setup is that instead of standard partitioning i have GPT partitioning and the disks have 4K block size instead of 512. <br></div><div><br></div>The /var/log/sanlock.log has the following lines: <br><br><span style="font-family:monospace,monospace">2017-06-03 19:21:15+0200 23450 [943]: s9 lockspace ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047:250:/rhev/data-center/mnt/_var_lib_ovirt-hosted-engin-setup_tmptjkIDI/ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047/dom_md/ids:0<br>2017-06-03 19:21:36+0200 23471 [944]: s9:r5 resource ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047:SDM:/rhev/data-center/mnt/_var_lib_ovirt-hosted-engine-setup_tmptjkIDI/ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047/dom_md/leases:1048576 for 2,9,23040<br>2017-06-03 19:21:36+0200 23471 [943]: s10 lockspace a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922:250:/rhev/data-center/mnt/glusterSD/10.100.100.1:_engine/a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922/dom_md/ids:0<br>2017-06-03 19:21:36+0200 23471 [23522]: a5a6b0e7 aio collect RD 0x7f59b00008c0:0x7f59b00008d0:0x7f59b0101000 result -22:0 match res<br>2017-06-03 19:21:36+0200 23471 [23522]: read_sectors delta_leader offset 127488 rv -22 /rhev/data-center/mnt/glusterSD/10.100.100.1:_engine/a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922/dom_md/ids<br>2017-06-03 19:21:37+0200 23472 [930]: s9 host 250 1 23450 88c2244c-a782-40ed-9560-6cfa4d46f853.v0.neptune<br>2017-06-03 19:21:37+0200 23472 [943]: s10 add_lockspace fail result -22<br></span><br></div>And /var/log/vdsm/vdsm.log says: <br><br><span style="font-family:monospace,monospace">2017-06-03 19:19:38,176+0200 WARN  (jsonrpc/3) [storage.StorageServer.MountConnection] Using user specified backup-volfile-servers option (storageServer:253)<br>2017-06-03 19:21:12,379+0200 WARN  (periodic/1) [throttled] MOM not available. (throttledlog:105)<br>2017-06-03 19:21:12,380+0200 WARN  (periodic/1) [throttled] MOM not available, KSM stats will be missing. (throttledlog:105)<br>2017-06-03 19:21:14,714+0200 WARN  (jsonrpc/1) [storage.StorageServer.MountConnection] Using user specified backup-volfile-servers option (storageServer:253)<br>2017-06-03 19:21:15,515+0200 ERROR (jsonrpc/4) [storage.initSANLock] Cannot initialize SANLock for domain a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922 (clusterlock:238)<br>Traceback (most recent call last):<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/clusterlock.py&quot;, line 234, in initSANLock<br>    sanlock.init_lockspace(sdUUID, idsPath)<br>SanlockException: (107, &#39;Sanlock lockspace init failure&#39;, &#39;Transport endpoint is not connected&#39;)<br>2017-06-03 19:21:15,515+0200 WARN  (jsonrpc/4) [storage.StorageDomainManifest] lease did not initialize successfully (sd:557)<br>Traceback (most recent call last):<br>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 552, in initDomainLock<br>    self._domainLock.initLock(self.getDomainLease())<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/clusterlock.py&quot;, line 271, in initLock<br>    initSANLock(self._sdUUID, self._idsPath, lease)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/clusterlock.py&quot;, line 239, in initSANLock<br>    raise se.ClusterLockInitError()<br>ClusterLockInitError: Could not initialize cluster lock: ()<br>2017-06-03 19:21:37,867+0200 ERROR (jsonrpc/2) [storage.StoragePool] Create pool hosted_datacenter canceled  (sp:655)<br>Traceback (most recent call last):<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 652, in create<br>    self.attachSD(sdUUID)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 971, in attachSD<br>    dom.acquireHostId(<a href="http://self.id">self.id</a>)<br>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 790, in acquireHostId<br>    self._manifest.acquireHostId(hostId, async)<br>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 449, in acquireHostId<br>    self._domainLock.acquireHostId(hostId, async)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/clusterlock.py&quot;, line 297, in acquireHostId<br>    raise se.AcquireHostIdFailure(self._sdUUID, e)<br>AcquireHostIdFailure: Cannot acquire host id: (u&#39;a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922&#39;, SanlockException(22, &#39;Sanlock lockspace add failure&#39;, &#39;Invalid argument&#39;))<br>2017-06-03 19:21:37,870+0200 ERROR (jsonrpc/2) [storage.StoragePool] Domain ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047 detach from MSD ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047 Ver 1 failed. (sp:528)<br>Traceback (most recent call last):<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 525, in __cleanupDomains<br>    self.detachSD(sdUUID)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 1046, in detachSD<br>    raise se.CannotDetachMasterStorageDomain(sdUUID)<br>CannotDetachMasterStorageDomain: Illegal action: (u&#39;ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047&#39;,)<br>2017-06-03 19:21:37,872+0200 ERROR (jsonrpc/2) [storage.StoragePool] Domain a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922 detach from MSD ba6bd862-c2b8-46e7-b2c8-91e4a5bb2047 Ver 1 failed. (sp:528)<br>Traceback (most recent call last):<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 525, in __cleanupDomains<br>    self.detachSD(sdUUID)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 1043, in detachSD<br>    self.validateAttachedDomain(dom)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 542, in validateAttachedDomain<br>    self.validatePoolSD(dom.sdUUID)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 535, in validatePoolSD<br>    raise se.StorageDomainNotMemberOfPool(self.spUUID, sdUUID)<br>StorageDomainNotMemberOfPool: Domain is not member in pool: u&#39;pool=a1e7e9dd-0cf4-41ae-ba13-36297ed66309, domain=a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922&#39;<br>2017-06-03 19:21:40,063+0200 ERROR (jsonrpc/2) [storage.TaskManager.Task] (Task=&#39;a2476a33-26f8-4ebd-876d-02fe5d13ef78&#39;) Unexpected error (task:870)<br>Traceback (most recent call last):<br> File &quot;/usr/share/vdsm/storage/task.py&quot;, line 877, in _run<br>    return fn(*args, **kargs)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/logUtils.py&quot;, line 52, in wrapper<br>    res = f(*args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/hsm.py&quot;, line 959, in createStoragePool<br>    leaseParams)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 652, in create<br>    self.attachSD(sdUUID)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/securable.py&quot;, line 79, in wrapper<br>    return method(self, *args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/sp.py&quot;, line 971, in attachSD<br>    dom.acquireHostId(<a href="http://self.id">self.id</a>)<br>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 790, in acquireHostId<br>    self._manifest.acquireHostId(hostId, async)<br>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 449, in acquireHostId<br>    self._domainLock.acquireHostId(hostId, async)<br>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/clusterlock.py&quot;, line 297, in acquireHostId<br>    raise se.AcquireHostIdFailure(self._sdUUID, e)<br>AcquireHostIdFailure: Cannot acquire host id: (u&#39;a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922&#39;, SanlockException(22, &#39;Sanlock lockspace add failure&#39;, &#39;Invalid argument&#39;))<br>2017-06-03 19:21:40,067+0200 ERROR (jsonrpc/2) [storage.Dispatcher] {&#39;status&#39;: {&#39;message&#39;: &quot;Cannot acquire host id: (u&#39;a5a6b0e7-fc3f-4838-8e26-c8b4d5e5e922&#39;, SanlockException(22, &#39;Sanlock lockspace add failure&#39;, &#39;Invalid argument&#39;))&quot;, &#39;code&#39;: 661}} (dispatcher:77)</span><br><div><div><div><br></div><div>The gluster volume prepared for engine storage is online and no split brain is reported. I don&#39;t understand what needs to be done to overcome this. Any idea will be appreciated. <br><br></div><div>Thank you,<br></div><div>Alex<br></div></div></div></div>