<div dir="ltr">Hi all,<div><br></div><div>ovirt 4.1 hosted engine on 2 node cluster and FC LUN Storage<br><div><br></div><div>I&#39;m trying to clear some task pending from months using vdsClient but I can&#39;t do anything.  Below are the steps (on node 1, the SPM):</div><div><br></div><div>1. Show all tasks:</div><div><br></div><i># vdsClient -s 0 getAllTasksInfo<br>fd319af4-d160-48ce-b682-5a908333a5e1 :<br>         verb = createVolume<br>         id = fd319af4-d160-48ce-b682-5a908333a5e1<br>9bbc2bc4-3c73-4814-a785-6ea737904528 :<br>         verb = prepareMerge<br>         id = 9bbc2bc4-3c73-4814-a785-6ea737904528<br>e70feb21-964d-49d9-9b5a-8e3f70a92db1 :<br>         verb = prepareMerge<br>         id = e70feb21-964d-49d9-9b5a-8e3f70a92db1<br>cf064461-f0ab-4e44-a68f-b2d58fa83a21 :<br>         verb = prepareMerge<br>         id = cf064461-f0ab-4e44-a68f-b2d58fa83a21<br>85b7cf4e-d658-4785-94f0-391fe9616b41 :<br>         verb = prepareMerge<br>         id = 85b7cf4e-d658-4785-94f0-391fe9616b41<br>7416627a-fe50-4353-b129-e01bba066a66 :<br>         verb = prepareMerge<br>         id = 7416627a-fe50-4353-b129-e01bba066a66</i><div><br></div><div><br></div><div>2. Stop all tasks (repeted for every task):</div><div><br></div><div><i># vdsClient -s 0 stopTask 7416627a-fe50-4353-b129-e01bba066a66 </i><br></div><div>Task is aborted: u&#39;7416627a-fe50-4353-b129-e01bba066a66&#39; - code 411<br></div><div><br></div><div>3. Tring to clear tasks:</div><div><br></div><div><div><i> # vdsClient -s 0 clearTask 7416627a-fe50-4353-b129-e01bba066a66</i></div><div><i>Operation is not allowed in this task state: (&quot;can&#39;t clean in state running&quot;,)</i></div></div><div><br></div><div><br></div><div><br></div><div><b>On Node 01 (the SPM) I have multiple errors in /var/log/vdsm/vdsm.log like this:</b></div><div><i><br></i></div><div><div><i>2017-10-11 15:09:53,719+0200 INFO  (jsonrpc/3) [storage.TaskManager.Task] (Task=&#39;9519d4db-2960-4b88-82f2-e4c1094eac54&#39;) aborting: Task is aborted: u&#39;Operation is not allowed in this task state: (&quot;can\&#39;t clean in state running&quot;,)&#39; - code 100 (task:1175)</i></div><div><i>2017-10-11 15:09:53,719+0200 ERROR (jsonrpc/3) [storage.Dispatcher] FINISH clearTask error=Operation is not allowed in this task state: (&quot;can&#39;t clean in state running&quot;,) (dispatcher:78)</i></div><div><i>2017-10-11 15:09:53,720+0200 INFO  (jsonrpc/3) [jsonrpc.JsonRpcServer] RPC call Task.clear failed (error 410) in 0.01 seconds (__init__:539)</i></div><div><i>2017-10-11 15:09:53,743+0200 INFO  (jsonrpc/6) [vdsm.api] START clearTask(taskID=u&#39;7416627a-fe50-4353-b129-e01bba066a66&#39;, spUUID=None, options=None) from=::ffff:192.168.0.226,36724, flow_id=7cd340ec (api:46)</i></div><div><i>2017-10-11 15:09:53,743+0200 INFO  (jsonrpc/6) [vdsm.api] FINISH clearTask error=Operation is not allowed in this task state: (&quot;can&#39;t clean in state running&quot;,) from=::ffff:192.168.0.226,36724, flow_id=7cd340ec (api:50)</i></div><div><i>2017-10-11 15:09:53,743+0200 ERROR (jsonrpc/6) [storage.TaskManager.Task] (Task=&#39;0e12e052-2aca-480d-b50f-5de01ddebe35&#39;) Unexpected error (task:870)</i></div><div><i>Traceback (most recent call last):</i></div><div><i>  File &quot;/usr/share/vdsm/storage/task.py&quot;, line 877, in _run</i></div><div><i>    return fn(*args, **kargs)</i></div><div><i>  File &quot;&lt;string&gt;&quot;, line 2, in clearTask</i></div><div><i>  File &quot;/usr/lib/python2.7/site-packages/vdsm/common/api.py&quot;, line 48, in method</i></div><div><i>    ret = func(*args, **kwargs)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/hsm.py&quot;, line 2258, in clearTask</i></div><div><i>    return self.taskMng.clearTask(taskID=taskID)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/taskManager.py&quot;, line 175, in clearTask</i></div><div><i>    t.clean()</i></div><div><i>  File &quot;/usr/share/vdsm/storage/task.py&quot;, line 1047, in clean</i></div><div><i>    raise se.TaskStateError(&quot;can&#39;t clean in state %s&quot; % self.state)</i></div><div><i>TaskStateError: Operation is not allowed in this task state: (&quot;can&#39;t clean in state running&quot;,)</i></div></div><div><i><br></i></div><div><i><br></i></div><div><b>On Node 02 (is a 2 node cluster) I have other errors (I don&#39;t know if are related):</b></div><div><i><br></i></div><div><div><i>2017-10-11 15:11:57,083+0200 INFO  (jsonrpc/7) [storage.LVM] Refreshing lvs: vg=b50c1f5c-aa2c-4a53-9f89-83517fa70d3b lvs=[&#39;leases&#39;] (lvm:1291)</i></div><div><i>2017-10-11 15:11:57,084+0200 INFO  (jsonrpc/7) [storage.LVM] Refreshing LVs (vg=b50c1f5c-aa2c-4a53-9f89-83517fa70d3b, lvs=[&#39;leases&#39;]) (lvm:1319)</i></div><div><i>2017-10-11 15:11:57,124+0200 INFO  (jsonrpc/7) [storage.VolumeManifest] b50c1f5c-aa2c-4a53-9f89-83517fa70d3b/d42f671e-1745-46c1-9e1c-2833245675fc/c86afaa5-6ca8-4fcb-a27e-ffbe0133fe23 info is {&#39;status&#39;: &#39;OK&#39;, &#39;domain&#39;: &#39;b50c1f5c-aa2c-4a53-9f89-83517fa70d3b&#39;, &#39;voltype&#39;: &#39;LEAF&#39;, &#39;description&#39;: &#39;hosted-engine.metadata&#39;, &#39;parent&#39;: &#39;00000000-0000-0000-0000-000000000000&#39;, &#39;format&#39;: &#39;RAW&#39;, &#39;generation&#39;: 0, &#39;image&#39;: &#39;d42f671e-1745-46c1-9e1c-2833245675fc&#39;, &#39;ctime&#39;: &#39;1499437345&#39;, &#39;disktype&#39;: &#39;2&#39;, &#39;legality&#39;: &#39;LEGAL&#39;, &#39;mtime&#39;: &#39;0&#39;, &#39;apparentsize&#39;: &#39;134217728&#39;, &#39;children&#39;: [], &#39;pool&#39;: &#39;&#39;, &#39;capacity&#39;: &#39;134217728&#39;, &#39;uuid&#39;: u&#39;c86afaa5-6ca8-4fcb-a27e-ffbe0133fe23&#39;, &#39;truesize&#39;: &#39;134217728&#39;, &#39;type&#39;: &#39;PREALLOCATED&#39;, &#39;lease&#39;: {&#39;owners&#39;: [], &#39;version&#39;: None}} (volume:272)</i></div><div><i>2017-10-11 15:11:57,125+0200 INFO  (jsonrpc/7) [vdsm.api] FINISH getVolumeInfo return={&#39;info&#39;: {&#39;status&#39;: &#39;OK&#39;, &#39;domain&#39;: &#39;b50c1f5c-aa2c-4a53-9f89-83517fa70d3b&#39;, &#39;voltype&#39;: &#39;LEAF&#39;, &#39;description&#39;: &#39;hosted-engine.metadata&#39;, &#39;parent&#39;: &#39;00000000-0000-0000-0000-000000000000&#39;, &#39;format&#39;: &#39;RAW&#39;, &#39;generation&#39;: 0, &#39;image&#39;: &#39;d42f671e-1745-46c1-9e1c-2833245675fc&#39;, &#39;ctime&#39;: &#39;1499437345&#39;, &#39;disktype&#39;: &#39;2&#39;, &#39;legality&#39;: &#39;LEGAL&#39;, &#39;mtime&#39;: &#39;0&#39;, &#39;apparentsize&#39;: &#39;134217728&#39;, &#39;children&#39;: [], &#39;pool&#39;: &#39;&#39;, &#39;capacity&#39;: &#39;134217728&#39;, &#39;uuid&#39;: u&#39;c86afaa5-6ca8-4fcb-a27e-ffbe0133fe23&#39;, &#39;truesize&#39;: &#39;134217728&#39;, &#39;type&#39;: &#39;PREALLOCATED&#39;, &#39;lease&#39;: {&#39;owners&#39;: [], &#39;version&#39;: None}}} from=::1,56906 (api:52)</i></div><div><i>2017-10-11 15:11:57,126+0200 INFO  (jsonrpc/7) [jsonrpc.JsonRpcServer] RPC call Volume.getInfo succeeded in 0.05 seconds (__init__:539)</i></div><div><i>2017-10-11 15:11:57,758+0200 INFO  (Reactor thread) [ProtocolDetector.AcceptorImpl] Accepted connection from ::1:56908 (protocoldetector:72)</i></div><div><i>2017-10-11 15:11:57,764+0200 INFO  (Reactor thread) [ProtocolDetector.Detector] Detected protocol stomp from ::1:56908 (protocoldetector:127)</i></div><div><i>2017-10-11 15:11:57,765+0200 INFO  (Reactor thread) [Broker.StompAdapter] Processing CONNECT request (stompreactor:103)</i></div><div><i>2017-10-11 15:11:57,765+0200 INFO  (JsonRpc (StompReactor)) [Broker.StompAdapter] Subscribe command received (stompreactor:130)</i></div><div><i>2017-10-11 15:11:57,930+0200 INFO  (jsonrpc/0) [jsonrpc.JsonRpcServer] RPC call Host.getHardwareInfo succeeded in 0.01 seconds (__init__:539)</i></div><div><i>2017-10-11 15:11:57,933+0200 INFO  (jsonrpc/1) [vdsm.api] START repoStats(options=None) from=::1,56908 (api:46)</i></div><div><i>2017-10-11 15:11:57,933+0200 INFO  (jsonrpc/1) [vdsm.api] FINISH repoStats return={u&#39;b50c1f5c-aa2c-4a53-9f89-83517fa70d3b&#39;: {&#39;code&#39;: 0, &#39;actual&#39;: True, &#39;version&#39;: 4, &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.000138003&#39;, &#39;lastCheck&#39;: &#39;4.9&#39;, &#39;valid&#39;: True}, u&#39;b6730d64-2cf8-42a3-8f08-24b8cc2c0cd8&#39;: {&#39;code&#39;: 200, &#39;actual&#39;: True, &#39;version&#39;: -1, &#39;acquired&#39;: False, &#39;delay&#39;: &#39;0&#39;, &#39;lastCheck&#39;: &#39;9.7&#39;, &#39;valid&#39;: False}, u&#39;c7d32f1b-f32c-4a21-995b-2e3b415aae4e&#39;: {&#39;code&#39;: 0, &#39;actual&#39;: True, &#39;version&#39;: 0, &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.000618471&#39;, &#39;lastCheck&#39;: &#39;1.4&#39;, &#39;valid&#39;: True}, u&#39;05ab1dd9-24bc-409b-80b8-6c5b00c52aa9&#39;: {&#39;code&#39;: 0, &#39;actual&#39;: True, &#39;version&#39;: 4, &#39;acquired&#39;: True, &#39;delay&#39;: &#39;0.00027591&#39;, &#39;lastCheck&#39;: &#39;5.2&#39;, &#39;valid&#39;: True}} from=::1,56908 (api:52)</i></div><div><i>2017-10-11 15:11:57,998+0200 INFO  (jsonrpc/1) [jsonrpc.JsonRpcServer] RPC call Host.getStats succeeded in 0.06 seconds (__init__:539)</i></div><div><i>2017-10-11 15:11:58,253+0200 ERROR (monitor/b6730d6) [storage.Monitor] Setting up monitor for b6730d64-2cf8-42a3-8f08-24b8cc2c0cd8 failed (monitor:329)</i></div><div><i>Traceback (most recent call last):</i></div><div><i>  File &quot;/usr/share/vdsm/storage/monitor.py&quot;, line 326, in _setupLoop</i></div><div><i>    self._setupMonitor()</i></div><div><i>  File &quot;/usr/share/vdsm/storage/monitor.py&quot;, line 349, in _setupMonitor</i></div><div><i>    self._produceDomain()</i></div><div><i>  File &quot;/usr/lib/python2.7/site-packages/vdsm/utils.py&quot;, line 401, in wrapper</i></div><div><i>    value = meth(self, *a, **kw)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/monitor.py&quot;, line 367, in _produceDomain</i></div><div><i>    self.domain = sdCache.produce(self.sdUUID)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sdc.py&quot;, line 112, in produce</i></div><div><i>    domain.getRealDomain()</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sdc.py&quot;, line 53, in getRealDomain</i></div><div><i>    return self._cache._realProduce(self._sdUUID)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sdc.py&quot;, line 136, in _realProduce</i></div><div><i>    domain = self._findDomain(sdUUID)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sdc.py&quot;, line 153, in _findDomain</i></div><div><i>    return findMethod(sdUUID)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/nfsSD.py&quot;, line 126, in findDomain</i></div><div><i>    return NfsStorageDomain(NfsStorageDomain.findDomainPath(sdUUID))</i></div><div><i>  File &quot;/usr/share/vdsm/storage/fileSD.py&quot;, line 359, in __init__</i></div><div><i>    manifest = self.manifestClass(domainPath)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/fileSD.py&quot;, line 171, in __init__</i></div><div><i>    sd.StorageDomainManifest.__init__(self, sdUUID, domaindir, metadata)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 332, in __init__</i></div><div><i>    self._domainLock = self._makeDomainLock()</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 526, in _makeDomainLock</i></div><div><i>    domVersion = self.getVersion()</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 403, in getVersion</i></div><div><i>    return self.getMetaParam(DMDK_VERSION)</i></div><div><i>  File &quot;/usr/share/vdsm/storage/sd.py&quot;, line 400, in getMetaParam</i></div><div><i>    return self._metadata[key]</i></div><div><i>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/persistent.py&quot;, line 91, in __getitem__</i></div><div><i>    return dec(self._dict[key])</i></div><div><i>  File &quot;/usr/lib/python2.7/site-packages/vdsm/storage/persistent.py&quot;, line 203, in __getitem__</i></div><div><i>    raise KeyError(key)</i></div><div><i>KeyError: &#39;VERSION&#39;</i></div></div><div><br></div><div><br></div><div>Can you help me? </div><div><br></div><div>Restart hosted engine don&#39;t solve the problem</div><div><br></div><div>Thank you</div><div><br></div><div><br>p.s. Related question: tasks above are the same/related reported by the engine in the screenshot here? <a href="https://snag.gy/XDmoUt.jpg">https://snag.gy/XDmoUt.jpg</a> ... How Can I clear also these tasks from engine?</div></div></div>