<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Oct 24, 2017 at 8:29 AM, Idan Shaby <span dir="ltr">&lt;<a href="mailto:ishaby@redhat.com" target="_blank">ishaby@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div>Hi Gianluca,<br><br></div>Can you try to reproduce it with FC? Maybe it&#39;s somehow related to that.<br></div></div></div></div></blockquote><div>Just to make it clear - I know that bug originally occurred on FC, and it will be helpful to have the full logs if we want to understand the root cause for this. <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div></div>Did you try to lvremove the old lv&#39;s, or are they still in use?<br></div>Trying to do this from the SPM should be ok. What do you mean synchronize the information at the other node side?<br></div>In any case, this is a disk that you don&#39;t need anymore, isn&#39;t it? You said that the copy part of the move operation went well.<br></div><div class="gmail_extra"><br clear="all"><div><div class="m_285554346750295838gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br>Thanks,<br></div>Idan<br></div></div></div></div></div></div></div><div><div class="h5">
<br><div class="gmail_quote">On Thu, Oct 19, 2017 at 10:47 AM, Gianluca Cecchi <span dir="ltr">&lt;<a href="mailto:gianluca.cecchi@gmail.com" target="_blank">gianluca.cecchi@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span><div class="gmail_extra"><div class="gmail_quote">On Thu, Oct 19, 2017 at 7:36 AM, Idan Shaby <span dir="ltr">&lt;<a href="mailto:ishaby@redhat.com" target="_blank">ishaby@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>Hi Gianluca,<br><br></div>This sounds like a bug to me.<br></div>Can you please attach engine and vdsm logs?<br><div class="gmail_extra"><br clear="all"><div><div class="m_285554346750295838m_-7397144805312959318gmail-m_1646060373496704171gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br>Thanks,<br></div>Idan</div></div></div></div></div></div></div></div></div>
</blockquote></div><br></div></span><div class="gmail_extra">Hi Idan,</div><div class="gmail_extra">I have not at hand the full files right now, but these were the snippets I cut from vdsm log and engine.log yesterday around the time of the first error after sending the first e-mail</div><div class="gmail_extra">It seems vdsm reports that the logical volume is still in use while trying to remove it.... </div><div class="gmail_extra">I have tried to replicate on another environment also based on block storage, but now iSCSI and not FC and I was not able to get the error: the move disk operation of the powered off vm always completed successfully.</div><div class="gmail_extra">Both tests were done trying to move preallocated disks if that matters</div><div class="gmail_extra"><br></div><div class="gmail_extra">vdsm.log of host1</div><div class="gmail_extra"><br></div><div class="gmail_extra"><div class="gmail_extra">2017-10-18 14:59:28,907+0200 ERROR (libvirt/events) [storage.TaskManager.Task] (Task=&#39;6331ec00-b75b-465e-8d9c<wbr>-04d465c09ea1&#39;) Unexpected error (task:872)</div><div class="gmail_extra">Traceback (most recent call last):</div><div class="gmail_extra">  File &quot;/usr/share/vdsm/storage/task.<wbr>py&quot;, line 879, in _run</div><div class="gmail_extra">    return fn(*args, **kargs)</div><div class="gmail_extra">  File &quot;&lt;string&gt;&quot;, line 2, in teardownImage</div><div class="gmail_extra">  File &quot;/usr/lib/python2.7/site-packa<wbr>ges/vdsm/common/api.py&quot;, line 48, in method</div><div class="gmail_extra">    ret = func(*args, **kwargs)</div><div class="gmail_extra">  File &quot;/usr/share/vdsm/storage/hsm.p<wbr>y&quot;, line 3189, in teardownImage</div><div class="gmail_extra">    dom.deactivateImage(imgUUID)</div><div class="gmail_extra">  File &quot;/usr/share/vdsm/storage/block<wbr>SD.py&quot;, line 1289, in deactivateImage</div><div class="gmail_extra">    lvm.deactivateLVs(self.sdUUID, volUUIDs)</div><div class="gmail_extra">  File &quot;/usr/share/vdsm/storage/lvm.p<wbr>y&quot;, line 1304, in deactivateLVs</div><div class="gmail_extra">    _setLVAvailability(vgName, toDeactivate, &quot;n&quot;)</div><div class="gmail_extra">  File &quot;/usr/share/vdsm/storage/lvm.p<wbr>y&quot;, line 843, in _setLVAvailability</div><div class="gmail_extra">    raise error(str(e))</div><div class="gmail_extra">CannotDeactivateLogicalVolume: Cannot deactivate Logical Volume: (&#39;General Storage Exception: (&quot;5 [] [\&#39;  Logical volume c5d360f5-cd90-4b3e-bdef-924649<wbr>bfbc5f/eff58f10-12bf-412f-<wbr>a5db-944bfb10904d is used by another device.\&#39;]\\nc5d360f5-cd90-4b3<wbr>e-bdef-924649bfbc5f/[\&#39;eff58f1<wbr>0-12bf-412f-a5db-944bfb10904d\<wbr>&#39;]&quot;,)&#39;,)</div><div>2017-10-18 14:59:28,907+0200 INFO  (libvirt/events) [storage.TaskManager.Task] (Task=&#39;6331ec00-b75b-465e-8d9c<wbr>-04d465c09ea1&#39;) aborting: Task is aborted: &#39;Cannot deactivate Logical Volume: (\&#39;General Storage Exception: (&quot;5 [] [\\\&#39;  Logical volume c5d360f5-cd90-4b3e-bdef-924649<wbr>bfbc5f/eff58f10-12bf-412f-<wbr>a5db-944bfb10904d is used by another device.\\\&#39;]\\\\nc5d360f5-cd90<wbr>-4b3e-bdef-924649bfbc5f/[\\\&#39;<wbr>eff58f10-12bf-412f-a5db-944bfb<wbr>10904d\\\&#39;]&quot;,)\&#39;,)&#39; - code 552 (task:1177)<br></div><div><div>2017-10-18 14:59:28,908+0200 ERROR (libvirt/events) [storage.Dispatcher] FINISH teardownImage error=Cannot deactivate Logical Volume: (&#39;General Storage Exception: (&quot;5 [] [\&#39;  Logical volume c5d360f5-cd90-4b3e-bdef-924649<wbr>bfbc5f/eff58f10-12bf-412f-<wbr>a5db-944bfb10904d is used by another device.\&#39;]\\nc5d360f5-cd90-4b3<wbr>e-bdef-924649bfbc5f/[\&#39;eff58f1<wbr>0-12bf-412f-a5db-944bfb10904d\<wbr>&#39;]&quot;,)&#39;,) (dispatcher:81)</div></div><div><br></div><div>engine.log</div><div><div>2017-10-18 15:01:53,097+02 INFO  [org.ovirt.engine.core.dal.dbb<wbr>roker.auditloghandling.AuditLo<wbr>gDirector] (D</div><div>efaultQuartzScheduler6) [] EVENT_ID: USER_MOVED_DISK_FINISHED_SUCCE<wbr>SS(2,010), Correlation ID: a8948cbf-80a</div><div>2-462d-8805-91da94868c6e, Job ID: ffba7504-a324-43ca-ab4c-481610<wbr>c1098b, Call Stack: null, Custom ID: null,</div><div> Custom Event ID: -1, Message: User gcecchi@internal-authz finished moving disk padora1_u01 to domain SATA</div><div>_ALLBCK.</div><div>2017-10-18 15:01:54,029+02 ERROR [org.ovirt.engine.core.dal.dbb<wbr>roker.auditloghandling.AuditLo<wbr>gDirector] (DefaultQuartzScheduler5) [394f8568] EVENT_ID: VDS_BROKER_COMMAND_FAILURE(10,<wbr>802), Correlation ID: null, Call Stack: null, Custom ID: null, Custom Event ID: -1, Message: VDSM host1 command HSMGetAllTasksStatusesVDS failed: Cannot remove Logical Volume: ([&#39;Cannot remove Logical Volume: (u\&#39;c5d360f5-cd90-4b3e-bdef-92<wbr>4649bfbc5f\&#39;, &quot;[\&#39;2255c544-165b-4126-86ee-70<wbr>e6d1edef9a\&#39;]&quot;)&#39;],)</div><div>2017-10-18 15:01:54,029+02 INFO  [org.ovirt.engine.core.bll.tas<wbr>ks.SPMAsyncTask] (DefaultQuartzScheduler5) [394f8568] SPMAsyncTask::PollTask: Polling task &#39;8446a883-9bb0-40a5-b1eb-8a919<wbr>defe4c0&#39; (Parent Command &#39;RemoveImage&#39;, Parameters Type &#39;org.ovirt.engine.core.common.<wbr>asynctasks.AsyncTaskParameters<wbr>&#39;) returned status &#39;finished&#39;, result &#39;cleanSuccess&#39;.</div></div><div><div>2017-10-18 15:01:54,029+02 ERROR [org.ovirt.engine.core.bll.tas<wbr>ks.SPMAsyncTask] (DefaultQuartzScheduler5) [394f8568] BaseAsyncTask::logEndTaskFailu<wbr>re: Task &#39;8446a883-9bb0-40a5-b1eb-8a919<wbr>defe4c0&#39; (Parent Command &#39;RemoveImage&#39;, Parameters Type &#39;org.ovirt.engine.core.common.<wbr>asynctasks.AsyncTaskParameters<wbr>&#39;) ended with failure:</div><div>-- Result: &#39;cleanSuccess&#39;</div><div>-- Message: &#39;VDSGenericException: VDSErrorException: Failed in vdscommand to HSMGetAllTasksStatusesVDS, error = Cannot remove Logical Volume: ([&#39;Cannot remove Logical Volume: (u\&#39;c5d360f5-cd90-4b3e-bdef-92<wbr>4649bfbc5f\&#39;, &quot;[\&#39;2255c544-165b-4126-86ee-70<wbr>e6d1edef9a\&#39;]&quot;)&#39;],)&#39;,</div><div>-- Exception: &#39;VDSGenericException: VDSErrorException: Failed in vdscommand to HSMGetAllTasksStatusesVDS, error = Cannot remove Logical Volume: ([&#39;Cannot remove Logical Volume: (u\&#39;c5d360f5-cd90-4b3e-bdef-92<wbr>4649bfbc5f\&#39;, &quot;[\&#39;2255c544-165b-4126-86ee-70<wbr>e6d1edef9a\&#39;]&quot;)&#39;],)&#39;</div></div><div><br></div><div>Is there any command I can run to consistently remove the stale LVs? </div><div>As oVirt doesn&#39;t use clvmd I don&#39;t think it is sufficient to issue the remove lv from the SPM node.. How will &quot;synchronize&quot; the information at the other node side?</div><div><br></div><div>Thanks,</div><div>Gianluca</div><div><br></div></div></div>
</blockquote></div><br></div></div></div>
</blockquote></div><br></div></div>