<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 12pt;
font-family:Calibri
}
--></style></head>
<body class='hmmessage'><div dir='ltr'><br>&nbsp;<BR><div>&gt; Date: Mon, 29 Jul 2013 09:56:30 +0200<br>&gt; From: mkletzan@redhat.com<br>&gt; To: danken@redhat.com<br>&gt; CC: cybertimber2000@hotmail.com; users@ovirt.org<br>&gt; Subject: Re: [Users] oVirt 3.2 - Migration failed due to error: migrateerr<br>&gt; <br>&gt; On 07/27/2013 09:50 PM, Dan Kenigsberg wrote:<br>&gt; &gt; On Fri, Jul 26, 2013 at 02:03:28PM -0400, Nicholas Kesick wrote:<br>&gt; &gt;&gt;&gt; Date: Fri, 26 Jul 2013 05:52:44 +0300<br>&gt; &gt;&gt;&gt; From: iheim@redhat.com<br>&gt; &gt;&gt;&gt; To: cybertimber2000@hotmail.com<br>&gt; &gt;&gt;&gt; CC: danken@redhat.com; users@ovirt.org<br>&gt; &gt;&gt;&gt; Subject: Re: [Users] oVirt 3.2 - Migration failed due to error: migrateerr<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; On 07/26/2013 05:40 AM, Nicholas Kesick wrote:<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; Replies inline.<br>&gt; &gt;&gt;&gt;&gt;  &gt; Date: Thu, 25 Jul 2013 22:27:17 +0300<br>&gt; &gt;&gt;&gt;&gt;  &gt; From: danken@redhat.com<br>&gt; &gt;&gt;&gt;&gt;  &gt; To: cybertimber2000@hotmail.com<br>&gt; &gt;&gt;&gt;&gt;  &gt; CC: users@ovirt.org<br>&gt; &gt;&gt;&gt;&gt;  &gt; Subject: Re: [Users] oVirt 3.2 - Migration failed due to error:<br>&gt; &gt;&gt;&gt;&gt; migrateerr<br>&gt; &gt;&gt;&gt;&gt;  &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; On Thu, Jul 25, 2013 at 11:54:40AM -0400, Nicholas Kesick wrote:<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt; When I try to migrate a VM, any VM, between my two hosts, I receive<br>&gt; &gt;&gt;&gt;&gt; an error that says Migration failed due to error: migrateerr. Looking in<br>&gt; &gt;&gt;&gt;&gt; the log I don't see any thing that jumps out other than the final message<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt; VDSGenericException: VDSErrorException: Failed to MigrateStatusVDS,<br>&gt; &gt;&gt;&gt;&gt; error = Fatal error during migration<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt; Ovirt-engine is version 3.2.2-1.1.fc18.noarch, firewalld is<br>&gt; &gt;&gt;&gt;&gt; disabled, and selinux is permissive.<br>&gt; &gt;&gt;&gt;&gt;  &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; Please do not say this in public, you're hurting Dan Walsh's feelings ;-)<br>&gt; &gt;&gt;&gt;&gt;  &gt;<br>&gt; &gt;&gt;&gt;&gt; I recall seeing his blog posts, and I agree. Not sure when I set it to<br>&gt; &gt;&gt;&gt;&gt; permissive... maybe to get the 3.2 install w/ Firewalld setup to<br>&gt; &gt;&gt;&gt;&gt; complete? I remember that was fixed in 3.2.1. I'll set it back to enforcing.<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt; ovirt-node version is 2.6.1 on both hosts.<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt; Any suggestions would be welcome!<br>&gt; &gt;&gt;&gt;&gt;  &gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt;<br>&gt; &gt;&gt;&gt;&gt;  &gt; I'd love to see /etc/vdsm/vdsm.log from source and destination. The<br>&gt; &gt;&gt;&gt;&gt;  &gt; intersting parts start with vmMigrate at the source and with<br>&gt; &gt;&gt;&gt;&gt;  &gt; vmMigrationCreate at the destination.<br>&gt; &gt;&gt;&gt;&gt; Hmm, I probably should have pulled that sooner. So, I cleared the active<br>&gt; &gt;&gt;&gt;&gt; VDSM (while nothing was running) and libvirtd.log, booted one vm, and<br>&gt; &gt;&gt;&gt;&gt; tried to migrate it. Attached are the logs. It looks like it boils down<br>&gt; &gt;&gt;&gt;&gt; to (from the source):<br>&gt; &gt;&gt;&gt;&gt; Traceback (most recent call last):<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/share/vdsm/vm.py", line 271, in run<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/share/vdsm/libvirtvm.py", line 505, in<br>&gt; &gt;&gt;&gt;&gt; _startUnderlyingMigration<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/share/vdsm/libvirtvm.py", line 541, in f<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/vdsm/libvirtconnection.py",<br>&gt; &gt;&gt;&gt;&gt; line 111, in wrapper<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/libvirt.py", line 1178, in<br>&gt; &gt;&gt;&gt;&gt; migrateToURI2<br>&gt; &gt;&gt;&gt;&gt; libvirtError: internal error Attempt to migrate guest to the same host<br>&gt; &gt;&gt;&gt;&gt; localhost<br>&gt; &gt;&gt;&gt;&gt; Does this mean my UUIDs are the same?<br>&gt; &gt;&gt;&gt;&gt; http://vaunaspada.babel.it/blog/?p=613<br>&gt; &gt;&gt;&gt;&gt; As far as the destination, I'm really not understanding what's going on<br>&gt; &gt;&gt;&gt;&gt; on the destination between "Destination VM creation succeeded" and<br>&gt; &gt;&gt;&gt;&gt; ":destroy Called" that would lead to it failing, except for what's after<br>&gt; &gt;&gt;&gt;&gt; the traceback:<br>&gt; &gt;&gt;&gt;&gt; Traceback (most recent call last):<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/share/vdsm/vm.py", line 696, in _startUnderlyingVm<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/share/vdsm/libvirtvm.py", line 1907, in<br>&gt; &gt;&gt;&gt;&gt; _waitForIncomingMigrationFinish<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/vdsm/libvirtconnection.py",<br>&gt; &gt;&gt;&gt;&gt; line 111, in wrapper<br>&gt; &gt;&gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/libvirt.py", line 2822, in<br>&gt; &gt;&gt;&gt;&gt; lookupByUUIDString<br>&gt; &gt;&gt;&gt;&gt; libvirtError: Domain not found: no domain with matching uuid<br>&gt; &gt;&gt;&gt;&gt; '50171e1b-cf21-41d8-80f3-88ab1b980091'<br>&gt; &gt;&gt;&gt;&gt; But that is the ID of the VM by the looks of it.<br>&gt; &gt;&gt;&gt;&gt; Sorry Itamar, nothing was written to libvirtd.log after I cleared it.<br>&gt; &gt; <br>&gt; &gt; It could be that libvirtd is still writing to the files that you removed<br>&gt; &gt; from the filesystem. To make sure libvirtd writes to your new file,<br>&gt; &gt; restart the service. There may be clues there on why libvirt thinks that<br>&gt; &gt; the source and destination are one and the same.<br>&gt; &gt; <br>&gt; <br>&gt; When clearing the logs, it should be enough to do '&gt;<br>&gt; /path/to/libvirtd.log' (in bash).<br>&gt; </div><div>Just checked and it seems some things were logged in there during my testing on Friday. I'll attach those.<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; Thread-800::ERROR::2013-07-26 01:57:16,198::vm::198::vm.Vm::(_recover) <br>&gt; &gt;&gt;&gt; vmId=`50171e1b-cf21-41d8-80f3-88ab1b980091`::internal error Attempt to <br>&gt; &gt;&gt;&gt; migrate guest to the same host localhost<br>&gt; &gt;&gt;&gt; Thread-800::ERROR::2013-07-26 01:57:16,377::vm::286::vm.Vm::(run) <br>&gt; &gt;&gt;&gt; vmId=`50171e1b-cf21-41d8-80f3-88ab1b980091`::Failed to migrate<br>&gt; &gt;&gt;&gt; Traceback (most recent call last):<br>&gt; &gt;&gt;&gt;    File "/usr/share/vdsm/vm.py", line 271, in run<br>&gt; &gt;&gt;&gt;    File "/usr/share/vdsm/libvirtvm.py", line 505, in <br>&gt; &gt;&gt;&gt; _startUnderlyingMigration<br>&gt; &gt;&gt;&gt;    File "/usr/share/vdsm/libvirtvm.py", line 541, in f<br>&gt; &gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/vdsm/libvirtconnection.py", <br>&gt; &gt;&gt;&gt; line 111, in wrapper<br>&gt; &gt;&gt;&gt;    File "/usr/lib64/python2.7/site-packages/libvirt.py", line 1178, in <br>&gt; &gt;&gt;&gt; migrateToURI2<br>&gt; &gt;&gt;&gt; libvirtError: internal error Attempt to migrate guest to the same host <br>&gt; &gt;&gt;&gt; localhost<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; what are your hostnames?<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; "host001" on 192.168.0.103 and "host002" on 192.168.0.104<br>&gt; &gt;&gt; Even tried changing it, no luck.<br>&gt; &gt;&gt;<br>&gt; <br>&gt; Are they resolving properly on those hosts?  Is there a DNS or<br>&gt; /etc/hosts entry related to this?<br>&gt; </div><div>There are /etc/hosts entries on both hosts to each other, and a "ping host001" "ping host002" resolves correctly.</div><div>I do however note that the terminal session says <a href="mailto:root@localhost">root@localhost</a>. I wonder if running hostnamectl set-hostname {name} will fix anything.</div><div>&nbsp;</div><div>...and after running hostnamectl set-hostname {name}, migrations are working! I think maybe I found a bug:</div><div>With the node in maintenance mode,&nbsp;from the oVirt Node (SSH or local) if you go to Network, change the hostname ({newname}), and then go down to the configured System NIC and press enter, it says it is Setting Hostname. Now, if you press F2, the terminal will show <a href="mailto:root@{newname">root@{newname</a>}. If you reboot however, under network it will say {newname}, but pressing F2 for the terminal will show <a href="mailto:root@localhost. If">root@localhost. If</a> it's localhost, it won't migrate.</div><div>So, it looks like the hostname isn't getting written persistantly. Even a hostnamectl set-hostname {name} gets lost on reboot. Or am I doing something wrong?</div><div><br>&gt; &gt;&gt; Could it be because the oVirt Node - Network tab - does not have any DNS servers specified?<br>&gt; &gt; <br>&gt; &gt; I do not think so. We do not see "name resolution" errors, or name<br>&gt; &gt; resolutions at all.<br>&gt; &gt; <br>&gt; &gt; What does libvirt (src + dst) say about<br>&gt; &gt; <br>&gt; &gt;     virsh -r capabilities|grep uuid<br>&gt; &gt; <br>&gt; &gt; ? If uuids happen to be the same, you get the bug that you are<br>&gt; &gt; reporting.<br>&gt; &gt; </div><div>host 001:</div><div>virsh -r capabilities|grep uuid<br>&nbsp;&nbsp;&nbsp; &lt;uuid&gt;a4dc7de7-e2d3-45f5-b75a-7101f71d2b17&lt;/uuid&gt;</div><div>&nbsp;</div><div>host002:<br>virsh -r capabilities|grep uuid<br>&nbsp;&nbsp;&nbsp; &lt;uuid&gt;ce66bb7f-fbbb-432b-9f62-5bcf5cb732e4&lt;/uuid&gt;</div><div><br>&gt; <br>&gt; Although, as Dan says, having the same UUID for both hosts will report<br>&gt; the same error even when hostnames are different.<br>&gt; <br>&gt; Do you have an UUID set in your libvirtd.conf?  What do you have in the<br>&gt; following files (if they exist) on both hosts?<br>&gt; <br>&gt; /sys/devices/virtual/dmi/id/product_uuid</div><div>host001:</div><div>cat /sys/devices/virtual/dmi/id/product_uuid<br>44454C4C-3700-1047-8048-C3C04F4C4631</div><div>&nbsp;</div><div>host002:</div><div>cat /sys/devices/virtual/dmi/id/product_uuid<br>44454C4C-5900-1054-8034-B3C04F4E4631</div><div>&nbsp;</div><div>Those match what I see on the webadmin under hosts &gt; hostname &gt; hardware information<br></div><div><br>&gt; /sys/class/dmi/id/product_uuid</div><div>host001:</div><div>cat /sys/class/dmi/id/product_uuid<br>44454C4C-3700-1047-8048-C3C04F4C4631</div><div>&nbsp;</div><div>host002:<br>cat /sys/class/dmi/id/product_uuid<br>44454C4C-5900-1054-8034-B3C04F4E4631<br><br>&gt; <br>&gt; Martin<br></div>                                               </div></body>
</html>