<div dir="ltr"><div><div><div><div>Hello everyone!<br><br></div>We have been working on our testing OVirt cluster today again, for the first time in a few weeks, and all of the sudden a new problem has cropped up.  VM&#39;s that I created weeks ago and had working properly are now no longer starting.  When we try to start one of them, we get this error in the engine console:<br><br>VM CentOS1 is down with error. Exit message: Bad volume specification {&#39;index&#39;: 0, &#39;iface&#39;: &#39;virtio&#39;, &#39;type&#39;: &#39;disk&#39;, &#39;format&#39;: &#39;raw&#39;, &#39;bootOrder&#39;: &#39;1&#39;, &#39;volumeID&#39;: &#39;a737621e-6e66-4cd9-9014-67f7aaa184fb&#39;, &#39;apparentsize&#39;: &#39;53687091200&#39;, &#39;imageID&#39;: &#39;702440a9-cd53-4300-8369-28123e8a095e&#39;, &#39;specParams&#39;: {}, &#39;readonly&#39;: &#39;false&#39;, &#39;domainID&#39;: &#39;fa2f828c-f98a-4a17-99fb-1ec1f46d018c&#39;, &#39;reqsize&#39;: &#39;0&#39;, &#39;deviceId&#39;: &#39;702440a9-cd53-4300-8369-28123e8a095e&#39;, &#39;truesize&#39;: &#39;53687091200&#39;, &#39;poolID&#39;: &#39;a0781e2b-6242-4043-86c2-cd6694688ed2&#39;, &#39;device&#39;: &#39;disk&#39;, &#39;shared&#39;: &#39;false&#39;, &#39;propagateErrors&#39;: &#39;off&#39;, &#39;optional&#39;: &#39;false&#39;}.<br><br><br></div>Looking at the VDSM log files, I think I&#39;ve found what&#39;s actually triggering this up, but I honestly do not know how to decipher it - here&#39;s the message:<br><br>Thread-418::ERROR::2015-01-09 15:59:57,874::task::863::Storage.TaskManager.Task::(_setError) Task=`11a740b7-4391-47ab-8575-919bd1e0c3fb`::Unexpected error<br>Traceback (most recent call last):<br>  File &quot;/usr/share/vdsm/storage/task.py&quot;, line 870, in _run<br>    return fn(*args, **kargs)<br>  File &quot;/usr/share/vdsm/logUtils.py&quot;, line 49, in wrapper<br>    res = f(*args, **kwargs)<br>  File &quot;/usr/share/vdsm/storage/hsm.py&quot;, line 3242, in prepareImage<br>    leafInfo = dom.produceVolume(imgUUID, leafUUID).getVmVolumeInfo()<br>  File &quot;/usr/share/vdsm/storage/glusterVolume.py&quot;, line 35, in getVmVolumeInfo<br>    volTrans = VOLUME_TRANS_MAP[volInfo[volname][&#39;transportType&#39;][0]]<br>KeyError: u&#39;_gf-os&#39;<br><br></div>This is Ovirt 3.5, with a 2-node gluster as the storage domain (no ovirt stuff running there) , and 5 virtualization nodes, all machines running CentOS 6.6 installs.  We also have the patched RPMs that *should* enable libgfapi access to gluster, but I can&#39;t confirm those are working properly.  The gluster filesystem is mounted on the virtualization node:<br><br>gf-os01-ib:/gf-os on /rhev/data-center/mnt/glusterSD/gf-os01-ib:_gf-os type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)<br><br></div><div>Anyone got any ideas?  More logs available upon request.<br></div></div>