<div dir="ltr">Hi,<div><br></div><div>I&#39;m running into a strange issue that I&#39;ve been trying to solve unsuccessfully for a few days now, and I was hoping someone could offer some insight.</div><div><br></div><div>A few days ago I needed to reboot the the server that hosts the management engine and is also a node in the system. Following proper procedure I selected a new host to be the SPM, migrated VMs off the Host, and put it into maintenance mode. After the host came back up (and the management engine was back online) I noticed that one of my VMs had halted on a storage error, to rule out the SPM being the issue I asked oVirt to select a new SPM and it was stuck in a contending loop where each host tries to contend for SPM status but ultimately fails (every other VM also halted by this point). The error was &quot;BlockSD master file system FSCK error&quot;, after researching the error I found a post on this list that was the same error and the author said that a simple FSCK on the offending file system fixed his issue. I had to force shutdown every VM from the halted state and put all but one host into maintenance mode. On that host I ran a FSCK on the offending volume which found a lot of short read errors which it fixed and afterwards the contending loop was broke and hosts could now successfully be an SPM.</div><div><br></div><div>Now every VM halts on start or resume, even ones that were offline at the time of the earlier incident, with a Storage Error &quot;abnormal vm stop device virtio-disk0 error eio&quot;. I can&#39;t even create new disks because it fails with an error. I&#39;ve attached what I think is the relevant VDSM log portion of a VM trying to resume, if more is needed please just let me know.</div><div><br></div><div>I&#39;m worried FSCK and I mangled the file system, and have no idea how to repair it.</div><div><br></div><div>Any insight is greatly appreciated.</div><div><br></div><div><br></div><div>Thank you,</div><div>Dave</div><div><br></div><div><br></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center">oVirt Engine Version: 3.6.2.6-1.el7.centos</span><br></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center">Storage Tech: iSCSI</span></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center">4 Servers each with:</span></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center">OS: RHEL - 7 - 2.1511.el7.centos.2.10</span></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center">Kernel: 3.10.0 - </span><font color="#000000" face="Arial Unicode MS, Arial, sans-serif"><span style="line-height:21.6667px">327.4.5.el7.x86_64</span></font></div><div><font color="#000000" face="Arial Unicode MS, Arial, sans-serif"><span style="line-height:21.6667px">KVM Version: 2.3.0 - 31.el7_2.7.1</span></font></div><div><font color="#000000" face="Arial Unicode MS, Arial, sans-serif"><span style="line-height:21.6667px">libVirt Version: libvirt-1.2.17-13.el7_2.5</span></font></div><div><font color="#000000" face="Arial Unicode MS, Arial, sans-serif"><span style="line-height:21.6667px">VDSM Version: vdsm-4.17.28-0.el7.centos</span></font></div><div><font color="#000000" face="Arial Unicode MS, Arial, sans-serif"><span style="line-height:21.6667px"><br></span></font></div><div style="text-align:left"><br></div><div><span style="color:rgb(0,0,0);font-family:&quot;Arial Unicode MS&quot;,Arial,sans-serif;line-height:21.6667px;text-align:-webkit-center"><br></span></div></div>