<div dir="ltr"><div><div><div><div>Hello,<br><br></div>Today I updated my ovirt engine v3.5 and all my hosts on one datacenter (centos 7.4 ones).<br>and suddenly  my vdsm and vdsm-network  services stopped working.<br><br></div><div>btw: My other DC is centos 6 based (managed from the same ovirt engine), everything works just fine there.<br></div><div><br></div>vdsm fails dependent on vdsm-network service, with lots of RPC error.<br><br></div>I tried to configure vdsm-tool configure --force, deleted everything (vdsm-libvirt), reinstalled.<br></div><div>Could not make it work.<br></div><div>My logs are filled with the follogin<br><br>Sep 18 23:06:01 node6 python[5340]: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No Kerberos credentials available (default cache: KEYRING:persistent:0))<br>Sep 18 23:06:01 node6 vdsm-tool[5340]: libvirt: XML-RPC error : authentication failed: Failed to start SASL negotiation: -1 (SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No Kerberos credent<br>Sep 18 23:06:01 node6 libvirtd[4312]: 2017-09-18 20:06:01.954+0000: 4312: error : virNetSocketReadWire:1808 : End of file while reading data: Input/output error<br><br>-------<br></div><div>journalctl -xe output for vdsm-network<br></div><div><div><br>Sep 18 23:06:02 node6 vdsm-tool[5340]: libvirt: XML-RPC error : authentication failed: Failed to start SASL negotiation: -1 (SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No Kerberos credent<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: Traceback (most recent call last):<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/bin/vdsm-tool&quot;, line 219, in main<br>Sep 18 23:06:02 node6 libvirtd[4312]: 2017-09-18 20:06:02.558+0000: 4312: error : virNetSocketReadWire:1808 : End of file while reading data: Input/output error<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: return tool_command[cmd][&quot;command&quot;](*args)<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib/python2.7/site-packages/vdsm/tool/upgrade_300_networks.py&quot;, line 83, in upgrade_networks<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: networks = netinfo.networks()<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib/python2.7/site-packages/vdsm/netinfo.py&quot;, line 112, in networks<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: conn = libvirtconnection.get()<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib/python2.7/site-packages/vdsm/libvirtconnection.py&quot;, line 159, in get<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: conn = _open_qemu_connection()<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib/python2.7/site-packages/vdsm/libvirtconnection.py&quot;, line 95, in _open_qemu_connection<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: return utils.retry(libvirtOpen, timeout=10, sleep=0.2)<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib/python2.7/site-packages/vdsm/utils.py&quot;, line 1108, in retry<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: return func()<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: File &quot;/usr/lib64/python2.7/site-packages/libvirt.py&quot;, line 105, in openAuth<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: if ret is None:raise libvirtError(&#39;virConnectOpenAuth() failed&#39;)<br>Sep 18 23:06:02 node6 vdsm-tool[5340]: libvirtError: authentication failed: Failed to start SASL negotiation: -1 (SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No Kerberos credentials availa<br>Sep 18 23:06:02 node6 systemd[1]: vdsm-network.service: control process exited, code=exited status=1<br>Sep 18 23:06:02 node6 systemd[1]: Failed to start Virtual Desktop Server Manager network restoration.<br><br></div><div>-----<br></div><div>libvirt is running but throws some errors.<br><br>[root@node6 ~]# systemctl status libvirtd<br>● libvirtd.service - Virtualization daemon<br>   Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)<br>  Drop-In: /etc/systemd/system/libvirtd.service.d<br>           └─unlimited-core.conf<br>   Active: active (running) since Mon 2017-09-18 23:15:47 +03; 19min ago<br>     Docs: man:libvirtd(8)<br>           <a href="http://libvirt.org">http://libvirt.org</a><br> Main PID: 6125 (libvirtd)<br>   CGroup: /system.slice/libvirtd.service<br>           └─6125 /usr/sbin/libvirtd --listen<br><br>Sep 18 23:15:56 node6 libvirtd[6125]: 2017-09-18 20:15:56.195+0000: 6125: error : virNetSocketReadWire:1808 : End of file while reading data: Input/output error<br>Sep 18 23:15:56 node6 libvirtd[6125]: 2017-09-18 20:15:56.396+0000: 6125: error : virNetSocketReadWire:1808 : End of file while reading data: Input/output error<br>Sep 18 23:15:56 node6 libvirtd[6125]: 2017-09-18 20:15:56.597+0000: 6125: error : virNetSocketReadWire:1808 : End of file while reading data: Input/output error<br><br><br>----------------<br><br><br>[root@node6 ~]# virsh<br>Welcome to virsh, the virtualization interactive terminal.<br><br>Type:  &#39;help&#39; for help with commands<br>       &#39;quit&#39; to quit<br><br>virsh # list<br>error: failed to connect to the hypervisor<br>error: authentication failed: Failed to start SASL negotiation: -1 (SASL(-1): generic failure: GSSAPI Error: Unspecified GSS failure.  Minor code may provide more information (No Kerberos credentials available (default cache: KEYRING:persistent:0)))<br><br><br>=================<br><br></div><div>I do not want to lose all my virtual servers, is there any way to recover them? Currenty everything is down. I am ok to install a new ovirt engine if somehow I can restore my virtual servers. I can also split centos 6 and centos 7 ovirt engine&#39;s.<br></div></div></div>