<div dir="ltr">I may have figured this out.  The systems that &quot;failed&quot; are running the Oracle &quot;unbreakable&quot; kernel:<div><br></div><div>3.8.13-98.el6uek.x86_64<br></div><div><p class="p1"><span class="s1">The working systems are running the default CentOS 6 2.6 kernel.</span></p><p class="p1">and the error from the vdsm.log only show up on the UEK kernel. </p><p class="p1">    -- Chris</p><p class="p1"><br></p><p class="p1"><span class="s1"><br></span></p></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Aug 12, 2015 at 9:34 AM, Chris Liebman <span dir="ltr">&lt;<a href="mailto:chris.l@taboola.com" target="_blank">chris.l@taboola.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div>   I&#39;m new to oVirt and recently built a 10 node ovirt 3.5 DC with shared storage using gluster configured as distributed-replicated (replication = 2).  Shortly after 7 of the 10 nodes dropped, one at a time over a few hours, into &quot;Non Operational&quot; state.  Attempting to activate one of these nodes gives the error:  &quot;Failed to connect Host ovirt-node260 to Storage Pool LADC-TBX&quot;. Attempting to put the node into Maintenance eaves the node stuck in &quot;Preparing For maintenance&quot;.  <div><br><div>When I rebooted one of the nodes I see this in the nodes event list:</div></div></div><div><br></div><div>&quot;Host ovirt-node269 reports about one of the Active Storage Domains as Problematic.&quot;</div><div><br></div><div>I see many of these errors in the vdsm log from the failed nodes:</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">







<p><span>Thread-10000::ERROR::2015-08-12 10:01:17,748::__init__::506::jsonrpc.JsonRpcServer::(_serveRequest) Internal server error</span></p>
<p><span>Traceback (most recent call last):</span></p>
<p><span>  File &quot;/usr/lib/python2.6/site-packages/yajsonrpc/__init__.py&quot;, line 501, in _serveRequest</span></p>
<p><span>    res = method(**params)</span></p>
<p><span>  File &quot;/usr/share/vdsm/rpc/Bridge.py&quot;, line 267, in _dynamicMethod</span></p>
<p><span>    result = fn(*methodArgs)</span></p>
<p><span>  File &quot;/usr/share/vdsm/API.py&quot;, line 1330, in getStats</span></p>
<p><span>    stats.update(self._cif.mom.getKsmStats())</span></p>
<p><span>  File &quot;/usr/share/vdsm/momIF.py&quot;, line 60, in getKsmStats</span></p>
<p><span>    stats = self._mom.getStatistics()[&#39;host&#39;]</span></p>
<p><span>  File &quot;/usr/lib/python2.6/site-packages/mom/MOMFuncs.py&quot;, line 75, in getStatistics</span></p>
<p><span>    host_stats = self.threads[&#39;host_monitor&#39;].interrogate().statistics[-1]</span></p>
<p><span>AttributeError: &#39;NoneType&#39; object has no attribute &#39;statistics&#39;</span></p></blockquote><div>Any help here is appreciated.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>    -- Chris</div><div><br></div></font></span></div>
</blockquote></div><br></div>