<div dir="ltr">Hello,<div><br></div><div>I just tried creating a thin-provisioned disk and the same problem (load spike, non responsive VMs) occurred. I may have an idea what is going wrong now. The following is an excerpt from the engine log after starting the disk create job:</div><div><br></div><div><div>2015-01-05 15:12:14,277 ERROR [org.ovirt.engine.core.bll.SearchQuery] (ajp--127.0.0.1-8702-1) Query SearchQuery failed. Exception message is StatementCallback; bad SQL grammar [SELECT * FROM (SELECT * FROM vds_groups_view WHERE ( vds_group_id IN (SELECT distinct vds_groups_storage_domain.vds_group_id FROM  vds_groups_storage_domain   LEFT OUTER JOIN storage_pool_with_storage_domain ON vds_groups_storage_domain.storage_pool_id=<a href="http://storage_pool_with_storage_domain.id">storage_pool_with_storage_domain.id</a>    WHERE  <a href="http://storage_pool_with_storage_domain.name">storage_pool_with_storage_domain.name</a> LIKE &#39;XS4ALL-Strozzi&#39; ))  ORDER BY name ASC) as T1 OFFSET (1 -1) LIMIT 100]; nested exception is org.postgresql.util.PSQLException: The column name disk_storage_type was not found in this ResultSet. : org.springframework.jdbc.BadSqlGrammarException: StatementCallback; bad SQL grammar [SELECT * FROM (SELECT * FROM vds_groups_view WHERE ( vds_group_id IN (SELECT distinct vds_groups_storage_domain.vds_group_id FROM  vds_groups_storage_domain   LEFT OUTER JOIN storage_pool_with_storage_domain ON vds_groups_storage_domain.storage_pool_id=<a href="http://storage_pool_with_storage_domain.id">storage_pool_with_storage_domain.id</a>    WHERE  <a href="http://storage_pool_with_storage_domain.name">storage_pool_with_storage_domain.name</a> LIKE &#39;XS4ALL-Strozzi&#39; ))  ORDER BY name ASC) as T1 OFFSET (1 -1) LIMIT 100]; nested exception is org.postgresql.util.PSQLException: The column name disk_storage_type was not found in this ResultSet.: org.springframework.jdbc.BadSqlGrammarException: StatementCallback; bad SQL grammar [SELECT * FROM (SELECT * FROM vds_groups_view WHERE ( vds_group_id IN (SELECT distinct vds_groups_storage_domain.vds_group_id FROM  vds_groups_storage_domain   LEFT OUTER JOIN storage_pool_with_storage_domain ON vds_groups_storage_domain.storage_pool_id=<a href="http://storage_pool_with_storage_domain.id">storage_pool_with_storage_domain.id</a>    WHERE  <a href="http://storage_pool_with_storage_domain.name">storage_pool_with_storage_domain.name</a> LIKE &#39;XS4ALL-Strozzi&#39; ))  ORDER BY name ASC) as T1 OFFSET (1 -1) LIMIT 100]; nested exception is org.postgresql.util.PSQLException: The column name disk_storage_type was not found in this ResultSet.</div></div><div><br></div><div>This cluster happens to be a oVirt 3.4 cluster, while the engine is 3.5. There&#39;s also a 3.5 cluster managed by the same engine. Could this be related to this <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1145241">BZ</a>?</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 17 December 2014 at 12:34, Yeela Kaplan <span dir="ltr">&lt;<a href="mailto:ykaplan@redhat.com" target="_blank">ykaplan@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Just another thought,<br>
from looking at the vdsm logs it looks like there are too many calls to getVolumeSize that are eating up all handlers<br>
and eventually a timeout occurs.<br>
Adam, do you have any idea about this?<br>
<span class="im HOEnZb"><br>
----- Original Message -----<br>
&gt; From: &quot;Yeela Kaplan&quot; &lt;<a href="mailto:ykaplan@redhat.com">ykaplan@redhat.com</a>&gt;<br>
&gt; To: &quot;Tiemen Ruiten&quot; &lt;<a href="mailto:t.ruiten@rdmedia.com">t.ruiten@rdmedia.com</a>&gt;<br>
&gt; Cc: &quot;<a href="mailto:Users@ovirt.org">Users@ovirt.org</a>&quot; &lt;<a href="mailto:users@ovirt.org">users@ovirt.org</a>&gt;<br>
</span><div class="HOEnZb"><div class="h5">&gt; Sent: Wednesday, December 17, 2014 1:30:52 PM<br>
&gt; Subject: Re: [ovirt-users] ERROR &#39;no free file handlers in pool&#39; while creating VM from template<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; ----- Original Message -----<br>
&gt; &gt; From: &quot;Tiemen Ruiten&quot; &lt;<a href="mailto:t.ruiten@rdmedia.com">t.ruiten@rdmedia.com</a>&gt;<br>
&gt; &gt; To: &quot;Yeela Kaplan&quot; &lt;<a href="mailto:ykaplan@redhat.com">ykaplan@redhat.com</a>&gt;<br>
&gt; &gt; Cc: &quot;<a href="mailto:Users@ovirt.org">Users@ovirt.org</a>&quot; &lt;<a href="mailto:users@ovirt.org">users@ovirt.org</a>&gt;<br>
&gt; &gt; Sent: Wednesday, December 17, 2014 1:22:59 PM<br>
&gt; &gt; Subject: Re: [ovirt-users] ERROR &#39;no free file handlers in pool&#39; while<br>
&gt; &gt; creating VM from template<br>
&gt; &gt;<br>
&gt; &gt; Thank you, I will try to increase to 20 and see what happens. Bug is filed:<br>
&gt; &gt; <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1175255" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1175255</a><br>
&gt;<br>
&gt; Thank you<br>
&gt; and I forgot to mention that you have to restart vdsmd so the change will<br>
&gt; apply...<br>
&gt;<br>
&gt;<br>
&gt; &gt;<br>
&gt; &gt; On 17 December 2014 at 11:48, Yeela Kaplan &lt;<a href="mailto:ykaplan@redhat.com">ykaplan@redhat.com</a>&gt; wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Hi,<br>
&gt; &gt; &gt; You are right, the problem is with the file handlers.<br>
&gt; &gt; &gt; You can increase the number of handlers in pool using the vdsm config<br>
&gt; &gt; &gt; file, which is supposed to be under the following directory in your<br>
&gt; &gt; &gt; system:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; /usr/lib/python2.6/site-packages/vdsm/config.py<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; The default value for &#39;process_pool_max_slots_per_domain&#39; is 10, so you<br>
&gt; &gt; &gt; can increase it by a bit, but not too much.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; But I suspect the problem is in a larger scale, and this is only a<br>
&gt; &gt; &gt; temporary relief for your system and this needs much more attention and a<br>
&gt; &gt; &gt; proper fix.<br>
&gt; &gt; &gt; could you please open a bug on RHEV/vdsm in bugzilla stating all of the<br>
&gt; &gt; &gt; details of your setup and logs?<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; thanks,<br>
&gt; &gt; &gt; Yeela<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; ----- Original Message -----<br>
&gt; &gt; &gt; &gt; From: &quot;Tiemen Ruiten&quot; &lt;<a href="mailto:t.ruiten@rdmedia.com">t.ruiten@rdmedia.com</a>&gt;<br>
&gt; &gt; &gt; &gt; To: &quot;<a href="mailto:Users@ovirt.org">Users@ovirt.org</a>&quot; &lt;<a href="mailto:users@ovirt.org">users@ovirt.org</a>&gt;<br>
&gt; &gt; &gt; &gt; Sent: Wednesday, December 17, 2014 10:53:39 AM<br>
&gt; &gt; &gt; &gt; Subject: Re: [ovirt-users] ERROR &#39;no free file handlers in pool&#39; while<br>
&gt; &gt; &gt; creating VM from template<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Would this be limits for the vdsm process? Then what is the proper way<br>
&gt; &gt; &gt; &gt; to<br>
&gt; &gt; &gt; &gt; change ulimits for VDSM?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On 16 December 2014 at 20:45, Donny Davis &lt; <a href="mailto:donny@cloudspin.me">donny@cloudspin.me</a> &gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; The only thing I can think of would be file hard and soft limits, but I<br>
&gt; &gt; &gt; am no<br>
&gt; &gt; &gt; &gt; oVirt pro.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &#39;no free file handlers in pool&#39; that would make sense to me…<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Donny<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; From: Tiemen Ruiten [mailto: <a href="mailto:t.ruiten@rdmedia.com">t.ruiten@rdmedia.com</a> ]<br>
&gt; &gt; &gt; &gt; Sent: Tuesday, December 16, 2014 12:40 PM<br>
&gt; &gt; &gt; &gt; To: Donny Davis<br>
&gt; &gt; &gt; &gt; Cc: <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt; &gt; &gt; Subject: Re: [ovirt-users] ERROR &#39;no free file handlers in pool&#39; while<br>
&gt; &gt; &gt; &gt; creating VM from template<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; About 25-30. The nodes are Xeon(R) CPU E5-2650 0 @ 2.00GHz with 16<br>
&gt; &gt; &gt; &gt; hyperthreaded cores and 64 GB of RAM each. At the moment I created the<br>
&gt; &gt; &gt; VM,<br>
&gt; &gt; &gt; &gt; processor load on both nodes was less than 1.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On 16 December 2014 at 20:29, Donny Davis &lt; <a href="mailto:donny@cloudspin.me">donny@cloudspin.me</a> &gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; What is the VM load you are running on your servers?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; -----Original Message-----<br>
&gt; &gt; &gt; &gt; From: <a href="mailto:users-bounces@ovirt.org">users-bounces@ovirt.org</a> [mailto: <a href="mailto:users-bounces@ovirt.org">users-bounces@ovirt.org</a> ] On<br>
&gt; &gt; &gt; Behalf Of<br>
&gt; &gt; &gt; &gt; Tiemen Ruiten<br>
&gt; &gt; &gt; &gt; Sent: Tuesday, December 16, 2014 12:27 PM<br>
&gt; &gt; &gt; &gt; To: <a href="mailto:users@ovirt.org">users@ovirt.org</a><br>
&gt; &gt; &gt; &gt; Subject: [ovirt-users] ERROR &#39;no free file handlers in pool&#39; while<br>
&gt; &gt; &gt; creating<br>
&gt; &gt; &gt; &gt; VM from template<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Hello,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I ran into a nasty problem today when creating a new, cloned VM from a<br>
&gt; &gt; &gt; &gt; template (one virtual 20 GBdisk) on our two-node oVirt cluster: on the<br>
&gt; &gt; &gt; node<br>
&gt; &gt; &gt; &gt; where I started a VM creation job, load skyrocketed and some VMs<br>
&gt; &gt; &gt; &gt; stopped<br>
&gt; &gt; &gt; &gt; responding until and after the job failed. Everything recovered without<br>
&gt; &gt; &gt; &gt; intervention, but this obviously shouldn&#39;t happen. I have attached the<br>
&gt; &gt; &gt; &gt; relevant vdsm log file. The button to create the VM was pressed around<br>
&gt; &gt; &gt; &gt; 11:17, the first error in the vdsm log is at 11:23:58.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; The ISO domain is a gluster volume exposed via NFS, the storage domain<br>
&gt; &gt; &gt; for<br>
&gt; &gt; &gt; &gt; the VM&#39;s is also a gluster volume. The underlying filesystem is ZFS.<br>
&gt; &gt; &gt; &gt; The hypervisor nodes are full CentOS 6 installs.<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I&#39;m guessing the &#39;no free file handlers in pool&#39; in the vdsm log file<br>
&gt; &gt; &gt; &gt; is<br>
&gt; &gt; &gt; key<br>
&gt; &gt; &gt; &gt; here. What can I do to prevent this from happening again? Apart from<br>
&gt; &gt; &gt; &gt; not<br>
&gt; &gt; &gt; &gt; creating new VMs of course :)<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Tiemen<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Tiemen Ruiten<br>
&gt; &gt; &gt; &gt; Systems Engineer<br>
&gt; &gt; &gt; &gt; R&amp;D Media<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; Tiemen Ruiten<br>
&gt; &gt; &gt; &gt; Systems Engineer<br>
&gt; &gt; &gt; &gt; R&amp;D Media<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; _______________________________________________<br>
&gt; &gt; &gt; &gt; Users mailing list<br>
&gt; &gt; &gt; &gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; &gt; &gt; &gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; --<br>
&gt; &gt; Tiemen Ruiten<br>
&gt; &gt; Systems Engineer<br>
&gt; &gt; R&amp;D Media<br>
&gt; &gt;<br>
&gt; _______________________________________________<br>
&gt; Users mailing list<br>
&gt; <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt;<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Tiemen Ruiten<br>Systems Engineer<br>R&amp;D Media<br></div></div>
</div>