<div dir="ltr"><div><div>Action items:<br></div><div>- Demonstrate the effect of the reduction of stats collection on the system - WIP<br>- Code changes:<br></div>  - config item change: NumberVmRefreshesBeforeSave from 5 to 10<br></div>  - make the &#39;poll&#39; vms job to fire at NumberVmRefreshesBeforeSave / 2 (or just make the code to support explicit time interval)<br><div>  - VDSM should get a config set with the sampling inteval - to support back-compat<br><br><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jul 6, 2017 at 11:00 AM Yaniv Kaul &lt;<a href="mailto:ykaul@redhat.com">ykaul@redhat.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, Jul 6, 2017 at 10:04 AM, Oved Ourfali <span dir="ltr">&lt;<a href="mailto:oourfali@redhat.com" target="_blank">oourfali@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_9167615593448914138h5">On Thu, Jul 6, 2017 at 9:38 AM, Arik Hadas <span dir="ltr">&lt;<a href="mailto:ahadas@redhat.com" target="_blank">ahadas@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_9167615593448914138m_3419020168588437508h5">On Wed, Jul 5, 2017 at 9:36 PM, Shirly Radco <span dir="ltr">&lt;<a href="mailto:sradco@redhat.com" target="_blank">sradco@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br clear="all"><div><div class="m_9167615593448914138m_3419020168588437508m_2447197455926505029m_-5342304022839958984gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><pre cols="72" style="white-space:pre-wrap"><span style="font-family:arial,helvetica,sans-serif;font-size:12.8px"><font color="#666666">--</font></span></pre><pre cols="72" style="white-space:pre-wrap"><p style="color:rgb(0,0,0);font-family:overpass,sans-serif;white-space:normal;font-weight:bold;margin:0px;padding:0px;font-size:14px;text-transform:uppercase"><span>SHIRLY</span> <span>RADCO</span></p><p style="color:rgb(0,0,0);font-family:overpass,sans-serif;white-space:normal;font-size:10px;margin:0px 0px 4px;text-transform:uppercase"><span>BI SOFTWARE ENGINEER</span><span style="color:rgb(204,204,204)">,</span></p><p style="font-family:overpass,sans-serif;white-space:normal;margin:0px;font-size:10px;color:rgb(153,153,153)"><a href="https://www.redhat.com/" style="color:rgb(0,136,206);margin:0px;text-decoration:none" target="_blank">Red Hat <span>Israel</span></a></p><p style="font-family:overpass,sans-serif;white-space:normal;margin:0px 0px 6px;font-size:10px;color:rgb(153,153,153)"><span style="margin:0px;padding:0px"><a href="mailto:sradco@redhat.com" style="color:rgb(0,136,206);margin:0px;text-decoration:none" target="_blank">sradco@redhat.com</a>   </span></p><table border="0" style="color:rgb(0,0,0);font-family:overpass,sans-serif;font-size:medium;white-space:normal"><tbody><tr><td width="100px"><a href="https://red.ht/sig" target="_blank"><img src="https://www.redhat.com/files/brand/email/sig-redhat.png" width="90" height="auto"></a></td><td style="font-size:10px"><div><a href="https://redhat.com/summit" style="text-decoration:none" target="_blank"><img width="70px" height="auto" src="https://www.redhat.com/files/brand/email/sig-summit.png" style="outline:0px"></a></div></td></tr></tbody></table></pre></div></div></div></div></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote"><span>On Wed, Jul 5, 2017 at 6:35 PM, Arik Hadas <span dir="ltr">&lt;<a href="mailto:ahadas@redhat.com" target="_blank">ahadas@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span>On Wed, Jul 5, 2017 at 5:57 PM, Roy Golan <span dir="ltr">&lt;<a href="mailto:rgolan@redhat.com" target="_blank">rgolan@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>Hi all, <br><br></div>I would like to get feedback on $subject and see if I&#39;m missing something. The impact of this is simply less resource consumption and by that we can support even greater number of hosts [1] and vms in the system. </div></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div>If you think more relaxed statistics collection will affect a core flow let me know - as far as I see I didn&#39;t spot anything critical. </div></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br>The overhead of a cycle per host something like that: 2 roundtrips per host in a cycle, (vm + host stats) and tons of memory allocation for char[] -&gt; json-&gt; maps of maps -&gt; VM/Vds statistics -&gt; Maps -&gt; serialiazing to DB.  <br><br><div>To minimize the effect of this change we can leave a call to &#39;list&#39; verb to at least detect vms existence in the same rate as today.<br></div></div></div></blockquote><div><br></div></span><div>+1</div><span><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div></div><div><br></div></div><div>Pros<br></div><div>- Engine has rore resources to support more hosts/vms/other activities of the engine<br></div><div>- Vdsm will have more resources as well (need to tweak vdsm to collect in the same <br>frequency)<br></div><div>- less DB writes and reads, approx half of what the system will do in the in its lifefpan (cause this is what is mainly does all the time)<br></div><div><br></div><div>Cons<br></div><div>- DWH/Dashboard will have less entries, I&#39;m not sure what is graphical affect given our hourly resolution (cmiiw here)</div></div></blockquote><div><br></div></span><div>What&#39;s the frequency of the queries done by DWH/Dashboard? Do they count on the _update_date column of the queried data?</div></div></div></div></blockquote><div><br></div></span><div>Current frequency is 20 seconds.</div><div>The configurations are queried based on the _update_date, but  statistics are queried every interval.</div><div><br></div><div>The affect will be less accuracy in the hourly calculations.</div></div></div></div></blockquote><div><br></div></div></div><div>Ack. So if the proposed change is done, it would probably make sense to increase the inverval of those queries to be higher than 30 sec, or at least taking into consideration the _update_date of vm_statistics as well.</div><span><div> </div></span></div></div></div></blockquote><div><br></div></div></div><div>Note that it will cause issues with cloudforms to change those queries to 30 seconds, so I guess we&#39;ll still query it every 20 seconds (although the data won&#39;t change in some of those queries).</div></div></div></div></blockquote><div><br></div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>I thought it was configurable in ManageIQ how often to query, but in any case even if we query every 20 seconds, we&#39;ll get updated VM stats, which is fine, and not as updated hosts stats, which is fine as well, from my perspective.</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>Y.</div></div></div></div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span><div>  </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div>I&#39;m asking because if they query the database every minute and say &quot;the time now is 10:30 and the queried data is ...&quot; then there should not be less entries.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><br>[1] <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1430876" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1430876</a></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br></div>
<br>_______________________________________________<br>
Devel mailing list<br>
<a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a><br></blockquote></div><br></div></div>
<br>_______________________________________________<br>
Devel mailing list<br>
<a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a><br></blockquote></span></div><br></div></div>
</blockquote></span></div><br></div></div>
<br>_______________________________________________<br>
Devel mailing list<br>
<a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a><br></blockquote></span></div><br></div></div>
<br>_______________________________________________<br>
Devel mailing list<br>
<a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a><br></blockquote></div></div></div>
_______________________________________________<br>
Devel mailing list<br>
<a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a></blockquote></div>