<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Oct 30, 2016 at 12:26 PM, Nadav Goldin <span dir="ltr">&lt;<a href="mailto:ngoldin@redhat.com" target="_blank">ngoldin@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all, bumping this thread due to an almost identical failure[1]:<br>
<br>
ovirt-log-collector/ovirt-log-<wbr>collector-20161030053238.log:<wbr>2016-10-30<br>
05:33:09::ERROR::__main__::<wbr>791::root:: Failed to collect logs from:<br>
192.168.200.4; /bin/ls:<br>
/rhev/data-center/mnt/blockSD/<wbr>63c4fdd3-5d0f-4d16-b1e5-<wbr>5f43caa4cf82/master/tasks/<wbr>6b3b6aa1-808c-42df-9db7-<wbr>52349f8533f2/6b3b6aa1-808c-<wbr>42df-9db7-52349f8533f2.job.0:<br>
<span class="">No such file or directory<br>
</span>ovirt-log-collector/ovirt-log-<wbr>collector-20161030053238.log-/<wbr>bin/ls:<br>
cannot access /rhev/data-center/mnt/blockSD/<wbr>63c4fdd3-5d0f-4d16-b1e5-<wbr>5f43caa4cf82/master/tasks/<wbr>6b3b6aa1-808c-42df-9db7-<wbr>52349f8533f2/6b3b6aa1-808c-<wbr>42df-9db7-52349f8533f2.<wbr>recover.1:<br>
<span class="">No such file or directory<br>
</span>ovirt-log-collector/ovirt-log-<wbr>collector-20161030053238.log-/<wbr>bin/ls:<br>
cannot access /rhev/data-center/mnt/blockSD/<wbr>63c4fdd3-5d0f-4d16-b1e5-<wbr>5f43caa4cf82/master/tasks/<wbr>6b3b6aa1-808c-42df-9db7-<wbr>52349f8533f2/6b3b6aa1-808c-<wbr>42df-9db7-52349f8533f2.task:<br>
<span class="">No such file or directory<br>
</span>ovirt-log-collector/ovirt-log-<wbr>collector-20161030053238.log-/<wbr>bin/ls:<br>
cannot access /rhev/data-center/mnt/blockSD/<wbr>63c4fdd3-5d0f-4d16-b1e5-<wbr>5f43caa4cf82/master/tasks/<wbr>6b3b6aa1-808c-42df-9db7-<wbr>52349f8533f2/6b3b6aa1-808c-<wbr>42df-9db7-52349f8533f2.<wbr>recover.0:<br>
<span class="">No such file or directory<br>
<br>
</span>To ensure I&#39;ve checked lago/OST, and couldn&#39;t find any stage where<br>
there is a reference to &#39;/rhv&#39; nor any manipulation to<br>
ovirt-log-collector, only customizations made is a<br>
&#39;ovirt-log-collector.conf&#39; with user/password. The code that pulls the<br>
logs in OST[2] runs the following command on the engine VM(and there<br>
it fails):<br>
<br>
ovirt-log-collector --conf /rot/ovirt-log-collector.conf<br>
<br>
The failure comes right after &#39;add_secondary_storage_<wbr>domains&#39;[3] test,<br>
which all of its steps ran successfully.<br></blockquote><div><br></div><div>Not exactly.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Can anyone look into this?<br></blockquote><div><br></div><div>It may be my fault, in a way. I&#39;ve added the log collector test to run in parallel to the tests that add the secondary storage domains. The directories it tries to access may or may not be available - this is probably racy. I don&#39;t think it should fail, but I can certainly see why it can. </div><div>The easiest &#39;fix&#39; would be to split it to its own test (I wanted to save execution time, as most of the time spent on secondary storage domains test is not really useful).</div><div>Y.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Thanks,<br>
Nadav.<br>
<br>
[1] <a href="http://jenkins.ovirt.org/job/ovirt-system-tests_master_check-patch-fc24-x86_64/141/console" rel="noreferrer" target="_blank">http://jenkins.ovirt.org/job/<wbr>ovirt-system-tests_master_<wbr>check-patch-fc24-x86_64/141/<wbr>console</a><br>
[2] <a href="https://github.com/oVirt/ovirt-system-tests/blob/master/basic_suite_master/test-scenarios/002_bootstrap.py#L490" rel="noreferrer" target="_blank">https://github.com/oVirt/<wbr>ovirt-system-tests/blob/<wbr>master/basic_suite_master/<wbr>test-scenarios/002_bootstrap.<wbr>py#L490</a><br>
[3] <a href="https://github.com/oVirt/ovirt-system-tests/blob/master/basic_suite_master/test-scenarios/002_bootstrap.py#L243" rel="noreferrer" target="_blank">https://github.com/oVirt/<wbr>ovirt-system-tests/blob/<wbr>master/basic_suite_master/<wbr>test-scenarios/002_bootstrap.<wbr>py#L243</a><br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On Tue, Sep 20, 2016 at 9:45 AM, Sandro Bonazzola &lt;<a href="mailto:sbonazzo@redhat.com">sbonazzo@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Fri, Sep 9, 2016 at 1:19 PM, Yaniv Kaul &lt;<a href="mailto:ykaul@redhat.com">ykaul@redhat.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Indeed, this is the log collector. I wonder if we collect its logs...<br>
&gt;&gt; Y.<br>
&gt;<br>
&gt;<br>
&gt; This can&#39;t be log-collector, it can be sos vdsm plugin.<br>
&gt; That said, if we run log-collector within lago we should collect the results as job artifacts.<br>
&gt;<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Thu, Sep 8, 2016 at 6:54 PM, Eyal Edri &lt;<a href="mailto:eedri@redhat.com">eedri@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I&#39;m pretty sure lago or ovirt system tests aren&#39;t doing it but its the log collector which is running during that test, I&#39;m not near a computer so can&#39;t verify it yet.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Sep 8, 2016 6:05 PM, &quot;Nir Soffer&quot; &lt;<a href="mailto:nsoffer@redhat.com">nsoffer@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; On Thu, Sep 8, 2016 at 5:45 PM, Eyal Edri &lt;<a href="mailto:eedri@redhat.com">eedri@redhat.com</a>&gt; wrote:<br>
&gt;&gt;&gt;&gt; &gt; Adding devel.<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt; On Thu, Sep 8, 2016 at 5:43 PM, Shlomo Ben David &lt;<a href="mailto:sbendavi@redhat.com">sbendavi@redhat.com</a>&gt;<br>
&gt;&gt;&gt;&gt; &gt; wrote:<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; Hi,<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; Job [1] is failing with the following error:<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; lago.ssh: DEBUG: Command 8de75538 on lago_basic_suite_master_engine<br>
&gt;&gt;&gt;&gt; &gt;&gt; errors:<br>
&gt;&gt;&gt;&gt; &gt;&gt;  ERROR: Failed to collect logs from: 192.168.200.2; /bin/ls:<br>
&gt;&gt;&gt;&gt; &gt;&gt; /rhev/data-center/mnt/blockSD/<wbr>eb8c9f48-5f23-48dc-ab7d-<wbr>9451890fd422/master/tasks/<wbr>1350bed7-443e-4ae6-ae1f-<wbr>9b24d18c70a8.temp:<br>
&gt;&gt;&gt;&gt; &gt;&gt; No such file or directory<br>
&gt;&gt;&gt;&gt; &gt;&gt; /bin/ls: cannot open directory<br>
&gt;&gt;&gt;&gt; &gt;&gt; /rhev/data-center/mnt/blockSD/<wbr>eb8c9f48-5f23-48dc-ab7d-<wbr>9451890fd422/master/tasks/<wbr>1350bed7-443e-4ae6-ae1f-<wbr>9b24d18c70a8.temp:<br>
&gt;&gt;&gt;&gt; &gt;&gt; No such file or directory<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; This looks like a lago issue - it should never read anything inside /rhev<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; This is a private directory for vdsm, no other process should ever depend<br>
&gt;&gt;&gt;&gt; on the content inside this directory, or even on the fact that it exists.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; In particular, /rhev/data-center/mnt/blockSD/<wbr>*/master/tasks/*.temp<br>
&gt;&gt;&gt;&gt; Is not a log file, and lago should not collect it.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Nir<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; lago.utils: ERROR: Error while running thread<br>
&gt;&gt;&gt;&gt; &gt;&gt; Traceback (most recent call last):<br>
&gt;&gt;&gt;&gt; &gt;&gt;   File &quot;/usr/lib/python2.7/site-<wbr>packages/lago/utils.py&quot;, line 53, in<br>
&gt;&gt;&gt;&gt; &gt;&gt; _ret_via_queue<br>
&gt;&gt;&gt;&gt; &gt;&gt;     queue.put({&#39;return&#39;: func()})<br>
&gt;&gt;&gt;&gt; &gt;&gt;   File<br>
&gt;&gt;&gt;&gt; &gt;&gt; &quot;/home/jenkins/workspace/test-<wbr>repo_ovirt_experimental_<wbr>master/ovirt-system-tests/<wbr>basic_suite_master/test-<wbr>scenarios/002_bootstrap.py&quot;,<br>
&gt;&gt;&gt;&gt; &gt;&gt; line 493, in log_collector<br>
&gt;&gt;&gt;&gt; &gt;&gt;     result.code, 0, &#39;log collector failed. Exit code is %s&#39; % result.code<br>
&gt;&gt;&gt;&gt; &gt;&gt;   File &quot;/usr/lib/python2.7/site-<wbr>packages/nose/tools/trivial.<wbr>py&quot;, line 29,<br>
&gt;&gt;&gt;&gt; &gt;&gt; in eq_<br>
&gt;&gt;&gt;&gt; &gt;&gt;     raise AssertionError(msg or &quot;%r != %r&quot; % (a, b))<br>
&gt;&gt;&gt;&gt; &gt;&gt; AssertionError: log collector failed. Exit code is 2<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; * The previous issue already fixed (SDK) and now we have a new issue on<br>
&gt;&gt;&gt;&gt; &gt;&gt; the same area.<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; [1] -<br>
&gt;&gt;&gt;&gt; &gt;&gt; <a href="http://jenkins.ovirt.org/view/experimental%20jobs/job/test-repo_ovirt_experimental_master/1462/testReport/(root)/002_bootstrap/add_secondary_storage_domains/" rel="noreferrer" target="_blank">http://jenkins.ovirt.org/view/<wbr>experimental%20jobs/job/test-<wbr>repo_ovirt_experimental_<wbr>master/1462/testReport/(root)/<wbr>002_bootstrap/add_secondary_<wbr>storage_domains/</a><br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; Best Regards,<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; Shlomi Ben-David | DevOps Engineer | Red Hat ISRAEL<br>
&gt;&gt;&gt;&gt; &gt;&gt; RHCSA | RHCE<br>
&gt;&gt;&gt;&gt; &gt;&gt; IRC: shlomibendavid (on #rhev-integ, #rhev-dev, #rhev-ci)<br>
&gt;&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt;&gt; OPEN SOURCE - 1 4 011 &amp;&amp; 011 4 1<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt; --<br>
&gt;&gt;&gt;&gt; &gt; Eyal Edri<br>
&gt;&gt;&gt;&gt; &gt; Associate Manager<br>
&gt;&gt;&gt;&gt; &gt; RHV DevOps<br>
&gt;&gt;&gt;&gt; &gt; EMEA ENG Virtualization R&amp;D<br>
&gt;&gt;&gt;&gt; &gt; Red Hat Israel<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt; phone: <a href="tel:%2B972-9-7692018" value="+97297692018">+972-9-7692018</a><br>
&gt;&gt;&gt;&gt; &gt; irc: eedri (on #tlv #rhev-dev #rhev-integ)<br>
&gt;&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt;&gt; &gt; ______________________________<wbr>_________________<br>
&gt;&gt;&gt;&gt; &gt; Devel mailing list<br>
&gt;&gt;&gt;&gt; &gt; <a href="mailto:Devel@ovirt.org">Devel@ovirt.org</a><br>
&gt;&gt;&gt;&gt; &gt; <a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/<wbr>mailman/listinfo/devel</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Sandro Bonazzola<br>
&gt; Better technology. Faster innovation. Powered by community collaboration.<br>
&gt; See how it works at <a href="http://redhat.com" rel="noreferrer" target="_blank">redhat.com</a><br>
&gt;<br>
&gt;<br>
&gt; ______________________________<wbr>_________________<br>
&gt; Devel mailing list<br>
&gt; <a href="mailto:Devel@ovirt.org">Devel@ovirt.org</a><br>
&gt; <a href="http://lists.ovirt.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.ovirt.org/<wbr>mailman/listinfo/devel</a><br>
</div></div></blockquote></div><br></div></div>