<p dir="ltr"></p>
<p dir="ltr">On Sep 28, 2016 11:37 PM, &quot;Nir Soffer&quot; &lt;<a href="mailto:nsoffer@redhat.com">nsoffer@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; On Wed, Sep 28, 2016 at 11:20 PM, Nir Soffer &lt;<a href="mailto:nsoffer@redhat.com">nsoffer@redhat.com</a>&gt; wrote:<br>
&gt; &gt; On Wed, Sep 28, 2016 at 10:31 PM, Barak Korren &lt;<a href="mailto:bkorren@redhat.com">bkorren@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt; The CI setup did not change recently.<br>
&gt; &gt;<br>
&gt; &gt; Great<br>
&gt; &gt;<br>
&gt; &gt;&gt; All standard-CI jobs run inside mock (chroot) which is stored on top<br>
&gt; &gt;&gt; of a regular FS, so they should not be affected by the slave OS at all<br>
&gt; &gt;&gt; as far as FS settings go.<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; But perhaps some slave-OS/mock-OS combination is acting strangely, so<br>
&gt; &gt;&gt; could you be more specific and point to particular job runs that fail?<br>
&gt; &gt;<br>
&gt; &gt; This jobs failed, but it was deleted (I get 404 now):<br>
&gt; &gt; <a href="http://jenkins.ovirt.org/job/vdsm_master_check-patch-fc24-x86_64/2530/">http://jenkins.ovirt.org/job/vdsm_master_check-patch-fc24-x86_64/2530/</a><br>
&gt;<br>
&gt; Oops, wrong build.<br>
&gt;<br>
&gt; This is the failing build:<br>
&gt;<br>
&gt; <a href="http://jenkins.ovirt.org/job/vdsm_master_check-patch-el7-x86_64/1054/console">http://jenkins.ovirt.org/job/vdsm_master_check-patch-el7-x86_64/1054/console</a><br>
&gt;<br>
&gt; And this is probably the reason - using a ram disk:<br>
&gt;<br>
&gt; 12:24:53 Building remotely on <a href="http://ovirt-srv08.phx.ovirt.org">ovirt-srv08.phx.ovirt.org</a> (phx physical<br>
&gt; integ-tests ram_disk fc23) in workspace<br>
&gt; /home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64<br>
&gt;<br>
&gt; We cannot run the storage tests using a ramdisk. We are creating<br>
&gt; (tiny) volumes and storage domains and doing copies, this code cannot<br>
&gt; work with ramdisk.</p>
<p dir="ltr">Will it work on zram? <br>
What if we configure ram based iSCSI targets? <br>
Y. </p>
<p dir="ltr">&gt;<br>
&gt; Attaching full console log before the job is deleted.<br>
&gt;<br>
&gt; &gt;<br>
&gt; &gt; Then I triggered the tests and they passed:<br>
&gt; &gt; <a href="http://jenkins.ovirt.org/job/vdsm_master_check-patch-fc24-x86_64/2548/">http://jenkins.ovirt.org/job/vdsm_master_check-patch-fc24-x86_64/2548/</a><br>
&gt; &gt;<br>
&gt; &gt; Thanks<br>
&gt; &gt; Nir<br>
&gt; &gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; On 28 September 2016 at 22:00, Nir Soffer &lt;<a href="mailto:nsoffer@redhat.com">nsoffer@redhat.com</a>&gt; wrote:<br>
&gt; &gt;&gt;&gt; Hi all,<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; It seems that the CI setup has changed, and /var/tmp is using now tempfs.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; This is not compatible with vdsm tests, assuming that /var/tmp is a real file<br>
&gt; &gt;&gt;&gt; system. This is the reason we do not use /tmp.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; We have lot of storage tests using directio, and directio cannot work on<br>
&gt; &gt;&gt;&gt; tempfs.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Please check the slaves and make sure /var/tmp is using file system supporting<br>
&gt; &gt;&gt;&gt; directio.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; See example failure bellow.<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; Nir<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; ----<br>
&gt; &gt;&gt;&gt;<br>
&gt; &gt;&gt;&gt; 12:33:20 ======================================================================<br>
&gt; &gt;&gt;&gt; 12:33:20 ERROR: test_create_fail_creating_lease<br>
&gt; &gt;&gt;&gt; (storage_volume_artifacts_test.BlockVolumeArtifactsTests)<br>
&gt; &gt;&gt;&gt; 12:33:20 ----------------------------------------------------------------------<br>
&gt; &gt;&gt;&gt; 12:33:20 Traceback (most recent call last):<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/tests/storage_volume_artifacts_test.py&quot;,<br>
&gt; &gt;&gt;&gt; line 485, in test_create_fail_creating_lease<br>
&gt; &gt;&gt;&gt; 12:33:20     *BASE_PARAMS[sc.RAW_FORMAT])<br>
&gt; &gt;&gt;&gt; 12:33:20   File &quot;/usr/lib64/python2.7/unittest/case.py&quot;, line 513, in<br>
&gt; &gt;&gt;&gt; assertRaises<br>
&gt; &gt;&gt;&gt; 12:33:20     callableObj(*args, **kwargs)<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/vdsm/storage/sdm/volume_artifacts.py&quot;,<br>
&gt; &gt;&gt;&gt; line 391, in create<br>
&gt; &gt;&gt;&gt; 12:33:20     desc, parent)<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/vdsm/storage/sdm/volume_artifacts.py&quot;,<br>
&gt; &gt;&gt;&gt; line 482, in _create_metadata<br>
&gt; &gt;&gt;&gt; 12:33:20     sc.LEGAL_VOL)<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/vdsm/storage/volume.py&quot;,<br>
&gt; &gt;&gt;&gt; line 427, in newMetadata<br>
&gt; &gt;&gt;&gt; 12:33:20     cls.createMetadata(metaId, meta.legacy_info())<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/vdsm/storage/volume.py&quot;,<br>
&gt; &gt;&gt;&gt; line 420, in createMetadata<br>
&gt; &gt;&gt;&gt; 12:33:20     cls._putMetadata(metaId, meta)<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/vdsm/storage/blockVolume.py&quot;,<br>
&gt; &gt;&gt;&gt; line 242, in _putMetadata<br>
&gt; &gt;&gt;&gt; 12:33:20     f.write(data)<br>
&gt; &gt;&gt;&gt; 12:33:20   File<br>
&gt; &gt;&gt;&gt; &quot;/home/jenkins/workspace/vdsm_master_check-patch-el7-x86_64/vdsm/lib/vdsm/storage/directio.py&quot;,<br>
&gt; &gt;&gt;&gt; line 161, in write<br>
&gt; &gt;&gt;&gt; 12:33:20     raise OSError(err, msg)<br>
&gt; &gt;&gt;&gt; 12:33:20 OSError: [Errno 22] Invalid argument<br>
&gt; &gt;&gt;&gt; 12:33:20 -------------------- &gt;&gt; begin captured logging &lt;&lt; --------------------<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,254 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) Created a persistent dict with VGTagMetadataRW backend<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,255 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) read lines (VGTagMetadataRW)=[]<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,255 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) Empty metadata<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,255 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) Starting transaction<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,256 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) Flushing changes<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,256 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) about to write lines (VGTagMetadataRW)=[&#39;CLASS=Data&#39;,<br>
&gt; &gt;&gt;&gt; &#39;POOL_UUID=52fe3782-ed7a-4d84-be3d-236faebdca2d&#39;,<br>
&gt; &gt;&gt;&gt; &#39;SDUUID=c088020e-91b2-45e6-85fd-eea3fce58764&#39;, &#39;VERSION=3&#39;,<br>
&gt; &gt;&gt;&gt; &#39;_SHA_CKSUM=3f26f105271d3f7af6ea7458fb179418e7f9c139&#39;]<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,257 DEBUG<br>
&gt; &gt;&gt;&gt; [storage.Metadata.VGTagMetadataRW] (MainThread) Updating metadata<br>
&gt; &gt;&gt;&gt; adding=MDT_POOL_UUID=52fe3782-ed7a-4d84-be3d-236faebdca2d,<br>
&gt; &gt;&gt;&gt; MDT__SHA_CKSUM=3f26f105271d3f7af6ea7458fb179418e7f9c139,<br>
&gt; &gt;&gt;&gt; MDT_SDUUID=c088020e-91b2-45e6-85fd-eea3fce58764, MDT_CLASS=Data,<br>
&gt; &gt;&gt;&gt; MDT_VERSION=3 removing=<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,257 DEBUG   [storage.PersistentDict]<br>
&gt; &gt;&gt;&gt; (MainThread) Finished transaction<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,261 INFO<br>
&gt; &gt;&gt;&gt; [storage.BlockVolumeArtifacts] (MainThread) Create placeholder<br>
&gt; &gt;&gt;&gt; /var/tmp/tmp3UKYqC/52fe3782-ed7a-4d84-be3d-236faebdca2d/c088020e-91b2-45e6-85fd-eea3fce58764/images/a1e3aa74-2304-4e0c-b8e8-f5b86f8d3ac7<br>
&gt; &gt;&gt;&gt; for image&#39;s volumes<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,264 WARNING<br>
&gt; &gt;&gt;&gt; [storage.StorageDomainManifest] (MainThread) Could not find mapping<br>
&gt; &gt;&gt;&gt; for lv c088020e-91b2-45e6-85fd-eea3fce58764/3267d54d-c0fa-4fe1-b82b-b88dd5f90de3<br>
&gt; &gt;&gt;&gt; 12:33:20 2016-09-28 05:32:03,264 DEBUG<br>
&gt; &gt;&gt;&gt; [storage.StorageDomainManifest] (MainThread) Found freeSlot 4 in VG<br>
&gt; &gt;&gt;&gt; c088020e-91b2-45e6-85fd-eea3fce58764<br>
&gt; &gt;&gt;&gt; 12:33:20 --------------------- &gt;&gt; end captured logging &lt;&lt; ---------------------<br>
&gt; &gt;&gt;&gt; 1<br>
&gt; &gt;&gt;&gt; _______________________________________________<br>
&gt; &gt;&gt;&gt; Infra mailing list<br>
&gt; &gt;&gt;&gt; <a href="mailto:Infra@ovirt.org">Infra@ovirt.org</a><br>
&gt; &gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/infra">http://lists.ovirt.org/mailman/listinfo/infra</a><br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; --<br>
&gt; &gt;&gt; Barak Korren<br>
&gt; &gt;&gt; <a href="mailto:bkorren@redhat.com">bkorren@redhat.com</a><br>
&gt; &gt;&gt; RHEV-CI Team<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Devel mailing list<br>
&gt; <a href="mailto:Devel@ovirt.org">Devel@ovirt.org</a><br>
&gt; <a href="http://lists.ovirt.org/mailman/listinfo/devel">http://lists.ovirt.org/mailman/listinfo/devel</a><br></p>