<div dir="ltr">Hallo Kasturi,<div><br></div><div>I have the issues only when a backup job is running. </div><div>I have not tested it with fuse or gfapi directly. </div><div><br></div><div>What would be a good test for fuse? Just DD to the mounted gluster storage? </div><div><br></div><div>How can I test it with gfapi?   <br></div><div><br></div><div>Thanks for your support</div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr">







<p><span>Kind regards,</span></p><p><span></span></p>
<p><span>Florian Nolden</span></p>
<p><span>Head of IT at Xilloc Medical B.V.</span></p>
<p><span>——————————————————————————————— </span></p>
<p><span>Disclaimer: The content of this e-mail, including any attachments, are confidential and are intended for the sole use of the individual or entity to which it is addressed. If you have received it by mistake please let us know by reply and then delete it from your system. Any distribution, copying or dissemination of this message is expected to conform to all legal stipulations governing the use of information.</span></p></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">2017-11-24 9:40 GMT+01:00 Kasturi Narra <span dir="ltr">&lt;<a href="mailto:knarra@redhat.com" target="_blank">knarra@redhat.com</a>&gt;</span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Florian,<div><br></div><div>       Are you seeing these issues with gfapi or fuse access as well ?</div><div><br></div><div>Thanks</div><span class="HOEnZb"><font color="#888888"><div>kasturi</div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 24, 2017 at 3:06 AM, Florian Nolden <span dir="ltr">&lt;<a href="mailto:f.nolden@xilloc.com" target="_blank">f.nolden@xilloc.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I have the same issue when I run backup tasks during the night.<div><br></div><div>I have a Gluster setup with a 1TB SSD on each of the tree nodes. Maybe its related to bug: <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1430847" target="_blank">https://bugzilla.redhat.com/sh<wbr>ow_bug.cgi?id=1430847</a></div><div><br></div><div>sanlock.log:</div><div><div>2017-11-23 00:46:42 3410597 [1114]: s15 check_our_lease warning 60 last_success 3410537</div><div>2017-11-23 00:46:43 3410598 [1114]: s15 check_our_lease warning 61 last_success 3410537</div><div>2017-11-23 00:46:44 3410599 [1114]: s15 check_our_lease warning 62 last_success 3410537</div><div>2017-11-23 00:46:45 3410600 [1114]: s15 check_our_lease warning 63 last_success 3410537</div><div>2017-11-23 00:46:46 3410601 [1114]: s15 check_our_lease warning 64 last_success 3410537</div><div>2017-11-23 00:46:47 3410602 [1114]: s15 check_our_lease warning 65 last_success 3410537</div><div>2017-11-23 00:46:48 3410603 [1114]: s15 check_our_lease warning 66 last_success 3410537</div></div><div><div>2017-11-23 00:46:49 3410603 [28384]: s15 delta_renew long write time 46 sec</div><div>2017-11-23 00:46:49 3410603 [28384]: s15 renewed 3410557 delta_length 46 too long</div><div>2017-11-23 02:48:04 3417878 [28384]: s15 delta_renew long write time 10 sec</div><div>2017-11-23 02:57:23 3418438 [28384]: s15 delta_renew long write time 34 sec</div><div>2017-11-23 02:57:23 3418438 [28384]: s15 renewed 3418404 delta_length 34 too long</div></div><div><br></div><div><br></div><div>vdsm.log | grep &quot;WARN&quot; </div><div><div>017-11-23 00:20:05,544+0100 WARN  (jsonrpc/0) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=63.7199999997) (vm:5109)</div><div>2017-11-23 00:20:06,840+0100 WARN  (check/loop) [storage.check] Checker u&#39;/rhev/data-center/mnt/gluste<wbr>rSD/x-c01-n03:_fastIO/f0e21aae<wbr>-1237-4dd3-88ec-81254d29c372/<wbr>dom_md/metadata&#39; is blocked for 10.00 seconds (check:279)</div><div>2017-11-23 00:20:13,853+0100 WARN  (periodic/170) [virt.periodic.VmDispatcher] could not run &lt;class &#39;vdsm.virt.periodic.UpdateVolu<wbr>mes&#39;&gt; on [u&#39;e1f26ea9-9294-4d9c-8f70-d59<wbr>f96dec5f7&#39;] (periodic:308)</div><div>2017-11-23 00:20:15,031+0100 WARN  (jsonrpc/2) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=73.21) (vm:5109)</div><div>2017-11-23 00:20:20,586+0100 WARN  (jsonrpc/4) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=78.7599999998) (vm:5109)</div><div>2017-11-23 00:21:06,849+0100 WARN  (check/loop) [storage.check] Checker u&#39;/rhev/data-center/mnt/gluste<wbr>rSD/x-c01-n03:_fastIO/f0e21aae<wbr>-1237-4dd3-88ec-81254d29c372/<wbr>dom_md/metadata&#39; is blocked for 10.01 seconds (check:279)</div><div>2017-11-23 00:21:13,847+0100 WARN  (periodic/167) [virt.periodic.VmDispatcher] could not run &lt;class &#39;vdsm.virt.periodic.UpdateVolu<wbr>mes&#39;&gt; on [u&#39;d8f22423-9fe3-4c06-97dc-5c9<wbr>e9f5b33c8&#39;] (periodic:308)</div><div>2017-11-23 00:22:13,854+0100 WARN  (periodic/172) [virt.periodic.VmDispatcher] could not run &lt;class &#39;vdsm.virt.periodic.UpdateVolu<wbr>mes&#39;&gt; on [u&#39;d8f22423-9fe3-4c06-97dc-5c9<wbr>e9f5b33c8&#39;] (periodic:308)</div><div>2017-11-23 00:22:16,846+0100 WARN  (check/loop) [storage.check] Checker u&#39;/rhev/data-center/mnt/gluste<wbr>rSD/x-c01-n03:_fastIO/f0e21aae<wbr>-1237-4dd3-88ec-81254d29c372/<wbr>dom_md/metadata&#39; is blocked for 9.99 seconds (check:279)</div><div>2017-11-23 00:23:06,040+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=64.2199999997) (vm:5109)</div><div>2017-11-23 00:23:06,850+0100 WARN  (check/loop) [storage.check] Checker u&#39;/rhev/data-center/mnt/gluste<wbr>rSD/x-c01-n03:_fastIO/f0e21aae<wbr>-1237-4dd3-88ec-81254d29c372/<wbr>dom_md/metadata&#39; is blocked for 9.98 seconds (check:279)</div><div>2017-11-23 00:23:13,845+0100 WARN  (periodic/169) [virt.periodic.VmDispatcher] could not run &lt;class &#39;vdsm.virt.periodic.UpdateVolu<wbr>mes&#39;&gt; on [u&#39;5ef506de-44b9-4ced-9b7f-b90<wbr>ee098f4f7&#39;] (periodic:308)</div><div>2017-11-23 00:23:16,855+0100 WARN  (jsonrpc/7) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=75.<a href="tel:030%20000%200003" value="+31300000003" target="_blank">0300000003</a>) (vm:5109)</div><div>2017-11-23 00:23:21,082+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=79.2599999998) (vm:5109)</div><div>2017-11-23 00:25:31,488+0100 WARN  (libvirt/events) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) unknown eventid 8 args (&#39;/rhev/data-center/00000001-0<wbr>001-0001-0001-000000000370/f0e<wbr>21aae-1237-4dd3-88ec-81254d29c<wbr>372/images/1a1b9620-52fc-4008-<wbr>9047-15cd725f8bd8/90b</div><div>913ba-e03f-46c5-bccf-bae011fcd<wbr>d55&#39;, 4, 3, 8) (clientIF:549)</div><div>2017-11-23 00:25:32,372+0100 WARN  (libvirt/events) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) unknown eventid 8 args (&#39;/rhev/data-center/00000001-0<wbr>001-0001-0001-000000000370/f0e<wbr>21aae-1237-4dd3-88ec-81254d29c<wbr>372/images/1a1b9620-52fc-4008-<wbr>9047-15cd725f8bd8/90b</div><div>913ba-e03f-46c5-bccf-bae011fcd<wbr>d55&#39;, 4, 0, 8) (clientIF:549)</div><div>2017-11-23 00:45:56,851+0100 WARN  (check/loop) [storage.check] Checker u&#39;/rhev/data-center/mnt/gluste<wbr>rSD/x-c01-n03:_fastIO/f0e21aae<wbr>-1237-4dd3-88ec-81254d29c372/<wbr>dom_md/metadata&#39; is blocked for 10.00 seconds (check:279)</div><div>2017-11-23 00:46:13,850+0100 WARN  (periodic/172) [virt.periodic.VmDispatcher] could not run &lt;class &#39;vdsm.virt.periodic.UpdateVolu<wbr>mes&#39;&gt; on [u&#39;e1f26ea9-9294-4d9c-8f70-d59<wbr>f96dec5f7&#39;, u&#39;5ef506de-44b9-4ced-9b7f-b90e<wbr>e098f4f7&#39;] (periodic:308)</div><div>2017-11-23 00:46:36,013+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=64.0899999999) (vm:5109)</div><div>2017-11-23 00:46:38,805+0100 WARN  (jsonrpc/2) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=66.8799999999) (vm:5109)</div><div>2017-11-23 00:46:40,439+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;930ecaca-ef2f-490a-a4df<wbr>-e4f0dad218aa&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,440+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;e1f26ea9-9294-4d9c-8f70<wbr>-d59f96dec5f7&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,441+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,442+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,442+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;0cf9b0cb-7c53-4bab-b879<wbr>-0bdf190b293c&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,443+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,444+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,445+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;d8f22423-9fe3-4c06-97dc<wbr>-5c9e9f5b33c8&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,446+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;ea36f7bd-1790-4b42-b7e1<wbr>-6d8e2ef0487b&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:40,446+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;82ed235e-37bb-4d67-8db9<wbr>-61d39340f951&#39;) monitor became unresponsive (command timeout, age=68.5199999996) (vm:5109)</div><div>2017-11-23 00:46:46,116+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;930ecaca-ef2f-490a-a4df<wbr>-e4f0dad218aa&#39;) monitor became unresponsive (command timeout, age=74.1899999995) (vm:5109)</div><div>2017-11-23 00:46:46,118+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;e1f26ea9-9294-4d9c-8f70<wbr>-d59f96dec5f7&#39;) monitor became unresponsive (command timeout, age=74.1899999995) (vm:5109)</div><div>2017-11-23 00:46:46,119+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,120+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,121+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0cf9b0cb-7c53-4bab-b879<wbr>-0bdf190b293c&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,123+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,124+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,125+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;d8f22423-9fe3-4c06-97dc<wbr>-5c9e9f5b33c8&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,127+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;ea36f7bd-1790-4b42-b7e1<wbr>-6d8e2ef0487b&#39;) monitor became unresponsive (command timeout, age=74.1999999993) (vm:5109)</div><div>2017-11-23 00:46:46,128+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;82ed235e-37bb-4d67-8db9<wbr>-61d39340f951&#39;) monitor became unresponsive (command timeout, age=74.21) (vm:5109)</div><div>2017-11-23 00:46:46,509+0100 WARN  (jsonrpc/3) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=74.5899999999) (vm:5109)</div><div>2017-11-23 00:46:48,187+0100 WARN  (jsonrpc/7) [virt.vm] (vmId=&#39;0bcf7520-3c60-42a1-8e6b<wbr>-683af670e6cb&#39;) monitor became unresponsive (command timeout, age=76.2599999998) (vm:5109)</div><div>2017-11-23 00:46:49,825+0100 WARN  (periodic/173) [virt.sampling.StatsCache] dropped stale old sample: sampled 7705208.650000 stored 7705268.650000 (sampling:442)</div><div>2017-11-23 00:46:49,835+0100 WARN  (periodic/176) [virt.sampling.StatsCache] dropped stale old sample: sampled 7705253.650000 stored 7705268.650000 (sampling:442)</div><div>2017-11-23 00:46:49,854+0100 WARN  (periodic/171) [virt.sampling.StatsCache] dropped stale old sample: sampled 7705238.650000 stored 7705268.650000 (sampling:442)</div><div>2017-11-23 00:46:49,866+0100 WARN  (periodic/174) [virt.sampling.StatsCache] dropped stale old sample: sampled 7705223.650000 stored 7705268.650000 (sampling:442)</div><div>2017-11-23 00:46:55,488+0100 WARN  (jsonrpc/0) [virt.vm] (vmId=&#39;e1f26ea9-9294-4d9c-8f70<wbr>-d59f96dec5f7&#39;) monitor became unresponsive (command timeout, age=83.5699999994) (vm:5109)</div><div>2017-11-23 00:46:55,488+0100 WARN  (jsonrpc/0) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=83.5699999994) (vm:5109)</div><div>2017-11-23 00:46:55,489+0100 WARN  (jsonrpc/0) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=83.5699999994) (vm:5109)</div><div>2017-11-23 00:46:55,491+0100 WARN  (jsonrpc/0) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=83.5699999994) (vm:5109)</div><div>2017-11-23 00:47:01,742+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;e1f26ea9-9294-4d9c-8f70<wbr>-d59f96dec5f7&#39;) monitor became unresponsive (command timeout, age=89.8199999994) (vm:5109)</div><div>2017-11-23 00:47:01,743+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=89.8199999994) (vm:5109)</div><div>2017-11-23 00:47:01,744+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=89.8199999994) (vm:5109)</div><div>2017-11-23 00:47:01,746+0100 WARN  (jsonrpc/1) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=89.8199999994) (vm:5109)</div><div>2017-11-23 00:47:10,531+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=98.6099999994) (vm:5109)</div><div>2017-11-23 00:47:10,532+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=98.6099999994) (vm:5109)</div><div>2017-11-23 00:47:10,534+0100 WARN  (jsonrpc/6) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=98.6099999994) (vm:5109)</div><div>2017-11-23 00:47:16,950+0100 WARN  (jsonrpc/7) [virt.vm] (vmId=&#39;0a83954f-56d1-42d0-88b9<wbr>-825435055fd0&#39;) monitor became unresponsive (command timeout, age=105.029999999) (vm:5109)</div><div>2017-11-23 00:47:16,951+0100 WARN  (jsonrpc/7) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=105.029999999) (vm:5109)</div><div>2017-11-23 00:47:16,953+0100 WARN  (jsonrpc/7) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=105.029999999) (vm:5109)</div><div>2017-11-23 00:47:25,578+0100 WARN  (jsonrpc/4) [virt.vm] (vmId=&#39;245e104f-2bd5-4f77-81de<wbr>-d75a593d77c5&#39;) monitor became unresponsive (command timeout, age=113.659999999) (vm:5109)</div><div>2017-11-23 00:47:25,581+0100 WARN  (jsonrpc/4) [virt.vm] (vmId=&#39;5ef506de-44b9-4ced-9b7f<wbr>-b90ee098f4f7&#39;) monitor became unresponsive (command timeout, age=113.659999999) (vm:5109)</div></div></div><div class="gmail_extra"><br clear="all"><div><div class="m_6830255894836948204m_6416328168242265831gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr">







<p><span>Kind regards,</span></p>
<p><span></span><br></p>
<p><span>Florian Nolden</span></p>
<p><span>Head of IT at Xilloc Medical B.V.</span></p>
<p><span>——————————————————————————————<wbr>— </span></p>
<p><span>Disclaimer: The content of this e-mail, including any attachments, are confidential and are intended for the sole use of the individual or entity to which it is addressed. If you have received it by mistake please let us know by reply and then delete it from your system. Any distribution, copying or dissemination of this message is expected to conform to all legal stipulations governing the use of information.</span></p></div></div></div></div></div></div>
<br><div class="gmail_quote"><div><div class="m_6830255894836948204h5">2017-11-23 11:25 GMT+01:00 Sven Achtelik <span dir="ltr">&lt;<a href="mailto:Sven.Achtelik@eps.aero" target="_blank">Sven.Achtelik@eps.aero</a>&gt;</span>:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_6830255894836948204h5"><div lang="DE" link="#0563C1" vlink="#954F72"><div class="m_6830255894836948204m_6416328168242265831m_-662522682057608677WordSection1"><p class="MsoNormal">Hi All, <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span lang="EN-US">I’m experiencing huge issues when working with big VMs on Gluster volumes. Doing a Snapshot or removing a big Disk lead to the effect that the SPM node is getting non responsive. Fencing is than kicking in and taking the node down with the hard reset/reboot. <u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">My setup has three nodes with 10Gbit/s NICs for the Gluster network. The Bricks are on Raid-6 with a 1GB cache on the raid controller and the volumes are setup as follows:<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Volume Name: data<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Type: Replicate<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Volume ID: c734d678-91e3-449c-8a24-d26b73<wbr>bef965<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Status: Started<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Snapshot Count: 0<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Number of Bricks: 1 x 3 = 3<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Transport-type: tcp<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Bricks:<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Brick1: ovirt-node01-gfs.storage.lan:/<wbr>gluster/brick2/data<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Brick2: ovirt-node02-gfs.storage.lan:/<wbr>gluster/brick2/data<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Brick3: ovirt-node03-gfs.storage.lan:/<wbr>gluster/brick2/data<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Options Reconfigured:<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">features.barrier: disable<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.granular-entry-heal: enable<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.readdir-ahead: on<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.quick-read: off<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.read-ahead: off<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.io-cache: off<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.stat-prefetch: on<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.eager-lock: enable<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">network.remote-dio: off<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.quorum-type: auto<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.server-quorum-type: server<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">storage.owner-uid: 36<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">storage.owner-gid: 36<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">features.shard: on<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">features.shard-block-size: 512MB<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.low-prio-threads: 32<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.data-self-heal-algorit<wbr>hm: full<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.locking-scheme: granular<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.shd-wait-qlength: 10000<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">cluster.shd-max-threads: 6<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">network.ping-timeout: 30<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">user.cifs: off<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">nfs.disable: on<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">performance.strict-o-direct: on<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">server.event-threads: 4<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">client.event-threads: 4<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">It feel like the System looks up during snapshotting or removing of a big disk and this delay triggers things to go wrong. Is there anything that is not setup right on my gluster or is this behavior normal with bigger disks (50GB+) ? Is there a reliable option for caching with SSDs ?<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US">Thank you, <u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US">Sven </span><u></u><u></u></p></div></div><br></div></div>______________________________<wbr>_________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman<wbr>/listinfo/users</a><br>
<br></blockquote></div><br></div>
<br>______________________________<wbr>_________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman<wbr>/listinfo/users</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>