<div dir="ltr"><div><div><div><div><div><div>Hi,<br><br></div>Thanks for the logs. So I have identified one issue from the logs for which the fix is this: <a href="http://review.gluster.org/#/c/14669/">http://review.gluster.org/#/c/14669/</a>. Because of a bug in the code, ENOENT was getting converted to EPERM and being propagated up the stack causing the reads to bail out early with &#39;Operation not permitted&#39; errors.<br></div>I still need to find out two things:<br></div>i) why there was a readv() sent on a non-existent (ENOENT) file (this is important since some of the other users have not faced or reported this issue on gluster-users with 3.7.13)<br></div>ii) need to see if there&#39;s a way to work around this issue.<br><br></div>Do you mind sharing the steps needed to be executed to run into this issue? This is so that we can apply our patches, test and ensure they fix the problem.<br><br></div>-Krutika<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jul 22, 2016 at 7:17 PM, David Gossage <span dir="ltr">&lt;<a href="mailto:dgossage@carouselchecks.com" target="_blank">dgossage@carouselchecks.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Trimmed out the logs to just about when I was shutting down ovirt servers for updates which was 14:30 UTC 2016-07-09<div><br></div><div>Pre-update settings were </div><div><br></div><div><div>Volume Name: GLUSTER1</div><div>Type: Replicate</div><div>Volume ID: 167b8e57-28c3-447a-95cc-8410cbdf3f7f</div><div>Status: Started</div><div>Number of Bricks: 1 x 3 = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: ccgl1.gl.local:/gluster1/BRICK1/1</div><div>Brick2: ccgl2.gl.local:/gluster1/BRICK1/1</div><div>Brick3: ccgl3.gl.local:/gluster1/BRICK1/1</div><div>Options Reconfigured:</div><div>performance.readdir-ahead: on</div><div>storage.owner-uid: 36</div><div>storage.owner-gid: 36</div><div>performance.quick-read: off</div><div>performance.read-ahead: off</div><div>performance.io-cache: off</div><div>performance.stat-prefetch: off</div><div>cluster.eager-lock: enable</div><div>network.remote-dio: enable</div><div>cluster.quorum-type: auto</div><div>cluster.server-quorum-type: server</div><div>server.allow-insecure: on</div><div>cluster.self-heal-window-size: 1024</div><div>cluster.background-self-heal-count: 16</div><div>performance.strict-write-ordering: off</div><div>nfs.disable: on</div><div>nfs.addr-namelookup: off</div><div>nfs.enable-ino32: off</div></div><div><br></div><div>At the time of updates ccgl3 was offline from bad nic on server but had been so for about a week with no issues in volume</div><div><br></div><div>Shortly after update I added these settings to enable sharding but did not as of yet have any VM images sharded.</div><div><div>features.shard-block-size: 64MB</div><div>features.shard: on</div></div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><span class=""><br clear="all"><div><div data-smartmail="gmail_signature"><div dir="ltr"><span><font color="#888888"><span style="color:rgb(0,0,0)"><b><i>David Gossage</i></b></span><font><i><span style="color:rgb(51,51,51)"><b><br>

</b></span></i></font></font></span><div><span><font color="#888888"><font><i><span style="color:rgb(51,51,51)"></span></i><font size="1"><b style="color:rgb(153,0,0)">Carousel Checks Inc.<span style="color:rgb(204,204,204)"> | System Administrator</span></b></font></font><font style="color:rgb(153,153,153)"><font size="1"><br>



</font></font><font><font size="1"><span style="color:rgb(51,51,51)"><b style="color:rgb(153,153,153)">Office</b><span style="color:rgb(153,153,153)"> <a value="+17086132426">708.613.2284<font color="#888888"><font size="1"><br></font></font></a></span></span></font></font></font></span></div></div></div></div>
<br></span><div><div class="h5"><div class="gmail_quote">On Fri, Jul 22, 2016 at 5:00 AM, Krutika Dhananjay <span dir="ltr">&lt;<a href="mailto:kdhananj@redhat.com" target="_blank">kdhananj@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Hi David,<br><br></div>Could you also share the brick logs from the affected volume? They&#39;re located at /var/log/glusterfs/bricks/&lt;hyphenated-path-to-the-brick-directory&gt;.log.<br><br></div>Also, could you share the volume configuration (output of `gluster volume info &lt;VOL&gt;`) for the affected volume(s) AND at the time you actually saw this issue?<br><br></div>-Krutika<br><div><div><br><br><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jul 21, 2016 at 11:23 PM, David Gossage <span dir="ltr">&lt;<a href="mailto:dgossage@carouselchecks.com" target="_blank">dgossage@carouselchecks.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span>On Thu, Jul 21, 2016 at 11:47 AM, Scott <span dir="ltr">&lt;<a href="mailto:romracer@gmail.com" target="_blank">romracer@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi David,<div><br></div><div>My backend storage is ZFS.</div><div><br></div><div>I thought about moving from FUSE to NFS mounts for my Gluster volumes to help test.  But since I use hosted engine this would be a real pain.  Its difficult to modify the storage domain type/path in the hosted-engine.conf.  And I don&#39;t want to go through the process of re-deploying hosted engine.</div><div><br></div></div></blockquote><div><br></div></span>I found this<div><br></div><div><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1347553" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1347553</a><br></div><div><br></div><div>Not sure if related.</div><div><br></div><div>But I also have zfs backend, another user in gluster mailing list had issues and used zfs backend although she used proxmox and got it working by changing disk to writeback cache I think it was.</div><div><br></div><div>I also use hosted engine, but I run my gluster volume for HE actually on a LVM separate from zfs on xfs and if i recall it did not have the issues my gluster on zfs did.  I&#39;m wondering now if the issue was zfs settings.</div><div><br></div><div>Hopefully should have a test machone up soon I can play around with more.</div><div><div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div></div><div>Scott</div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jul 21, 2016 at 11:36 AM David Gossage &lt;<a href="mailto:dgossage@carouselchecks.com" target="_blank">dgossage@carouselchecks.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">What back end storage do you run gluster on?  xfs/zfs/ext4 etc?</div><div class="gmail_extra"></div><div class="gmail_extra"><br clear="all"><div><div data-smartmail="gmail_signature"><div dir="ltr"><span><font color="#888888"><span style="color:rgb(0,0,0)"><b><i>David Gossage</i></b></span><font><i><span style="color:rgb(51,51,51)"><b><br>

</b></span></i></font></font></span><div><span><font color="#888888"><font><i><span style="color:rgb(51,51,51)"></span></i><font size="1"><b style="color:rgb(153,0,0)">Carousel Checks Inc.<span style="color:rgb(204,204,204)"> | System Administrator</span></b></font></font><font style="color:rgb(153,153,153)"><font size="1"><br>



</font></font><font><font size="1"><span style="color:rgb(51,51,51)"><b style="color:rgb(153,153,153)">Office</b><span style="color:rgb(153,153,153)"> <a value="+17086132426">708.613.2284<font color="#888888"><font size="1"><br></font></font></a></span></span></font></font></font></span></div></div></div></div>
<br></div><div class="gmail_extra"><div class="gmail_quote">On Thu, Jul 21, 2016 at 8:18 AM, Scott <span dir="ltr">&lt;<a href="mailto:romracer@gmail.com" target="_blank">romracer@gmail.com</a>&gt;</span> wrote:<br></div></div><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">I get similar problems with oVirt 4.0.1 and hosted engine.  After upgrading all my hosts to Gluster 3.7.13 (client and server), I get the following:<div><br></div><div><div>$ sudo hosted-engine --set-maintenance --mode=none</div><div>Traceback (most recent call last):</div><div>  File &quot;/usr/lib64/python2.7/runpy.py&quot;, line 162, in _run_module_as_main</div><div>    &quot;__main__&quot;, fname, loader, pkg_name)</div><div>  File &quot;/usr/lib64/python2.7/runpy.py&quot;, line 72, in _run_code</div><div>    exec code in run_globals</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_setup/set_maintenance.py&quot;, line 73, in &lt;module&gt;</div><div>    if not maintenance.set_mode(sys.argv[1]):</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_setup/set_maintenance.py&quot;, line 61, in set_mode</div><div>    value=m_global,</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/client/client.py&quot;, line 259, in set_maintenance_mode</div><div>    str(value))</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/client/client.py&quot;, line 204, in set_global_md_flag</div><div>    all_stats = broker.get_stats_from_storage(service)</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py&quot;, line 232, in get_stats_from_storage</div><div>    result = self._checked_communicate(request)</div><div>  File &quot;/usr/lib/python2.7/site-packages/ovirt_hosted_engine_ha/lib/brokerlink.py&quot;, line 260, in _checked_communicate</div><div>    .format(message or response))</div><div>ovirt_hosted_engine_ha.lib.exceptions.RequestError: Request failed: failed to read metadata: [Errno 1] Operation not permitted</div></div><div><br></div><div>If I only upgrade one host, then things will continue to work but my nodes are constantly healing shards.  My logs are also flooded with:</div><div><br></div><div><div>[2016-07-21 13:15:14.137734] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274714: READ =&gt; -1 gfid=4</div><div>41f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0041d0 (Operation not permitted)</div><div>The message &quot;W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-0: remote operation failed [Operation not permitted]&quot; repeated 6 times between [2016-07-21 13:13:24.134985] and [2016-07-21 13:15:04.132226]</div><div>The message &quot;W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-1: remote operation failed [Operation not permitted]&quot; repeated 8 times between [2016-07-21 13:13:34.133116] and [2016-07-21 13:15:14.137178]</div><div>The message &quot;W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-2: remote operation failed [Operation not permitted]&quot; repeated 7 times between [2016-07-21 13:13:24.135071] and [2016-07-21 13:15:14.137666]</div><div>[2016-07-21 13:15:24.134647] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-0: remote operation failed [Operation not permitted]</div><div>[2016-07-21 13:15:24.134764] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-2: remote operation failed [Operation not permitted]</div><div>[2016-07-21 13:15:24.134793] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274741: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0038f4 (Operation not permitted)</div><div>[2016-07-21 13:15:34.135413] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274756: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0041d0 (Operation not permitted)</div><div>[2016-07-21 13:15:44.141062] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274818: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0038f4 (Operation not permitted)</div><div>[2016-07-21 13:15:54.133582] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-data-client-1: remote operation failed [Operation not permitted]</div><div>[2016-07-21 13:15:54.133629] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274853: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0036d8 (Operation not permitted)</div><div>[2016-07-21 13:16:04.133666] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274879: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0041d0 (Operation not permitted)</div><div>[2016-07-21 13:16:14.134954] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 274894: READ =&gt; -1 gfid=441f2789-f6b1-4918-a280-1b9905a11429 fd=0x7f19bc0036d8 (Operation not permitted)</div></div><div><br></div><div>Scott</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Thu, Jul 21, 2016 at 6:57 AM Frank Rothenstein &lt;<a href="mailto:f.rothenstein@bodden-kliniken.de" target="_blank">f.rothenstein@bodden-kliniken.de</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div><div>Hey Devid,</div><div><br></div><div>I have the very same problem on my test-cluster, despite on running ovirt 4.0.</div><div>If you access your volumes via NFS all is fine, problem is FUSE. I stayed on 3.7.13, but have no solution yet, now I use NFS.</div><div><br></div><div>Frank</div></div><div><div><br></div><div>Am Donnerstag, den 21.07.2016, 04:28 -0500 schrieb David Gossage:</div><blockquote type="cite"><div dir="ltr">Anyone running one of recent 3.6.x lines and gluster using 3.7.13?  I am looking to upgrade gluster from 3.7.11-&gt;3.7.13 for some bug fixes, but have been told by users on gluster mail list due to some gluster changes I&#39;d need to change the disk parameters to use writeback cache.  Something to do with aio support being removed.<div><br></div><div>I believe this could be done with custom parameters?  But I believe strage tests are done using dd and would they fail with current settings then? Last upgrade to 3.7.13 I had to rollback to 3.7.11 due to stability isues where gluster storage would go into down state and always show N/A as space available/used.  Even if hosts saw storage still and VM&#39;s were running on it on all 3 hosts.</div><div><br></div><div>Saw a lot of messages like these that went away once gluster rollback finished</div><div><br></div><div><div style="font-size:12.8px"><div>[2016-07-09 15:27:46.935694] I [fuse-bridge.c:4083:fuse_init] 0-glusterfs-fuse: FUSE inited with protocol versions: glusterfs 7.22 kernel 7.22</div><div>[2016-07-09 15:27:49.555466] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-GLUSTER1-client-1: remote operation failed [Operation not permitted]</div><div>[2016-07-09 15:27:49.556574] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-GLUSTER1-client-0: remote operation failed [Operation not permitted]</div><div>[2016-07-09 15:27:49.556659] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 80: READ =&gt; -1 gfid=deb61291-5176-4b81-8315-3f1cf8e3534d fd=0x7f5224002f68 (Operation not permitted)</div><div>[2016-07-09 15:27:59.612477] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-GLUSTER1-client-1: remote operation failed [Operation not permitted]</div><div>[2016-07-09 15:27:59.613700] W [MSGID: 114031] [client-rpc-fops.c:3050:client3_3_readv_cbk] 0-GLUSTER1-client-0: remote operation failed [Operation not permitted]</div><div>[2016-07-09 15:27:59.613781] W [fuse-bridge.c:2227:fuse_readv_cbk] 0-glusterfs-fuse: 168: READ =&gt; -1 gfid=deb61291-5176-4b81-8315-3f1cf8e3534d fd=0x7f5224002f68 (Operation not permitted)</div><div><br></div></div></div><div><div><div data-smartmail="gmail_signature"><div dir="ltr"><span><font color="#888888"><span style="color:rgb(0,0,0)"><b><i>David Gossage</i></b></span><font><i><span style="color:rgb(51,51,51)"><b><br>

</b></span></i></font></font></span><div><span><font color="#888888"><font><i><span style="color:rgb(51,51,51)"></span></i><font size="1"><b style="color:rgb(153,0,0)">Carousel Checks Inc.<span style="color:rgb(204,204,204)"> | System Administrator</span></b></font></font><font style="color:rgb(153,153,153)"><font size="1"><br>



</font></font><font><font size="1"><span style="color:rgb(51,51,51)"><b style="color:rgb(153,153,153)">Office</b><span style="color:rgb(153,153,153)"> <a value="+17086132426">708.613.2284<font color="#888888"><font size="1"><br></font></font></a></span></span></font></font></font></span></div></div></div></div>
</div></div>
<pre>_______________________________________________
Users mailing list
<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a>
<a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a>
</pre></blockquote><br>
<br>
</div><div><hr>
<br>
 <br>
<br>
______________________________________________________________________________<br>
BODDEN-KLINIKEN Ribnitz-Damgarten GmbH<br>
Sandhufe 2<br>
18311 Ribnitz-Damgarten<br>
<br>
Telefon: 03821-700-0<br>
Fax:       03821-700-240<br>
<br>
E-Mail: <a href="mailto:info@bodden-kliniken.de" target="_blank">info@bodden-kliniken.de</a>   Internet: <a href="http://www.bodden-kliniken.de" target="_blank">http://www.bodden-kliniken.de</a><br>
<br>
Sitz: Ribnitz-Damgarten, Amtsgericht: Stralsund, HRB 2919, Steuer-Nr.: 079/133/40188<br>
Aufsichtsratsvorsitzende: Carmen Schröter, Geschäftsführer: Dr. Falko Milski<br>
<br>
Der Inhalt dieser E-Mail ist ausschließlich für den bezeichneten Adressaten bestimmt. Wenn Sie nicht der vorge- <br>
sehene Adressat dieser E-Mail oder dessen Vertreter sein sollten, beachten Sie bitte, dass jede Form der Veröf- <br>
fentlichung, Vervielfältigung oder Weitergabe des Inhalts dieser E-Mail unzulässig ist. Wir bitten Sie, sofort den <br>
Absender zu informieren und die E-Mail zu löschen. <br>
<br>
<br>
             Bodden-Kliniken Ribnitz-Damgarten GmbH 2016<br>
*** Virenfrei durch Kerio Mail Server und Sophos Antivirus ***<br>
</div>

_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
</blockquote></div>
</blockquote></div></div></blockquote></div>
</blockquote></div></div></div><br></div></div>
<br>_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div></div></div>
</blockquote></div><br></div>