<div dir="ltr">Also, if performance is the key, and you don&#39;t need the maximum space, try using 8x mirrors.  If your ZVOL is doing MySQL or any database , set primary and secondary cache properties to metadata only.  The caching in ZFS can sometimes hurt when the application does its own caching.<div><br></div><div>Having a ZIL/slog device is good, in my situation I have neither ZIL or l2_arc because my zpool is pure SSD.</div><div><br></div><div>Maximizing the amount of striped raid sets helps a lot with ZFS, as Karli mentioned, you&#39;ll see better performance with 2x8 than 1x16.</div><div><br></div><div>I too have seen RAID cards out perform a plain HBA + ZFS, in some situations.  This is usually due to the cards doing their own internal caching and other &quot;dangerous&quot; (my opinion) types of behavior.  Doing ZFS on those cards is semi-dangerous.  A few months ago I threw away 8 Areca cards after we lost a 30TB RAID set due to errors in the Areca.  I have yet to lose a single bit on ZFS.  I have chosen to trade some performance for stability and data integrity.  To me it was worth it.</div><div><br></div><div>For what it&#39;s worth, I use ZFS on Linux as the backing file system for our HPC cluster&#39;s parallel filesystem storage nodes, and after upgrading from 0.6.2 to 0.6.3 I saw a double in overall throughput to all storage systems.  I&#39;ve also had to tweak things like prefetching and cache tunables in ZFS to get better performance.</div><div><br></div><div>Right now my oVirt instance that&#39;s backed by ZFS has done well for MySQL with the iSCSI backed data domain.  I believe the numbers were ~250 transactions per second on a small-ish (2 core, 8GB RAM) virtual machine using sysbench 0.5 on MariaDB.  I was formatting the iSCSI backed VM disks as ext4 mounted with &quot;nobarrier&quot;.  Can post specifics about my zvol and zpool setup if it&#39;ll help, just don&#39;t want to flood oVirt list with too much ZFS stuff :)</div><div><br></div><div>- Trey</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Oct 23, 2014 at 4:34 AM, Karli Sjöberg <span dir="ltr">&lt;<a href="mailto:Karli.Sjoberg@slu.se" target="_blank">Karli.Sjoberg@slu.se</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Thu, 2014-10-23 at 11:09 +0200, Arman Khalatyan wrote:<br>
&gt; yes + 1xssd cache<br>
&gt;<br>
&gt;<br>
&gt;         NAME                                            STATE     READ<br>
&gt; WRITE CKSUM<br>
&gt;         tank                                            ONLINE       0<br>
&gt; 0     0<br>
&gt;           raidz2-0                                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22be96bed                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc5a20e                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc515ee                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             ata-Hitachi_HUS724030ALE640_PK2A31PAG9VJXW  ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc1f9cf                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22be68899                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc58e1b                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc4dc6b                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc394ee                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc10d97                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc605d1                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc412bf                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc3f9ad                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc53004                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc5b8e2                      ONLINE       0<br>
&gt; 0     0<br>
&gt;             scsi-35000cca22bc3beb3                      ONLINE       0<br>
&gt; 0     0<br>
&gt;         cache<br>
&gt;           sdc                                           ONLINE       0<br>
&gt; 0     0<br>
<br>
</div></div>OK, two things:<br>
<br>
1) Redo the pool layout into 2x8 disk radiz2<br>
2) Add two really fast SSD&#39;s as mirrored log devices, like a pair of<br>
200GB Intel DC S3700 e.g.<br>
<br>
Do this and it may provide even better performance than the HW RAID.<br>
<br>
But that depends on the specs of the rest of the HW; CPU and RAM mostly,<br>
can never have enough RAM with ZFS;)<br>
<span class="HOEnZb"><font color="#888888"><br>
/K<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Thu, Oct 23, 2014 at 10:57 AM, Karli Sjöberg &lt;<a href="mailto:Karli.Sjoberg@slu.se">Karli.Sjoberg@slu.se</a>&gt;<br>
&gt; wrote:<br>
&gt;         On Thu, 2014-10-23 at 10:11 +0200, Arman Khalatyan wrote:<br>
&gt;         &gt;<br>
&gt;         &gt; ---------- Forwarded message ----------<br>
&gt;         &gt; From: Arman Khalatyan &lt;<a href="mailto:arm2arm@gmail.com">arm2arm@gmail.com</a>&gt;<br>
&gt;         &gt; Date: Thu, Oct 23, 2014 at 10:11 AM<br>
&gt;         &gt; Subject: Re: [ovirt-users] Are there some general<br>
&gt;         strategyhow to Iscsi<br>
&gt;         &gt; strorage domain?<br>
&gt;         &gt; To: Trey Dockendorf &lt;<a href="mailto:treydock@gmail.com">treydock@gmail.com</a>&gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt; Thank you Trey for sharing your setup.<br>
&gt;         &gt;<br>
&gt;         &gt; I have also one test system with zvol exported with iscsi<br>
&gt;         over 10G.<br>
&gt;         &gt; Unfortunately the difference in performance of zfs over raid<br>
&gt;         &gt; controller is huge, particularly where VM running mysql. I<br>
&gt;         did not try<br>
&gt;         &gt; HBAs yet, I have only LSI/Adaptec/Areca RaidControllers they<br>
&gt;         dont have<br>
&gt;         &gt; IT mode. Maybe that can be the reason.<br>
&gt;         &gt;<br>
&gt;         &gt; For sure always one need to find the sweet edge between<br>
&gt;         performance<br>
&gt;         &gt; and reliability.<br>
&gt;         &gt;<br>
&gt;         &gt; Just for comparison with yours I get on random IO:<br>
&gt;         &gt; zvol/16Disks/Raid2/tgtd/iscsi/10G-&gt; on VM multiple rsync -<br>
&gt;         &gt; ~100-150MB/s, Same HW but disks with Areca RAID6 -  650MB/s<br>
&gt;         stable<br>
&gt;         &gt; even more in some cases.<br>
&gt;<br>
&gt;         Did you have separate log devices attached to the pool?<br>
&gt;<br>
&gt;         The pool´s name was &#39;16Disks&#39;. Did you have 16 disks in one<br>
&gt;         radiz2 vdev?<br>
&gt;<br>
&gt;         /K<br>
&gt;<br>
&gt;         &gt;<br>
&gt;         &gt; The best performance I got on FDR iser-&gt;<br>
&gt;         &gt; 80% of bare metal performance: 1500MB/s but ovirt goes mad<br>
&gt;         claiming<br>
&gt;         &gt; that Network and Disk devices are saturated. My VM goes time<br>
&gt;         by time<br>
&gt;         &gt; to paused state.<br>
&gt;         &gt;  It is due to that the Ovirt treating all ib devices as<br>
&gt;         10Gbit<br>
&gt;         &gt; cards(in terms of speed).:(<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt; On Thu, Oct 23, 2014 at 8:30 AM, Trey Dockendorf<br>
&gt;         &lt;<a href="mailto:treydock@gmail.com">treydock@gmail.com</a>&gt;<br>
&gt;         &gt; wrote:<br>
&gt;         &gt;         Not sure if it&#39;s a solution for you, but ZFS.  My<br>
&gt;         domains are<br>
&gt;         &gt;         all ZFS (using ZFS on Linux in EL6.5) and my backup<br>
&gt;         server<br>
&gt;         &gt;         receives incremental snapshots from primary storage<br>
&gt;         which<br>
&gt;         &gt;         includes both NFS exports and iSCSI.  ZFS makes<br>
&gt;         creating block<br>
&gt;         &gt;         devices for iSCSI very easy, and they are included<br>
&gt;         in snapshot<br>
&gt;         &gt;         replication.  The replication is not HA but disaster<br>
&gt;         recovery<br>
&gt;         &gt;         and off site.<br>
&gt;         &gt;<br>
&gt;         &gt;         I&#39;ve hit 300MB/s using ZFS send over IPoIB on my DDR<br>
&gt;         fabric,<br>
&gt;         &gt;         which isn&#39;t amazing but not terrible for an old DDR<br>
&gt;         fabric.<br>
&gt;         &gt;<br>
&gt;         &gt;         ZFS is probably not an easy solution as requires<br>
&gt;         rebuilding<br>
&gt;         &gt;         your storage, but maybe for future use or other<br>
&gt;         readers it<br>
&gt;         &gt;         will give some useful ideas.<br>
&gt;         &gt;<br>
&gt;         &gt;         - Trey<br>
&gt;         &gt;<br>
&gt;         &gt;         On Oct 22, 2014 11:56 AM, &quot;Arman Khalatyan&quot;<br>
&gt;         &gt;         &lt;<a href="mailto:arm2arm@gmail.com">arm2arm@gmail.com</a>&gt; wrote:<br>
&gt;         &gt;<br>
&gt;         &gt;                 Hi,<br>
&gt;         &gt;                 I have 2x40TB domains each are exported with<br>
&gt;         &gt;                 iser/iscsi with ib and 10Gb interfaces.<br>
&gt;         &gt;<br>
&gt;         &gt;                 For sure they are RAID6 storage little bit<br>
&gt;         save on<br>
&gt;         &gt;                 failure.<br>
&gt;         &gt;                 But I was wondered if any way to backup<br>
&gt;         those domains.<br>
&gt;         &gt;                 particularly master one.<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;                 I was thinking somehow DRBD based<br>
&gt;         replication, with<br>
&gt;         &gt;                 lvm snapshots etc. But it looks like<br>
&gt;         overkill.<br>
&gt;         &gt;<br>
&gt;         &gt;                 Will be nice somehow to deploy replicated/HA<br>
&gt;         Master<br>
&gt;         &gt;                 domain with ability to backp on tapes as<br>
&gt;         well.<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;                 Any ideas are welcome.<br>
&gt;         &gt;<br>
&gt;         &gt;                 Thanks,<br>
&gt;         &gt;<br>
&gt;         &gt;                 Arman.<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;          _______________________________________________<br>
&gt;         &gt;                 Users mailing list<br>
&gt;         &gt;                 <a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
&gt;         &gt;<br>
&gt;          <a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;         &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;         --<br>
&gt;<br>
&gt;         Med Vänliga Hälsningar<br>
&gt;<br>
&gt;         -------------------------------------------------------------------------------<br>
&gt;         Karli Sjöberg<br>
&gt;         Swedish University of Agricultural Sciences Box 7079 (Visiting<br>
&gt;         Address<br>
&gt;         Kronåsvägen 8)<br>
&gt;         S-750 07 Uppsala, Sweden<br>
&gt;         Phone:  <a href="tel:%2B46-%280%2918-67%2015%2066" value="+4618671566">+46-(0)18-67 15 66</a><br>
&gt;         <a href="mailto:karli.sjoberg@slu.se">karli.sjoberg@slu.se</a><br>
&gt;<br>
&gt;<br>
<br>
<br>
<br>
--<br>
<br>
Med Vänliga Hälsningar<br>
<br>
-------------------------------------------------------------------------------<br>
Karli Sjöberg<br>
Swedish University of Agricultural Sciences Box 7079 (Visiting Address<br>
Kronåsvägen 8)<br>
S-750 07 Uppsala, Sweden<br>
Phone:  <a href="tel:%2B46-%280%2918-67%2015%2066" value="+4618671566">+46-(0)18-67 15 66</a><br>
<a href="mailto:karli.sjoberg@slu.se">karli.sjoberg@slu.se</a><br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@ovirt.org">Users@ovirt.org</a><br>
<a href="http://lists.ovirt.org/mailman/listinfo/users" target="_blank">http://lists.ovirt.org/mailman/listinfo/users</a><br>
</div></div></blockquote></div><br></div>