<div dir="ltr">Bug 1202471 added.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Mar 15, 2015 at 9:38 AM, Paul Dyer <span dir="ltr">&lt;<a href="mailto:pmdyermms@gmail.com" target="_blank">pmdyermms@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>1)  The storage device has 2 controllers.   Each controller has 4 nics.   All 8 nics are connected to a level 2 switch that has ethernet connections to the hosts.   The storage device nics enumerated are 0, 1, 2, 3.    Controller 0, nic 0 are the primary target for a group which includes controller 1,  nic 0.   In /var/lib/iscsi/nodes/{IQN}/{nic}/default, the difference between c0n0 and c1n0 is :</div><div><div># diff 10.251.6.10?,3260,?/default </div><div>3c3</div><div>&lt; node.tpgt = 1</div><div>---</div><div>&gt; node.tpgt = 2</div><div>47c47</div><div>&lt; node.conn[0].address = 10.251.6.101</div><div>---</div><div>&gt; node.conn[0].address = 10.251.6.102</div></div><div><br></div><div>The 4 groups of nics have different subnets.  Dell docs recommend this, and the storage devices keeps packets separated by these subnets.   For my setup, I have this config:</div><div>             controller 0         controller 1        host-1                host-2</div><div>nic0   10.251.6.101      10.251.6.102     10.251.6.135      10.251.6.136</div><div>nic1   10.251.7.101      10.251.7.102     10.251.7.135      10.251.7.136<br></div><div>nic2   10.251.8.101      10.251.8.102     10.251.8.135      10.251.8.136<br></div><div>nic3   10.251.9.101      10.251.9.102     10.251.9.135      10.251.9.136<br></div><div><br></div><div>On each virtualization host, I have 1 nics configured on each of the 4 subnets.</div><div><br></div><div>2) We are using rhev 3.5.  I have deployed this as round-robin, not bond.   According to Dell support, iscsi works best with round-robin, whereas FC NAS works best with bond.   I follow their recommendations.   The rdac driver is setup for this, and the prio= below separates the 8 nic paths into 2 groups.</div><div><br></div><div><div><font face="monospace, monospace"># multipath -ll</font></div><div><font face="monospace, monospace">36f01faf000d7ddeb000002085258bce5 dm-1 DELL,MD32xxi</font></div><div><font face="monospace, monospace">size=756G features=&#39;3 queue_if_no_path pg_init_retries 50&#39; hwhandler=&#39;1 rdac&#39; wp=rw</font></div><div><font face="monospace, monospace">|-+- policy=&#39;round-robin 0&#39; <b>prio=14</b> status=active</font></div><div><font face="monospace, monospace">| |- 7:0:0:1  sdc 8:32   active ready running</font></div><div><font face="monospace, monospace">| |- 8:0:0:1  sdj 8:144  active ready running</font></div><div><font face="monospace, monospace">| |- 11:0:0:1 sdu 65:64  active ready running</font></div><div><font face="monospace, monospace">| `- 12:0:0:1 sdv 65:80  active ready running</font></div><div><font face="monospace, monospace">`-+- policy=&#39;round-robin 0&#39; <b>prio=9</b> status=enabled</font></div><div><font face="monospace, monospace">  |- 6:0:0:1  sdf 8:80   active ready running</font></div><div><font face="monospace, monospace">  |- 10:0:0:1 sdk 8:160  active ready running</font></div><div><font face="monospace, monospace">  |- 5:0:0:1  sdo 8:224  active ready running</font></div><div><font face="monospace, monospace">  `- 9:0:0:1  sdt 65:48  active ready running</font></div></div><div><br></div><div>Hope this helps explain my setup.   I am not sure how to file a bug.   Is this done on bugzilla or somewhere else?</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Paul</div><div><br></div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Mar 15, 2015 at 7:44 AM, Elad Ben Aharon <span dir="ltr">&lt;<a href="mailto:ebenahar@redhat.com" target="_blank">ebenahar@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-family:times new roman,new york,times,serif;font-size:12pt;color:#000000"><div>Hi Paul,<br></div><div><br></div><div>I would like to know the following details:<br></div><div>1) Are the hosts&#39;s NICs connected to the storage server located in the same network subnet as the storage server itself?<br></div><div>2) Have you tried to deploy the connection to the storage server using the &#39;iSCSI multipath&#39; bond that available in RHEV-3.4? <br><br></div><hr><div style="color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><b>From: </b>&quot;Nir Soffer&quot; &lt;<a href="mailto:nsoffer@redhat.com" target="_blank">nsoffer@redhat.com</a>&gt;<br><b>To: </b>&quot;Paul Dyer&quot; &lt;<a href="mailto:pmdyermms@gmail.com" target="_blank">pmdyermms@gmail.com</a>&gt;<br><b>Cc: </b><a href="mailto:devel@ovirt.org" target="_blank">devel@ovirt.org</a>, &quot;Elad Ben Aharon&quot; &lt;<a href="mailto:ebenahar@redhat.com" target="_blank">ebenahar@redhat.com</a>&gt;<br><b>Sent: </b>Sunday, 15 March, 2015 12:54:44 PM<div><div><br><b>Subject: </b>Re: [ovirt-devel] adding new paths to iscsi data storage domains<br><div><br></div>Adding Elad who tested this feature lately to add more info.<br><div><br></div>----- Original Message -----<br>&gt; From: &quot;Paul Dyer&quot; &lt;<a href="mailto:pmdyermms@gmail.com" target="_blank">pmdyermms@gmail.com</a>&gt;<br>&gt; To: &quot;Nir Soffer&quot; &lt;<a href="mailto:nsoffer@redhat.com" target="_blank">nsoffer@redhat.com</a>&gt;<br>&gt; Cc: <a href="mailto:devel@ovirt.org" target="_blank">devel@ovirt.org</a><br>&gt; Sent: Friday, March 13, 2015 6:25:05 PM<br>&gt; Subject: Re: [ovirt-devel] adding new paths to iscsi data storage domains<br>&gt; <br>&gt; Nir,<br>&gt; <br>&gt; we have added 2 more nics to each virtualization host.    In order to get<br>&gt; this working, I had to add an after_network_setup hook.   The shell script<br>&gt; simply does &quot;/sbin/iscsiadm  -m node -L all&quot;, to get the extra targets<br>&gt; login after reboot.<br>&gt; <br>&gt; I looked in the engine table storage_server_connections and found that only<br>&gt; the iscsi targets selected during the original storage domain create were<br>&gt; present.   If ovirt-engine added rows here, then most of the work would<br>&gt; have been done.<br>&gt; <br>&gt; I say mostly, because the Dell MD3200i did not return exactly the correct<br>&gt; portal target values.   The device has 2 controllers, with 4 nics each.<br>&gt; Controller 0, ports 0,1,2,3 uses portal target 1.    Controller 1, the<br>&gt; ports uses portal target 2.   After iscsiadm discovery, the portal targets<br>&gt; for ports 1,2,3 were all 1.    Ports 0 had targets 1 and 2, correctly.    I<br>&gt; adjusted the values saved on the filesystem, and login/logoff works fine.<br>&gt; <br>&gt; Paul<br>&gt; <br>&gt; <br>&gt; <br>&gt; On Fri, Feb 6, 2015 at 11:57 AM, Paul Dyer &lt;<a href="mailto:pmdyermms@gmail.com" target="_blank">pmdyermms@gmail.com</a>&gt; wrote:<br>&gt; <br>&gt; &gt; First of all, thank you for your time.   I must apologize that in this<br>&gt; &gt; install, I am using RHEV 3.4.5.    I will try to reproduce this on an ovirt<br>&gt; &gt; install.   I just need to create some paths to iscsi targets.<br>&gt; &gt;<br>&gt; &gt; 1.   This configuration has 2 physical hosts, Dell PE-R715 servers, with a<br>&gt; &gt; Dell PowerVault MD3200i iSCSI data storage domain.   The EM3 nic was the<br>&gt; &gt; original link.   EM4 was the new connection to storage.<br>&gt; &gt;<br>&gt; &gt; 2.   From the manager interface, I selected Storage tab, then the<br>&gt; &gt; kvm5DataDomain, then edit.   From the popup, I added the IP address under<br>&gt; &gt; Discovery Targets, then clicked the Discover button.    Then, clicked the<br>&gt; &gt; login arrow on the new targets discovered.<br>&gt; &gt;<br>&gt; &gt; I have attached the engine and vdsm logs.   I was working on this at about<br>&gt; &gt; 11:40am Feb 4th.<br>&gt; &gt;<br>&gt; &gt; When setting the host in maintenance mode, then reboot, and Activate, the<br>&gt; &gt; new paths do not get a login.<br>&gt; &gt;<br>&gt; &gt; Thanks,<br>&gt; &gt; Paul<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; On Fri, Feb 6, 2015 at 5:38 AM, Nir Soffer &lt;<a href="mailto:nsoffer@redhat.com" target="_blank">nsoffer@redhat.com</a>&gt; wrote:<br>&gt; &gt;<br>&gt; &gt;&gt; ----- Original Message -----<br>&gt; &gt;&gt; &gt; From: &quot;Paul Dyer&quot; &lt;<a href="mailto:pmdyermms@gmail.com" target="_blank">pmdyermms@gmail.com</a>&gt;<br>&gt; &gt;&gt; &gt; To: <a href="mailto:devel@ovirt.org" target="_blank">devel@ovirt.org</a><br>&gt; &gt;&gt; &gt; Sent: Friday, February 6, 2015 12:20:23 AM<br>&gt; &gt;&gt; &gt; Subject: [ovirt-devel] adding new paths to iscsi data storage domains<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; Hi,<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; I have been reading the devel list for months now, and would like to<br>&gt; &gt;&gt; ask a<br>&gt; &gt;&gt; &gt; question.<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; In version 3.4.5, adding new paths to an existing iSCSI data storage<br>&gt; &gt;&gt; domain<br>&gt; &gt;&gt; &gt; does not work from the manager.<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; It works on ovirt 3.5 and master and it should work also in all previous<br>&gt; &gt;&gt; versions.<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; Please open a bug for this:<br>&gt; &gt;&gt; 1. Describe the configuration you are modifying<br>&gt; &gt;&gt; 2. Describe the steps you take<br>&gt; &gt;&gt; 3. Include engine log<br>&gt; &gt;&gt; 4. Include vdsm log from the host trying to add new devices<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; &gt; I have been able to add the paths with<br>&gt; &gt;&gt; &gt; command line &quot;iscsiadm -m discovery -t st&quot; and &quot;iscsiadm -m node -L<br>&gt; &gt;&gt; all&quot;.<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; Is there any plan to allow for adding new storage paths after the data<br>&gt; &gt;&gt; domain<br>&gt; &gt;&gt; &gt; has been created?<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; Thanks,<br>&gt; &gt;&gt; &gt; Paul<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; --<br>&gt; &gt;&gt; &gt; Paul Dyer,<br>&gt; &gt;&gt; &gt; Mercury Consulting Group, RHCE<br>&gt; &gt;&gt; &gt; <a href="tel:504-302-8750" value="+15043028750" target="_blank">504-302-8750</a><br>&gt; &gt;&gt; &gt;<br>&gt; &gt;&gt; &gt; _______________________________________________<br>&gt; &gt;&gt; &gt; Devel mailing list<br>&gt; &gt;&gt; &gt; <a href="mailto:Devel@ovirt.org" target="_blank">Devel@ovirt.org</a><br>&gt; &gt;&gt; &gt; <a href="http://lists.ovirt.org/mailman/listinfo/devel" target="_blank">http://lists.ovirt.org/mailman/listinfo/devel</a><br>&gt; &gt;&gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; --<br>&gt; &gt; Paul Dyer,<br>&gt; &gt; Mercury Consulting Group, RHCE<br>&gt; &gt; <a href="tel:504-302-8750" value="+15043028750" target="_blank">504-302-8750</a><br>&gt; &gt;<br>&gt; <br>&gt; <br>&gt; <br>&gt; --<br>&gt; Paul Dyer,<br>&gt; Mercury Consulting Group, RHCE<br>&gt; <a href="tel:504-302-8750" value="+15043028750" target="_blank">504-302-8750</a><br>&gt; <br></div></div></div><div><br></div></div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div>Paul Dyer,<br>Mercury Consulting Group, RHCE<br><a href="tel:504-302-8750" value="+15043028750" target="_blank">504-302-8750</a></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Paul Dyer,<br>Mercury Consulting Group, RHCE<br>504-302-8750</div>
</div>