<div dir="ltr">Marcin,<div><br></div><div>So an update on my situation, I restarted all OpenVSwitch processes on all boxes and was able to get the CPU issue with ovs-vswitchd to return to normal. So I believe all those issues are resolved. I can create networks/subnets, minus that one strange UI issue which I&#39;ll work with Alexander Wels to resolve. When I still go to launch a Virtual Machine, should I be seeing the subnets that I created? Am I missing something? It seems like i&#39;m about 95% there and I am just missing something.</div><div> </div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Dec 2, 2016 at 11:44 AM, Devin Acosta <span dir="ltr">&lt;<a href="mailto:devin@pabstatencio.com" target="_blank">devin@pabstatencio.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span style="font-family:monospace">Marcin,<br><br>I installed the 
OVN-Central on a dedicated VM that lives on the ovirtmgmt network, I 
also installed the OVN-Provider on this same instance. I then installed 
the OVN-Controllers on all 3 of my oVirt Nodes, with the OVN provider 
driver, and configured the vdsm ovn-controller {central-ip} 
{ovirt-node-ip} on each of the boxes. It appears to be running but what I
 am noticing is that the ovs-vswitchd process is pegged at 100% on all 
the oVirt nodes.<br><br>So for instance from oVirt Node 3 (IP 75) the 
ovs-vsctl shows the IPs for the other 2 nodes in it&#39;s configuration. It 
seems to be that way across all 3 nodes, they know about the other nodes
 in the cluster. I was able to create a network inside of oVIRT using 
the external provider. After i create a subnet inside oVirt I do get an 
error at the top but seems to be ok?</span><div><span style="font-family:monospace"><br></span></div><div><span style="font-family:monospace"><br></span></div><div><span style="font-family:monospace"><img src="cid:ii_158c0da4c410a6ce" alt="Inline image 2" width="562" height="183"><br><br>(Output from Node3 IP 75, 
of: ovs-vsctl show)<br><br></span></div><div>61af799c-a621-445e-8183-<wbr>23dcb38ea3cc<br>
    Bridge br-int<br>
        fail_mode: secure<br>
        Port &quot;ovn-c0dc09-0&quot;<br>
            Interface &quot;ovn-c0dc09-0&quot;<br>
                type: geneve<br>
                options: {csum=&quot;true&quot;, key=flow, 
remote_ip=&quot;172.10.10.73&quot;}<br>
        Port &quot;ovn-456949-0&quot;<br>
            Interface &quot;ovn-456949-0&quot;<br>
                type: geneve<br>
                options: {csum=&quot;true&quot;, key=flow, 
remote_ip=&quot;172.10.10.74&quot;}<br>
        Port br-int<br>
            Interface br-int<br>
                type: internal<br>
    ovs_version: &quot;2.6.90&quot;<br><span style="font-family:monospace"><br><br></span><img name="m_7305250361354385526_image.png" alt=""><br><span style="font-family:monospace">Example where the (ovs-vswitchd) is running at 100% on all 3 oVirt Nodes.<br><br>  PID USER     
 PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND<br> 1768 
root      10 -10   49680  10808   9388 R 100.0  0.0  24:48.85 
ovs-vswitchd<br><br><br></span>

[root@ovirt01 openvswitch]# tail -f ovs-vswitchd.log<br>2016-12-02T18:27:12.174Z|<wbr>00604|poll_loop|INFO|Dropped
 557231 log messages in last 6 seconds (most recently, 0 seconds ago) 
due to excessive rate<br>2016-12-02T18:27:12.174Z|<wbr>00605|poll_loop|INFO|wakeup
 due to 0-ms timeout at vswitchd/bridge.c:3031 (100% CPU usage)<br>2016-12-02T18:27:18.174Z|<wbr>00606|poll_loop|INFO|Dropped
 536053 log messages in last 6 seconds (most recently, 0 seconds ago) 
due to excessive rate<br>2016-12-02T18:27:18.174Z|<wbr>00607|poll_loop|INFO|wakeup
 due to 0-ms timeout at vswitchd/bridge.c:3031 (100% CPU usage)<br>2016-12-02T18:27:24.174Z|<wbr>00608|poll_loop|INFO|Dropped
 536369 log messages in last 6 seconds (most recently, 0 seconds ago) 
due to excessive rate<br>2016-12-02T18:27:24.174Z|<wbr>00609|poll_loop|INFO|wakeup
 due to 0-ms timeout at vswitchd/bridge.c:3031 (100% CPU usage)<br>2016-12-02T18:27:30.174Z|<wbr>00610|poll_loop|INFO|Dropped
 532134 log messages in last 6 seconds (most recently, 0 seconds ago) 
due to excessive rate<br>2016-12-02T18:27:30.174Z|<wbr>00611|poll_loop|INFO|wakeup
 due to 1-ms timeout at vswitchd/bridge.c:3031 (100% CPU usage)<br>2016-12-02T18:27:36.174Z|<wbr>00612|poll_loop|INFO|Dropped
 531659 log messages in last 6 seconds (most recently, 0 seconds ago) 
due to excessive rate<br>2016-12-02T18:27:36.174Z|<wbr>00613|poll_loop|INFO|wakeup
 due to 0-ms timeout at vswitchd/bridge.c:3031 (99% CPU usage)<br><br><br>One
 other thing that I notice is that when I got to Provision a Virtual 
Machine from the Main Data Center, my Networks don&#39;t show under the NIC 
where I could select them? Am I missing something on this?<br><br>Thanks
 very much for your help.<span class="HOEnZb"><font color="#888888"><br><br>Devin Acosta<br><br></font></span></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Dec 2, 2016 at 5:16 AM, Marcin Mirecki <span dir="ltr">&lt;<a href="mailto:mmirecki@redhat.com" target="_blank">mmirecki@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Devin,<br>
<span><br>
&gt; I presume the OVN Controller should just be some VM that is on the<br>
&gt; ovirtmgmt network, or is there a preferred place to install the OVN<br>
&gt; controller software?<br>
<br>
</span>Please note the difference between OVN-Central and OVN-Controller:<br>
OVN-Central is the central part of OVN, storing the logical configuration and controlling the many OVN-Controllers<br>
OVN-Controller is the piece of software which resides on the ovirt-hosts, and manages the local OVS setup on the host.<br>
<br>
                 OVN-Central<br>
               /       |      \<br>
              /        |       \<br>
             /         |        \<br>
            /          |         \<br>
OVN-Controller    OVN-Controller   OVN-Controller<br>
<br>
<br>
OVN-central can be installed anywhere , as long as it can communicate with the engine and all the hosts.<br>
During development we install it along the ovirt engine for convinience.<br>
<br>
OVN-Controller must be installed on every ovirt host.<br>
<span><br>
<br>
&gt;I then also assume I install the OVN agents onto all<br>
&gt; the oVirt Nodes.<br>
<br>
</span>Short answer: Yes<br>
<br>
Longe answer: If you plan not to use external networks on some clusters, you<br>
can skip its hosts.<br>
You can choose the clusters which support the external network by assigning the<br>
network to clusters.<br>
<span><br>
&gt; I see<br>
&gt; that when you go to add the External Provider, does OVN Controller use<br>
&gt; authentication, is there any information I would need to have besides<br>
&gt; knowing which node it&#39;s on in order to add it to external provider?<br>
<br>
</span>For now it is only the url of the provider.<br>
The provider is still under development, authentication is still just an<br>
empty mock.<br>
<span><br>
&gt;Would I<br>
&gt; need to have any bridges or OVS configured on the nodes for this to work or<br>
&gt; just install the services and get them configured and it just works?<br>
<br>
</span>We are using the default &#39;br-int&#39; bridge which OVN is using. All should be configured<br>
when OVS/OVN is installed.<br>
<br>
Let me know if I can help with anything else.<br>
<span class="m_7305250361354385526HOEnZb"><font color="#888888">Marcin<br>
</font></span><div class="m_7305250361354385526HOEnZb"><div class="m_7305250361354385526h5"><br>
<br>
<br>
----- Original Message -----<br>
&gt; From: &quot;Devin Acosta&quot; &lt;<a href="mailto:devin@pabstatencio.com" target="_blank">devin@pabstatencio.com</a>&gt;<br>
&gt; To: &quot;Marcin Mirecki&quot; &lt;<a href="mailto:mmirecki@redhat.com" target="_blank">mmirecki@redhat.com</a>&gt;<br>
&gt; Cc: &quot;users&quot; &lt;<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a>&gt;, &quot;Yaniv Dary&quot; &lt;<a href="mailto:ydary@redhat.com" target="_blank">ydary@redhat.com</a>&gt;<br>
&gt; Sent: Thursday, December 1, 2016 6:19:07 PM<br>
&gt; Subject: Re: [ovirt-users] oVirt 4 and Neutron<br>
&gt;<br>
&gt; I have manually created the RPM&#39;s successfully, I just want to clarify a<br>
&gt; few items so I make sure I&#39;m deploying this according to best practice.<br>
&gt;<br>
&gt; I presume the OVN Controller should just be some VM that is on the<br>
&gt; ovirtmgmt network, or is there a preferred place to install the OVN<br>
&gt; controller software? I then also assume I install the OVN agents onto all<br>
&gt; the oVirt Nodes. My take on this is that this OVN replaces the more complex<br>
&gt; Neutron/OVS installation, and makes for a more simple deployment.  I see<br>
&gt; that when you go to add the External Provider, does OVN Controller use<br>
&gt; authentication, is there any information I would need to have besides<br>
&gt; knowing which node it&#39;s on in order to add it to external provider? Would I<br>
&gt; need to have any bridges or OVS configured on the nodes for this to work or<br>
&gt; just install the services and get them configured and it just works?<br>
&gt;<br>
&gt;<br>
&gt; Your assistance is appreciated.<br>
&gt;<br>
&gt; On Thu, Dec 1, 2016 at 3:54 AM, Marcin Mirecki &lt;<a href="mailto:mmirecki@redhat.com" target="_blank">mmirecki@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; &gt; Devin,<br>
&gt; &gt;<br>
&gt; &gt; The openvswitch OVN packages must be build manually at the moment. It is<br>
&gt; &gt; still not available either in the repos, nor as a download.<br>
&gt; &gt; For now please use the procedure attached below to build the OVN rpm&#39;s.<br>
&gt; &gt;<br>
&gt; &gt; I am not sure where &#39;firewalld-system&#39; comes from. Is it not<br>
&gt; &gt; &#39;firewalld-filesystem&#39;?<br>
&gt; &gt; This should be available from the standard repo.<br>
&gt; &gt;<br>
&gt; &gt; The ovirt-provider-ovn is being developed quite actively, and the blogpost<br>
&gt; &gt; is already somewhat outdated (even though it&#39;s not even a month old). I<br>
&gt; &gt; will try to update it asap.<br>
&gt; &gt;<br>
&gt; &gt; Thanks,<br>
&gt; &gt; Marcin<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; BUILDING PROVIDER RPMS:<br>
&gt; &gt; ----------------------<br>
&gt; &gt;   git clone <a href="https://gerrit.ovirt.org/ovirt-provider-ovn" rel="noreferrer" target="_blank">https://gerrit.ovirt.org/ovirt<wbr>-provider-ovn</a><br>
&gt; &gt;   make rpm<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; BUILDING OVN RPMS:<br>
&gt; &gt; ------------------<br>
&gt; &gt;<br>
&gt; &gt; Clone the repository:<br>
&gt; &gt;<br>
&gt; &gt;   git clone <a href="https://github.com/openvswitch/ovs" rel="noreferrer" target="_blank">https://github.com/openvswitch<wbr>/ovs</a><br>
&gt; &gt;<br>
&gt; &gt; Install the following packages, as they are need to build ovn:<br>
&gt; &gt;<br>
&gt; &gt;   yum -y install gcc make python-devel openssl-devel kernel-devel graphviz<br>
&gt; &gt; kernel-debug-devel autoconf automake rpm-build redhat-rpm-config rpm-build<br>
&gt; &gt; rpmdevtools bash-completion autoconf automake libtool PyQt4 groff<br>
&gt; &gt; libcap-ng-devel python-twisted-core python-zope-interface graphviz<br>
&gt; &gt; openssl-devel selinux-policy-devel<br>
&gt; &gt;<br>
&gt; &gt; Build the ovn rpms:<br>
&gt; &gt;<br>
&gt; &gt;   cd ovs<br>
&gt; &gt;   ./boot.sh<br>
&gt; &gt;   ./configure<br>
&gt; &gt;   make dist<br>
&gt; &gt;   cp openvswitch-&lt;version&gt;.tar.gz $HOME/rpmbuild/SOURCES<br>
&gt; &gt;   cd $HOME/rpmbuild/SOURCES<br>
&gt; &gt;   tar xzf openvswitch-&lt;version&gt;.tar.gz<br>
&gt; &gt;   cd openvswitch-&lt;version&gt;<br>
&gt; &gt;   rpmbuild -bb rhel/openvswitch-fedora.spec<br>
&gt; &gt;<br>
&gt; &gt; The built rpms will reside here: ~/rpmbuild/RPMS/x86_64/<br>
&gt; &gt;<br>
&gt; &gt; --------------------<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; ----- Original Message -----<br>
&gt; &gt; &gt; From: &quot;Yaniv Dary&quot; &lt;<a href="mailto:ydary@redhat.com" target="_blank">ydary@redhat.com</a>&gt;<br>
&gt; &gt; &gt; To: &quot;Devin Acosta&quot; &lt;<a href="mailto:devin@pabstatencio.com" target="_blank">devin@pabstatencio.com</a>&gt;, &quot;Marcin Mirecki&quot; &lt;<br>
&gt; &gt; <a href="mailto:mmirecki@redhat.com" target="_blank">mmirecki@redhat.com</a>&gt;<br>
&gt; &gt; &gt; Cc: &quot;users&quot; &lt;<a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a>&gt;<br>
&gt; &gt; &gt; Sent: Thursday, December 1, 2016 11:15:00 AM<br>
&gt; &gt; &gt; Subject: Re: [ovirt-users] oVirt 4 and Neutron<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Adding Marcin to help with this.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Yaniv Dary<br>
&gt; &gt; &gt; Technical Product Manager<br>
&gt; &gt; &gt; Red Hat Israel Ltd.<br>
&gt; &gt; &gt; 34 Jerusalem Road<br>
&gt; &gt; &gt; Building A, 4th floor<br>
&gt; &gt; &gt; Ra&#39;anana, Israel 4350109<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Tel : <a href="tel:%2B972%20%289%29%207692306" value="+97297692306" target="_blank">+972 (9) 7692306</a><br>
&gt; &gt; &gt;         8272306<br>
&gt; &gt; &gt; Email: <a href="mailto:ydary@redhat.com" target="_blank">ydary@redhat.com</a><br>
&gt; &gt; &gt; IRC : ydary<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On Thu, Dec 1, 2016 at 6:42 AM, Devin Acosta &lt;<a href="mailto:devin@pabstatencio.com" target="_blank">devin@pabstatencio.com</a>&gt;<br>
&gt; &gt; wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Yaniv,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I am looking at the page that talks about ovirt-provider-ovn, and it<br>
&gt; &gt; &gt; &gt; sounds like something I want to try. However the document seems to be<br>
&gt; &gt; not<br>
&gt; &gt; &gt; &gt; complete, and I&#39;m not sure i fully understand how it should be<br>
&gt; &gt; deployed.<br>
&gt; &gt; &gt; &gt; When I downloaded the &quot;ovirt-provider-ovn-driver-0-1<wbr>.noarch.rpm&quot; and<br>
&gt; &gt; try<br>
&gt; &gt; &gt; &gt; to install on the oVIRT nodes it complains about needing other packages<br>
&gt; &gt; &gt; &gt; such as:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; - openvswitch-ovn-central<br>
&gt; &gt; &gt; &gt; - python-openvswitch<br>
&gt; &gt; &gt; &gt; - firewalld-system<br>
&gt; &gt; &gt; &gt; - openvswitch-ovn-host<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I don&#39;t see anywhere where it talks about getting access to the RPMS<br>
&gt; &gt; for<br>
&gt; &gt; &gt; &gt; openvswitch-ovn-central. Also I presume like Neutron I would install<br>
&gt; &gt; OVN on<br>
&gt; &gt; &gt; &gt; a Master node and then install some clients on the nodes? Can you<br>
&gt; &gt; provide<br>
&gt; &gt; &gt; &gt; me additional information on this?<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Tue, Nov 22, 2016 at 1:43 AM, Yaniv Dary &lt;<a href="mailto:ydary@redhat.com" target="_blank">ydary@redhat.com</a>&gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;&gt; We are working on a native path to SDN via OVN (experimental at this<br>
&gt; &gt; &gt; &gt;&gt; point):<br>
&gt; &gt; &gt; &gt;&gt; <a href="https://www.ovirt.org/blog/2016/11/ovirt-provider-ovn/" rel="noreferrer" target="_blank">https://www.ovirt.org/blog/201<wbr>6/11/ovirt-provider-ovn/</a><br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Using Neutron is an option, but at some point the native option might<br>
&gt; &gt; be<br>
&gt; &gt; &gt; &gt;&gt; easier to use (we want to add a UI for it and tighter integration).<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Yaniv Dary<br>
&gt; &gt; &gt; &gt;&gt; Technical Product Manager<br>
&gt; &gt; &gt; &gt;&gt; Red Hat Israel Ltd.<br>
&gt; &gt; &gt; &gt;&gt; 34 Jerusalem Road<br>
&gt; &gt; &gt; &gt;&gt; Building A, 4th floor<br>
&gt; &gt; &gt; &gt;&gt; Ra&#39;anana, Israel 4350109<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; Tel : <a href="tel:%2B972%20%289%29%207692306" value="+97297692306" target="_blank">+972 (9) 7692306</a><br>
&gt; &gt; &gt; &gt;&gt;         8272306<br>
&gt; &gt; &gt; &gt;&gt; Email: <a href="mailto:ydary@redhat.com" target="_blank">ydary@redhat.com</a><br>
&gt; &gt; &gt; &gt;&gt; IRC : ydary<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt; On Tue, Nov 22, 2016 at 5:09 AM, Devin Acosta &lt;<a href="mailto:devin@pabstatencio.com" target="_blank">devin@pabstatencio.com</a><br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;&gt; wrote:<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; oVirt Users:<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; My work is currently deploying oVirt 4.0.5 into our Development<br>
&gt; &gt; &gt; &gt;&gt;&gt; environment. I see there use to be a maintained Openstack Neutron<br>
&gt; &gt; image<br>
&gt; &gt; &gt; &gt;&gt;&gt; that could be used with oVirt to provide SDN functionality. I&#39;m<br>
&gt; &gt; &gt; &gt;&gt;&gt; suspecting<br>
&gt; &gt; &gt; &gt;&gt;&gt; that the reason for the image no longer being maintained is because<br>
&gt; &gt; it<br>
&gt; &gt; &gt; &gt;&gt;&gt; became a hassle to keep updated and patched. From what I understand<br>
&gt; &gt; the<br>
&gt; &gt; &gt; &gt;&gt;&gt; current idea is to just point your oVirt installation to an already<br>
&gt; &gt; &gt; &gt;&gt;&gt; installed Openstack setup. I can easily install an image and install<br>
&gt; &gt; the<br>
&gt; &gt; &gt; &gt;&gt;&gt; latest Openstack (Keystone/Neutron) and then point oVirt to it, but I<br>
&gt; &gt; &gt; &gt;&gt;&gt; want<br>
&gt; &gt; &gt; &gt;&gt;&gt; to understand if that is the proper way to move forward. Is there a<br>
&gt; &gt; &gt; &gt;&gt;&gt; general<br>
&gt; &gt; &gt; &gt;&gt;&gt; consensus with the way oVirt is moving in regards to Software Defined<br>
&gt; &gt; &gt; &gt;&gt;&gt; Networking and Neutron in general? Just want to ensure I understand<br>
&gt; &gt; it<br>
&gt; &gt; &gt; &gt;&gt;&gt; clearly before just installing my own Neutron if there is going to be<br>
&gt; &gt; &gt; &gt;&gt;&gt; another method.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Any feedback is appreciated.<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; Devin Acosta RHCA<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt; ______________________________<wbr>_________________<br>
&gt; &gt; &gt; &gt;&gt;&gt; Users mailing list<br>
&gt; &gt; &gt; &gt;&gt;&gt; <a href="mailto:Users@ovirt.org" target="_blank">Users@ovirt.org</a><br>
&gt; &gt; &gt; &gt;&gt;&gt; <a href="http://lists.ovirt.org/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.ovirt.org/mailman<wbr>/listinfo/users</a><br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;&gt;<br>
&gt; &gt; &gt; &gt;&gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Devin Acosta<br>
&gt; &gt; &gt; &gt; Red Hat Certified Architect, LinuxStack<br>
&gt; &gt; &gt; &gt; <a href="tel:602-354-1220" value="+16023541220" target="_blank">602-354-1220</a> || <a href="mailto:devin@linuxguru.co" target="_blank">devin@linuxguru.co</a><br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt;<br>
&gt; Devin Acosta<br>
&gt; Red Hat Certified Architect, LinuxStack<br>
&gt; <a href="tel:602-354-1220" value="+16023541220" target="_blank">602-354-1220</a> || <a href="mailto:devin@linuxguru.co" target="_blank">devin@linuxguru.co</a><br>
&gt;<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_7305250361354385526gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><br></div><div>Devin Acosta</div><div>Red Hat Certified Architect, LinuxStack </div><div><a href="tel:602-354-1220" value="+16023541220" target="_blank">602-354-1220</a> || <a href="mailto:devin@linuxguru.co" target="_blank">devin@linuxguru.co</a></div></div></div>
</div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><br></div><div>Devin Acosta</div><div>Red Hat Certified Architect, LinuxStack </div><div>602-354-1220 || <a href="mailto:devin@linuxguru.co" target="_blank">devin@linuxguru.co</a></div></div></div>
</div>