<div dir="ltr">Just to put in my experience.<div>Installed single system with SH engine in 3.6.0 and CentOS 7.1.</div><div>Then updated to oVirt 3.6.1 and CentOS 7.2.</div><div>I never had problems regarding bonding neither in 3.6.0 nor in 3.6.1.</div><div><br></div><div>My current kernel is 3.10.0-327.3.1.el7.x86_64</div><div>The server hw is a blade PowerEdge M910 with 4 Gigabit adapters</div><div><br></div><div><div>[root@ractor ~]# lspci | grep igab</div><div>01:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>01:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>02:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>02:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div></div><div><br></div><div>They are connected to Cisco switches with ports configured as 802.3ad (I have no details at hand for Cisco model but I can verify)</div><div><br></div><div>And this is the situation for VM bonding, where I only customized mode=4 to specify lacp_rate=1 (default is slow)<br></div><div><br></div><div><div>- bridges</div><div><div>[root@ractor ~]# brctl show</div><div>bridge name<span class="" style="white-space:pre">        </span>bridge id<span class="" style="white-space:pre">                </span>STP enabled<span class="" style="white-space:pre">        </span>interfaces</div><div>;vdsmdummy;<span class="" style="white-space:pre">                </span>8000.000000000000<span class="" style="white-space:pre">        </span>no<span class="" style="white-space:pre">                </span></div><div>ovirtmgmt<span class="" style="white-space:pre">                </span>8000.002564ff0bf4<span class="" style="white-space:pre">        </span>no<span class="" style="white-space:pre">                </span>bond1</div><div><span class="" style="white-space:pre">                                                        </span>vnet0</div><div>vlan65<span class="" style="white-space:pre">                </span>8000.002564ff0bf0<span class="" style="white-space:pre">        </span>no<span class="" style="white-space:pre">                </span>bond0.65</div><div><span class="" style="white-space:pre">                                                        </span>vnet1</div><div><span class="" style="white-space:pre">                                                        </span>vnet2</div></div><div><br></div><div>- bond device for VMs vlans</div></div><div><div>[root@ractor ~]# cat /proc/net/bonding/bond0 </div><div>Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)</div><div><br></div><div>Bonding Mode: IEEE 802.3ad Dynamic link aggregation</div><div>Transmit Hash Policy: layer2 (0)</div><div>MII Status: up</div><div>MII Polling Interval (ms): 100</div><div>Up Delay (ms): 0</div><div>Down Delay (ms): 0</div><div><br></div><div>802.3ad info</div><div>LACP rate: fast</div><div>Min links: 0</div><div>Aggregator selection policy (ad_select): stable</div><div>Active Aggregator Info:</div><div><span class="" style="white-space:pre">        </span>Aggregator ID: 1</div><div><span class="" style="white-space:pre">        </span>Number of ports: 2</div><div><span class="" style="white-space:pre">        </span>Actor Key: 9</div><div><span class="" style="white-space:pre">        </span>Partner Key: 8</div><div><span class="" style="white-space:pre">        </span>Partner Mac Address: 00:01:02:03:04:0c</div><div><br></div><div>Slave Interface: em1</div><div>MII Status: up</div><div>Speed: 1000 Mbps</div><div>Duplex: full</div><div>Link Failure Count: 0</div><div>Permanent HW addr: 00:25:64:ff:0b:f0</div><div>Slave queue ID: 0</div><div>Aggregator ID: 1</div><div>Actor Churn State: none</div><div>Partner Churn State: none</div><div>Actor Churned Count: 0</div><div>Partner Churned Count: 0</div><div>details actor lacp pdu:</div><div>    system priority: 65535</div><div>    port key: 9</div><div>    port priority: 255</div><div>    port number: 1</div><div>    port state: 63</div><div>details partner lacp pdu:</div><div>    system priority: 32768</div><div>    oper key: 8</div><div>    port priority: 32768</div><div>    port number: 137</div><div>    port state: 63</div><div><br></div><div>Slave Interface: em2</div><div>MII Status: up</div><div>Speed: 1000 Mbps</div><div>Duplex: full</div><div>Link Failure Count: 0</div><div>Permanent HW addr: 00:25:64:ff:0b:f2</div><div>Slave queue ID: 0</div><div>Aggregator ID: 1</div><div>Actor Churn State: none</div><div>Partner Churn State: none</div><div>Actor Churned Count: 0</div><div>Partner Churned Count: 0</div><div>details actor lacp pdu:</div><div>    system priority: 65535</div><div>    port key: 9</div><div>    port priority: 255</div><div>    port number: 2</div><div>    port state: 63</div><div>details partner lacp pdu:</div><div>    system priority: 32768</div><div>    oper key: 8</div><div>    port priority: 32768</div><div>    port number: 603</div><div>    port state: 63</div></div><div><br></div><div><br></div><div>- bond device for ovirtmgmt</div><div><div>[root@ractor ~]# cat /proc/net/bonding/bond1</div><div>Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)</div><div><br></div><div>Bonding Mode: IEEE 802.3ad Dynamic link aggregation</div><div>Transmit Hash Policy: layer2 (0)</div><div>MII Status: up</div><div>MII Polling Interval (ms): 100</div><div>Up Delay (ms): 0</div><div>Down Delay (ms): 0</div><div><br></div><div>802.3ad info</div><div>LACP rate: fast</div><div>Min links: 0</div><div>Aggregator selection policy (ad_select): stable</div><div>Active Aggregator Info:</div><div><span class="" style="white-space:pre">        </span>Aggregator ID: 1</div><div><span class="" style="white-space:pre">        </span>Number of ports: 2</div><div><span class="" style="white-space:pre">        </span>Actor Key: 9</div><div><span class="" style="white-space:pre">        </span>Partner Key: 16</div><div><span class="" style="white-space:pre">        </span>Partner Mac Address: 00:01:02:03:04:0c</div><div><br></div><div>Slave Interface: em3</div><div>MII Status: up</div><div>Speed: 1000 Mbps</div><div>Duplex: full</div><div>Link Failure Count: 0</div><div>Permanent HW addr: 00:25:64:ff:0b:f4</div><div>Slave queue ID: 0</div><div>Aggregator ID: 1</div><div>Actor Churn State: none</div><div>Partner Churn State: none</div><div>Actor Churned Count: 0</div><div>Partner Churned Count: 0</div><div>details actor lacp pdu:</div><div>    system priority: 65535</div><div>    port key: 9</div><div>    port priority: 255</div><div>    port number: 1</div><div>    port state: 63</div><div>details partner lacp pdu:</div><div>    system priority: 32768</div><div>    oper key: 16</div><div>    port priority: 32768</div><div>    port number: 145</div><div>    port state: 63</div><div><br></div><div>Slave Interface: em4</div><div>MII Status: up</div><div>Speed: 1000 Mbps</div><div>Duplex: full</div><div>Link Failure Count: 0</div><div>Permanent HW addr: 00:25:64:ff:0b:f6</div><div>Slave queue ID: 0</div><div>Aggregator ID: 1</div><div>Actor Churn State: none</div><div>Partner Churn State: none</div><div>Actor Churned Count: 0</div><div>Partner Churned Count: 0</div><div>details actor lacp pdu:</div><div>    system priority: 65535</div><div>    port key: 9</div><div>    port priority: 255</div><div>    port number: 2</div><div>    port state: 63</div><div>details partner lacp pdu:</div><div>    system priority: 32768</div><div>    oper key: 16</div><div>    port priority: 32768</div><div>    port number: 611</div><div>    port state: 63</div></div><div><br></div><div><br></div><div><div>No particular settings for single interfaces. This is what has been set by the system for both em1, em2, em3 and em4 (output shown only for em1):</div><div><br></div><div><div>[root@ractor ~]# ethtool -k em1</div><div>Features for em1:</div><div>rx-checksumming: on</div><div>tx-checksumming: on</div><div><span class="" style="white-space:pre">        </span>tx-checksum-ipv4: on</div><div><span class="" style="white-space:pre">        </span>tx-checksum-ip-generic: off [fixed]</div><div><span class="" style="white-space:pre">        </span>tx-checksum-ipv6: on</div><div><span class="" style="white-space:pre">        </span>tx-checksum-fcoe-crc: off [fixed]</div><div><span class="" style="white-space:pre">        </span>tx-checksum-sctp: off [fixed]</div><div>scatter-gather: on</div><div><span class="" style="white-space:pre">        </span>tx-scatter-gather: on</div><div><span class="" style="white-space:pre">        </span>tx-scatter-gather-fraglist: off [fixed]</div><div>tcp-segmentation-offload: on</div><div><span class="" style="white-space:pre">        </span>tx-tcp-segmentation: on</div><div><span class="" style="white-space:pre">        </span>tx-tcp-ecn-segmentation: on</div><div><span class="" style="white-space:pre">        </span>tx-tcp6-segmentation: on</div><div>udp-fragmentation-offload: off [fixed]</div><div>generic-segmentation-offload: on</div><div>generic-receive-offload: on</div><div>large-receive-offload: off [fixed]</div><div>rx-vlan-offload: on [fixed]</div><div>tx-vlan-offload: on</div><div>ntuple-filters: off [fixed]</div><div>receive-hashing: on</div><div>highdma: on [fixed]</div><div>rx-vlan-filter: off [fixed]</div><div>vlan-challenged: off [fixed]</div><div>tx-lockless: off [fixed]</div><div>netns-local: off [fixed]</div><div>tx-gso-robust: off [fixed]</div><div>tx-fcoe-segmentation: off [fixed]</div><div>tx-gre-segmentation: off [fixed]</div><div>tx-ipip-segmentation: off [fixed]</div><div>tx-sit-segmentation: off [fixed]</div><div>tx-udp_tnl-segmentation: off [fixed]</div><div>tx-mpls-segmentation: off [fixed]</div><div>fcoe-mtu: off [fixed]</div><div>tx-nocache-copy: off</div><div>loopback: off [fixed]</div><div>rx-fcs: off [fixed]</div><div>rx-all: off [fixed]</div><div>tx-vlan-stag-hw-insert: off [fixed]</div><div>rx-vlan-stag-hw-parse: off [fixed]</div><div>rx-vlan-stag-filter: off [fixed]</div><div>busy-poll: off [fixed]</div></div></div><div><br></div><div>Gianluca</div></div>