<div dir="ltr">I wanted to follow up on this after I found my resolution.  <div><br></div><div><div>I started to see kernel errors when I migrated all but my windows host off a hypervisor and generated traffic.  I then took those errors and started looking back at all of the hypervisors only to find this error was on each of them; also it actively reporting on systems with Windows VMs.  Tracing back the logs lead me to the bug reports below where I learned that this issue had been re-introduced to the 2.6.32-X kernel. </div><div> </div><div>ABRT info - </div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: WARNING: at net/core/dev.c:1915 skb_warn_bad_offload+0x99/0xb0() (Tainted: G        W  -- ------------   )</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: Hardware name: PowerEdge M620</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: : caps=(0x40c9, 0x0) len=1514 data_len=1460 ip_summed=1</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: Modules linked in: sch_prio act_mirred cls_u32 sch_ingress ebt_arp xt_physdev ipt_REJECT nf_conntrack_ipv4 nf_defrag_ipv4 xt_multiport iptable_filter ip_tables fuse nfs lockd fscache auth_rpcgss nfs_acl sunrpc vfat fat bonding ebtable_nat ebtables be2iscsi iscsi_boot_sysfs bnx2i cnic uio cxgb4i iw_cxgb4 cxgb4 cxgb3i libcxgbi iw_cxgb3 cxgb3 ib_iser rdma_cm ib_cm iw_cm ib_sa ib_mad ib_core ib_addr iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi mpt3sas mpt2sas scsi_transport_sas raid_class mptctl mptbase dell_rbu autofs4 bridge 8021q garp stp llc ip6t_REJECT nf_conntrack_ipv6 nf_defrag_ipv6 xt_state nf_conntrack ip6table_filter ip6_tables ipv6 dm_round_robin dm_multipath vhost_net macvtap macvlan tun kvm_intel kvm sg ipmi_devintf sr_mod cdrom joydev power_meter acpi_ipmi ipmi_si ipmi_msghandler iTCO_wdt iTCO_vendor_support ixgbe dca ptp pps_core mdio dcdbas sb_edac edac_core lpc_ich mfd_core shpchp usb_storage ext4 jbd2 mbcache sd_mod crc_t10dif megaraid_sas wmi ahci dm_mirror dm_region_hash dm_log dm_mod [last unloaded: ip_tables]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: Pid: 0, comm: swapper Tainted: G        W  -- ------------    2.6.32-573.7.1.el6.x86_64 #1</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: Call Trace:</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: &lt;IRQ&gt;  [&lt;ffffffff81077461&gt;] ? warn_slowpath_common+0x91/0xe0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81077566&gt;] ? warn_slowpath_fmt+0x46/0x60</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81296a55&gt;] ? __ratelimit+0xd5/0x120</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146b2e9&gt;] ? skb_warn_bad_offload+0x99/0xb0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146f9b1&gt;] ? __skb_gso_segment+0x71/0xc0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146fa13&gt;] ? skb_gso_segment+0x13/0x20</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146fabb&gt;] ? dev_hard_start_xmit+0x9b/0x490</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8148d17a&gt;] ? sch_direct_xmit+0x15a/0x1c0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81470158&gt;] ? dev_queue_xmit+0x228/0x320</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d8b0&gt;] ? __br_forward+0x0/0xd0 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d818&gt;] ? br_dev_queue_push_xmit+0x88/0xc0 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d8a8&gt;] ? br_forward_finish+0x58/0x60 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d95a&gt;] ? __br_forward+0xaa/0xd0 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8145f788&gt;] ? skb_clone+0x58/0xb0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d4de&gt;] ? deliver_clone+0x3e/0x60 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034d9c1&gt;] ? br_forward+0x41/0x70 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034e87e&gt;] ? br_handle_frame_finish+0x17e/0x330 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034ebf0&gt;] ? br_handle_frame+0x1c0/0x270 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa034ea30&gt;] ? br_handle_frame+0x0/0x270 [bridge]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146aaf7&gt;] ? __netif_receive_skb+0x1c7/0x570</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146e3d8&gt;] ? netif_receive_skb+0x58/0x60</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146e4e0&gt;] ? napi_skb_finish+0x50/0x70</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8146eaf9&gt;] ? napi_gro_receive_gr+0x39/0x50</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81512aeb&gt;] ? vlan_gro_receive+0x1b/0x30</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa0185e25&gt;] ? ixgbe_clean_rx_irq+0x995/0xc70 [ixgbe]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffffa018663a&gt;] ? ixgbe_poll+0x40a/0x760 [ixgbe]</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81470443&gt;] ? net_rx_action+0x103/0x2f0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff810ad4bd&gt;] ? ktime_get+0x6d/0x100</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8107ffa1&gt;] ? __do_softirq+0xc1/0x1e0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff810ed920&gt;] ? handle_IRQ_event+0x60/0x170</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8100c38c&gt;] ? call_softirq+0x1c/0x30</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8100fbd5&gt;] ? do_softirq+0x65/0xa0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8107fe55&gt;] ? irq_exit+0x85/0x90</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff815426d5&gt;] ? do_IRQ+0x75/0xf0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8100ba53&gt;] ? ret_from_intr+0x0/0x11</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: &lt;EOI&gt;  [&lt;ffffffff812f109e&gt;] ? intel_idle+0xfe/0x1b0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff812f1081&gt;] ? intel_idle+0xe1/0x1b0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8143376a&gt;] ? cpuidle_idle_call+0x7a/0xe0</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81009fe6&gt;] ? cpu_idle+0xb6/0x110</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff8151f21a&gt;] ? rest_init+0x7a/0x80</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81c38122&gt;] ? start_kernel+0x424/0x431</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81c3733a&gt;] ? x86_64_start_reservations+0x125/0x129</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: [&lt;ffffffff81c37453&gt;] ? x86_64_start_kernel+0x115/0x124</div><div>Nov 30 19:28:42 <a href="http://server2.example.com">server2.example.com</a> kernel: ---[ end trace 38b6983a05ecf4b4 ]---</div><div><br></div><div>I was able to resolve this by re-configuring the network cards em1/em2 with lro = off.</div><div>ethtool to disable lro - </div><div>ethtool -K em1 lro off; ethtool -K em2 lro off</div><div><br></div><div>Bug reports - </div><div>1270892 - <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1270892">https://bugzilla.redhat.com/show_bug.cgi?id=1270892</a></div><div>772317 - <a href="https://bugzilla.redhat.com/show_bug.cgi?id=772317">https://bugzilla.redhat.com/show_bug.cgi?id=772317</a></div></div></div>