<html>
  <head>

    <meta http-equiv="content-type" content="text/html; charset=utf-8">
  </head>
  <body text="#000066" bgcolor="#FFFFFF">
    Hello,<br>
    we have big problem with metadata IO error and swap issue <br>
    with: <br>
    OS =                    RHEL - 7 - 1.1503.el7.centos.2.8<br>
    kernel =              3.10.0 - 229.4.2.el7.x86_64<br>
    KVM Version =  2.1.2 - 23.el7_1.3.1<br>
    LIBVIRT =           libvirt-1.2.8-16.el7_1.3<br>
    gluster =              glusterfs-3.7.1-1.el7       ( replica 2 on
    XFS )<br>
    Phys.MEM =       128667 MB total, 23160 MB used, 105507 MB free<br>
    swap =                 398334 MB total, 32049 MB used, 366285 MB
    free<br>
    <br>
    Can anybody  get any idea what's wrong ??<br>
    System swapping continualy in spite of a lot of free memory
    available. ( we added large temporary swap space  )<br>
    <br>
    <br>
    Permanent write to /var/log/messages :<br>
    <br>
    Journal: End of file while reading data: Input/output error<br>
    ... and <br>
    Jun 23 15:46:04 1kvm1 journal: metadata not found: Requested
    metadata element is not present<br>
    Jun 23 15:46:06 1kvm1 journal: metadata not found: Requested
    metadata element is not present<br>
    Jun 23 15:46:09 1kvm1 kernel: swapper/16: page allocation failure:
    order:2, mode:0x104020<br>
    Jun 23 15:46:09 1kvm1 kernel: CPU: 16 PID: 0 Comm: swapper/16
    Tainted: G          I --------------   3.10.0-229.4.2.el7.x86_64 #1<br>
    Jun 23 15:46:09 1kvm1 kernel: Hardware name: Supermicro
    X10SRi-F/X10SRi-F, BIOS 1.0a 08/27/2014<br>
    Jun 23 15:46:09 1kvm1 kernel: 0000000000104020 04badf98503e3f59
    ffff881fff403a00 ffffffff81604eaa<br>
    Jun 23 15:46:09 1kvm1 kernel: ffff881fff403a90 ffffffff8115c620
    ffff88207fffd4e8 ffff881fff403a50<br>
    Jun 23 15:46:09 1kvm1 kernel: ffff88207ffd8000 ffff88207ffd8000
    0000000000000002 04badf98503e3f59<br>
    Jun 23 15:46:09 1kvm1 kernel: Call Trace:<br>
    Jun 23 15:46:09 1kvm1 kernel: &lt;IRQ&gt; 
    [&lt;ffffffff81604eaa&gt;] dump_stack+0x19/0x1b<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8115c620&gt;]
    warn_alloc_failed+0x110/0x180<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff81160db8&gt;]
    __alloc_pages_nodemask+0x9a8/0xb90<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8155ab15&gt;] ?
    tcp_v4_do_rcv+0x1b5/0x470<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8119f549&gt;]
    alloc_pages_current+0xa9/0x170<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8115b59e&gt;]
    __get_free_pages+0xe/0x50<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff811aa32e&gt;]
    kmalloc_order_trace+0x2e/0xa0<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff811acbc9&gt;]
    __kmalloc+0x219/0x230<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffffa02f02ea&gt;]
    bnx2x_frag_alloc.isra.64+0x2a/0x40 [bnx2x]<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffffa02f15b4&gt;]
    bnx2x_alloc_rx_data.isra.71+0x54/0x1c0 [bnx2x]<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffffa02f33bd&gt;]
    bnx2x_rx_int+0x89d/0x1910 [bnx2x]<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8101bad9&gt;] ?
    sched_clock+0x9/0x10<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff810acd84&gt;] ?
    task_cputime+0x44/0x80<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff810400c2&gt;] ?
    x86_acpi_suspend_lowlevel+0x12/0x170<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffffa02f485a&gt;]
    bnx2x_poll+0xfa/0x3c0 [bnx2x]<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff814fcfa2&gt;]
    net_rx_action+0x152/0x240<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff81077bf7&gt;]
    __do_softirq+0xf7/0x290<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8161671c&gt;]
    call_softirq+0x1c/0x30<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff81015de5&gt;]
    do_softirq+0x55/0x90<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff81077f95&gt;]
    irq_exit+0x115/0x120<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff816172b8&gt;]
    do_IRQ+0x58/0xf0<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8160c4ad&gt;]
    common_interrupt+0x6d/0x6d<br>
    Jun 23 15:46:09 1kvm1 kernel: &lt;EOI&gt; 
    [&lt;ffffffff814aaa32&gt;] ? cpuidle_enter_state+0x52/0xc0<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff814aaa28&gt;] ?
    cpuidle_enter_state+0x48/0xc0<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff814aab65&gt;]
    cpuidle_idle_call+0xc5/0x200<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff8101d21e&gt;]
    arch_cpu_idle+0xe/0x30<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff810c6985&gt;]
    cpu_startup_entry+0xf5/0x290<br>
    Jun 23 15:46:09 1kvm1 kernel: [&lt;ffffffff810423ca&gt;]
    start_secondary+0x1ba/0x230<br>
    Jun 23 15:46:16 1kvm1 journal: metadata not found: Requested
    metadata element is not present<br>
    Jun 23 15:46:19 1kvm1 journal: metadata not found: Requested
    metadata element is not present<br>
    <br>
    regs. a lot<br>
    Paf1<br>
  </body>
</html>