<div dir="ltr">Hi Donny,<div><br></div><div>I am not using gluster for the NFS mount...no volume has been created because of those errors....</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jan 14, 2015 at 9:47 AM, Donny Davis <span dir="ltr">&lt;<a href="mailto:donny@cloudspin.me" target="_blank">donny@cloudspin.me</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">And <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">rpcbind is running<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">can you do a regular nfs mount of the gluster volume?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">gluster volume info {your volume name here}<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Just gathering intel to hopefully provide a solution. I just deployed gluster with hosted engine today, and I did get some of the same errors as you when I was bringing everything up<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Did you follow a guide, or are you craving your own?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Are you using swift for anything… that is usually for openstack to my knowledge? I guess you could use it for ovirt, but I didn’t<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Donny D<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> Punit Dambiwal [mailto:<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>] <br><b>Sent:</b> Tuesday, January 13, 2015 6:41 PM<br><b>To:</b> Donny Davis<br><b>Cc:</b> <a href="mailto:users@ovirt.org" target="_blank">users@ovirt.org</a></span></p><div><div class="h5"><br><b>Subject:</b> Re: [ovirt-users] Failed to create volume in OVirt with gluster<u></u><u></u></div></div><p></p><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">Hi Donny,<u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">No I am not using CTDB....it&#39;s totally new deployment...<u></u><u></u></p></div></div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Wed, Jan 14, 2015 at 1:50 AM, Donny Davis &lt;<a href="mailto:donny@cloudspin.me" target="_blank">donny@cloudspin.me</a>&gt; wrote:<u></u><u></u></p><div><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Are you using ctdb??? and did you specify Lock=False in /etc/nfsmount.conf</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Can you give a full run down of topology, and has this ever been working or is it a new deployment?</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Donny D</span><u></u><u></u></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"> </span><u></u><u></u></p><p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> <a href="mailto:users-bounces@ovirt.org" target="_blank">users-bounces@ovirt.org</a> [mailto:<a href="mailto:users-bounces@ovirt.org" target="_blank">users-bounces@ovirt.org</a>] <b>On Behalf Of </b>Punit Dambiwal<br><b>Sent:</b> Monday, January 12, 2015 7:18 PM<br><b>To:</b> Kanagaraj Mayilsamy<br><b>Cc:</b> <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>; Kaushal M; <a href="mailto:users@ovirt.org" target="_blank">users@ovirt.org</a><br><b>Subject:</b> Re: [ovirt-users] Failed to create volume in OVirt with gluster</span><u></u><u></u></p><div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">Hi,<u></u><u></u></p><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">Please find the more details on this ....can anybody from gluster will help me here :- <u></u><u></u></p><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><p class="MsoNormal">Gluster CLI Logs :- /var/log/glusterfs/cli.log<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><div><p class="MsoNormal">[2015-01-13 02:06:23.071969] T [cli.c:264:cli_rpc_notify] 0-glusterfs: got RPC_CLNT_CONNECT<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072012] T [cli-quotad-client.c:94:cli_quotad_notify] 0-glusterfs: got RPC_CLNT_CONNECT<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072024] I [socket.c:2344:socket_event_handler] 0-transport: disconnecting now<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072055] T [cli-quotad-client.c:100:cli_quotad_notify] 0-glusterfs: got RPC_CLNT_DISCONNECT<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072131] T [rpc-clnt.c:1381:rpc_clnt_record] 0-glusterfs: Auth Info: pid: 0, uid: 0, gid: 0, owner:<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072176] T [rpc-clnt.c:1238:rpc_clnt_record_build_header] 0-rpc-clnt: Request fraglen 128, payload: 64, rpc hdr: 64<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072572] T [socket.c:2863:socket_connect] (--&gt; /usr/lib64/libglusterfs.so.0(_gf_log_callingfn+0x1e0)[0x7fed02f15420] (--&gt; /usr/lib64/glusterfs/3.6.1/rpc-transport/socket.so(+0x7293)[0x7fed001a4293] (--&gt; /usr/lib64/libgfrpc.so.0(rpc_clnt_submit+0x468)[0x7fed0266df98] (--&gt; /usr/sbin/gluster(cli_submit_request+0xdb)[0x40a9bb] (--&gt; /usr/sbin/gluster(cli_cmd_submit+0x8e)[0x40b7be] ))))) 0-glusterfs: connect () called on transport already connected<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072616] T [rpc-clnt.c:1573:rpc_clnt_submit] 0-rpc-clnt: submitted request (XID: 0x1 Program: Gluster CLI, ProgVers: 2, Proc: 27) to rpc-transport (glusterfs)<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.072633] D [rpc-clnt-ping.c:231:rpc_clnt_start_ping] 0-glusterfs: ping timeout is 0, returning<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.075930] T [rpc-clnt.c:660:rpc_clnt_reply_init] 0-glusterfs: received rpc message (RPC XID: 0x1 Program: Gluster CLI, ProgVers: 2, Proc: 27) from rpc-transport (glusterfs)<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.075976] D [cli-rpc-ops.c:6548:gf_cli_status_cbk] 0-cli: Received response to status cmd<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076025] D [cli-cmd.c:384:cli_cmd_submit] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076049] D [cli-rpc-ops.c:6811:gf_cli_status_volume] 0-cli: Returning: 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076192] D [cli-xml-output.c:84:cli_begin_xml_output] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076244] D [cli-xml-output.c:131:cli_xml_output_common] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076256] D [cli-xml-output.c:1375:cli_xml_output_vol_status_begin] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076437] D [cli-xml-output.c:108:cli_end_xml_output] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076459] D [cli-xml-output.c:1398:cli_xml_output_vol_status_end] 0-cli: Returning 0<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.076490] I [input.c:36:cli_batch] 0-: Exiting with: 0<u></u><u></u></p></div></div><div><p class="MsoNormal"> <u></u><u></u></p></div></div><div><p class="MsoNormal">Command log :- /var/log/glusterfs/.cmd_log_history<u></u><u></u></p></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:10:35.836676]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:16:25.956514]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:17:36.977833]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:21:07.048053]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:26:57.168661]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:28:07.194428]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:30:27.256667]  : volume status vol01 : FAILED : Locking failed on <a href="http://cpu02.zne01.hkg1.stack.com" target="_blank">cpu02.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu03.zne01.hkg1.stack.com" target="_blank">cpu03.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu04.zne01.hkg1.stack.com" target="_blank">cpu04.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:34:58.350748]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:36:08.375326]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:36:08.386470]  : volume status vol01 : FAILED : Locking failed on <a href="http://cpu02.zne01.hkg1.stack.com" target="_blank">cpu02.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu03.zne01.hkg1.stack.com" target="_blank">cpu03.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu04.zne01.hkg1.stack.com" target="_blank">cpu04.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:42:59.524215]  : volume stop vol01 : FAILED : Locking failed on <a href="http://cpu02.zne01.hkg1.stack.com" target="_blank">cpu02.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu03.zne01.hkg1.stack.com" target="_blank">cpu03.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Locking failed on <a href="http://cpu04.zne01.hkg1.stack.com" target="_blank">cpu04.zne01.hkg1.stack.com</a>. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:45:10.550659]  : volume status all tasks : FAILED : Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">Staging failed on 00000000-0000-0000-0000-000000000000. Please check log file for details.<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:46:10.656802]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:51:02.796031]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:52:02.897804]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:55:25.841070]  : system:: uuid get : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:55:26.752084]  : system:: uuid get : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:55:32.499049]  : system:: uuid get : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:55:38.716907]  : system:: uuid get : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:56:52.905899]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 01:58:53.109613]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:03:26.769430]  : system:: uuid get : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:04:22.859213]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:05:22.970393]  : volume status all tasks : SUCCESS<u></u><u></u></p></div><div><p class="MsoNormal">[2015-01-13 02:06:23.075823]  : volume status all tasks : SUCCESS<u></u><u></u></p></div></div><div><p class="MsoNormal"> <u></u><u></u></p></div></div><div><p class="MsoNormal"> <u></u><u></u></p><div><p class="MsoNormal">On Mon, Jan 12, 2015 at 10:53 PM, Kanagaraj Mayilsamy &lt;<a href="mailto:kmayilsa@redhat.com" target="_blank">kmayilsa@redhat.com</a>&gt; wrote:<u></u><u></u></p><p class="MsoNormal">I can see the failures in glusterd log.<br><br>Can someone from glusterfs dev pls help on this?<br><br>Thanks,<br>Kanagaraj<u></u><u></u></p><div><div><p class="MsoNormal"><br>----- Original Message -----<br>&gt; From: &quot;Punit Dambiwal&quot; &lt;<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>&gt;<br>&gt; To: &quot;Kanagaraj&quot; &lt;<a href="mailto:kmayilsa@redhat.com" target="_blank">kmayilsa@redhat.com</a>&gt;<br>&gt; Cc: &quot;Martin Pavlík&quot; &lt;<a href="mailto:mpavlik@redhat.com" target="_blank">mpavlik@redhat.com</a>&gt;, &quot;Vijay Bellur&quot; &lt;<a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;, &quot;Kaushal M&quot; &lt;<a href="mailto:kshlmster@gmail.com" target="_blank">kshlmster@gmail.com</a>&gt;,<br>&gt; <a href="mailto:users@ovirt.org" target="_blank">users@ovirt.org</a>, <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>&gt; Sent: Monday, January 12, 2015 3:36:43 PM<br>&gt; Subject: Re: Failed to create volume in OVirt with gluster<br>&gt;<br>&gt; Hi Kanagaraj,<br>&gt;<br>&gt; Please find the logs from here :- <a href="http://ur1.ca/jeszc" target="_blank">http://ur1.ca/jeszc</a><br>&gt;<br>&gt; [image: Inline image 1]<br>&gt;<br>&gt; [image: Inline image 2]<br>&gt;<br>&gt; On Mon, Jan 12, 2015 at 1:02 PM, Kanagaraj &lt;<a href="mailto:kmayilsa@redhat.com" target="_blank">kmayilsa@redhat.com</a>&gt; wrote:<br>&gt;<br>&gt; &gt;  Looks like there are some failures in gluster.<br>&gt; &gt; Can you send the log output from glusterd log file from the relevant hosts?<br>&gt; &gt;<br>&gt; &gt; Thanks,<br>&gt; &gt; Kanagaraj<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; On 01/12/2015 10:24 AM, Punit Dambiwal wrote:<br>&gt; &gt;<br>&gt; &gt; Hi,<br>&gt; &gt;<br>&gt; &gt;  Is there any one from gluster can help me here :-<br>&gt; &gt;<br>&gt; &gt;  Engine logs :-<br>&gt; &gt;<br>&gt; &gt;  2015-01-12 12:50:33,841 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:34,725 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:36,824 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:36,853 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:36,866 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:37,751 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:39,849 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:39,878 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:39,890 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:40,776 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:42,878 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:42,903 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:42,916 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt; (DefaultQuartzScheduler_Worker-12) Failed to acquire lock and wait lock<br>&gt; &gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt; value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt; 2015-01-12 12:50:43,771 INFO<br>&gt; &gt;  [org.ovirt.engine.core.vdsbroker.gluster.CreateGlusterVolumeVDSCommand]<br>&gt; &gt; (ajp--127.0.0.1-8702-1) [330ace48] FINISH, CreateGlusterVolumeVDSCommand,<br>&gt; &gt; log id: 303e70a4<br>&gt; &gt; 2015-01-12 12:50:43,780 ERROR<br>&gt; &gt; [org.ovirt.engine.core.dal.dbbroker.auditloghandling.AuditLogDirector]<br>&gt; &gt; (ajp--127.0.0.1-8702-1) [330ace48] Correlation ID: 330ace48, Job ID:<br>&gt; &gt; 896a69b3-a678-40a7-bceb-3635e4062aa0, Call Stack: null, Custom Event ID:<br>&gt; &gt; -1, Message: Creation of Gluster Volume vol01 failed.<br>&gt; &gt; 2015-01-12 12:50:43,785 INFO<br>&gt; &gt;  [org.ovirt.engine.core.bll.gluster.CreateGlusterVolumeCommand]<br>&gt; &gt; (ajp--127.0.0.1-8702-1) [330ace48] Lock freed to object EngineLock<br>&gt; &gt; [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300 value: GLUSTER<br>&gt; &gt; , sharedLocks= ]<br>&gt; &gt;<br>&gt; &gt;  [image: Inline image 2]<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; On Sun, Jan 11, 2015 at 6:48 PM, Martin Pavlík &lt;<a href="mailto:mpavlik@redhat.com" target="_blank">mpavlik@redhat.com</a>&gt; wrote:<br>&gt; &gt;<br>&gt; &gt;&gt; Hi Punit,<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  unfortunately I’am not that good with the gluster, I was just following<br>&gt; &gt;&gt; the obvious clue from the log. Could you try on the nodes if the packages<br>&gt; &gt;&gt; are even available for installation<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  yum install gluster-swift gluster-swift-object gluster-swift-plugin<br>&gt; &gt;&gt;  gluster-swift-account<br>&gt; &gt;&gt; gluster-swift-proxy gluster-swift-doc gluster-swift-container<br>&gt; &gt;&gt; glusterfs-geo-replication<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  if not you could try to get them in official gluster repo.<br>&gt; &gt;&gt; <a href="http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo" target="_blank">http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo</a><br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  HTH<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  M.<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;   On 10 Jan 2015, at 04:35, Punit Dambiwal &lt;<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>&gt; wrote:<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  Hi Martin,<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;  I installed gluster from ovirt repo....is it require to install those<br>&gt; &gt;&gt; packages manually ??<br>&gt; &gt;&gt;<br>&gt; &gt;&gt; On Fri, Jan 9, 2015 at 7:19 PM, Martin Pavlík &lt;<a href="mailto:mpavlik@redhat.com" target="_blank">mpavlik@redhat.com</a>&gt; wrote:<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;&gt;  Hi Punit,<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; can you verify that nodes contain cluster packages from the following<br>&gt; &gt;&gt;&gt; log?<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,823::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,825::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-object&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,826::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-plugin&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,829::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-account&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,829::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-proxy&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,829::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-doc&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,830::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;gluster-swift-container&#39;,) not found<br>&gt; &gt;&gt;&gt; Thread-14::DEBUG::2015-01-09<br>&gt; &gt;&gt;&gt; 18:06:28,830::caps::716::root::(_getKeyPackages) rpm package<br>&gt; &gt;&gt;&gt; (&#39;glusterfs-geo-replication&#39;,) not found<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;  M.<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;    On 09 Jan 2015, at 11:13, Punit Dambiwal &lt;<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>&gt; wrote:<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;    Hi Kanagaraj,<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;  Please find the attached logs :-<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;  Engine Logs :- <a href="http://ur1.ca/jdopt" target="_blank">http://ur1.ca/jdopt</a><br>&gt; &gt;&gt;&gt; VDSM Logs :- <a href="http://ur1.ca/jdoq9" target="_blank">http://ur1.ca/jdoq9</a><br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt; On Thu, Jan 8, 2015 at 6:05 PM, Kanagaraj &lt;<a href="mailto:kmayilsa@redhat.com" target="_blank">kmayilsa@redhat.com</a>&gt; wrote:<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  Do you see any errors in the UI?<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; Also please provide the engine.log and vdsm.log when the failure<br>&gt; &gt;&gt;&gt;&gt; occured.<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; Thanks,<br>&gt; &gt;&gt;&gt;&gt; Kanagaraj<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; On 01/08/2015 02:25 PM, Punit Dambiwal wrote:<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; Hi Martin,<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  The steps are below :-<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  1. Step the ovirt engine on the one server...<br>&gt; &gt;&gt;&gt;&gt; 2. Installed centos 7 on 4 host node servers..<br>&gt; &gt;&gt;&gt;&gt; 3. I am using host node (compute+storage)....now i have added all 4<br>&gt; &gt;&gt;&gt;&gt; nodes to engine...<br>&gt; &gt;&gt;&gt;&gt; 4. Create the gluster volume from GUI...<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  Network :-<br>&gt; &gt;&gt;&gt;&gt; eth0 :- public network (1G)<br>&gt; &gt;&gt;&gt;&gt; eth1+eth2=bond0= VM public network (1G)<br>&gt; &gt;&gt;&gt;&gt; eth3+eth4=bond1=ovirtmgmt+storage (10G private network)<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  every hostnode has 24 bricks=24*4(distributed replicated)<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;  Thanks,<br>&gt; &gt;&gt;&gt;&gt; Punit<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt; On Thu, Jan 8, 2015 at 3:20 PM, Martin Pavlík &lt;<a href="mailto:mpavlik@redhat.com" target="_blank">mpavlik@redhat.com</a>&gt;<br>&gt; &gt;&gt;&gt;&gt; wrote:<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; Hi Punit,<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; can you please provide also errors from /var/log/vdsm/vdsm.log and<br>&gt; &gt;&gt;&gt;&gt;&gt; /var/log/vdsm/vdsmd.log<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; it would be really helpful if you provided exact steps how to<br>&gt; &gt;&gt;&gt;&gt;&gt; reproduce the problem.<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; regards<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; Martin Pavlik - rhev QE<br>&gt; &gt;&gt;&gt;&gt;&gt;  &gt; On 08 Jan 2015, at 03:06, Punit Dambiwal &lt;<a href="mailto:hypunit@gmail.com" target="_blank">hypunit@gmail.com</a>&gt; wrote:<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; Hi,<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; I try to add gluster volume but it failed...<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; Ovirt :- 3.5<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; VDSM :- vdsm-4.16.7-1.gitdb83943.el7<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; KVM :- 1.5.3 - 60.el7_0.2<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; libvirt-1.1.1-29.el7_0.4<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; Glusterfs :- glusterfs-3.5.3-1.el7<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; Engine Logs :-<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:52,569 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:52,609 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:55,582 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:55,591 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:55,596 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; 2015-01-08 09:57:55,633 INFO<br>&gt; &gt;&gt;&gt;&gt;&gt; [org.ovirt.engine.core.bll.lock.InMemoryLockManager]<br>&gt; &gt;&gt;&gt;&gt;&gt; (DefaultQuartzScheduler_Worker-16) Failed to acquire lock and wait lock<br>&gt; &gt;&gt;&gt;&gt;&gt; EngineLock [exclusiveLocks= key: 00000001-0001-0001-0001-000000000300<br>&gt; &gt;&gt;&gt;&gt;&gt; value: GLUSTER<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; , sharedLocks= ]<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt; ^C<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt; &gt;<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;   &lt;216 09-Jan-15.jpg&gt;&lt;217 09-Jan-15.jpg&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;&gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt;<u></u><u></u></p></div></div></div><p class="MsoNormal"> <u></u><u></u></p></div></div></div></div></div></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></blockquote></div><br></div>