<div dir="ltr">in my case $brick_path =/data<br><br><br>getfattr -d /data return NOTHING on both nodes!!!<br><br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Dec 18, 2013 at 1:46 PM, Fabian Deutsch <span dir="ltr">&lt;<a href="mailto:fabiand@redhat.com" target="_blank">fabiand@redhat.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Am Mittwoch, den 18.12.2013, 13:26 +0200 schrieb Gabi C:<br>
<div class="im">&gt; Update on Glusterfs issue<br>
&gt;<br>
&gt;<br>
&gt; I manage to recover lost volume after recretaing the same volume name<br>
&gt; with same bricks, whisch raised an error message, resolved by, on both<br>
&gt; nodes:<br>
&gt;<br>
&gt; setfattr -x trusted.glusterfs.volume-id $brick_path<br>
&gt; setfattr -x trusted.gfid $brick_path<br>
<br>
</div>Hey,<br>
<br>
good that you could recover them.<br>
<br>
Could you please provide $brick_path and getfattr -d $brick_path<br>
<br>
The question is if and/or why the fattrs are not stored.<br>
<div class="HOEnZb"><div class="h5"><br>
- fabian<br>
<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Dec 18, 2013 at 12:12 PM, Gabi C &lt;<a href="mailto:gabicr@gmail.com">gabicr@gmail.com</a>&gt; wrote:<br>
&gt; � � � � node 1:<br>
&gt;<br>
&gt; � � � � [root@virtual5 admin]# cat /config/files<br>
&gt; � � � � /etc/fstab<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/default/ovirt<br>
&gt; � � � � /etc/ssh/ssh_host_key<br>
&gt; � � � � /etc/ssh/ssh_host_key.pub<br>
&gt; � � � � /etc/ssh/ssh_host_dsa_key<br>
&gt; � � � � /etc/ssh/ssh_host_dsa_key.pub<br>
&gt; � � � � /etc/ssh/ssh_host_rsa_key<br>
&gt; � � � � /etc/ssh/ssh_host_rsa_key.pub<br>
&gt; � � � � /etc/rsyslog.conf<br>
&gt; � � � � /etc/libvirt/libvirtd.conf<br>
&gt; � � � � /etc/libvirt/passwd.db<br>
&gt; � � � � /etc/passwd<br>
&gt; � � � � /etc/sysconfig/network<br>
&gt; � � � � /etc/collectd.conf<br>
&gt; � � � � /etc/libvirt/qemu/networks<br>
&gt; � � � � /etc/ssh/sshd_config<br>
&gt; � � � � /etc/pki<br>
&gt; � � � � /etc/logrotate.d/ovirt-node<br>
&gt; � � � � /var/lib/random-seed<br>
&gt; � � � � /etc/iscsi/initiatorname.iscsi<br>
&gt; � � � � /etc/libvirt/qemu.conf<br>
&gt; � � � � /etc/sysconfig/libvirtd<br>
&gt; � � � � /etc/logrotate.d/libvirtd<br>
&gt; � � � � /etc/multipath.conf<br>
&gt; � � � � /etc/hosts<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp3s0<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-lo<br>
&gt; � � � � /etc/ntp.conf<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/vdsm-reg/vdsm-reg.conf<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-ovirtmgmt<br>
&gt; � � � � /etc/sysconfig/network-scripts/route-ovirtmgmt<br>
&gt; � � � � /etc/sysconfig/network-scripts/rule-ovirtmgmt<br>
&gt; � � � � /root/.ssh/authorized_keys<br>
&gt; � � � � /etc/vdsm/<a href="http://vdsm.id" target="_blank">vdsm.id</a><br>
&gt; � � � � /etc/udev/rules.d/12-ovirt-iosched.rules<br>
&gt; � � � � /etc/vdsm/vdsm.conf<br>
&gt; � � � � /etc/sysconfig/iptables<br>
&gt; � � � � /etc/resolv.conf<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-VPO_IPPROXY<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp6s0<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp6s0.50<br>
&gt; � � � � /etc/glusterfs/glusterd.vol<br>
&gt; � � � � /etc/selinux/config<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; � � � � node 2:<br>
&gt;<br>
&gt;<br>
&gt; � � � � [root@virtual4 ~]# cat /config/files<br>
&gt; � � � � /etc/fstab<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/default/ovirt<br>
&gt; � � � � /etc/ssh/ssh_host_key<br>
&gt; � � � � /etc/ssh/ssh_host_key.pub<br>
&gt; � � � � /etc/ssh/ssh_host_dsa_key<br>
&gt; � � � � /etc/ssh/ssh_host_dsa_key.pub<br>
&gt; � � � � /etc/ssh/ssh_host_rsa_key<br>
&gt; � � � � /etc/ssh/ssh_host_rsa_key.pub<br>
&gt; � � � � /etc/rsyslog.conf<br>
&gt; � � � � /etc/libvirt/libvirtd.conf<br>
&gt; � � � � /etc/libvirt/passwd.db<br>
&gt; � � � � /etc/passwd<br>
&gt; � � � � /etc/sysconfig/network<br>
&gt; � � � � /etc/collectd.conf<br>
&gt; � � � � /etc/libvirt/qemu/networks<br>
&gt; � � � � /etc/ssh/sshd_config<br>
&gt; � � � � /etc/pki<br>
&gt; � � � � /etc/logrotate.d/ovirt-node<br>
&gt; � � � � /var/lib/random-seed<br>
&gt; � � � � /etc/iscsi/initiatorname.iscsi<br>
&gt; � � � � /etc/libvirt/qemu.conf<br>
&gt; � � � � /etc/sysconfig/libvirtd<br>
&gt; � � � � /etc/logrotate.d/libvirtd<br>
&gt; � � � � /etc/multipath.conf<br>
&gt; � � � � /etc/hosts<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp3s0<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-lo<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/vdsm-reg/vdsm-reg.conf<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-ovirtmgmt<br>
&gt; � � � � /etc/sysconfig/network-scripts/route-ovirtmgmt<br>
&gt; � � � � /etc/sysconfig/network-scripts/rule-ovirtmgmt<br>
&gt; � � � � /root/.ssh/authorized_keys<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/vdsm/<a href="http://vdsm.id" target="_blank">vdsm.id</a><br>
&gt; � � � � /etc/udev/rules.d/12-ovirt-iosched.rules<br>
&gt; � � � � /etc/sysconfig/iptables<br>
&gt; � � � � /etc/vdsm/vdsm.conf<br>
&gt; � � � � /etc/shadow<br>
&gt; � � � � /etc/resolv.conf<br>
&gt; � � � � /etc/ntp.conf<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-VPO_IPPROXY<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp6s0<br>
&gt; � � � � /etc/sysconfig/network-scripts/ifcfg-enp6s0.50<br>
&gt; � � � � /etc/glusterfs/glusterd.vol<br>
&gt; � � � � /etc/selinux/config<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; � � � � On Wed, Dec 18, 2013 at 12:07 PM, Fabian Deutsch<br>
&gt; � � � � &lt;<a href="mailto:fabiand@redhat.com">fabiand@redhat.com</a>&gt; wrote:<br>
&gt; � � � � � � � � Am Mittwoch, den 18.12.2013, 12:03 +0200 schrieb Gabi<br>
&gt; � � � � � � � � C:<br>
&gt; � � � � � � � � &gt; So here it is:<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; in tab volumes add new volume - Replicated, then<br>
&gt; � � � � � � � � added storage -<br>
&gt; � � � � � � � � &gt; data/glusterfs. Then I impoerted Vm, ran them and at<br>
&gt; � � � � � � � � some point,<br>
&gt; � � � � � � � � &gt; needing some space for a Redhat Satellite �instance<br>
&gt; � � � � � � � � I decided to put<br>
&gt; � � � � � � � � &gt; both node in maintenace stop them add new disk<br>
&gt; � � � � � � � � devices and restart,<br>
&gt; � � � � � � � � &gt; but after restart the gluster volume defined under<br>
&gt; � � � � � � � � Volumes Tab<br>
&gt; � � � � � � � � &gt; vanished!<br>
&gt;<br>
&gt;<br>
&gt; � � � � � � � � Antoni,<br>
&gt;<br>
&gt; � � � � � � � � can you tell what log files to look at to find out why<br>
&gt; � � � � � � � � that storage<br>
&gt; � � � � � � � � domain vanished - from a Engine side?<br>
&gt;<br>
&gt; � � � � � � � � And do you know what files related to gluster are<br>
&gt; � � � � � � � � changed on the Node<br>
&gt; � � � � � � � � side?<br>
&gt;<br>
&gt; � � � � � � � � Gabi,<br>
&gt;<br>
&gt; � � � � � � � � could you please provide the contents of /config/files<br>
&gt; � � � � � � � � on the Node.<br>
&gt;<br>
&gt; � � � � � � � � &gt; Glusterfs data goes under /data directory which was<br>
&gt; � � � � � � � � automatically<br>
&gt; � � � � � � � � &gt; configured when I installed the node.<br>
&gt;<br>
&gt;<br>
&gt; � � � � � � � � Yep, /data is on the Data LV - that should be good.<br>
&gt;<br>
&gt; � � � � � � � � - fabian<br>
&gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; On Wed, Dec 18, 2013 at 11:45 AM, Fabian Deutsch<br>
&gt; � � � � � � � � &lt;<a href="mailto:fabiand@redhat.com">fabiand@redhat.com</a>&gt;<br>
&gt; � � � � � � � � &gt; wrote:<br>
&gt; � � � � � � � � &gt; � � � � Am Mittwoch, den 18.12.2013, 11:42 +0200<br>
&gt; � � � � � � � � schrieb Gabi C:<br>
&gt; � � � � � � � � &gt; � � � � &gt; Yes, it is the VM part..I just run into an<br>
&gt; � � � � � � � � issue. �My setup<br>
&gt; � � � � � � � � &gt; � � � � consist in<br>
&gt; � � � � � � � � &gt; � � � � &gt; 2 nodes with glusterfs and after adding<br>
&gt; � � � � � � � � supplemental hard<br>
&gt; � � � � � � � � &gt; � � � � disk, after<br>
&gt; � � � � � � � � &gt; � � � � &gt; reboot I&#39;ve lost glusterfs volumes!<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � Could you exactly explain what you<br>
&gt; � � � � � � � � configured?<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; How can I persist any configuration on<br>
&gt; � � � � � � � � node and I refer here<br>
&gt; � � � � � � � � &gt; � � � � to<br>
&gt; � � � � � � � � &gt; � � � � &gt; &#39;&#39;setenforce 0&#39;&#39; - for ssh login to work-<br>
&gt; � � � � � � � � and further<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � How changes can be persisted on Node can be<br>
&gt; � � � � � � � � found here:<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � <a href="http://www.ovirt.org/Node_Troubleshooting#Making_changes_on_the_host" target="_blank">http://www.ovirt.org/Node_Troubleshooting#Making_changes_on_the_host</a><br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � Do you know into what path the glusterfs<br>
&gt; � � � � � � � � data goes? Or is it<br>
&gt; � � � � � � � � &gt; � � � � written<br>
&gt; � � � � � � � � &gt; � � � � directly onto a disk/LV?<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � - fabian<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; &quot;&quot;<br>
&gt; � � � � � � � � <a href="http://www.ovirt.org/Features/GlusterFS_Storage_Domain" target="_blank">http://www.ovirt.org/Features/GlusterFS_Storage_Domain</a><br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � * option rpc-auth-allow-insecure on<br>
&gt; � � � � � � � � ==&gt; in<br>
&gt; � � � � � � � � &gt; � � � � glusterd.vol (ensure<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � u restart glusterd service... for<br>
&gt; � � � � � � � � this to take<br>
&gt; � � � � � � � � &gt; � � � � effect)<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � * volume set &lt;volname&gt;<br>
&gt; � � � � � � � � server.allow-insecure on ==&gt;<br>
&gt; � � � � � � � � &gt; � � � � (ensure u<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � stop and start the volume.. for<br>
&gt; � � � � � � � � this to take<br>
&gt; � � � � � � � � &gt; � � � � effect)&#39;&#39;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; Thanks!<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; On Wed, Dec 18, 2013 at 11:35 AM, Fabian<br>
&gt; � � � � � � � � Deutsch<br>
&gt; � � � � � � � � &gt; � � � � &lt;<a href="mailto:fabiand@redhat.com">fabiand@redhat.com</a>&gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; wrote:<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � Am Mittwoch, den 18.12.2013, 08:34<br>
&gt; � � � � � � � � +0200 schrieb<br>
&gt; � � � � � � � � &gt; � � � � Gabi C:<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt; Hello!<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt; In order to increase disk space<br>
&gt; � � � � � � � � I want to add a<br>
&gt; � � � � � � � � &gt; � � � � new disk<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � drive to<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt; ovirt node. After adding this<br>
&gt; � � � � � � � � should I proceed as<br>
&gt; � � � � � � � � &gt; � � � � &quot;normal&quot; -<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � pvcreate,<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt; vgcreate, lvcreate and so on -<br>
&gt; � � � � � � � � or these<br>
&gt; � � � � � � � � &gt; � � � � configuration will<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � not<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � &gt; persist?<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � Hey Gabi,<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � basically plain LVM is used in<br>
&gt; � � � � � � � � Node - so yes<br>
&gt; � � � � � � � � &gt; � � � � pvcreate and<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � lvextend can<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � be used.<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � What storage part do you want to<br>
&gt; � � � � � � � � extend? The part<br>
&gt; � � � � � � � � &gt; � � � � where the<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � VMs reside?<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � You will also need to take care to<br>
&gt; � � � � � � � � extend the<br>
&gt; � � � � � � � � &gt; � � � � filesystem.<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt; � � � � - fabian<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt; � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt; � � � � � � � � &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
<br>
</div></div></blockquote></div><br></div>