[Comm] Выпал диск из RAID1

[Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

Здравствуйте!

Обнаружил, что 2-й диск выпал из массива:

# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sda2[0]
       4192896 blocks [2/1] [U_]

md2 : active raid1 sda5[0]
       10490304 blocks [2/1] [U_]

md3 : active raid1 sda6[0]
       13309696 blocks [2/1] [U_]

md4 : active raid1 sda7[0]
       11068672 blocks [2/1] [U_]

md0 : active raid1 sda1[0]
       955712 blocks [2/1] [U_]

Физически диск присутствует, во всяком случае fdisk про него всё 
рассказывает, smartctl явных ошибок не даёт. Пытаюсь
# mdadm --re-add /dev/md0 /dev/sdb1
mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible

После попытки остановки-запуска в логе:
md: kicking non-fresh sdb1 from array!
md: unbind<sdb1>
md: export_rdev(sdb1)
md/raid1:md0: active with 1 out of 2 mirrors

Как убедиться не выключая, что это именно железо?

В принципе, если менять диск, то хочу поменять диски на побольше, но тогда 
заодно надо бы по-другому переразбить, причём практически все разделы (как 
минимум 3 из 5). Буду признателен за подробный алгоритм. Ссылок про это 
есть много, но я не совсем понимаю, как делать grow последовательно для 
нескольких разделов. Компьютер во время этого процесса могу 
включить-выключить неограниченное раз так, что необязательно упираться в 
работу "по-горячему".

-- 
	С уважением,
		Владимир.

Re: [Comm] Выпал диск из RAID1

[Michael Shigorin]

On Fri, Apr 20, 2012 at 02:42:10PM +0400, Vladimir Karpinsky wrote:
> Физически диск присутствует, во всяком случае fdisk про него
> всё рассказывает, smartctl явных ошибок не даёт.

Всё-таки настораживает, стоит прогнать smartctl -t long

> # mdadm --re-add /dev/md0 /dev/sdb1
> mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible

В dmesg подробностей нет часом?  Что-то не помню такого.

> Как убедиться не выключая, что это именно железо?

Возможно, неконтакт по шлейфу ещё.

> В принципе, если менять диск, то хочу поменять диски на
> побольше, но тогда заодно надо бы по-другому переразбить,
> причём практически все разделы (как минимум 3 из 5). Буду
> признателен за подробный алгоритм. Ссылок про это есть много,
> но я не совсем понимаю, как делать grow последовательно для
> нескольких разделов. Компьютер во время этого процесса могу
> включить-выключить неограниченное раз так, что необязательно
> упираться в работу "по-горячему".

Я бы при возможности отключил эти диски, засунул новые,
стоя на rescue побил и собрал в массив как требуется,
затем подключил исходные диски (которые окажутся каким-нить
md127), посмотрел параметры ФС, сделал сообразно ФС на новых
и синхронизировал, после чего chroot и установка загрузчика.

Это не минимум даунтайма, а скорее минимум чего в голове держать:
при сборке нового массива при загрузке со старого как минимум
может понадобиться исправление /etc/fstab (/etc/mdadm.conf
в любом разе стоит перепроверить либо просто перегенерировать
при помощи mdadm --examine --scan).  Если монтируется по UUID
или LABEL, то у двух ФС после синхронизации по крайней мере
LABEL может оказаться тем же (при клонировании дисков в случае
нерасширения можно поймать ещё и неоднозначность UUID).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

20.04.2012 15:25, Michael Shigorin написал:
> On Fri, Apr 20, 2012 at 02:42:10PM +0400, Vladimir Karpinsky wrote:
>> Физически диск присутствует, во всяком случае fdisk про него
>> всё рассказывает, smartctl явных ошибок не даёт.
>
> Всё-таки настораживает, стоит прогнать smartctl -t long
>
>> # mdadm --re-add /dev/md0 /dev/sdb1
>> mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible
>
> В dmesg подробностей нет часом?  Что-то не помню такого.

Есть такое странное:
...
[    8.222185] md: sdb5 has different UUID to sdb2
[    8.224684] md: sdb6 has different UUID to sdb2
[    8.227172] md: sdb7 has different UUID to sdb2
[    8.229636] md: md1 already running, cannot run sdb2
[    8.232176] md: export_rdev(sdb2)
[    8.234735] md: considering sdb5 ...
[    8.237308] md:  adding sdb5 ...
[    8.239828] md: sdb6 has different UUID to sdb5
[    8.242385] md: sdb7 has different UUID to sdb5
[    8.244898] md: md2 already running, cannot run sdb5
и т.п.

Совсем не понимаю --- почему сравниваются UUID разных разделов, да и, 
вообще, причём здесь UUID...

>> В принципе, если менять диск, то хочу поменять диски на
>> побольше, но тогда заодно надо бы по-другому переразбить,
>> причём практически все разделы (как минимум 3 из 5). Буду
>> признателен за подробный алгоритм. Ссылок про это есть много,
>> но я не совсем понимаю, как делать grow последовательно для
>> нескольких разделов. Компьютер во время этого процесса могу
>> включить-выключить неограниченное раз так, что необязательно
>> упираться в работу "по-горячему".
>
> Я бы при возможности отключил эти диски, засунул новые,
> стоя на rescue побил и собрал в массив как требуется,
> затем подключил исходные диски (которые окажутся каким-нить
> md127), посмотрел параметры ФС, сделал сообразно ФС на новых
> и синхронизировал, после чего chroot и установка загрузчика.

Пока не понял. Себе я представлял примерно так:

1. Пусть у меня уже есть новые диски, разбитые по-новому, для простоты с 
такими же ФС.

2. Загружаюсь с rescue/live, установив по одному диску из новой и старой 
пары. Копирую разделы один в один --- тут бы с ключами не промахнуться 
чтобы линки не попортились.

3. chroot на новый диск. Правлю UUID в /etc/mdadm.conf.

4. Устанавливаю загрузчик на новый диск.

5. Перегружаюсь с обоими новыми дисками и добавляю sdb? к массиву.

6. Установка загрузчика на второй диск.

> Это не минимум даунтайма, а скорее минимум чего в голове держать:

Это для меня --- в голове и так не всё помещается ;-)

-- 
	С уважением,
		Владимир.

Re: [Comm] Выпал диск из RAID1

[Michael Shigorin]

On Fri, Apr 20, 2012 at 06:53:55PM +0400, Vladimir Karpinsky wrote:
> 1. Пусть у меня уже есть новые диски, разбитые по-новому, для
> простоты с такими же ФС.

Кстати, да -- так меньше мороки с fstab.  Но если на старых ext3,
а ядро не ниже 2.6.30 (лучше 2.6.32+) -- может быть сильно
полезно для производительности под нагрузкой переехать заодно
на ext4.  Если неохота перегенерировать initrd, то корень можно
оставить и на ext3.

> 2. Загружаюсь с rescue/live, установив по одному диску из новой
> и старой пары. Копирую разделы один в один --- тут бы с ключами
> не промахнуться чтобы линки не попортились.

Эээ... в смысле не разделы (dd), а ФС (rsync), так?

Ключи -- rsync -PavHx /path/to/source/ /path/to/dest/;
можно и cp -ax, но rsync заметно удобней (можно перезапустить,
добавить --exclude и т.п.).  Не забудьте trailing slashes.

> 3. chroot на новый диск. Правлю UUID в /etc/mdadm.conf.

Проще пересканировать mdadm и проверить глазами.

> 5. Перегружаюсь с обоими новыми дисками и добавляю sdb? к массиву.

Можно и так, хотя я бы сразу собирал не-degraded array.
И кстати, тогда уж по оказии сделал mdadm -G /dev/md? -b internal
(см. man mdadm про write intent bitmaps; спасибо mrkooll@ за
когдашнюю подсказку).

> >Это не минимум даунтайма, а скорее минимум чего в голове держать:
> Это для меня --- в голове и так не всё помещается ;-)

Отчасти и для Вас, а вообще-то сам тоже порой так делаю :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

21.04.2012 0:32, Michael Shigorin написал:
> On Fri, Apr 20, 2012 at 06:53:55PM +0400, Vladimir Karpinsky wrote:
>> 1. Пусть у меня уже есть новые диски, разбитые по-новому, для
>> простоты с такими же ФС.
>
> Кстати, да -- так меньше мороки с fstab.  Но если на старых ext3,
> а ядро не ниже 2.6.30 (лучше 2.6.32+) -- может быть сильно
> полезно для производительности под нагрузкой переехать заодно
> на ext4.  Если неохота перегенерировать initrd, то корень можно
> оставить и на ext3.

Ядро 3.0.17, нагрузка там небольшая, но имеет смысл.

>> 2. Загружаюсь с rescue/live, установив по одному диску из новой
>> и старой пары. Копирую разделы один в один --- тут бы с ключами
>> не промахнуться чтобы линки не попортились.
>
> Эээ... в смысле не разделы (dd), а ФС (rsync), так?

Я вообще-то имел ввиду cp, опять про rsync забыл.

> Ключи -- rsync -PavHx /path/to/source/ /path/to/dest/;
> можно и cp -ax, но rsync заметно удобней (можно перезапустить,
> добавить --exclude и т.п.).  Не забудьте trailing slashes.
>
>> 3. chroot на новый диск. Правлю UUID в /etc/mdadm.conf.
>
> Проще пересканировать mdadm и проверить глазами.

Я примерно это и имел ввиду.

>> 5. Перегружаюсь с обоими новыми дисками и добавляю sdb? к массиву.

> Можно и так, хотя я бы сразу собирал не-degraded array.
> И кстати, тогда уж по оказии сделал mdadm -G /dev/md? -b internal
> (см. man mdadm про write intent bitmaps; спасибо mrkooll@ за
> когдашнюю подсказку).

Почитаю...

А что происходит с моим массивом совсем непонятно? Хотя бы на будущее...

-- 
	С уважением,
		Владимир.

Re: [Comm] Выпал диск из RAID1

[Michael Shigorin]

On Sat, Apr 21, 2012 at 12:58:02AM +0400, Vladimir Karpinsky wrote:
> А что происходит с моим массивом совсем непонятно? Хотя бы на будущее...

Посмотрите вывод mdadm --examine /dev/sdb1, что там с суперблоком
и есть ли он ещё вообще.

>>> # mdadm --re-add /dev/md0 /dev/sdb1
>>> mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible

--add аналогично?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

21.04.2012 2:41, Michael Shigorin написал:
> On Sat, Apr 21, 2012 at 12:58:02AM +0400, Vladimir Karpinsky wrote:
>> А что происходит с моим массивом совсем непонятно? Хотя бы на будущее...
>
> Посмотрите вывод mdadm --examine /dev/sdb1, что там с суперблоком
> и есть ли он ещё вообще.

# mdadm --examine /dev/sdb1
/dev/sdb1:
           Magic : a92b4efc
         Version : 0.90.00
            UUID : 2b0784e0:d2c8b336:33a55beb:3bd231fc
   Creation Time : Wed Jan 27 17:09:36 2010
      Raid Level : raid1
   Used Dev Size : 955712 (933.47 MiB 978.65 MB)
      Array Size : 955712 (933.47 MiB 978.65 MB)
    Raid Devices : 2
   Total Devices : 2
Preferred Minor : 0

     Update Time : Sat Jan 28 10:04:01 2012
           State : clean
  Active Devices : 2
Working Devices : 2
  Failed Devices : 0
   Spare Devices : 0
        Checksum : b1058815 - correct
          Events : 538


       Number   Major   Minor   RaidDevice State
this     1       8       17        1      active sync   /dev/sdb1

    0     0       8        1        0      active sync   /dev/sda1
    1     1       8       17        1      active sync   /dev/sdb1


>>>> # mdadm --re-add /dev/md0 /dev/sdb1
>>>> mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible
>
> --add аналогично?

Да.

# mdadm --add /dev/md0 /dev/sdb1
mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a 
--re-add fails.
mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.

-- 
	С уважением,
		Владимир.

Re: [Comm] Выпал диск из RAID1

[Michael Shigorin]

On Sat, Apr 21, 2012 at 08:20:46AM +0400, Vladimir Karpinsky wrote:
> >>>>mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible
> >--add аналогично?
> Да.

Не совсем.

> # mdadm --add /dev/md0 /dev/sdb1
> mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a 
> --re-add fails.
> mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
> mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.

А, ну так сперва --remove его тогда.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

21.04.2012 16:39, Michael Shigorin написал:
> On Sat, Apr 21, 2012 at 08:20:46AM +0400, Vladimir Karpinsky wrote:
>>>>>> mdadm: --re-add for /dev/sdb1 to /dev/md0 is not possible
>>> --add аналогично?
>> Да.
>
> Не совсем.
>
>> # mdadm --add /dev/md0 /dev/sdb1
>> mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a
>> --re-add fails.
>> mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
>> mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.
>
> А, ну так сперва --remove его тогда.

# mdadm --remove /dev/md0 /dev/sdb1
mdadm: hot remove failed for /dev/sdb1: No such device or address
# mdadm --add /dev/md0 /dev/sdb1
mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a 
--re-add fails.
mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.

В /var/log/meesages и dmesg за это время только:

Apr 21 22:00:10 plkv kernel: [103627.887576] md: export_rdev(sdb1)

-- 
	С уважением,
		Владимир.

Re: [Comm] Выпал диск из RAID1

[Michael Shigorin]

On Sat, Apr 21, 2012 at 10:02:26PM +0400, Vladimir Karpinsky wrote:
> >А, ну так сперва --remove его тогда.
> # mdadm --remove /dev/md0 /dev/sdb1
> mdadm: hot remove failed for /dev/sdb1: No such device or address

Что сейчас в /proc/mdstat?

> # mdadm --add /dev/md0 /dev/sdb1
> mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a 
> --re-add fails.
> mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
> mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.

А если действительно снести на нём суперблок и добавлять заново?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Выпал диск из RAID1

[Vladimir Karpinsky]

22.04.2012 0:22, Michael Shigorin написал:
> On Sat, Apr 21, 2012 at 10:02:26PM +0400, Vladimir Karpinsky wrote:
>>> А, ну так сперва --remove его тогда.
>> # mdadm --remove /dev/md0 /dev/sdb1
>> mdadm: hot remove failed for /dev/sdb1: No such device or address
>
> Что сейчас в /proc/mdstat?

То же:

...
md0 : active raid1 sda1[0]
       955712 blocks [2/1] [U_]
...

>> # mdadm --add /dev/md0 /dev/sdb1
>> mdadm: /dev/sdb1 reports being an active member for /dev/md0, but a
>> --re-add fails.
>> mdadm: not performing --add as that would convert /dev/sdb1 in to a spare.
>> mdadm: To make this a spare, use "mdadm --zero-superblock /dev/sdb1" first.
>
> А если действительно снести на нём суперблок и добавлять заново?

А, ведь, после сноса суперблока действительно всё добавилось! А что могло 
быть причиной такого выпадения?

-- 
	С уважением,
		Владимир.