[Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

Приветствую.

Ввиду тормознутости software raid5, в коей я таки уверился лично ( ;-) ),
решил мигрировать на raid10 попробовать.

На freenode/#altlinux дали интересный совет с миграцией через дополнительный
pv. Данных не много, все lv вполне умещались на четвёртый hdd. Создал pv на
этом hdd, сделал pvmove... Вот тут возникла первая проблема. pvmove решил
попробовать сделать, не снимая нагрузки (всё тот же collectd), по большей
части в качестве эксперимента. Эксперимент показал, что так делать не надо,
так как LA взлетел до значения, которое я увидеть уже не смог: пришлось 
решать вопрос reset-ом. И вот тут сервер не загрузился. Нормальная загрузка
происходила так:

[    2.328880]  sdb: sdb1 sdb2 sdb3
[    2.329361] sd 1:0:0:0: [sdb] Attached SCSI disk
[    2.335849]  sdc: sdc1 sdc2 sdc3
[    2.336325] sd 2:0:0:0: [sdc] Attached SCSI disk
[    2.552317] md: Autodetecting RAID arrays.
[    2.552925] md: Scanned 3 and added 3 devices.
[    2.553039] md: autorun ...
[    2.553148] md: considering sdc3 ...

То есть, после цепляния sata-дисков запускался md. После reset во время работы
pvmove стало так:

[   18.543156]  sda: sda1 sda2 sda3
[   18.582260] sd 0:0:0:0: [sda] Attached SCSI disk
initrd: udev: Running lvm handler ...
  Couldn't find device with uuid 0B3Z3r-QeBp-Dve4-FFHE-9cGI-49P8-lXbLPF.
  Couldn't find device with uuid 0B3Z3r-QeBp-Dve4-FFHE-9cGI-49P8-lXbLPF.
  Refusing activation of partial LV root. Use --partial to override.
  Refusing activation of partial LV home. Use --partial to override.

md грузиться не пытался вообще. Сейчас обратил внимание на разные 
временные метки, видимо, это последствия включения вывода через serial
console.

При этом, из rescue (с Server-light 1.1.4) всё собиралось и монтировалось
без ошибок посредством mdadm --assemble /dev/md0 /dev/sd[abc]3
LVM, после этого, тоже поднимался нормально через vgchange -ay
Проблему так и не нашёл, ушел домой, подняв сеть. За вечер закончил
миграцию RAID5 -> RAID10, вот тут, может быть, не стоило торопиться
и делать при личном присутствии, проверяя возможность загрузки, ну уж
как вышло. С RAID10 загрузка в момент подключения дисков выглядит
иначе - md пытается собрать raid (initrd пересобран, raid10 там есть):

[   18.377916] sd 3:0:0:0: [sdd] Attached SCSI disk
[   18.670629]  sda: sda1 sda2 sda3
[   18.709564] sd 0:0:0:0: [sda] Attached SCSI disk
initrd: udev: Running md_run handler ...
[   18.950296] md: Autodetecting RAID arrays.
[   19.015096] md: invalid raid superblock magic on sdd3
[   19.092121] md: sdd3 does not have a valid v0.90 superblock, not importing!
[   19.186208] md: invalid raid superblock magic on sdc3
[   19.246684] md: sdc3 does not have a valid v0.90 superblock, not importing!
[   19.330331] md: invalid raid superblock magic on sdb3
[   19.390858] md: sdb3 does not have a valid v0.90 superblock, not importing!
[   19.474393] md: invalid raid superblock magic on sda3
[   19.534820] md: sda3 does not have a valid v0.90 superblock, not importing!
[   19.618078] md: Scanned 4 and added 0 devices.
[   19.671401] md: autorun ...DONE.

Из rescue, по-прежнему, всё собирается без ошибок. Вопрос: что ему
не нравится в суперблоке ? Если тот reset вчерашний что-то повредил,
ну так raid-то пересоздан, данные должны были обновиться... И почему
mdadm --assemble /dev/md0 /dev/sd[abcd]3 собирает массив без ругани ?

Сообщение про mdadm-3.2.1 видел, вот тоже думаю, уже поставить, или
пробовать пока решить проблему со старым mdadm...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Michael Shigorin]

On Fri, Apr 15, 2011 at 10:58:47AM +0400, Sergey wrote:
> На freenode/#altlinux дали интересный совет с миграцией через
> дополнительный pv. Данных не много, все lv вполне умещались на
> четвёртый hdd. Создал pv на этом hdd, сделал pvmove...

Я бы скорее вытаскивал диск из-под raid5 (--set-faulty),
потом сделал на нём обычную файловую систему, влил туда
всё нужное (rsync --bwlimit), потом сделал на трёх с missing'ом
дисках raid10, перелил туда данные и только потом добавлял этот
диск на место.  А при хоть какой-то возможности постарался бы
подцепить отдельный диск или NFS с соседа.

С боевой нагрузкой все эти махинации лучше не совмещать вообще.

> [   19.534820] md: sda3 does not have a valid v0.90 superblock, not importing!
> [   19.618078] md: Scanned 4 and added 0 devices.
> Из rescue, по-прежнему, всё собирается без ошибок. Вопрос: что ему
> не нравится в суперблоке ? Если тот reset вчерашний что-то повредил,
> ну так raid-то пересоздан, данные должны были обновиться... И почему
> mdadm --assemble /dev/md0 /dev/sd[abcd]3 собирает массив без ругани ?

md'шный суперблок в хвосте живёт -- может, ошмётки остались;
см. тж.:
mdadm --examine --scan
mdadm --detail /dev/md0 (после сборки)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

On Friday, April 15, 2011, Michael Shigorin wrote:

> Я бы скорее вытаскивал диск из-под raid5 (--set-faulty),

raid5 был на трёх.

> потом сделал на нём обычную файловую систему, влил туда
> всё нужное (rsync --bwlimit), потом сделал на трёх с missing'ом
> дисках raid10, перелил туда данные и только потом добавлял этот
> диск на место.  

По количеству hdd так и вышло, только на четвёртом был LVM. И raid10
так на трёх и делал, с missing'ом, и четвёртый потом добавлял.

> А при хоть какой-то возможности постарался бы
> подцепить отдельный диск или NFS с соседа.

На nfs всё было, конечно, слито предварительно. ;-) И за скорость
восстановления этого всего я не борюсь - пока, всё ещё, не важно.

> С боевой нагрузкой все эти махинации лучше не совмещать вообще.

Хотелось убедиться, пока эта боевая нагрузка тестовая сама по себе.

> > [   19.534820] md: sda3 does not have a valid v0.90 superblock, not importing!
> > [   19.618078] md: Scanned 4 and added 0 devices.
> > Из rescue, по-прежнему, всё собирается без ошибок. Вопрос: что ему
> > не нравится в суперблоке ? Если тот reset вчерашний что-то повредил,
> > ну так raid-то пересоздан, данные должны были обновиться... И почему
> > mdadm --assemble /dev/md0 /dev/sd[abcd]3 собирает массив без ругани ?
> 
> md'шный суперблок в хвосте живёт -- может, ошмётки остались;

Вообще-то, я вот так делал:

mdadm -S /dev/md0
mdadm --zero-superblock /dev/sd[abc]3
mdadm --create /dev/md0 --level=10 --raid-devices=4 /dev/sd[abc]3 missing

По идее, должно бы переделаться...

> см. тж.:
> mdadm --examine --scan
> mdadm --detail /dev/md0 (после сборки)

#  mdadm --examine --scan
ARRAY /dev/md/0 metadata=1.2 UUID=31a5db91:8126f2aa:dd58b766:777f8b1f name=localhost.localdomain:0

# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Fri Apr 15 01:52:37 2011
     Raid Level : raid10
     Array Size : 972280832 (927.24 GiB 995.62 GB)
  Used Dev Size : 486140416 (463.62 GiB 497.81 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Fri Apr 15 16:52:44 2011
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : near=2
     Chunk Size : 512K

           Name : localhost.localdomain:0  (local to host localhost.localdomain)
           UUID : 31a5db91:8126f2aa:dd58b766:777f8b1f
         Events : 145

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       19        1      active sync   /dev/sdb3
       2       8       35        2      active sync   /dev/sdc3
       4       8       51        3      active sync   /dev/sdd3

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

On Friday, April 15, 2011, Sergey wrote:

> [   18.709564] sd 0:0:0:0: [sda] Attached SCSI disk
> initrd: udev: Running md_run handler ...
> [   18.950296] md: Autodetecting RAID arrays.
> [   19.015096] md: invalid raid superblock magic on sdd3
> [   19.092121] md: sdd3 does not have a valid v0.90 superblock, not importing!
 
А через /etc/initrd.mk порядком загрузки модулей можно как-то управлять ?
Может raid10 тут не грузится банально ? Какой-нибудь PRELOAD = raid10...
Хотя именно PRELOAD я попробовал, то ли не помогло, то ли реакции нет.

В сам initrd попадает вот что:

Config file: /etc/initrd.mk
Generating module dependencies on host ...
Guessed modules: ahci crc-t10dif ext4 libahci libata raid10 scsi_mod sd_mod
Guessed features: add-modules cleanup compress devmapper lvm raid
Creating initrd image ...
<skip>
Packed modules: ahci crc-t10dif crc16 dm-mod ext4 jbd2 libahci libata mbcache raid10 scsi_mod sd_mod

Кстати, если попробовать старые ядра, где raid10 в initrd нет, то пишут
ровно то же самое - invalid raid superblock. Вчера же у них md тоже не
запускался, после ресет при pvmove в смысле.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Michael Shigorin]

On Fri, Apr 15, 2011 at 12:54:39PM +0400, Sergey wrote:
> > Я бы скорее вытаскивал диск из-под raid5 (--set-faulty),
> raid5 был на трёх.

Это уже деградированный или полный?  (RAID5 на 3HDD -- худший
его случай по скорости/надёжности, да и осмысленности тоже)

> # mdadm --detail /dev/md0
> /dev/md0:
>         Version : 1.2

Гм, при автодетекте ругалось на суперблок версии 0.90.
Почитай в mdadm(8), там про версии расписано -- какие где
жили, когда-то приходилось изрядно морочиться, чтоб надёжно
затереть суперблок.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

On Friday, April 15, 2011, Michael Shigorin wrote:

> Это уже деградированный или полный?  (RAID5 на 3HDD -- худший
> его случай по скорости/надёжности, да и осмысленности тоже)

Полный. А осмысленность одна - экономия места.

> > # mdadm --detail /dev/md0
> > /dev/md0:
> >         Version : 1.2
> 
> Гм, при автодетекте ругалось на суперблок версии 0.90.

Это, как раз, версия суперблока выводится ? А что же md тогда
0.90 ищет ? Вроде бы не старый, ядро 2.6.38.

> Почитай в mdadm(8), там про версии расписано -- какие где
> жили, когда-то приходилось изрядно морочиться, чтоб надёжно
> затереть суперблок.

Почитал, но толку мало. Нулями забить - не проблема, только на
четвёртый диск тоже ругается, а на нём RAID-ов не было раньше.
Процентов 99. Или попробовать таки забить по одному...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

On Friday, April 15, 2011, Sergey wrote:

> > > /dev/md0:
> > >         Version : 1.2
> > 
> > Гм, при автодетекте ругалось на суперблок версии 0.90.
> 
> Это, как раз, версия суперблока выводится ? А что же md тогда
> 0.90 ищет ? Вроде бы не старый, ядро 2.6.38.
 
Или, при загрузке, в принципе не поднимается ничего, кроме 0.90 ?!
А какой у меня на RAID5 был, я не помню. :-(

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft =?utf-8?b?IFJBSUQvTFZN?=, или миграция 5 -> 10

[Alex Moskalenko]

On Friday 15 April 2011 16:28:27 Sergey wrote:
> On Friday, April 15, 2011, Sergey wrote:
> > > > /dev/md0:
> > > >         Version : 1.2
> Или, при загрузке, в принципе не поднимается ничего, кроме 0.90 ?!
> А какой у меня на RAID5 был, я не помню. :-(

Здравствуйте!

Из man mdadm:
       --auto-detect
              Request that the kernel starts any auto-detected arrays.  This 
can only work if md is compiled into the kernel — not if it  is a  module.   
Arrays  can  be auto-detected by the kernel if all the components are in 
primary MS-DOS partitions with partition type FD, and all use v0.90 metadata.  
In-kernel autodetect is not recommended for new installations.  Using  mdadm  
to  detect and assemble arrays — possibly in an initrd — is substantially 
more flexible and should be preferred.

То есть, Вы правы, ядро может автоопределять только части массивов, 
находящиеся на дисках с таблицей разделов MS-DOS, на разделе с типом FD и 
метаданными версии 0.90. Остальное автоматически не определится и в массив не 
соберется.

Остается подождать, пока в make-initrd будет реализована поддержка mdadm (в 
планах она есть) - тогда можно будет собирать при загрузке любые типы 
массивов, поддерживаемые mdadm.

-- 
WBR, Alex Moskalenko

Re: [Sysadmins] [полтергейст] изучаю soft =?utf-8?b?IFJBSUQvTFZN?=, или миграция 5 -> 10

[Sergey]

On Friday, April 15, 2011, Alex Moskalenko wrote:

>               Request that the kernel starts any auto-detected arrays.
> This can only work if md is compiled into the kernel — not if it  is a 
> module. Arrays  can  be auto-detected by the kernel if all the components
> are in primary MS-DOS partitions with partition type FD, and all use v0.90
> metadata.  

Что-то я и до этого места не дочитал. Спасибо.

> Остается подождать, пока в make-initrd будет реализована поддержка mdadm (в 
> планах она есть) - тогда можно будет собирать при загрузке любые типы 
> массивов, поддерживаемые mdadm.

Вообще, FEATURE += raid уже можно написать в /etc/initrd.mk, но mdadm
там, действительно, не используется ещё...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Michael Shigorin]

On Fri, Apr 15, 2011 at 03:20:30PM +0400, Sergey wrote:
> > Это уже деградированный или полный?  (RAID5 на 3HDD -- худший
> > его случай по скорости/надёжности, да и осмысленности тоже)
> Полный. А осмысленность одна - экономия места.

Минимальная, притом диски быстрее записью убиваются...
RAID5 осмыслен от четырёх дисков и где-то до 10..16,
дальше нужен RAID6, поскольку чревато double fault
(вылетом второго "на очереди" диска под повышенной
нагрузкой при ребилде на замену или hotspare).

> > > # mdadm --detail /dev/md0
> > > /dev/md0:
> > >         Version : 1.2
> > Гм, при автодетекте ругалось на суперблок версии 0.90.
> Это, как раз, версия суперблока выводится ? А что же md тогда
> 0.90 ищет ? Вроде бы не старый, ядро 2.6.38.

Так сделать-то можно какой скажешь.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [полтергейст] изучаю soft RAID/LVM, или миграция 5 -> 10

[Sergey]

On Friday 15 April 2011, Michael Shigorin wrote:

> > Полный. А осмысленность одна - экономия места.
> 
> Минимальная, притом диски быстрее записью убиваются...

Я пока не видел гарантированного убивания. Лет за 13. Но софтраид
у меня первый. Хотя и raid5 на трёх первый тоже...

> RAID5 осмыслен от четырёх дисков и где-то до 10..16, дальше нужен
> RAID6, поскольку чревато double fault (вылетом второго "на очереди"
> диска под повышенной нагрузкой при ребилде на замену или hotspare).

В общем-то, тоже ни разу не встречал, хотя, в теории, вероятность
есть. Кстати, есть и способ борьбы - диски из разных партий. И ещё
в плюс - менять часть иногда. Тогда время наработки разное будет,
и вероятность одновременного отвала уменьшается. Заменённые можно
в тумбочку сложить, потом поставить, в своё время.

> > > Гм, при автодетекте ругалось на суперблок версии 0.90.

> > Это, как раз, версия суперблока выводится ? А что же md тогда
> > 0.90 ищет ? Вроде бы не старый, ядро 2.6.38.
> 
> Так сделать-то можно какой скажешь.

Это понятно. Кстати, сделал 0.90, поднялось всё. Только вот почему
у md автоопределения для суперблоков других версий делать не стали...

-- 
С уважением, Сергей
a_s_y@sama.ru