[Comm] root raid on Master 2.2

[Comm] root raid on Master 2.2

[Grigory Batalov]

  Господа, как правильно организовать software raid с загрузкой
с оного в Master 2.2 ?

  Я перечитал дискуссию "root raid" в community@ и "software
raid" в kernel-devel@ и не нашёл готового рецепта (без миграции
на Сизиф). Поэтому опишу свои настройки; если появятся комментарии,
буду признателен.

  Имеются:
- 5 SCSI дисков
- корзина hot-swap для них
- работающая инсталляция Master 2.2 на /dev/hda

  Было решено создать RAID-5 на 4-х дисках плюс spare на пятом.
В некоторых источниках упоминается, что lilo может грузиться
с RAID-1, поэтому /boot сделан зеркальным.

$ cat /etc/raidtab
raiddev /dev/md0
        raid-level      5
        nr-raid-disks   4
        nr-spare-disks  1
        persistent-superblock   1
        parity-algorithm        left-symmetric
        chunk-size              32
        device                  /dev/sdb2
        raid-disk               0
        device                  /dev/sdc2
        raid-disk               1
        device                  /dev/sdd2
        raid-disk               2
        device                  /dev/sde2
        raid-disk               3
        device                  /dev/sda2
        spare-disk              0

raiddev /dev/md1
        raid-level      5
        nr-raid-disks   4
        nr-spare-disks  1
        persistent-superblock   1
        parity-algorithm        left-symmetric
        chunk-size              32
        device                  /dev/sdb3
        raid-disk               0
        device                  /dev/sdc3
        raid-disk               1
        device                  /dev/sdd3
        raid-disk               2
        device                  /dev/sde3
        raid-disk               3
        device                  /dev/sda3
        spare-disk              0

raiddev /dev/md2
        raid-level      1
        nr-raid-disks   4
        nr-spare-disks  1
        persistent-superblock   1
        chunk-size              32
        device                  /dev/sdb1
        raid-disk               0
        device                  /dev/sdc1
        raid-disk               1
        device                  /dev/sdd1
        raid-disk               2
        device                  /dev/sde1
        raid-disk               3
        device                  /dev/sda1
        spare-disk              0

Для копирования таблиц разделов использовался sfdisk:

$ sudo sfdisk -d /dev/sda
Password:
# partition table of /dev/sda
unit: sectors

/dev/sda1 : start=       63, size=  2056257, Id=fd
/dev/sda2 : start=  2056320, size= 20482875, Id=fd
/dev/sda3 : start= 22539195, size= 49142835, Id=fd
/dev/sda4 : start=        0, size=        0, Id= 0

$ sudo sfdisk -d /dev/sda > table.sda
$ sudo sfdisk /dev/sdb < table.sda
...
$ sudo sfdisk /dev/sde < table.sda

Создание массивов:

$ sudo mkraid /dev/md0
$ sudo mkraid /dev/md1
$ sudo mkraid /dev/md2

md0 - корневой, md1 - /var, md2 - /boot

md* были подмонтированы в /mnt/disk и на них сброшена
работающая версия Master 2.2

Далее отредактированы /mnt/disk/etc/{fstab,lilo.conf}

$ cat /etc/fstab
/dev/md0 / reiserfs notail 1 1
/dev/md2 /boot reiserfs notail 1 2
devpts /dev/pts devpts gid=5,mode=0620 0 0
/dev/cdrom /mnt/cdrom auto user,iocharset=koi8-r,exec,ro,noauto 0 0
/dev/floppy /mnt/floppy auto user,noauto 0 0
proc /proc proc gid=19 0 0
/dev/md1 /var reiserfs notail 1 2

$ sudo cat /etc/lilo.conf
disk=/dev/md0
partition=/dev/md2
boot=/dev/md2
map=/boot/map
install=/boot/boot-bmp.b
vga=normal
default=2420-alt10-smp
lba32
prompt
timeout=50
image=/boot/vmlinuz-up
        label=failsafe
        root=/dev/md0
        initrd=/boot/initrd-up.img
        append=" failsafe"
        vga=normal
        read-only
other=/dev/fd0
        label=floppy
        unsafe

image=/boot/vmlinuz-2.4.20-alt10-up
        label=2420-alt10-up
        root=/dev/md0
        read-only
        optional
        vga=normal
        append=" "
        initrd=/boot/initrd-2.4.20-alt10-up.img

image=/boot/vmlinuz-2.4.20-alt10-smp
        label=2420-alt10-smp
        root=/dev/md0
        read-only
        optional
        vga=normal
        append=" "
        initrd=/boot/initrd-2.4.20-alt10-smp.img

Про disk=? и partition=? вычитано здесь:
http://www.tldp.org/HOWTO/Boot+Root+Raid+LILO-3.html#ss3.1
Не уверен, насколько это правильно или необходимо.
Затем было сказано 'lilo -r /mnt/disk'.

initrd для загрузки создавался по мотивам
http://www.atmsk.ru/index.php?option=faq&task=viewfaq&artid=163

Использовалась команда:
$ sudo mkinitrd --with raid5 --with raid1 --pause initrd-2.4.20-alt10-smp.img 2.4.20-alt10-smp

Для создания дискеты:
$ sudo mkbootdisk --mkinitrdargs '--with raid1 --with raid5 --pause' 2.4.20-alt10-smp

Во время паузы и ожидания нажатия ENTER в указанную директорию
initrd были скопированы:

/dev/md{0,1,2}
/dev/sd{a,b,c,d,e}{,1,2,3}
/etc/raidtab
/sbin/raidstart

В linuxrc дописано:
/sbin/raidstart /dev/md0 /dev/md1 /dev/md2

Raidstart в данном случае собирался статически, что позволило
обойтись без динамических библиотек и уместить initrd на дискету.
Для пересборки был взят raidtools-0.90-ipl11mdk.src.rpm.
В specfile добавлено '-static':
...
CFLAGS="$RPM_OPT_FLAGS -static" CXXFLAGS="$RPM_OPT_FLAGS" LDFLAGS="-static" ./autogen.sh
...

Бинарник получается после 
$ rpmbuild -bi --target i586 raidtools.spec
в директории ~/tmp/raidtools-buildroot/sbin.


Несмотря на вышеизложенные действия (где была ошибка?),
загрузиться со SCSI не удалось. Не оказалось загрузочной
записи. Поэтому, загрузились с дискеты и сказали поочерёдно
$ sudo lilo -b /dev/sda
...
$ sudo lilo -b /dev/sde
После чего стало возможно загружаться сразу с дисков.

При сбое одного из дисков в массиве предполагается сделать:
$ sudo raidhotremove /dev/md0 /dev/sdN
$ sudo raidhotremove /dev/md1 /dev/sdN
$ sudo raidhotremove /dev/md2 /dev/sdN
<заменить диск N>
$ sudo sfdisk -d /dev/sda > table.sda
$ sudo sfdisk /dev/sdN < table.sda
$ sudo raidhotadd /dev/md0 /dev/sdN
$ sudo raidhotadd /dev/md1 /dev/sdN
$ sudo raidhotadd /dev/md2 /dev/sdN
$ sudo lilo -b /dev/sdN

Вопросы:

1. Как реагировать на сообщения типа:

md: invalid raid superblock magic on md2
md: md2 has invalid sb, not importing!
(ругается на все md*)

2. Чем чревато, что при перезагрузке не размонтируется md0
   по причине busy, хотя md2 и md1 были только что успешно
   размонтированы, и как с этим бороться?

3. Есть ли какая-нибудь утилитка, следящая за шиной SCSI и
   рассылающая письма или мигающая лампочками при сбое диска?

-- 
Григорий Баталов,
группа техподдержки
ОАО "Ковдорский ГОК"

Re: [Comm] root raid on Master 2.2

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 3718 bytes --]

On Thu, Nov 06, 2003 at 10:36:54AM +0300, Grigory Batalov wrote:
[skip] 
> initrd для загрузки создавался по мотивам
> http://www.atmsk.ru/index.php?option=faq&task=viewfaq&artid=163
> 
> Использовалась команда:
> $ sudo mkinitrd --with raid5 --with raid1 --pause initrd-2.4.20-alt10-smp.img 2.4.20-alt10-smp
> 
> Для создания дискеты:
> $ sudo mkbootdisk --mkinitrdargs '--with raid1 --with raid5 --pause' 2.4.20-alt10-smp
> 
> Во время паузы и ожидания нажатия ENTER в указанную директорию
> initrd были скопированы:
> 
> /dev/md{0,1,2}
> /dev/sd{a,b,c,d,e}{,1,2,3}
> /etc/raidtab
> /sbin/raidstart
> 
> В linuxrc дописано:
> /sbin/raidstart /dev/md0 /dev/md1 /dev/md2

При таком способе RAID не запустится, если исчезнет первое
устройство, прописанное в raidtab для массива.  Дело в том, что
raidstart фактически использует только первую запись, а остальные
разделы находит само ядро, используя данные из суперблока RAID с
этого устройства.

Для SCSI это не так критично - при исчезновении устройств произойдёт
перенумерация.  Проблема возникнет только в случае, когда само
устройство доступно, но суперблок RAID прочитать не удаётся.  А вот
в случае IDE при отсутствии первого диска система не загрузится.

В mkinitrd из Сизифа используется другой способ запуска RAID - через
ioctl RAID_AUTORUN; в этом случае не нужно указывать устройства -
используется информация, собранная ядром при распознавании
RAID-разделов.  Можно поставить этот mkintrd на Master 2.2 - там нет
лишних зависимостей.  С ядром из Master 2.2 этот способ работает -
только не используйте /dev/md255 (в той версии ядра есть ошибка -
нельзя вызывать RAID_AUTORUN через то устройство md, которое потом
будет использоваться).

> Raidstart в данном случае собирался статически, что позволило
> обойтись без динамических библиотек и уместить initrd на дискету.
> Для пересборки был взят raidtools-0.90-ipl11mdk.src.rpm.
> В specfile добавлено '-static':
> ...
> CFLAGS="$RPM_OPT_FLAGS -static" CXXFLAGS="$RPM_OPT_FLAGS" LDFLAGS="-static" ./autogen.sh
> ...
> 
> Бинарник получается после 
> $ rpmbuild -bi --target i586 raidtools.spec
> в директории ~/tmp/raidtools-buildroot/sbin.
> 
> 
> Несмотря на вышеизложенные действия (где была ошибка?),
> загрузиться со SCSI не удалось. Не оказалось загрузочной
> записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> $ sudo lilo -b /dev/sda
> ...
> $ sudo lilo -b /dev/sde
> После чего стало возможно загружаться сразу с дисков.
> 
> При сбое одного из дисков в массиве предполагается сделать:
> $ sudo raidhotremove /dev/md0 /dev/sdN
> $ sudo raidhotremove /dev/md1 /dev/sdN
> $ sudo raidhotremove /dev/md2 /dev/sdN
> <заменить диск N>
> $ sudo sfdisk -d /dev/sda > table.sda
> $ sudo sfdisk /dev/sdN < table.sda
> $ sudo raidhotadd /dev/md0 /dev/sdN
> $ sudo raidhotadd /dev/md1 /dev/sdN
> $ sudo raidhotadd /dev/md2 /dev/sdN
> $ sudo lilo -b /dev/sdN
> 
> Вопросы:
> 
> 1. Как реагировать на сообщения типа:
> 
> md: invalid raid superblock magic on md2
> md: md2 has invalid sb, not importing!
> (ругается на все md*)

Игнорировать.  Это попытка найти вложенный RAID (например, RAID0, а
внутри - RAID1).

> 2. Чем чревато, что при перезагрузке не размонтируется md0
>    по причине busy, хотя md2 и md1 были только что успешно
>    размонтированы, и как с этим бороться?

Бороться с этим бесполезно - на md0 лежит корневая ФС.  Ничего
страшного в этом нет - ядро при завершении работы автоматически
выполняет останов RAID.

> 3. Есть ли какая-нибудь утилитка, следящая за шиной SCSI и
>    рассылающая письма или мигающая лампочками при сбое диска?

smartmontools (есть в Сизифе, только там initscript новый... надо бы
сделать, как в apache) умеет работать в том числе и со
SCSI-устройствами.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] root raid on Master 2.2

[Grigory Batalov]

On Thu, 6 Nov 2003 11:22:10 +0300
Sergey Vlasov <vsu@altlinux.ru> wrote:

> В mkinitrd из Сизифа используется другой способ запуска RAID - через
> ioctl RAID_AUTORUN; в этом случае не нужно указывать устройства -
> используется информация, собранная ядром при распознавании
> RAID-разделов.  Можно поставить этот mkintrd на Master 2.2 - там нет
> лишних зависимостей.  С ядром из Master 2.2 этот способ работает -
> только не используйте /dev/md255 (в той версии ядра есть ошибка -
> нельзя вызывать RAID_AUTORUN через то устройство md, которое потом
> будет использоваться).

  Спасибо, так работает без "хаканья".

> > Несмотря на вышеизложенные действия (где была ошибка?),
> > загрузиться со SCSI не удалось. Не оказалось загрузочной
> > записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> > $ sudo lilo -b /dev/sda
> > ...
> > $ sudo lilo -b /dev/sde
> > После чего стало возможно загружаться сразу с дисков.

  Как насчёт lilo?
  "lilo -b /dev/md2" не прописывает загрузчик на диски?

-- 
Григорий Баталов,
группа техподдержки
ОАО "Ковдорский ГОК"

Re: [Comm] root raid on Master 2.2

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1179 bytes --]

On Thu, Nov 06, 2003 at 12:28:32PM +0300, Grigory Batalov wrote:
> > > Несмотря на вышеизложенные действия (где была ошибка?),
> > > загрузиться со SCSI не удалось. Не оказалось загрузочной
> > > записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> > > $ sudo lilo -b /dev/sda
> > > ...
> > > $ sudo lilo -b /dev/sde
> > > После чего стало возможно загружаться сразу с дисков.
> 
>   Как насчёт lilo?
>   "lilo -b /dev/md2" не прописывает загрузчик на диски?

Скорее, дело в том, что fdisk (и, вероятно, sfdisk тоже) не прописывает в
MBR код для передачи управления загрузочному сектору из активного раздела.
parted при mklabel это делать умеет, но путём затирания всей таблицы
разделов.  Ещё, возможно, не указан активный раздел.

В принципе можно сделать raid-extra-boot=mbr-only (хотя делать это и не
рекомендуется).  Или можно прописать в MBR только код загрузки, не трогая
таблицу разделов:

  lilo -M /dev/sda

(можно сначала попробовать с -tv, чтобы посмотреть, что будет делаться).

Кстати, disk и partition в lilo.conf в вашем случае - это что-то
непонятное (disk используется для указания номеров для BIOS, partition -
для правки типов разделов при загрузке).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] root raid on Master 2.2

[Aleksey Avdeev]

Grigory Batalov пишет:
>   Господа, как правильно организовать software raid с загрузкой
> с оного в Master 2.2 ?
> 
>   Я перечитал дискуссию "root raid" в community@ и "software
> raid" в kernel-devel@ и не нашёл готового рецепта (без миграции
> на Сизиф). Поэтому опишу свои настройки; если появятся комментарии,
> буду признателен.
> 
>   Имеются:
> - 5 SCSI дисков
> - корзина hot-swap для них
> - работающая инсталляция Master 2.2 на /dev/hda
> 
>   Было решено создать RAID-5 на 4-х дисках плюс spare на пятом.
> В некоторых источниках упоминается, что lilo может грузиться
> с RAID-1, поэтому /boot сделан зеркальным.
> 

...

> 
> initrd для загрузки создавался по мотивам
> http://www.atmsk.ru/index.php?option=faq&task=viewfaq&artid=163

   Спасибо. Рад, что пригодилось. :-))

> 
> Использовалась команда:
> $ sudo mkinitrd --with raid5 --with raid1 --pause initrd-2.4.20-alt10-smp.img 2.4.20-alt10-smp
> 
> Для создания дискеты:
> $ sudo mkbootdisk --mkinitrdargs '--with raid1 --with raid5 --pause' 2.4.20-alt10-smp
> 
> Во время паузы и ожидания нажатия ENTER в указанную директорию
> initrd были скопированы:
> 
> /dev/md{0,1,2}
> /dev/sd{a,b,c,d,e}{,1,2,3}
> /etc/raidtab
> /sbin/raidstart
> 
> В linuxrc дописано:
> /sbin/raidstart /dev/md0 /dev/md1 /dev/md2
> 
> Raidstart в данном случае собирался статически, что позволило
> обойтись без динамических библиотек и уместить initrd на дискету.
> Для пересборки был взят raidtools-0.90-ipl11mdk.src.rpm.
> В specfile добавлено '-static':
> ...
> CFLAGS="$RPM_OPT_FLAGS -static" CXXFLAGS="$RPM_OPT_FLAGS" LDFLAGS="-static" ./autogen.sh
> ...
> 
> Бинарник получается после 
> $ rpmbuild -bi --target i586 raidtools.spec
> в директории ~/tmp/raidtools-buildroot/sbin.
> 
> 
> Несмотря на вышеизложенные действия (где была ошибка?),
> загрузиться со SCSI не удалось. Не оказалось загрузочной
> записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> $ sudo lilo -b /dev/sda
> ...
> $ sudo lilo -b /dev/sde
> После чего стало возможно загружаться сразу с дисков.

   Не стал на эти грабли, т. к. у меня оба диска были 
загрузочными _до_ экспериментов с raid.

   Спасибо за информацию: дополню FAQ.

> 
> При сбое одного из дисков в массиве предполагается сделать:
> $ sudo raidhotremove /dev/md0 /dev/sdN
> $ sudo raidhotremove /dev/md1 /dev/sdN
> $ sudo raidhotremove /dev/md2 /dev/sdN
> <заменить диск N>
> $ sudo sfdisk -d /dev/sda > table.sda
> $ sudo sfdisk /dev/sdN < table.sda
> $ sudo raidhotadd /dev/md0 /dev/sdN
> $ sudo raidhotadd /dev/md1 /dev/sdN
> $ sudo raidhotadd /dev/md2 /dev/sdN
> $ sudo lilo -b /dev/sdN
> 
> Вопросы:
> 
> 1. Как реагировать на сообщения типа:
> 
> md: invalid raid superblock magic on md2
> md: md2 has invalid sb, not importing!
> (ругается на все md*)

   Не реагировать - ругается autoraid (название я скорее всего 
переврал) вкомпилённый в ядро: он отрабатывает _до_ загрузки 
модулей из initrd (помоему, и до его _чтения_).

> 
> 2. Чем чревато, что при перезагрузке не размонтируется md0
>    по причине busy, хотя md2 и md1 были только что успешно
>    размонтированы, и как с этим бороться?

   Незнаю. :-( Данный девайс используется корневой ФС и я незнаю 
как её от монтировать. Но не замечал, что то-то при этом ломается.

> 
> 3. Есть ли какая-нибудь утилитка, следящая за шиной SCSI и
>    рассылающая письма или мигающая лампочками при сбое диска?
> 

-- 

С уважением. Алексей.

Re: [Comm] root raid on Master 2.2

[Grigory Batalov]

On Thu, 6 Nov 2003 13:18:01 +0300
Sergey Vlasov <vsu@altlinux.ru> wrote:

> > > > Несмотря на вышеизложенные действия (где была ошибка?),
> > > > загрузиться со SCSI не удалось. Не оказалось загрузочной
> > > > записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> > > > $ sudo lilo -b /dev/sda
> > > > ...
> > > > $ sudo lilo -b /dev/sde
> > > > После чего стало возможно загружаться сразу с дисков.
> > 
> >   Как насчёт lilo?
> >   "lilo -b /dev/md2" не прописывает загрузчик на диски?
> 
> Скорее, дело в том, что fdisk (и, вероятно, sfdisk тоже) не прописывает в
> MBR код для передачи управления загрузочному сектору из активного раздела.
> parted при mklabel это делать умеет, но путём затирания всей таблицы
> разделов.  Ещё, возможно, не указан активный раздел.
> 
> В принципе можно сделать raid-extra-boot=mbr-only (хотя делать это и не
> рекомендуется).  Или можно прописать в MBR только код загрузки, не трогая
> таблицу разделов:
> 
>   lilo -M /dev/sda
> 
> (можно сначала попробовать с -tv, чтобы посмотреть, что будет делаться).

  Да, диски были совсем новые и пустые. Сделал lilo -M /dev/sd*
  по всем пяти дискам, при загрузке пишет "No boot signature found".
  Раздел /dev/sd*1 на всех дисках помечен как bootable
  (/dev/sda1...sde1 составляют RAID-1 на /dev/md2)
  Вместо lilo -b /dev/sd* делал просто lilo, т.е. это получается
  lilo -b /dev/md2.
 
> Кстати, disk и partition в lilo.conf в вашем случае - это что-то
> непонятное (disk используется для указания номеров для BIOS, partition -
> для правки типов разделов при загрузке).

  Это я срисовал из чужих конфигов, думал, что влияет.

-- 
Григорий Баталов,
группа техподдержки
ОАО "Ковдорский ГОК"

Re: [Comm] root raid on Master 2.2

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2036 bytes --]

On Thu, Nov 06, 2003 at 02:42:33PM +0300, Grigory Batalov wrote:
> On Thu, 6 Nov 2003 13:18:01 +0300
> Sergey Vlasov <vsu@altlinux.ru> wrote:
> 
> > > > > Несмотря на вышеизложенные действия (где была ошибка?),
> > > > > загрузиться со SCSI не удалось. Не оказалось загрузочной
> > > > > записи. Поэтому, загрузились с дискеты и сказали поочерёдно
> > > > > $ sudo lilo -b /dev/sda
> > > > > ...
> > > > > $ sudo lilo -b /dev/sde
> > > > > После чего стало возможно загружаться сразу с дисков.
> > > 
> > >   Как насчёт lilo?
> > >   "lilo -b /dev/md2" не прописывает загрузчик на диски?
> > 
> > Скорее, дело в том, что fdisk (и, вероятно, sfdisk тоже) не прописывает в
> > MBR код для передачи управления загрузочному сектору из активного раздела.
> > parted при mklabel это делать умеет, но путём затирания всей таблицы
> > разделов.  Ещё, возможно, не указан активный раздел.
> > 
> > В принципе можно сделать raid-extra-boot=mbr-only (хотя делать это и не
> > рекомендуется).  Или можно прописать в MBR только код загрузки, не трогая
> > таблицу разделов:
> > 
> >   lilo -M /dev/sda
> > 
> > (можно сначала попробовать с -tv, чтобы посмотреть, что будет делаться).
> 
>   Да, диски были совсем новые и пустые. Сделал lilo -M /dev/sd*
>   по всем пяти дискам, при загрузке пишет "No boot signature found".
>   Раздел /dev/sd*1 на всех дисках помечен как bootable
>   (/dev/sda1...sde1 составляют RAID-1 на /dev/md2)

На всякий случай - fdisk -l /dev/sda.

Он не может 55 AA в конце загрузочного сектора раздела найти - вот и
ругается.

>   Вместо lilo -b /dev/sd* делал просто lilo, т.е. это получается
>   lilo -b /dev/md2.
>  
> > Кстати, disk и partition в lilo.conf в вашем случае - это что-то
> > непонятное (disk используется для указания номеров для BIOS, partition -
> > для правки типов разделов при загрузке).
> 
>   Это я срисовал из чужих конфигов, думал, что влияет.

Убрать его надо...

И посмотри hexedit -s /dev/sda, hexedit -s /dev/sda1 - туда ли поставились
загрузочные сектора (и по всем остальным дискам тоже).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] root raid on Master 2.2

[Grigory Batalov]

On Thu, 6 Nov 2003 15:16:20 +0300
Sergey Vlasov <vsu@altlinux.ru> wrote:

> >   Сделал lilo -M /dev/sd*
> >   по всем пяти дискам, при загрузке пишет "No boot signature found".
> >   Раздел /dev/sd*1 на всех дисках помечен как bootable
> >   (/dev/sda1...sde1 составляют RAID-1 на /dev/md2)
> 
> На всякий случай - fdisk -l /dev/sda.
>
> Он не может 55 AA в конце загрузочного сектора раздела найти - вот и
> ругается.
> 
> >   Вместо lilo -b /dev/sd* делал просто lilo, т.е. это получается
> >   lilo -b /dev/md2.
> >  
> > > Кстати, disk и partition в lilo.conf в вашем случае - это что-то
> > > непонятное (disk используется для указания номеров для BIOS, partition -
> > > для правки типов разделов при загрузке).
> > 
> >   Это я срисовал из чужих конфигов, думал, что влияет.
> 
> Убрать его надо...

  Убрал ещё до этого.

> И посмотри hexedit -s /dev/sda, hexedit -s /dev/sda1 - туда ли поставились
> загрузочные сектора (и по всем остальным дискам тоже).

  Разобрался. У меня по аналогии с RAID-5 для /dev/md2 был
  назначен один spare. По иронии судьбы им оказался /dev/sda1,
  на котором lilo искало загрузочный сектор. При этом на всех
  остальных /dev/sdb1...sde1 этот сектор был, и только в sda1
  он не записывался =).

  Без spare сразу завелось.

-- 
Григорий Баталов,
группа техподдержки
ОАО "Ковдорский ГОК"