[devel] U: Работает ли автостарт softraid в XEN?

[devel] U: Работает ли автостарт softraid в XEN?

[Aleksey Avdeev]

Приветствую.

  Работает ли у нас автостарт softraid (raid1) в XEN ядрах?

  Кусок лога загрузки (с экрана):

Begin: Loading essential drivers ...
...
  Инициализация дисков.
...
md: md driver 0.90.3 MAX_MD_DEVS=256, MD_SB_DISKS=27
md: bitmap version 4.39
md: raid1 personality registred for level 1
Done.
Begin: Finishing udevd initialization ...
Done.
Begin: Mounting root file system ..
Begin: Runing /scripts/local-top ...
Begin: Starting up RAID devices ...
Done.
Done.
Begin: Waiting for root file system ...
Done.
	Check root= boottarg cat /proc/cmdline
	or missing modules cat, devices: cat /proc/modules ls /dev
...

  Дальше идёт предложение проверить состав загруженных модулей (raid1
загружен) и устройств в /dev (как проверить -- непонял)...

  При этом smp ядро, с initrd сгенерённым данной же версией mkinitrd,
ведёт себя нормально...

  Использую (x86_64):

mkinitrd-3.0.5-alt1
kernel-image-xen026-2.6.18-alt1

-- 

С уважением. Алексей.

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1375 bytes --]

On Tue, Oct 23, 2007 at 04:46:43PM +0400, Aleksey Avdeev wrote:
> Приветствую.
> 
>   Работает ли у нас автостарт softraid (raid1) в XEN ядрах?
> 
>   Кусок лога загрузки (с экрана):
> 
> Begin: Loading essential drivers ...
> ...
>   Инициализация дисков.
> ...
> md: md driver 0.90.3 MAX_MD_DEVS=256, MD_SB_DISKS=27

Судя по расположению этого сообщения, в этом варианте ядра поддержка
md полностью вынесена в модули - в текущей версии mkinitrd-3.0.5
автозапуск md в такой конфигурации не работает.  Это связано с тем,
что для автозапуска сейчас используется ioctl RAID_AUTORUN, для
поддержки которого необходимо, чтобы основная часть драйвера md была
встроена в ядро (в этом случае часть функций md вызывается из кода,
читающего таблицы разделов).

На начальном этапе реализации поддержки md в initramfs пробовался
запуск через mdassemble (99e60ad0cb676a2d57dc9f6d34dcc358047e4028), но
из-за возникших проблем с загрузкой на старых конфигурациях этот
вариант был заменён на старый способ.  Можно попытаться починить
запуск через mdassemble ещё раз (например, оставить оба варианта, но
использовать mdassemble только при наличии в системе /etc/mdadm.conf -
хотя тут ещё придётся как-то определить, что этот mdadm.conf содержит
пригодную для использования конфигурацию, а не просто получился в
результате обновления пакетов из старой системы).

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2384 bytes --]

Sergey Vlasov пишет:
> On Tue, Oct 23, 2007 at 04:46:43PM +0400, Aleksey Avdeev wrote:
>> Приветствую.
>>
>>   Работает ли у нас автостарт softraid (raid1) в XEN ядрах?
>>
>>   Кусок лога загрузки (с экрана):
>>
>> Begin: Loading essential drivers ...
>> ...
>>   Инициализация дисков.
>> ...
>> md: md driver 0.90.3 MAX_MD_DEVS=256, MD_SB_DISKS=27
> 
> Судя по расположению этого сообщения, в этом варианте ядра поддержка
> md полностью вынесена в модули - в текущей версии mkinitrd-3.0.5
> автозапуск md в такой конфигурации не работает.  Это связано с тем,
> что для автозапуска сейчас используется ioctl RAID_AUTORUN, для
> поддержки которого необходимо, чтобы основная часть драйвера md была
> встроена в ядро (в этом случае часть функций md вызывается из кода,
> читающего таблицы разделов).
> 
> На начальном этапе реализации поддержки md в initramfs пробовался
> запуск через mdassemble (99e60ad0cb676a2d57dc9f6d34dcc358047e4028), но
> из-за возникших проблем с загрузкой на старых конфигурациях этот
> вариант был заменён на старый способ.  Можно попытаться починить
> запуск через mdassemble ещё раз (например, оставить оба варианта, но
> использовать mdassemble только при наличии в системе /etc/mdadm.conf -
> хотя тут ещё придётся как-то определить, что этот mdadm.conf содержит
> пригодную для использования конфигурацию, а не просто получился в
> результате обновления пакетов из старой системы).

  Именно таким хаком (копированием в initrd mdassemble и системного
/etc/mdadm.conf) я эту проблему и решил... Но ненравиться мне такое
решение! :-(

  По ходу дела выползло (незнаю, на сколько с данным способом решения
связанное):

1. Неполучилось смонтировать root по UUID -- параметр root=UUID=<UUID,
скопированный из lilo.conf> оказался нерабочим: зажило только с
root=/dev/md<нужный>

2. EVMS автоматом нестартует, и как его поднять в ручную я не понял:

$ sudo -H /sbin/evms_activate
Error returned from evms_commit_changes(): No such device

3. LVM автоматом тоже не стартует, но поднять его в ручную можно.

  Вот такие пироги с катятами...

  Теоретически, красивым решением выглядит поднятие md и lvm спомощью
evms в inetrd (как миниум, это решение не требует реального конфига
копируемого туда). Но появились сомнения в работоспособности evms в
данной конфигурации...

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Peter V. Saveliev]

В сообщении от Tuesday 23 October 2007 23:28:37 Aleksey Avdeev написал(а):
<skip />
>   Теоретически, красивым решением выглядит поднятие md и lvm спомощью
> evms в inetrd (как миниум, это решение не требует реального конфига
> копируемого туда). Но появились сомнения в работоспособности evms в
> данной конфигурации...
<skip />

У меня есть стойкое убеждение, что если можно обойтись без evms -- лучше 
обойтись без evms. Ещё один уровень косвенности тут ничего не даёт.

Ни для работы lvm, ни mdadm конфиг не обязателен.

-- 
Peter V. Saveliev

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1811 bytes --]

On Tue, Oct 23, 2007 at 11:28:37PM +0400, Aleksey Avdeev wrote:
>   Именно таким хаком (копированием в initrd mdassemble и системного
> /etc/mdadm.conf) я эту проблему и решил... Но ненравиться мне такое
> решение! :-(
> 
>   По ходу дела выползло (незнаю, на сколько с данным способом решения
> связанное):
> 
> 1. Неполучилось смонтировать root по UUID -- параметр root=UUID=<UUID,
> скопированный из lilo.conf> оказался нерабочим: зажило только с
> root=/dev/md<нужный>

Если это /dev/md0, вероятнее всего, это тот же race, для которого
сделан hackaround в текущей реализации:

	# /scripts/local-top runs before swsusp resume - start RAID in
	# read-only mode to avoid messing up resume state.  Actually the
	# start_ro parameter sets the "read-auto" mode - arrays initially
	# start read-only, but are switched to the normal read-write mode on
	# the first write request, so there is no need to switch arrays to
	# the read-write mode explicitly.
	#
	# "echo add > /sys/block/md0/uevent" after md_run is a workaround for
	# an unavoidable race between md_run invoking RAID_AUTORUN ioctl on
	# /dev/md0 and udevd probing the started md devices (one of which may
	# be /dev/md0): probing fails if it starts when md_run still has
	# /dev/md0 open.  The extra uevent makes sure that /dev/md0 is probed
	# properly, which is important when the root fs is specified by UUID.
	cat >>"$MNTDIR"/scripts/local-top <<'EOF'
log_begin_msg "Starting up RAID devices"
modprobe -q md_mod
echo 1 > /sys/module/md_mod/parameters/start_ro
md_run `cat /proc/cmdline`
echo add > /sys/block/md0/uevent ||:
log_end_msg
EOF

Т.е., после md_run (или mdassemble) нужно лишний раз дёрнуть
/sys/block/md0/uevent, чтобы для него прочитался uuid.  Хотя,
возможно, для mdassemble этого будет мало.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1983 bytes --]

Sergey Vlasov пишет:
> On Tue, Oct 23, 2007 at 11:28:37PM +0400, Aleksey Avdeev wrote:
>>   Именно таким хаком (копированием в initrd mdassemble и системного
>> /etc/mdadm.conf) я эту проблему и решил... Но ненравиться мне такое
>> решение! :-(
>>
>>   По ходу дела выползло (незнаю, на сколько с данным способом решения
>> связанное):
>>
>> 1. Неполучилось смонтировать root по UUID -- параметр root=UUID=<UUID,
>> скопированный из lilo.conf> оказался нерабочим: зажило только с
>> root=/dev/md<нужный>
> 
> Если это /dev/md0, вероятнее всего, это тот же race, для которого
> сделан hackaround в текущей реализации:
> 
> 	# /scripts/local-top runs before swsusp resume - start RAID in
> 	# read-only mode to avoid messing up resume state.  Actually the
> 	# start_ro parameter sets the "read-auto" mode - arrays initially
> 	# start read-only, but are switched to the normal read-write mode on
> 	# the first write request, so there is no need to switch arrays to
> 	# the read-write mode explicitly.
> 	#
> 	# "echo add > /sys/block/md0/uevent" after md_run is a workaround for
> 	# an unavoidable race between md_run invoking RAID_AUTORUN ioctl on
> 	# /dev/md0 and udevd probing the started md devices (one of which may
> 	# be /dev/md0): probing fails if it starts when md_run still has
> 	# /dev/md0 open.  The extra uevent makes sure that /dev/md0 is probed
> 	# properly, which is important when the root fs is specified by UUID.
> 	cat >>"$MNTDIR"/scripts/local-top <<'EOF'
> log_begin_msg "Starting up RAID devices"
> modprobe -q md_mod
> echo 1 > /sys/module/md_mod/parameters/start_ro
> md_run `cat /proc/cmdline`
> echo add > /sys/block/md0/uevent ||:
> log_end_msg
> EOF

  Нет, это /dev/md1...

> 
> Т.е., после md_run (или mdassemble) нужно лишний раз дёрнуть
> /sys/block/md0/uevent, чтобы для него прочитался uuid.  Хотя,
> возможно, для mdassemble этого будет мало.

  OK, проверю.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [devel] U: Работаея┌ п╩п╦ п╟п╡я┌п╬я│я┌п╟я─я┌ softraid п╡ XEN?

[Aleksey Avdeev]

Peter V. Saveliev пишет:
> В сообщении от Tuesday 23 October 2007 23:28:37 Aleksey Avdeev написал(а):
> <skip />
>>   Теоретически, красивым решением выглядит поднятие md и lvm спомощью
>> evms в inetrd (как миниум, это решение не требует реального конфига
>> копируемого туда). Но появились сомнения в работоспособности evms в
>> данной конфигурации...
> <skip />
> 
> У меня есть стойкое убеждение, что если можно обойтись без evms -- лучше 
> обойтись без evms. Ещё один уровень косвенности тут ничего не даёт.
> 
> Ни для работы lvm, ни mdadm конфиг не обязателен.

  Для mdadm -- возможно, но mdassemble похоже без конфига не живёт
(ругается и ничего не делает)... Проверю.

-- 

С уважением. Алексей.

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2894 bytes --]

Aleksey Avdeev пишет:
> Sergey Vlasov пишет:
>> On Tue, Oct 23, 2007 at 04:46:43PM +0400, Aleksey Avdeev wrote:
>>> Приветствую.
>>>
>>>   Работает ли у нас автостарт softraid (raid1) в XEN ядрах?
>>>
>>>   Кусок лога загрузки (с экрана):
>>>
>>> Begin: Loading essential drivers ...
>>> ...
>>>   Инициализация дисков.
>>> ...
>>> md: md driver 0.90.3 MAX_MD_DEVS=256, MD_SB_DISKS=27
>> Судя по расположению этого сообщения, в этом варианте ядра поддержка
>> md полностью вынесена в модули - в текущей версии mkinitrd-3.0.5
>> автозапуск md в такой конфигурации не работает.  Это связано с тем,
>> что для автозапуска сейчас используется ioctl RAID_AUTORUN, для
>> поддержки которого необходимо, чтобы основная часть драйвера md была
>> встроена в ядро (в этом случае часть функций md вызывается из кода,
>> читающего таблицы разделов).
>>
>> На начальном этапе реализации поддержки md в initramfs пробовался
>> запуск через mdassemble (99e60ad0cb676a2d57dc9f6d34dcc358047e4028), но
>> из-за возникших проблем с загрузкой на старых конфигурациях этот
>> вариант был заменён на старый способ.  Можно попытаться починить
>> запуск через mdassemble ещё раз (например, оставить оба варианта, но
>> использовать mdassemble только при наличии в системе /etc/mdadm.conf -
>> хотя тут ещё придётся как-то определить, что этот mdadm.conf содержит
>> пригодную для использования конфигурацию, а не просто получился в
>> результате обновления пакетов из старой системы).
> 
>   Именно таким хаком (копированием в initrd mdassemble и системного
> /etc/mdadm.conf) я эту проблему и решил... Но ненравиться мне такое
> решение! :-(
> 
>   По ходу дела выползло (незнаю, на сколько с данным способом решения
> связанное):
> 
> 1. Неполучилось смонтировать root по UUID -- параметр root=UUID=<UUID,
> скопированный из lilo.conf> оказался нерабочим: зажило только с
> root=/dev/md<нужный>
> 
> 2. EVMS автоматом нестартует, и как его поднять в ручную я не понял:
> 
> $ sudo -H /sbin/evms_activate
> Error returned from evms_commit_changes(): No such device

  Похоже, это из-за поздней загрузки dm_mod...

> 
> 3. LVM автоматом тоже не стартует, но поднять его в ручную можно.
> 
>   Вот такие пироги с катятами...
> 
>   Теоретически, красивым решением выглядит поднятие md и lvm спомощью
> evms в inetrd (как миниум, это решение не требует реального конфига
> копируемого туда). Но появились сомнения в работоспособности evms в
> данной конфигурации...

  Похоже получилось.

  Если mkinitrd вызывать с параметром --preload dm-mirror (важно чтобы
он загрузился до инициализации дисковой подсистемы), то EVMS работает
нормально. В частности -- тогда работает рецепт поднятия EVMS из initrd
(см.
<http://www.freesource.info/wiki/AltLinux/Sisyphus/admin/evms/initrd>,
но tmpfs монтировать теперь не надо).

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1389 bytes --]

Aleksey Avdeev пишет:
> Aleksey Avdeev пишет:
...
>>
>>   По ходу дела выползло (незнаю, на сколько с данным способом решения
>> связанное):
>>
>> 1. Неполучилось смонтировать root по UUID -- параметр root=UUID=<UUID,
>> скопированный из lilo.conf> оказался нерабочим: зажило только с
>> root=/dev/md<нужный>
>>
>> 2. EVMS автоматом нестартует, и как его поднять в ручную я не понял:
>>
>> $ sudo -H /sbin/evms_activate
>> Error returned from evms_commit_changes(): No such device
> 
>   Похоже, это из-за поздней загрузки dm_mod...
> 
>> 3. LVM автоматом тоже не стартует, но поднять его в ручную можно.
>>
>>   Вот такие пироги с катятами...
>>
>>   Теоретически, красивым решением выглядит поднятие md и lvm спомощью
>> evms в inetrd (как миниум, это решение не требует реального конфига
>> копируемого туда). Но появились сомнения в работоспособности evms в
>> данной конфигурации...
> 
>   Похоже получилось.
> 
>   Если mkinitrd вызывать с параметром --preload dm-mirror (важно чтобы
> он загрузился до инициализации дисковой подсистемы), то EVMS работает
> нормально. В частности -- тогда работает рецепт поднятия EVMS из initrd
> (см.
> <http://www.freesource.info/wiki/AltLinux/Sisyphus/admin/evms/initrd>,
> но tmpfs монтировать теперь не надо).

  Но по UUID монтировать корень всё равно не получается...

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 481 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1392 bytes --]

On Wed, Oct 24, 2007 at 09:12:26AM +0400, Aleksey Avdeev wrote:
> > Т.е., после md_run (или mdassemble) нужно лишний раз дёрнуть
> > /sys/block/md0/uevent, чтобы для него прочитался uuid.  Хотя,
> > возможно, для mdassemble этого будет мало.
> 
>   OK, проверю.

Оказывается, в ядре kernel-image-xen026-2.6.18-alt1 отсутствуют
какие-либо патчи, кроме kernel-feat-arch-xen (причём это ядро
собирается ещё по старой схеме).  С таким ядром монтирование корня на
/dev/mdX по UUID/LABEL работать не будет; для правильной работы
необходимы патчи к драйверу md, используемые в ядре std-smp - как
минимум вот эти:

http://git.altlinux.org/people/vsu/packages/kernel-image-2.6.18.git?p=kernel-image-2.6.18.git;a=commitdiff;h=beb72c9273b911102ec6a0fee5ee318f8c156530
http://git.altlinux.org/people/vsu/packages/kernel-image-2.6.18.git?p=kernel-image-2.6.18.git;a=commitdiff;h=a6138c85672b4f537de02a63563db982b5c0e957

Без этих патчей udevd не может правильно сформировать ссылки с UUID
при запуске RAID, поскольку ядро не формирует соответствующие события.
Правда, можно попытаться обойти эту проблему через посылку событий по
всем /sys/block/md*/uevent после mdassemble.

Кстати, в Сизифе обнаружилось ядро kernel-image-xen-dom0-2.6.18-alt2,
которое вроде бы предназначено для xen dom0, но при этом основано на
kernel-image-std-smp-2.6.18-alt7 - там есть нужные патчи для md.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] U: Работает ли автостарт softraid в XEN?

[Михаил Якушин]

Sergey Vlasov пишет:
> On Wed, Oct 24, 2007 at 09:12:26AM +0400, Aleksey Avdeev wrote:
>>> Т.е., после md_run (или mdassemble) нужно лишний раз дёрнуть
>>> /sys/block/md0/uevent, чтобы для него прочитался uuid.  Хотя,
>>> возможно, для mdassemble этого будет мало.
>>   OK, проверю.
> 
> Оказывается, в ядре kernel-image-xen026-2.6.18-alt1 отсутствуют
> какие-либо патчи, кроме kernel-feat-arch-xen (причём это ядро
> собирается ещё по старой схеме).  С таким ядром монтирование корня на
> /dev/mdX по UUID/LABEL работать не будет; для правильной работы
> необходимы патчи к драйверу md, используемые в ядре std-smp - как
> минимум вот эти:
> 
> http://git.altlinux.org/people/vsu/packages/kernel-image-2.6.18.git?p=kernel-image-2.6.18.git;a=commitdiff;h=beb72c9273b911102ec6a0fee5ee318f8c156530
> http://git.altlinux.org/people/vsu/packages/kernel-image-2.6.18.git?p=kernel-image-2.6.18.git;a=commitdiff;h=a6138c85672b4f537de02a63563db982b5c0e957
> 
> Без этих патчей udevd не может правильно сформировать ссылки с UUID
> при запуске RAID, поскольку ядро не формирует соответствующие события.
> Правда, можно попытаться обойти эту проблему через посылку событий по
> всем /sys/block/md*/uevent после mdassemble.
> 
> Кстати, в Сизифе обнаружилось ядро kernel-image-xen-dom0-2.6.18-alt2,
> которое вроде бы предназначено для xen dom0, но при этом основано на
> kernel-image-std-smp-2.6.18-alt7 - там есть нужные патчи для md.
> 
> 
Да это более правильное ядро. kernel-image-xen026 уйдёт в obsolete.
Когда я соберу такое же для domU но это (xen-dom0) можно уже использовать.