Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1049 bytes --]

On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
> Update of /people/shaba/packages/mdadm.git
[...]
> commit 4916715824549203a6ca380ec79839a0acb7d6b1
> Author: Alexey Shabalin <shaba@altlinux>
> Date:   Fri Jan 18 01:21:30 2013 +0400
> 
>     Ignore exit code.
>     For system without raid disks.
> 
> Full diff since `3.2.6-alt1' follows:
> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
> index 77bd093..dc7a81a 100644
> --- a/alt/mdadm-activation.service
> +++ b/alt/mdadm-activation.service
> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
>  
>  [Service]
>  Type=oneshot
> -ExecStart=/sbin/mdadm --assemble --scan
> +ExecStart=-/sbin/mdadm --assemble --scan
>  RemainAfterExit=yes
>  
>  [Install]

1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
/lib/udev/rules.d/64-md-raid.rules, который предназначен для
инкрементальной сборки массивов, не функционирует?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

2013/1/18 Dmitry V. Levin :
> On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
>> Update of /people/shaba/packages/mdadm.git
> [...]
>> commit 4916715824549203a6ca380ec79839a0acb7d6b1
>> Author: Alexey Shabalin <shaba@altlinux>
>> Date:   Fri Jan 18 01:21:30 2013 +0400
>>
>>     Ignore exit code.
>>     For system without raid disks.
>>
>> Full diff since `3.2.6-alt1' follows:
>> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
>> index 77bd093..dc7a81a 100644
>> --- a/alt/mdadm-activation.service
>> +++ b/alt/mdadm-activation.service
>> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
>>
>>  [Service]
>>  Type=oneshot
>> -ExecStart=/sbin/mdadm --assemble --scan
>> +ExecStart=-/sbin/mdadm --assemble --scan
>>  RemainAfterExit=yes
>>
>>  [Install]
>
> 1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
у systemd ограниченные возможности conditions,
и как использовать что-то подобное:
grep -qs '^ARRAY[[:space:]]' /etc/mdadm.conf || return 1
я придумать не могу.
По-этому запускаю /sbin/mdadm --assemble --scan в любом случае, есть
раид или нет.
Если не игнорировать код выхода, тогда будет ошибка при отсутствии
raid в системе.

> 2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
> /lib/udev/rules.d/64-md-raid.rules, который предназначен для
> инкрементальной сборки массивов, не функционирует?
Специально проверил сейчас:
- установил виртуалку на простой(не-раид) диск
- добавил два диска к виртуалке
- на дисках создал партиции типа fd.
- сделал raid1 /dev/md0
- обновил /etc/mdadm.conf
- добавил монтирование в fstab

при наличии mdadm-activation.service - все нормально
Если его нет, загрузка обламывается и выпадает в emergency mode.
значит в /lib/udev/rules.d/64-md-raid.rules чего-то не хватает.

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Valery V. Inozemtsev]

[-- Attachment #1: Type: text/plain, Size: 616 bytes --]

> при наличии mdadm-activation.service - все нормально
> Если его нет, загрузка обламывается и выпадает в emergency mode.
> значит в /lib/udev/rules.d/64-md-raid.rules чего-то не хватает.

кривые руки?

$ cat /proc/mdstat 
Personalities : [raid1] 
md0 : active raid1 sdb1[3] sdc1[2]
      1953512400 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

никаких service нет, собирается исключительно
из /lib/udev/rules.d/64-md-raid.rules

-- 
Valery V. Inozemtsev

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

21 января 2013 г., 18:27 пользователь Valery V. Inozemtsev написал:
>> при наличии mdadm-activation.service - все нормально
>> Если его нет, загрузка обламывается и выпадает в emergency mode.
>> значит в /lib/udev/rules.d/64-md-raid.rules чего-то не хватает.
>
> кривые руки?

Обоснуй, в чем кривость.

> $ cat /proc/mdstat
> Personalities : [raid1]
> md0 : active raid1 sdb1[3] sdc1[2]
>       1953512400 blocks super 1.2 [2/2] [UU]
>
> unused devices: <none>
>
> никаких service нет, собирается исключительно
> из /lib/udev/rules.d/64-md-raid.rules

Может у тебя приезжает из initrd (make-initrd-mdadm,make-initrd-devmapper)

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Valery V. Inozemtsev]

[-- Attachment #1: Type: text/plain, Size: 1058 bytes --]

В Пнд, 21/01/2013 в 18:31 +0400, Alexey Shabalin пишет:
> 21 января 2013 г., 18:27 пользователь Valery V. Inozemtsev написал:
> >> при наличии mdadm-activation.service - все нормально
> >> Если его нет, загрузка обламывается и выпадает в emergency mode.
> >> значит в /lib/udev/rules.d/64-md-raid.rules чего-то не хватает.
> >
> > кривые руки?
> 
> Обоснуй, в чем кривость.

понятия не имею

> > $ cat /proc/mdstat
> > Personalities : [raid1]
> > md0 : active raid1 sdb1[3] sdc1[2]
> >       1953512400 blocks super 1.2 [2/2] [UU]
> >
> > unused devices: <none>
> >
> > никаких service нет, собирается исключительно
> > из /lib/udev/rules.d/64-md-raid.rules
> 
> Может у тебя приезжает из initrd (make-initrd-mdadm,make-initrd-devmapper)

$ rpmquery -a make-i\*
make-initrd-0.7.8-alt1

-- 
Valery V. Inozemtsev

[-- Attachment #2: This is a digitally signed message part --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Gladkov]

21.01.2013 18:31, Alexey Shabalin wrote:
>> никаких service нет, собирается исключительно
>> из /lib/udev/rules.d/64-md-raid.rules
> 
> Может у тебя приезжает из initrd (make-initrd-mdadm,make-initrd-devmapper)

К слову, они тоже не используют специальных сервисов для сборки рейда.

-- 
Rgrds, legion

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

21 января 2013 г., 18:36 пользователь Valery V. Inozemtsev  написал:
> В Пнд, 21/01/2013 в 18:31 +0400, Alexey Shabalin пишет:
>> 21 января 2013 г., 18:27 пользователь Valery V. Inozemtsev написал:
>> >> при наличии mdadm-activation.service - все нормально
>> >> Если его нет, загрузка обламывается и выпадает в emergency mode.
>> >> значит в /lib/udev/rules.d/64-md-raid.rules чего-то не хватает.
>> >
>> > кривые руки?
>>
>> Обоснуй, в чем кривость.
>
> понятия не имею

Да, кривость где-то присутствует.
Если в свойствах виртуалки поменять тип дисков с virtio на scsi, то
всё работает без всяких сервисов. Как бы ещё найти почему virtio криво
работают.

>
>> > $ cat /proc/mdstat
>> > Personalities : [raid1]
>> > md0 : active raid1 sdb1[3] sdc1[2]
>> >       1953512400 blocks super 1.2 [2/2] [UU]
>> >
>> > unused devices: <none>
>> >
>> > никаких service нет, собирается исключительно
>> > из /lib/udev/rules.d/64-md-raid.rules
>>
>> Может у тебя приезжает из initrd (make-initrd-mdadm,make-initrd-devmapper)
>
> $ rpmquery -a make-i\*
> make-initrd-0.7.8-alt1

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

2013/1/18 Dmitry V. Levin :
> On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
>> Update of /people/shaba/packages/mdadm.git
> [...]
>> commit 4916715824549203a6ca380ec79839a0acb7d6b1
>> Author: Alexey Shabalin <shaba@altlinux>
>> Date:   Fri Jan 18 01:21:30 2013 +0400
>>
>>     Ignore exit code.
>>     For system without raid disks.
>>
>> Full diff since `3.2.6-alt1' follows:
>> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
>> index 77bd093..dc7a81a 100644
>> --- a/alt/mdadm-activation.service
>> +++ b/alt/mdadm-activation.service
>> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
>>
>>  [Service]
>>  Type=oneshot
>> -ExecStart=/sbin/mdadm --assemble --scan
>> +ExecStart=-/sbin/mdadm --assemble --scan
>>  RemainAfterExit=yes
>>
>>  [Install]
>
> 1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
> 2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
> /lib/udev/rules.d/64-md-raid.rules, который предназначен для
> инкрементальной сборки массивов, не функционирует?

отправил на сборку mdadm без mdadm-activation.service.
В виртуалках virtio для raid использовать не рекомендуется, используйте scsi.

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1435 bytes --]

On Tue, Jan 22, 2013 at 08:03:13PM +0400, Alexey Shabalin wrote:
> 2013/1/18 Dmitry V. Levin :
> > On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
> >> Update of /people/shaba/packages/mdadm.git
> > [...]
> >> commit 4916715824549203a6ca380ec79839a0acb7d6b1
> >> Author: Alexey Shabalin <shaba@altlinux>
> >> Date:   Fri Jan 18 01:21:30 2013 +0400
> >>
> >>     Ignore exit code.
> >>     For system without raid disks.
> >>
> >> Full diff since `3.2.6-alt1' follows:
> >> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
> >> index 77bd093..dc7a81a 100644
> >> --- a/alt/mdadm-activation.service
> >> +++ b/alt/mdadm-activation.service
> >> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
> >>
> >>  [Service]
> >>  Type=oneshot
> >> -ExecStart=/sbin/mdadm --assemble --scan
> >> +ExecStart=-/sbin/mdadm --assemble --scan
> >>  RemainAfterExit=yes
> >>
> >>  [Install]
> >
> > 1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
> > 2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
> > /lib/udev/rules.d/64-md-raid.rules, который предназначен для
> > инкрементальной сборки массивов, не функционирует?
> 
> отправил на сборку mdadm без mdadm-activation.service.
> В виртуалках virtio для raid использовать не рекомендуется, используйте scsi.

Давайте сперва разберемся, почему с virtio не работает.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

[-- Attachment #1: Type: text/plain, Size: 2736 bytes --]

22 января 2013 г., 20:08 пользователь Dmitry V. Levin написал:
> On Tue, Jan 22, 2013 at 08:03:13PM +0400, Alexey Shabalin wrote:
>> 2013/1/18 Dmitry V. Levin :
>> > On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
>> >> Update of /people/shaba/packages/mdadm.git
>> > [...]
>> >> commit 4916715824549203a6ca380ec79839a0acb7d6b1
>> >> Author: Alexey Shabalin <shaba@altlinux>
>> >> Date:   Fri Jan 18 01:21:30 2013 +0400
>> >>
>> >>     Ignore exit code.
>> >>     For system without raid disks.
>> >>
>> >> Full diff since `3.2.6-alt1' follows:
>> >> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
>> >> index 77bd093..dc7a81a 100644
>> >> --- a/alt/mdadm-activation.service
>> >> +++ b/alt/mdadm-activation.service
>> >> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
>> >>
>> >>  [Service]
>> >>  Type=oneshot
>> >> -ExecStart=/sbin/mdadm --assemble --scan
>> >> +ExecStart=-/sbin/mdadm --assemble --scan
>> >>  RemainAfterExit=yes
>> >>
>> >>  [Install]
>> >
>> > 1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
>> > 2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
>> > /lib/udev/rules.d/64-md-raid.rules, который предназначен для
>> > инкрементальной сборки массивов, не функционирует?
>>
>> отправил на сборку mdadm без mdadm-activation.service.
>> В виртуалках virtio для raid использовать не рекомендуется, используйте scsi.
>
> Давайте сперва разберемся, почему с virtio не работает.

Подозрений несколько:

1) в 60-persistent-storage.rules:
# virtio-blk
KERNEL=="vd*[!0-9]", ATTRS{serial}=="?*",
ENV{ID_SERIAL}="$attr{serial}",
SYMLINK+="disk/by-id/virtio-$env{ID_SERIAL}"
KERNEL=="vd*[0-9]", ATTRS{serial}=="?*",
ENV{ID_SERIAL}="$attr{serial}",
SYMLINK+="disk/by-id/virtio-$env{ID_SERIAL}-part%n"

# scsi devices
KERNEL=="sd*[!0-9]|sr*", ENV{ID_SERIAL}!="?*",
IMPORT{program}="scsi_id --export --whitelisted -d $devnode",
ENV{ID_BUS}="scsi"
KERNEL=="sd*|sr*|cciss*", ENV{DEVTYPE}=="disk", ENV{ID_SERIAL}=="?*",
SYMLINK+="disk/by-id/$env{ID_BUS}-$env{ID_SERIAL}"

Возможно для virtio нужен аналог scsi_id.

2) в 60-persistent-storage.rules:
# by-path (parent device path)
ENV{DEVTYPE}=="disk", DEVPATH!="*/virtual/*", IMPORT{builtin}="path_id"
ENV{DEVTYPE}=="disk", ENV{ID_PATH}=="?*", SYMLINK+="disk/by-path/$env{ID_PATH}"
ENV{DEVTYPE}=="partition", ENV{ID_PATH}=="?*",
SYMLINK+="disk/by-path/$env{ID_PATH}-part%n"

Мне кажется это совсем не работает - у меня и на рабочей машине нет
/dev/disk/by-path

Прикладываю вывод udevadm info для дисков virtio(vdb) и scsi(sda) -
может кто увидит, что не хватает для virtio?
Для virtio надо обязательно назначать серийный номер, иначе "udevadm
info" почти совсем пустой.


--
Alexey Shabalin

[-- Attachment #2: vdb --]
[-- Type: application/octet-stream, Size: 360 bytes --]

[-- Attachment #3: vdb1 --]
[-- Type: application/octet-stream, Size: 933 bytes --]

[-- Attachment #4: sda1 --]
[-- Type: application/octet-stream, Size: 1468 bytes --]

[-- Attachment #5: sda --]
[-- Type: application/octet-stream, Size: 886 bytes --]

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Anton Gorlov]

22.01.2013 20:03, Alexey Shabalin пишет:
> отправил на сборку mdadm без mdadm-activation.service.
> В виртуалках virtio для raid использовать не рекомендуется, используйте scsi.
Аха..и потерять львиную долю производительности?
оно и при vurtio-то не шибко-то и шустрое..а если ещё использовать 
эмуляцию скази...

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Anton Gorlov]

22.01.2013 21:45, Anton Gorlov пишет:
> 22.01.2013 20:03, Alexey Shabalin пишет:
>> отправил на сборку mdadm без mdadm-activation.service.
>> В виртуалках virtio для raid использовать не рекомендуется, 
>> используйте scsi.
> Аха..и потерять львиную долю производительности?
> оно и при vurtio-то не шибко-то и шустрое..а если ещё использовать 
> эмуляцию скази...

В смысле тестил все виды io в продакшене... всё что не virtio годится 
лишь для чего-то мелкого.

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

22 января 2013 г., 20:08 пользователь Dmitry V. Levin написал:
> On Tue, Jan 22, 2013 at 08:03:13PM +0400, Alexey Shabalin wrote:
>> 2013/1/18 Dmitry V. Levin :
>> > On Thu, Jan 17, 2013 at 09:27:00PM +0000, Alexey Shabalin wrote:
>> >> Update of /people/shaba/packages/mdadm.git
>> > [...]
>> >> commit 4916715824549203a6ca380ec79839a0acb7d6b1
>> >> Author: Alexey Shabalin <shaba@altlinux>
>> >> Date:   Fri Jan 18 01:21:30 2013 +0400
>> >>
>> >>     Ignore exit code.
>> >>     For system without raid disks.
>> >>
>> >> Full diff since `3.2.6-alt1' follows:
>> >> diff --git a/alt/mdadm-activation.service b/alt/mdadm-activation.service
>> >> index 77bd093..dc7a81a 100644
>> >> --- a/alt/mdadm-activation.service
>> >> +++ b/alt/mdadm-activation.service
>> >> @@ -12,7 +12,7 @@ ConditionKernelCommandLine=!noraidtab
>> >>
>> >>  [Service]
>> >>  Type=oneshot
>> >> -ExecStart=/sbin/mdadm --assemble --scan
>> >> +ExecStart=-/sbin/mdadm --assemble --scan
>> >>  RemainAfterExit=yes
>> >>
>> >>  [Install]
>> >
>> > 1. Я полагаю, что игнорирование всех ошибок - это неправильное изменение.
>> > 2. Зачем вообще нужен mdadm-activation.service?  У нас штатный
>> > /lib/udev/rules.d/64-md-raid.rules, который предназначен для
>> > инкрементальной сборки массивов, не функционирует?
>>
>> отправил на сборку mdadm без mdadm-activation.service.
>> В виртуалках virtio для raid использовать не рекомендуется, используйте scsi.
>
> Давайте сперва разберемся, почему с virtio не работает.

Собрал новый virt-manager, с поддержкой virtio-scsi (qemu и libvirt
уже поддерживают). С virtio-scsi проблем нет.
Так что остались проблемы с virtio-blk, но можно рекомендовать
переходить на virtio-scsi и закрыть глаза на virtio-blk.

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

22 января 2013 г., 21:45 пользователь Anton Gorlov написал:
> 22.01.2013 20:03, Alexey Shabalin пишет:
>
>> отправил на сборку mdadm без mdadm-activation.service.
>> В виртуалках virtio для raid использовать не рекомендуется, используйте
>> scsi.
>
> Аха..и потерять львиную долю производительности?
> оно и при vurtio-то не шибко-то и шустрое..а если ещё использовать эмуляцию
> скази...

Протестируйте virtio-scsi вместо virtio-blk.

--
Alexey Shabalin

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Anton Gorlov]

23.01.2013 13:23, Alexey Shabalin пишет:
> Протестируйте virtio-scsi вместо virtio-blk.
К сожалению такой возможности нет, так как не все сервера у меня под 
альтом.а Делать в этом месте разную конфигурацию крайне проблематично.. 
Поэтому хотелось бы и  blk рабочий

Re: [devel] [SCM] packages/mdadm: tags/3.2.6-alt2

[Alexey Shabalin]

23 января 2013 г., 14:10 пользователь Anton Gorlov написал:
> 23.01.2013 13:23, Alexey Shabalin пишет:
>>
>> Протестируйте virtio-scsi вместо virtio-blk.
>
> К сожалению такой возможности нет, так как не все сервера у меня под
> альтом.а Делать в этом месте разную конфигурацию крайне проблематично..
> Поэтому хотелось бы и  blk рабочий
Ну virtio-blk рабочий, только с raid(mdadm) проблемы наблюдаются.
А у тебя именно гостевые системы используют raid? может проще
организовывать raid на хосте(HN)?

--
Alexey Shabalin