[Sysadmins] mdadm cant assemble array

[Sysadmins] mdadm cant assemble array

[Alexander Volkov]

Приветствую.
Прицепил в январе пару новых дисков, создал таблицу GPT (думал использовать разделы), но затем создал RAID1 из дисков целиком.
Массив добавлен в lvm том.
В mdadm.conf внести забыл, вчера первый раз перегрузил - и массив не собрался с таким выхлопом:
mdadm -A /dev/md3 /dev/sd[cd]
mdadm: Cannot assemble mbr metadata on /dev/sdc
mdadm: /dev/sdc has no superblock - assembly aborted

Сталкивался ли кто, как его теперь вернуть к жизни?

-- 
Regards, Alex

Re: [Sysadmins] mdadm cant assemble array

[Michael Shigorin]

On Mon, Apr 04, 2016 at 10:46:24AM +0300, Alexander Volkov wrote:
> В mdadm.conf внести забыл

mdadm -IRs || mdadm -ARs

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] mdadm cant assemble array

[Alexander Volkov]

Попробовал повторить, создав degraded массив из одного диска.
PV пересоздал с опциями --uuid --restorefile
ФС монтировать не стал.
А после перезагрузки имеем 
mdadm -E /dev/sdc
/dev/sdc:
   MBR Magic : aa55
Partition[0] :   4294967295 sectors at            1 (type ee)


Т.е, никаких следов созданного...
ЧЯДНТ?

04.04.2016, 11:26, "Michael Shigorin" <mike@altlinux.org>:
> On Mon, Apr 04, 2016 at 10:46:24AM +0300, Alexander Volkov wrote:
>>  В mdadm.conf внести забыл
>
> mdadm -IRs || mdadm -ARs
пусто...

-- 
Regards, Alex

Re: [Sysadmins] mdadm cant assemble array

[Michael Shigorin]

On Mon, Apr 04, 2016 at 11:32:02AM +0300, Alexander Volkov wrote:
> Попробовал повторить, создав degraded массив из одного диска.

Вот спешить бы я не стал (как, впрочем, и LVM делать без крайней
на то нужды).

> >>  В mdadm.conf внести забыл
> > mdadm -IRs || mdadm -ARs
> пусто...

mdadm --examine --scan
что-то рассказывает?

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] mdadm cant assemble array

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Alexander Volkov" <alt@vladregion.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Понедельник, 4 Апрель 2016 г 16:32:02
> Тема: Re: [Sysadmins] mdadm cant assemble array
> 
> Попробовал повторить, создав degraded массив из одного диска.
> PV пересоздал с опциями --uuid --restorefile
> ФС монтировать не стал.

Повторить все то же самое чтобы были доступны данные.

На втором оставшемся диске создать раздел с типом FD (предварительно
пройдясь по диску mdadm --zero-superblock /dev/sd-какой-он-там

Создать из второго диска второй деградированный раздел.

Повторить манипуляции с LVM чтобы было можно скопировать с первого
раздела пользовательские данные во второй

Скопировать данные

Разобрать первый массив, разметить первый диск, добавить его во второй массив
и перевести оставшийся массив в полноценный режим.

В свое время выхватил очень "приятный" сюрприз на массиве, собранном из неразмеченных
дисков. После замены одного вышедшего из строя диска новым, массив перестал собираться
при ребуте. Теперь софтрейды собираю только из размеченных дисков. Дополнительным плюсом идет
человеческое выравнивание по секторам-блокам, что для дисков с логическими секторами
на 512 при физических 4k очень полезно в плане производительности.

Re: [Sysadmins] mdadm cant assemble array

[Alexander Volkov]

04.04.2016, 11:41, "Michael Shigorin" <mike@altlinux.org>:
> On Mon, Apr 04, 2016 at 11:32:02AM +0300, Alexander Volkov wrote:
>>  Попробовал повторить, создав degraded массив из одного диска.
>
> Вот спешить бы я не стал (как, впрочем, и LVM делать без крайней
> на то нужды).
Ну, второй диск посему и не трогаю...

>
>>  >>  В mdadm.conf внести забыл
>>  > mdadm -IRs || mdadm -ARs
>>  пусто...
>
> mdadm --examine --scan
> что-то рассказывает?
да, о запущенных массивах.

Я так понимаю, проблема в protected MBR, созданном при записи GPT на диск?
Есть ли возможность избавиться, сохранив область данных?

-- 
Regards, Alex

Re: [Sysadmins] mdadm cant assemble array

[Michael Shigorin]

On Mon, Apr 04, 2016 at 05:46:12PM +0900, Alexei Takaseev wrote:
> В свое время выхватил очень "приятный" сюрприз на массиве,
> собранном из неразмеченных дисков. После замены одного
> вышедшего из строя диска новым, массив перестал собираться
> при ребуте.

Это без перегенерации initrd?

> Теперь софтрейды собираю только из размеченных дисков.
> Дополнительным плюсом идет человеческое выравнивание по
> секторам-блокам, что для дисков с логическими секторами на 512
> при физических 4k очень полезно в плане производительности.

Гм, тут таблица разделов может в лучшем случае не навредить
(а DOS-овая с 63-го сектора вредит практически идеально,
но её уж давно не создают: http://altlinux.org/BigSector).

PS: в последнее время затеял делать софтрейды как раз на небитых
дисках с корнем на отдельном SATA DOM (или с /boot на флэшке).
В смысле последних несколько лет...

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] mdadm cant assemble array

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Michael Shigorin" <mike@altlinux.org>
> Кому: sysadmins@lists.altlinux.org
> Отправленные: Понедельник, 4 Апрель 2016 г 17:01:42
> Тема: Re: [Sysadmins] mdadm cant assemble array
> 
> On Mon, Apr 04, 2016 at 05:46:12PM +0900, Alexei Takaseev wrote:
> > В свое время выхватил очень "приятный" сюрприз на массиве,
> > собранном из неразмеченных дисков. После замены одного
> > вышедшего из строя диска новым, массив перестал собираться
> > при ребуте.
> 
> Это без перегенерации initrd?

На тех массивах располагалась файлопомойка, в загрузке системы никак
не участввующая. Но initrd перегенерировался, когда система бабахнула.
Без какого-либо положительного результата. Там еще были отягчающие
обстоятельства в виде RAID5, но это другая печальная история.

> > Теперь софтрейды собираю только из размеченных дисков.
> > Дополнительным плюсом идет человеческое выравнивание по
> > секторам-блокам, что для дисков с логическими секторами на 512
> > при физических 4k очень полезно в плане производительности.
> 
> Гм, тут таблица разделов может в лучшем случае не навредить
> (а DOS-овая с 63-го сектора вредит практически идеально,
> но её уж давно не создают: http://altlinux.org/BigSector).

Дык, со времен P6 util-linux умеет правильно готовить такие диски.
А вот как с выравниванием получится при неразмеченных дисках в массиве,
то очень большая лоторея.

Re: [Sysadmins] mdadm cant assemble array

[Michael Shigorin]

On Mon, Apr 04, 2016 at 06:12:57PM +0900, Alexei Takaseev wrote:
> А вот как с выравниванием получится при неразмеченных дисках в
> массиве, то очень большая лоторея.

С чем именно, если нумерация идёт априори с нулевого сектора?

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Sysadmins] mdadm cant assemble array

[Alexander Volkov]

04.04.2016, 11:45, "Alexei Takaseev" <alexei@taf.ru>:
> ----- Исходное сообщение -----
>>  От: "Alexander Volkov" <alt@vladregion.ru>
>>  Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
>>  Отправленные: Понедельник, 4 Апрель 2016 г 16:32:02
>>  Тема: Re: [Sysadmins] mdadm cant assemble array
>>
>>  Попробовал повторить, создав degraded массив из одного диска.
>>  PV пересоздал с опциями --uuid --restorefile
>>  ФС монтировать не стал.
>
> Повторить все то же самое чтобы были доступны данные.
Ну, вроде доступны, смонтировалось...

> На втором оставшемся диске создать раздел с типом FD (предварительно
> пройдясь по диску mdadm --zero-superblock /dev/sd-какой-он-там
>
> Создать из второго диска второй деградированный раздел.
>
> Повторить манипуляции с LVM чтобы было можно скопировать с первого
> раздела пользовательские данные во второй
>
> Скопировать данные
Тут скопировать данные не получится, а вот для pvmove не хватает одного экстента, что предсказуемо при создании второго рейда на разделе:
pvmove -b /dev/md3 /dev/md5
  Insufficient free space: 715364 extents needed, but only 715363 available
  Unable to allocate mirror extents for pvmove0.

Буду думать, где искать этот экстент...

>
> Разобрать первый массив, разметить первый диск, добавить его во второй массив
> и перевести оставшийся массив в полноценный режим.
>
> В свое время выхватил очень "приятный" сюрприз на массиве, собранном из неразмеченных
> дисков. После замены одного вышедшего из строя диска новым, массив перестал собираться
> при ребуте. Теперь софтрейды собираю только из размеченных дисков. Дополнительным плюсом идет
> человеческое выравнивание по секторам-блокам, что для дисков с логическими секторами
> на 512 при физических 4k очень полезно в плане производительности.
Спасибо за советы...

-- 
Regards, Alex