[Comm] Пересоздание RAID-массива "на лету"

[Comm] Пересоздание RAID-массива "на лету"

[Yakov Hrebtov]

Привет!

Недавно собрали сервер хранения данных на базе контроллера Adaptec 51645 и 16 
2TB дисков. Из 15 дисков сделали RAID5, а 16-й - Hot Spare.
Мысль о том что для массива с таким большим количеством дисков пожалуй более 
подойдет RAID6 пришла после того, как сервер уехал в другой город (туда, где он 
и должен работать) :-)
В контроллерах Adaptec заявлена возможность RAID level migration.
Я решил сконвертировать RAID5 на 15 дисках в RAID6 на 16 дисках. Запустил 
процесс с помощью утилиты arcconf.
Проблема в том, что процесс преобразования достиг 1% через четверо суток :) 
Видимо какая-то ошибка в контроллере, потому что совершенно непонятно, чем 
можно так долго заниматься. В поддержку Адаптека написал, но пока без ответа.
Сейчас массив работает, но с ужасной скорость ~30M/s.

Думаю, что теперь делать... Задача - удаленно справиться с этой проблемой.
Система стоит прямо на массиве к сожалению. Данных на сервере естественно пока нет.

Идея у меня следующая:
1. Замонтировать tmpfs.
2. отключить своп.
3. rsync-ом залить в tmpfs всю систему (памяти хватит).
4. сделать chroot в точку монтирования tmpfs
5. удалить существующий массив. и создать с нуля RAID6.
6. залить систему из tmpfs назад на массив.
7. Установить загрузчик.
8. Попробовать перезагразиться.

Как считаете, есть шансы на успех? :-)
Может кто-то предложит другой вариант?

Re: [Comm] Пересоздание RAID-массива "на лету"

[Шишков Евгений]

28.12.2009 08:48, Yakov Hrebtov пишет:

> Идея у меня следующая:
> 1. Замонтировать tmpfs.
> 2. отключить своп.
> 3. rsync-ом залить в tmpfs всю систему (памяти хватит).

Вот это супер. Всё равно, что подпрыгнуть и висеть в воздухе.
Вы отдаёте себе отчёт, что будет, если будет сбой по эл. питанию или ещё 
какая внештатка?

Система не так уж и много места занимает.
Перелейте её на отдельный винт, потом вернёте (обычным копированием).

Re: [Comm] Пересоздание RAID-массива "на лету"

[Yakov Hrebtov]

Шишков Евгений wrote:
> Вот это супер. Всё равно, что подпрыгнуть и висеть в воздухе.
> Вы отдаёте себе отчёт, что будет, если будет сбой по эл. питанию или ещё 
> какая внештатка?

Если что-то пойдет не так, придется делать то, чего как раз и хочется избежать 
-- ехать на личную встречу с сервером :-)
Насчет сбоя по питанию, как раз очень маловероятно -- сервер подключен к 
10-киловатнику.

> Система не так уж и много места занимает.
> Перелейте её на отдельный винт, потом вернёте (обычным копированием).

Я ж написал, что необходимо решить задачу удаленно. Я не смогу удаленно открыть 
сервак и подключить туда еще один винт... ;-)

Re: [Comm] Пересоздание RAID-массива "на лету"

[Шишков Евгений]

28.12.2009 10:38, Yakov Hrebtov пишет:

> Я ж написал, что необходимо решить задачу удаленно. Я не смогу удаленно
> открыть сервак и подключить туда еще один винт... ;-)

Ну тогда да, выход один, в память...

Re: [Comm] Пересоздание RAID-массива "на лету"

[Anton Farygin]

28.12.2009 10:38, Yakov Hrebtov пишет:
> Шишков Евгений wrote:
>> Вот это супер. Всё равно, что подпрыгнуть и висеть в воздухе.
>> Вы отдаёте себе отчёт, что будет, если будет сбой по эл. питанию или
>> ещё какая внештатка?
>
> Если что-то пойдет не так, придется делать то, чего как раз и хочется
> избежать -- ехать на личную встречу с сервером :-)
> Насчет сбоя по питанию, как раз очень маловероятно -- сервер подключен к
> 10-киловатнику.

Если в сервере есть BMC, то всё просто:

настраиваете serial over ethernet, и переставляете систему удалённо.

Главное - диск в приводе должен быть. Или рядом по сети.

Re: [Comm] Пересоздание RAID-массива "на лету"

[Michael Shigorin]

On Mon, Dec 28, 2009 at 10:48:41AM +0500, Yakov Hrebtov wrote:
> Недавно собрали сервер хранения данных на базе контроллера
> Adaptec 51645 и 16 2TB дисков. Из 15 дисков сделали RAID5, а
> 16-й - Hot Spare.  Мысль о том что для массива с таким большим
> количеством дисков пожалуй более подойдет RAID6 пришла после
> того, как сервер уехал в другой город (туда, где он и должен
> работать) :-) В контроллерах Adaptec заявлена возможность RAID
> level migration.  Я решил сконвертировать RAID5 на 15 дисках в
> RAID6 на 16 дисках.

При возможности я бы всё-таки оставил и hot spare -- особенно
если диски вне массива не тестировались на разброс параметров.

> Запустил процесс с помощью утилиты arcconf.  Проблема в том,
> что процесс преобразования достиг 1% через четверо суток :)
> Видимо какая-то ошибка в контроллере, потому что совершенно
> непонятно, чем можно так долго заниматься. В поддержку Адаптека
> написал, но пока без ответа.  Сейчас массив работает, но с
> ужасной скорость ~30M/s.
> 
> Думаю, что теперь делать... Задача - удаленно справиться с этой
> проблемой.  Система стоит прямо на массиве к сожалению. Данных
> на сервере естественно пока нет.

По-хорошему бы засунуть туда мелкий SSD и систему на него,
только /var/log на сторадж.  Есть 1.8"/2.5" SATA и по размеру
разъёма IDE, только осторожно с Transcend -- эти умники сделали
обечайку недостаточного размера, очень легко промахнуться на один
пин и при этом поделие сгорает.

> Идея у меня следующая:
> 1. Замонтировать tmpfs.
> 2. отключить своп.
> 3. rsync-ом залить в tmpfs всю систему (памяти хватит).
> 4. сделать chroot в точку монтирования tmpfs

Возможно, понадобится pivot_root, и не уверен, что корневая
отпустится.  Но если утилита на это внимания не обратит,
то сюрприз может ожидать уже на этапе попытки разбить новый
массив.

> 5. удалить существующий массив. и создать с нуля RAID6.
> 6. залить систему из tmpfs назад на массив.
> 7. Установить загрузчик.
> 8. Попробовать перезагразиться.
> 
> Как считаете, есть шансы на успех? :-)
> Может кто-то предложит другой вариант?

Я бы постарался обсудить командировку с отдельным диском
для системы и возможностью решить спокойно на месте.

Если же нет -- то искал бы возможность подключить IP KVM.

Если нет -- высунул тот диск, который spare, как JBOD и попытался
переехать на него (это если удастся удачно остановить процесс
миграции).  А потом его бы и засунул назад как опять запасной.

2 rider: ну и что SoL даст, у нас есть текстовый инсталятор? :(

Хотя сейчас около многих IPMI BMC по факту интегрирован сервисный
процессор (например, на новых супермикрах, которые две дуальных
в 2U становятся) -- надо глянуть описание материнки.

PS: с такими вопросами приглашаю в sysadmins@. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Пересоздание RAID-массива "на лету"

[Eugene Prokopiev]

> 2 rider: ну и что SoL даст, у нас есть текстовый инсталятор? :(

ну во-первых, у меня почти есть некое подобие в составе
http://admdev.blogspot.com/search/label/altlinux-live, во-вторых оно
все же больше ориентировано на человека на том конце, который в
состоянии установить адрес и рутовый пароль - и передать эстафету

кстати, и переезды легче будет устраивать не наживую, а загрузившись с
подобного live

-- 
С уважением,
Прокопьев Евгений