Re: [Sysadmins] Пересоздание RAID-массива "на лету"

Re: [Sysadmins] Пересоздание RAID-массива "на лету"

[Michael Shigorin]

On Mon, Dec 28, 2009 at 10:48:41AM +0500, Yakov Hrebtov wrote:
> Недавно собрали сервер хранения данных на базе контроллера
> Adaptec 51645 и 16 2TB дисков. Из 15 дисков сделали RAID5, а
> 16-й - Hot Spare.  Мысль о том что для массива с таким большим
> количеством дисков пожалуй более подойдет RAID6 пришла после
> того, как сервер уехал в другой город (туда, где он и должен
> работать) :-) В контроллерах Adaptec заявлена возможность RAID
> level migration.  Я решил сконвертировать RAID5 на 15 дисках в
> RAID6 на 16 дисках.

При возможности я бы всё-таки оставил и hot spare -- особенно
если диски вне массива не тестировались на разброс параметров.

> Запустил процесс с помощью утилиты arcconf.  Проблема в том,
> что процесс преобразования достиг 1% через четверо суток :)
> Видимо какая-то ошибка в контроллере, потому что совершенно
> непонятно, чем можно так долго заниматься. В поддержку Адаптека
> написал, но пока без ответа.  Сейчас массив работает, но с
> ужасной скорость ~30M/s.
> 
> Думаю, что теперь делать... Задача - удаленно справиться с этой
> проблемой.  Система стоит прямо на массиве к сожалению. Данных
> на сервере естественно пока нет.

По-хорошему бы засунуть туда мелкий SSD и систему на него,
только /var/log на сторадж.  Есть 1.8"/2.5" SATA и по размеру
разъёма IDE, только осторожно с Transcend -- эти умники сделали
обечайку недостаточного размера, очень легко промахнуться на один
пин и при этом поделие сгорает.

> Идея у меня следующая:
> 1. Замонтировать tmpfs.
> 2. отключить своп.
> 3. rsync-ом залить в tmpfs всю систему (памяти хватит).
> 4. сделать chroot в точку монтирования tmpfs

Возможно, понадобится pivot_root, и не уверен, что корневая
отпустится.  Но если утилита на это внимания не обратит,
то сюрприз может ожидать уже на этапе попытки разбить новый
массив.

> 5. удалить существующий массив. и создать с нуля RAID6.
> 6. залить систему из tmpfs назад на массив.
> 7. Установить загрузчик.
> 8. Попробовать перезагразиться.
> 
> Как считаете, есть шансы на успех? :-)
> Может кто-то предложит другой вариант?

Я бы постарался обсудить командировку с отдельным диском
для системы и возможностью решить спокойно на месте.

Если же нет -- то искал бы возможность подключить IP KVM.

Если нет -- высунул тот диск, который spare, как JBOD и попытался
переехать на него (это если удастся удачно остановить процесс
миграции).  А потом его бы и засунул назад как опять запасной.

2 rider: ну и что SoL даст, у нас есть текстовый инсталятор? :(

Хотя сейчас около многих IPMI BMC по факту интегрирован сервисный
процессор (например, на новых супермикрах, которые две дуальных
в 2U становятся) -- надо глянуть описание материнки.

PS: с такими вопросами приглашаю в sysadmins@. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] SSD

[Anton Farygin]

28.12.2009 19:52, Michael Shigorin пишет:
> On Mon, Dec 28, 2009 at 10:48:41AM +0500, Yakov Hrebtov wrote:
>> Недавно собрали сервер хранения данных на базе контроллера
>> Adaptec 51645 и 16 2TB дисков. Из 15 дисков сделали RAID5, а
>> 16-й - Hot Spare.  Мысль о том что для массива с таким большим
>> количеством дисков пожалуй более подойдет RAID6 пришла после
>> того, как сервер уехал в другой город (туда, где он и должен
>> работать) :-) В контроллерах Adaptec заявлена возможность RAID
>> level migration.  Я решил сконвертировать RAID5 на 15 дисках в
>> RAID6 на 16 дисках.
>
> При возможности я бы всё-таки оставил и hot spare -- особенно
> если диски вне массива не тестировались на разброс параметров.
>
>> Запустил процесс с помощью утилиты arcconf.  Проблема в том,
>> что процесс преобразования достиг 1% через четверо суток :)
>> Видимо какая-то ошибка в контроллере, потому что совершенно
>> непонятно, чем можно так долго заниматься. В поддержку Адаптека
>> написал, но пока без ответа.  Сейчас массив работает, но с
>> ужасной скорость ~30M/s.
>>
>> Думаю, что теперь делать... Задача - удаленно справиться с этой
>> проблемой.  Система стоит прямо на массиве к сожалению. Данных
>> на сервере естественно пока нет.
>
> По-хорошему бы засунуть туда мелкий SSD и систему на него,
> только /var/log на сторадж.  Есть 1.8"/2.5" SATA и по размеру
> разъёма IDE, только осторожно с Transcend -- эти умники сделали
> обечайку недостаточного размера, очень легко промахнуться на один
> пин и при этом поделие сгорает.

Я почитал форумы по SSD и пришёл к выводу, что сейчас пока-что лучше 
вообще с этим делом поаккуратнее.

Говорят, что надёжный - только от Intel, но денег он стоит очень много.

Всё остальное - можно попасть, и серьёзно. Так что я решил пока-что 
остановиться на DoM, благо их много дешёвых:

http://www.dont.ru/catalog.285.1.html

Re: [Sysadmins] [Comm] Пересоздание RAID-массива "на лету"

[Eugene Prokopiev]

> 2 rider: ну и что SoL даст, у нас есть текстовый инсталятор? :(

ну во-первых, у меня почти есть некое подобие в составе
http://admdev.blogspot.com/search/label/altlinux-live, во-вторых оно
все же больше ориентировано на человека на том конце, который в
состоянии установить адрес и рутовый пароль - и передать эстафету

кстати, и переезды легче будет устраивать не наживую, а загрузившись с
подобного live

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] Пересоздание RAID-массива "на лету"

[Yakov Hrebtov]

Michael Shigorin wrote:
> Возможно, понадобится pivot_root, и не уверен, что корневая
> отпустится.  Но если утилита на это внимания не обратит,
> то сюрприз может ожидать уже на этапе попытки разбить новый
> массив.
Спасибо за советы, буду пробовать.

> Я бы постарался обсудить командировку с отдельным диском
> для системы и возможностью решить спокойно на месте.

Да понятно, что в данной ситуации это наверное единственный гарантированный 
вариант.
Обидно из-за того, что ехать в одну сторону 8 часов, а работы там на 30 мин. 
максимум (с учетом того, что система настроенная доступна и ее можно легко 
слить на ту-же флешку, и мигом залить назад после пересоздания массива) Но, как 
говорится, сам себе злобный Буратино ;-)

Re: [Sysadmins] Пересоздание RAID-массива "на лету"

[Yakov Hrebtov]

Yakov Hrebtov wrote:
> Да понятно, что в данной ситуации это наверное единственный 
> гарантированный вариант.

P.S.
Только что ответили из Адаптека, что выпустили по этой проблеме новую прошивку, 
так что возможно все еще удастся решить штатными средствами контроллера.

Re: [Sysadmins] Пересоздание RAID-массива "на лету"

[MisHel64]

Здравствуйте, Yakov.

Вы писали 29 декабря 2009 г., 8:29:55:

>> Я бы постарался обсудить командировку с отдельным диском
>> для системы и возможностью решить спокойно на месте.

> Да понятно, что в данной ситуации это наверное единственный гарантированный
> вариант.
> Обидно из-за того, что ехать в одну сторону 8 часов, а работы там на 30 мин.

Очень  люблю  по этому IP KVM и нормальное серверное железо, в котором
это встроено.

-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] автоматическая установка

[Anton Farygin]

28.12.2009 19:52, Michael Shigorin пишет:

>
> 2 rider: ну и что SoL даст, у нас есть текстовый инсталятор? :(

Слона то я в твоём письме и не заметил.

Видимо, пора делать анонс ;)

В общем, у нас есть кое-что покруче текстового инсталятора. А именно - 
работающая автоматическая установка с возможностью забирать метадату 
через сеть (http, ftp, nfs). Правда, на Sisyphus (server-light и skif 
уже с ней собраны).

В server-light-1.0.1, который я планирую выложить до НГ, это уже будет и 
можно будет тестировать. Соответственно, и некая документация на wiki 
появится.

А текстовый инсталятор становится всё менее и менее нужным. Опять же - 
было б финансирование - будет и нужная функциональность.

Если кто-то готов оплатить разработку _текстового_ инсталятора - мой 
email известен. Бюджет там не супер-какой-большой, и я его готов 
обсуждать в привате.