Re: [Sysadmins] [Comm] Sofware RAID

Re: [Sysadmins] [Comm] Sofware RAID

[Michael Shigorin]

On Mon, Mar 10, 2008 at 10:20:10PM +0300, Vladimir Karpinsky wrote:
> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
> предполагается хранение достаточно важной информации. Для 
> "ответственного хранения" этой информации хочу сделать
> программный RAID-5.

Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
что-либо малореально, десятка тоже имеет шанс на полное
рассыпание при выходе двух дисков из строя.  Два зеркала 
при потере двух дисков в худшем случае потеряют одно из.

> Организацию массива пытаюсь делать сразу при установке АЛД4.0.
> Но дальше у меня возникает непонимание: изначально я думал, что
> этот массив будет просто содержать "обычные" подразделы типа /,

/ может быть лучше положить на отдельный RAID1 по всем дискам,
ну или если хочется заодно оптимизировать -- то можно сделать
небольшой (полгига-гиг) / на 4HDD RAID1, /usr на 2HDD RAID1, 
/var на 2HDD RAID1 (симметрично /usr), а остальное пустить на
пресловутые пару зеркал под хранение.

> /home и т.п., но можно ли это сделать вообще, а, в частности,
> средствами инсталятора не понятно. Кроме того, загрузчик не
> хочет вставать на raid5, а только на raid1

Ессно, поскольку никто в здравом уме и трезвой памяти себе 
корня на страйпе не пожелает...

> т.е. / надо из массива выносить и ставить туда загрузчик. А
> тогда я перестаю понимать, как разбивать всё остальное: из
> того, что успел прочитать, я понял (вероятно не верно) что
> raid5 позволяет из 4-х одинаковых дисков объёмом N сделать
> массив, объёмом почти 3N, при этом 1 умерший диск, м.б. заменён
> без потери данных.  Если из одного диска выделить что-то, то
> объём его уже будет меньше...

Есть ещё одно соображение: заменять диски в софтрейде тем
сложней, чем больше на них понакручено.  Если уж будете делать
RAID5, может иметь смысл для системы поставить отдельный
небольшой диск, а рейд делать на полных sd[abcd].

Опять же при решении в пользу пятёрки _обязательно_ ознакомьтесь
с этим документом (в частности, это к тому, что лучше разделы
для RAID5 отрезать и заворачивать в массив руками после установки
корня -- увы, не знаю дистрибутивов, которые бы учитывали сами):

http://www.freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID

PS: при прочих равных 4HDD лучше зеркалить "через один" -- чуть
меньше шансов, что выдернут/пошевелят оба провода питания или
данных одновременно у дисков, которые находятся чуть дальше друг 
от друга.

Это же соображение касается случаев, когда ходим через разные
контроллеры -- особенно если один из них "навесной": поскольку
электроника -- наука о контактах, зеркало лучше разводить
половинками, а не вешать целиком через потенциальную точку сбоя.

Мне эти выводы в своё время стоили некоторых нервов...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
_______________________________________________
community mailing list
community@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/community

Re: [Sysadmins] [Comm] Sofware RAID

[Maxim Tyurin]

[-- Attachment #1: Type: text/plain, Size: 1919 bytes --]

Michael Shigorin пишет:
> On Mon, Mar 10, 2008 at 10:20:10PM +0300, Vladimir Karpinsky wrote:
>> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
>> предполагается хранение достаточно важной информации. Для 
>> "ответственного хранения" этой информации хочу сделать
>> программный RAID-5.
> 
> Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> что-либо малореально, десятка тоже имеет шанс на полное
> рассыпание при выходе двух дисков из строя.  Два зеркала 
> при потере двух дисков в худшем случае потеряют одно из.

Это паранойя уже :) Да и backup никто не отменял.
Я бы сделал raid1 из двух разделов двух дисков для корня.
На оставшихся двух дисках сделал бы swap разделы аналогичного raid1
размера. И на остальное место raid5 из четырех дисков.
Лучше бы добавить хоть еще один диск и сделать raid6 - тормознее, но
надежнее. На 4-х дисках raid6 тормозит еще больше чем raid5 на трех.

\skip
> Ессно, поскольку никто в здравом уме и трезвой памяти себе 
> корня на страйпе не пожелает...

Чего-то я не понял... Я всегда считал что страйп это raid0.
Когда пятерка стала страйпом?

И не вижу ничего плохого в корне на пятерке. У меня так давно крутится
пара серверов (правда рейды там железные).
Да и на софтовом вполне нормально. Тем более что оно hot spare умеет.

Правда для важных данных я бы сделал массив с hot spare и у самого
массива включил бы intent bitmaps.

Или я не знаю каких-то скрытых граблей?

\skip
> Есть ещё одно соображение: заменять диски в софтрейде тем
> сложней, чем больше на них понакручено.  Если уж будете делать
> RAID5, может иметь смысл для системы поставить отдельный
> небольшой диск, а рейд делать на полных sd[abcd].

Ну не намного сложнее чем в аппаратный рейд.
Вставил диск, запустил fdisk, запустил mdamd
Что тут сложного?

\skip

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [Sysadmins] [Comm] Sofware RAID

[Michael Shigorin]

On Mon, Mar 10, 2008 at 11:21:51PM +0200, Maxim Tyurin wrote:
> >> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
> >> предполагается хранение достаточно важной информации. Для
> >> "ответственного хранения" этой информации хочу сделать
> >> программный RAID-5.
> > Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> > что-либо малореально, десятка тоже имеет шанс на полное
> > рассыпание при выходе двух дисков из строя.  Два зеркала 
> > при потере двух дисков в худшем случае потеряют одно из.
> Это паранойя уже :) Да и backup никто не отменял.

Ну вот если информация важная -- то лучше два зеркала и на одном
из них -- "тормозящий" бэкап ;)  (что не отменяет бэкапа на
другом тазике в другой комнате -- мало ли, зальёт или взломают)

> > Ессно, поскольку никто в здравом уме и трезвой памяти себе
> > корня на страйпе не пожелает...
> Чего-то я не понял... Я всегда считал что страйп это raid0.
> Когда пятерка стала страйпом?

По сути это тоже частичный страйп.

> И не вижу ничего плохого в корне на пятерке. У меня так давно
> крутится пара серверов (правда рейды там железные).  Да и на
> софтовом вполне нормально. Тем более что оно hot spare умеет.
> Правда для важных данных я бы сделал массив с hot spare и у
> самого массива включил бы intent bitmaps.
> Или я не знаю каких-то скрытых граблей?

Как минимум корень не нужен большой, зато хочется надёжный.
Собственно, совет был дан по мотивам взгромождения fly на
восемь HDD :)  Корень там -- на четырёх.

> > Есть ещё одно соображение: заменять диски в софтрейде тем
> > сложней, чем больше на них понакручено.  Если уж будете делать
> > RAID5, может иметь смысл для системы поставить отдельный
> > небольшой диск, а рейд делать на полных sd[abcd].
> Ну не намного сложнее чем в аппаратный рейд.
> Вставил диск, запустил fdisk, запустил mdamd
> Что тут сложного?

(вздыхая) Возни больше... и мне она как раз светит, один из
дисков заладил из пятёрки при загрузке вываливаться (потом
руками становится, но sr@ говорит, что однозначно менять)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [Comm] Software RAID

[Michael Shigorin]

On Tue, Mar 11, 2008 at 12:38:22PM +0300, Vladimir Karpinsky wrote:
> >>Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
> >>предполагается хранение достаточно важной информации. Для
> >>"ответственного хранения" этой информации хочу сделать
> >>программный RAID-5.
> >Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> >что-либо малореально, десятка тоже имеет шанс на полное
> >рассыпание при выходе двух дисков из строя.  Два зеркала 
> >при потере двух дисков в худшем случае потеряют одно из.
> Т.е. из raid5 при сбое одного из дисков данные "выковырять"
> трудно?  Тогда это не raid получается...

Не, при сбое двух.  А это бывает, особенно с дисками из одной
неудачной партии или походившими несколько лет (google:
raid double fault).  Гругря при повышенной нагрузке во время
rebuild диск, которому уже тоже очередь подходила, может
вылететь, не успев отдать данные.

> >>Организацию массива пытаюсь делать сразу при установке АЛД4.0.
> >>Но дальше у меня возникает непонимание: изначально я думал, что
> >>этот массив будет просто содержать "обычные" подразделы типа /,
> >/ может быть лучше положить на отдельный RAID1 по всем дискам,
> >ну или если хочется заодно оптимизировать -- то можно сделать
> >небольшой (полгига-гиг) / на 4HDD RAID1,
>                                ^^^^^^^^^^
> Вот этого не понял: raid1 --- это, как мне казалось, зеркало из
> 2-х дисков. Это можно сделать на 4-х? Смысл от меня ускользает,
> или имеется ввиду "2HDD RAID1"?

Зеркало на N дисках прекрасно живёт "до последнего диска" :)
(в хороших реализациях ещё умеет распараллеливать как минимум
чтение)

> >Ессно, поскольку никто в здравом уме и трезвой памяти себе
> >корня на страйпе не пожелает...
> С этим у меня похоже проблемы ;-)

Ну мож проблемы с категоричностью у меня и авторов lilo -- 
Макс вон свои поправки вносит :) (у меня тоже была одна система
полностью на железном RAID5, но как теперь понимаю -- ей было бы
гораздо лучше быть 2HDD RAID1 под систему и важное и 2HDD RAID0 
-- под сборку).

> >Опять же при решении в пользу пятёрки _обязательно_ ознакомьтесь
> >с этим документом (в частности, это к тому, что лучше разделы
> >для RAID5 отрезать и заворачивать в массив руками после установки
> >корня -- увы, не знаю дистрибутивов, которые бы учитывали сами):
> Т.е. поотрезать, напрмер, sda[bcd]2 в инсталяторе и потом
> заворачивать в массив на установленной системе? Инсталятор, как
> мне показалось, так не умеет.

Не, отрезать лучше fdisk, поприкидывав секторы на пальцах,
как описано по ссылке.

> >http://www.freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID
> Спасибо, читаю...

Кстати, если получится алгоритмизировать -- не стесняйтесь
приписать там же :)

PS: тема для sysadmins@, вообще говоря...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [Comm] Software RAID

[Maxim Tyurin]

Michael Shigorin writes:

> On Tue, Mar 11, 2008 at 12:38:22PM +0300, Vladimir Karpinsky wrote:
>> >>Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
>> >>предполагается хранение достаточно важной информации. Для
>> >>"ответственного хранения" этой информации хочу сделать
>> >>программный RAID-5.
>> >Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
>> >что-либо малореально, десятка тоже имеет шанс на полное
>> >рассыпание при выходе двух дисков из строя.  Два зеркала 
>> >при потере двух дисков в худшем случае потеряют одно из.
>> Т.е. из raid5 при сбое одного из дисков данные "выковырять"
>> трудно?  Тогда это не raid получается...
>
> Не, при сбое двух.  А это бывает, особенно с дисками из одной
> неудачной партии или походившими несколько лет (google:
> raid double fault).  Гругря при повышенной нагрузке во время
> rebuild диск, которому уже тоже очередь подходила, может
> вылететь, не успев отдать данные.

Я не даром про write intent bitmaps говорил.
С ним восстанавливается быстро. Если использовать железные рейды то
лучше сделать на них 5E или 5EE. Тоже чтоб быстро восстанавливалось.

\scip
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Software RAID и write intent bitmaps

[Michael Shigorin]

On Wed, Mar 12, 2008 at 02:42:18PM +0200, Maxim Tyurin wrote:
> Я не даром про write intent bitmaps говорил.
> С ним восстанавливается быстро.

http://etbe.coker.com.au/2008/01/28/write-intent-bitmaps/;
спасибо, что подсказал.

Оказывается, оно легко и непринуждённо включается и на ходу:
mdadm -G /dev/md0 -b internal

=> https://bugzilla.altlinux.org/show_bug.cgi?id=14877

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/