[Comm] Sofware RAID

[Comm] Sofware RAID

[Vladimir Karpinsky]

Здравствуйте!

Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
предполагается хранение достаточно важной информации. Для 
"ответственного хранения" этой информации хочу сделать программный 
RAID-5. Организацию массива пытаюсь делать сразу при установке АЛД4.0. 
Но дальше у меня возникает непонимание: изначально я думал, что этот 
массив будет просто содержать "обычные" подразделы типа /, /home и т.п., 
но можно ли это сделать вообще, а, в частности, средствами инсталятора 
не понятно. Кроме того, загрузчик не хочет вставать на raid5, а только 
на raid1, т.е. / надо из массива выносить и ставить туда загрузчик. А 
тогда я перестаю понимать, как разбивать всё остальное: из того, что 
успел прочитать, я понял (вероятно не верно) что raid5 позволяет из 4-х 
одинаковых дисков объёмом N сделать массив, объёмом почти 3N, при этом 1 
умерший диск, м.б. заменён без потери данных. Если из одного диска 
выделить что-то, то объём его уже будет меньше...

В общем, какая-то каша у меня в голове получилась после сегодняшних 
упражнений. Подскажите, пожалуйста, где бы про это подробно почитать, 
желательно с приложением к инсталятору АЛД4.0.

-- 
	С уважением,
		Владимир.

Re: [Comm] Sofware RAID

[Michael Shigorin]

On Mon, Mar 10, 2008 at 10:20:10PM +0300, Vladimir Karpinsky wrote:
> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
> предполагается хранение достаточно важной информации. Для 
> "ответственного хранения" этой информации хочу сделать
> программный RAID-5.

Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
что-либо малореально, десятка тоже имеет шанс на полное
рассыпание при выходе двух дисков из строя.  Два зеркала 
при потере двух дисков в худшем случае потеряют одно из.

> Организацию массива пытаюсь делать сразу при установке АЛД4.0.
> Но дальше у меня возникает непонимание: изначально я думал, что
> этот массив будет просто содержать "обычные" подразделы типа /,

/ может быть лучше положить на отдельный RAID1 по всем дискам,
ну или если хочется заодно оптимизировать -- то можно сделать
небольшой (полгига-гиг) / на 4HDD RAID1, /usr на 2HDD RAID1, 
/var на 2HDD RAID1 (симметрично /usr), а остальное пустить на
пресловутые пару зеркал под хранение.

> /home и т.п., но можно ли это сделать вообще, а, в частности,
> средствами инсталятора не понятно. Кроме того, загрузчик не
> хочет вставать на raid5, а только на raid1

Ессно, поскольку никто в здравом уме и трезвой памяти себе 
корня на страйпе не пожелает...

> т.е. / надо из массива выносить и ставить туда загрузчик. А
> тогда я перестаю понимать, как разбивать всё остальное: из
> того, что успел прочитать, я понял (вероятно не верно) что
> raid5 позволяет из 4-х одинаковых дисков объёмом N сделать
> массив, объёмом почти 3N, при этом 1 умерший диск, м.б. заменён
> без потери данных.  Если из одного диска выделить что-то, то
> объём его уже будет меньше...

Есть ещё одно соображение: заменять диски в софтрейде тем
сложней, чем больше на них понакручено.  Если уж будете делать
RAID5, может иметь смысл для системы поставить отдельный
небольшой диск, а рейд делать на полных sd[abcd].

Опять же при решении в пользу пятёрки _обязательно_ ознакомьтесь
с этим документом (в частности, это к тому, что лучше разделы
для RAID5 отрезать и заворачивать в массив руками после установки
корня -- увы, не знаю дистрибутивов, которые бы учитывали сами):

http://www.freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID

PS: при прочих равных 4HDD лучше зеркалить "через один" -- чуть
меньше шансов, что выдернут/пошевелят оба провода питания или
данных одновременно у дисков, которые находятся чуть дальше друг 
от друга.

Это же соображение касается случаев, когда ходим через разные
контроллеры -- особенно если один из них "навесной": поскольку
электроника -- наука о контактах, зеркало лучше разводить
половинками, а не вешать целиком через потенциальную точку сбоя.

Мне эти выводы в своё время стоили некоторых нервов...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Sofware RAID

[Maxim Tyurin]

[-- Attachment #1: Type: text/plain, Size: 1919 bytes --]

Michael Shigorin пишет:
> On Mon, Mar 10, 2008 at 10:20:10PM +0300, Vladimir Karpinsky wrote:
>> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
>> предполагается хранение достаточно важной информации. Для 
>> "ответственного хранения" этой информации хочу сделать
>> программный RAID-5.
> 
> Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> что-либо малореально, десятка тоже имеет шанс на полное
> рассыпание при выходе двух дисков из строя.  Два зеркала 
> при потере двух дисков в худшем случае потеряют одно из.

Это паранойя уже :) Да и backup никто не отменял.
Я бы сделал raid1 из двух разделов двух дисков для корня.
На оставшихся двух дисках сделал бы swap разделы аналогичного raid1
размера. И на остальное место raid5 из четырех дисков.
Лучше бы добавить хоть еще один диск и сделать raid6 - тормознее, но
надежнее. На 4-х дисках raid6 тормозит еще больше чем raid5 на трех.

\skip
> Ессно, поскольку никто в здравом уме и трезвой памяти себе 
> корня на страйпе не пожелает...

Чего-то я не понял... Я всегда считал что страйп это raid0.
Когда пятерка стала страйпом?

И не вижу ничего плохого в корне на пятерке. У меня так давно крутится
пара серверов (правда рейды там железные).
Да и на софтовом вполне нормально. Тем более что оно hot spare умеет.

Правда для важных данных я бы сделал массив с hot spare и у самого
массива включил бы intent bitmaps.

Или я не знаю каких-то скрытых граблей?

\skip
> Есть ещё одно соображение: заменять диски в софтрейде тем
> сложней, чем больше на них понакручено.  Если уж будете делать
> RAID5, может иметь смысл для системы поставить отдельный
> небольшой диск, а рейд делать на полных sd[abcd].

Ну не намного сложнее чем в аппаратный рейд.
Вставил диск, запустил fdisk, запустил mdamd
Что тут сложного?

\skip

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [Comm] Sofware RAID

[Michael Shigorin]

On Mon, Mar 10, 2008 at 11:21:51PM +0200, Maxim Tyurin wrote:
> >> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
> >> предполагается хранение достаточно важной информации. Для
> >> "ответственного хранения" этой информации хочу сделать
> >> программный RAID-5.
> > Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> > что-либо малореально, десятка тоже имеет шанс на полное
> > рассыпание при выходе двух дисков из строя.  Два зеркала 
> > при потере двух дисков в худшем случае потеряют одно из.
> Это паранойя уже :) Да и backup никто не отменял.

Ну вот если информация важная -- то лучше два зеркала и на одном
из них -- "тормозящий" бэкап ;)  (что не отменяет бэкапа на
другом тазике в другой комнате -- мало ли, зальёт или взломают)

> > Ессно, поскольку никто в здравом уме и трезвой памяти себе
> > корня на страйпе не пожелает...
> Чего-то я не понял... Я всегда считал что страйп это raid0.
> Когда пятерка стала страйпом?

По сути это тоже частичный страйп.

> И не вижу ничего плохого в корне на пятерке. У меня так давно
> крутится пара серверов (правда рейды там железные).  Да и на
> софтовом вполне нормально. Тем более что оно hot spare умеет.
> Правда для важных данных я бы сделал массив с hot spare и у
> самого массива включил бы intent bitmaps.
> Или я не знаю каких-то скрытых граблей?

Как минимум корень не нужен большой, зато хочется надёжный.
Собственно, совет был дан по мотивам взгромождения fly на
восемь HDD :)  Корень там -- на четырёх.

> > Есть ещё одно соображение: заменять диски в софтрейде тем
> > сложней, чем больше на них понакручено.  Если уж будете делать
> > RAID5, может иметь смысл для системы поставить отдельный
> > небольшой диск, а рейд делать на полных sd[abcd].
> Ну не намного сложнее чем в аппаратный рейд.
> Вставил диск, запустил fdisk, запустил mdamd
> Что тут сложного?

(вздыхая) Возни больше... и мне она как раз светит, один из
дисков заладил из пятёрки при загрузке вываливаться (потом
руками становится, но sr@ говорит, что однозначно менять)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Software RAID

[Vladimir Karpinsky]

Здравствуйте!

Пытаюсь осознать, но пока не всё укладывается в голове...

Michael Shigorin пишет:
> On Mon, Mar 10, 2008 at 10:20:10PM +0300, Vladimir Karpinsky wrote:
>> Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором 
>> предполагается хранение достаточно важной информации. Для 
>> "ответственного хранения" этой информации хочу сделать
>> программный RAID-5.
> 
> Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> что-либо малореально, десятка тоже имеет шанс на полное
> рассыпание при выходе двух дисков из строя.  Два зеркала 
> при потере двух дисков в худшем случае потеряют одно из.

Т.е. из raid5 при сбое одного из дисков данные "выковырять" трудно? 
Тогда это не raid получается...

>> Организацию массива пытаюсь делать сразу при установке АЛД4.0.
>> Но дальше у меня возникает непонимание: изначально я думал, что
>> этот массив будет просто содержать "обычные" подразделы типа /,
> 
> / может быть лучше положить на отдельный RAID1 по всем дискам,
> ну или если хочется заодно оптимизировать -- то можно сделать
> небольшой (полгига-гиг) / на 4HDD RAID1,
                                ^^^^^^^^^^
Вот этого не понял: raid1 --- это, как мне казалось, зеркало из 2-х 
дисков. Это можно сделать на 4-х? Смысл от меня ускользает, или имеется 
ввиду "2HDD RAID1"?

  /usr на 2HDD RAID1,
> /var на 2HDD RAID1 (симметрично /usr), а остальное пустить на
> пресловутые пару зеркал под хранение.
> 
>> /home и т.п., но можно ли это сделать вообще, а, в частности,
>> средствами инсталятора не понятно.

Тут смысл, к счастью, мне понятен.

> Ессно, поскольку никто в здравом уме и трезвой памяти себе 
> корня на страйпе не пожелает...

С этим у меня похоже проблемы ;-)

> Есть ещё одно соображение: заменять диски в софтрейде тем
> сложней, чем больше на них понакручено.  Если уж будете делать
> RAID5, может иметь смысл для системы поставить отдельный
> небольшой диск, а рейд делать на полных sd[abcd].

Тоже вариант, но 5-го sata нет, надо тогда диск к pata dvd на один шлейф 
ставить.

> Опять же при решении в пользу пятёрки _обязательно_ ознакомьтесь
> с этим документом (в частности, это к тому, что лучше разделы
> для RAID5 отрезать и заворачивать в массив руками после установки
> корня -- увы, не знаю дистрибутивов, которые бы учитывали сами):

Т.е. поотрезать, напрмер, sda[bcd]2 в инсталяторе и потом заворачивать в 
массив на установленной системе? Инсталятор, как мне показалось, так не 
умеет.

> http://www.freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID

Спасибо, читаю...

-- 
	С уважением,
		Владимир.

Re: [Comm] Sofware RAID

[Vladimir Karpinsky]

Здравствуйте!

Maxim Tyurin пишет:
> Это паранойя уже :) Да и backup никто не отменял.

С организацией backup'ом больших объёмов есть проблемы: писать на DVD 
можно, но уверенности в том, что они проживут сколь-нибудь долго, совсем 
нет, а стриммеры подобающих размеров, мягко скажем, дороговаты для нас 
(университет). Поэтому и хочется хранить на HDD, которые сейчас 
значительно доступнее.

> Я бы сделал raid1 из двух разделов двух дисков для корня.
> На оставшихся двух дисках сделал бы swap разделы аналогичного raid1
> размера. И на остальное место raid5 из четырех дисков.

Завтра попробую. Это можно сделать в процессе установке, или только после?

> Лучше бы добавить хоть еще один диск и сделать raid6 - тормознее, но
> надежнее. На 4-х дисках raid6 тормозит еще больше чем raid5 на трех.

А как raid5 на 4-х дисках ведёт себя с точки зрения производительности?

> И не вижу ничего плохого в корне на пятерке. У меня так давно крутится
> пара серверов (правда рейды там железные).
> Да и на софтовом вполне нормально. Тем более что оно hot spare умеет.

Мне hot совсем не обязательно, остановить при необходимости вполне могу.

> Правда для важных данных я бы сделал массив с hot spare и у самого
> массива включил бы intent bitmaps.

На скорость сильно влияет?

--
	С уважением,
		Владимир.

Re: [Comm] Software RAID

[Michael Shigorin]

On Tue, Mar 11, 2008 at 12:38:22PM +0300, Vladimir Karpinsky wrote:
> >>Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
> >>предполагается хранение достаточно важной информации. Для
> >>"ответственного хранения" этой информации хочу сделать
> >>программный RAID-5.
> >Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
> >что-либо малореально, десятка тоже имеет шанс на полное
> >рассыпание при выходе двух дисков из строя.  Два зеркала 
> >при потере двух дисков в худшем случае потеряют одно из.
> Т.е. из raid5 при сбое одного из дисков данные "выковырять"
> трудно?  Тогда это не raid получается...

Не, при сбое двух.  А это бывает, особенно с дисками из одной
неудачной партии или походившими несколько лет (google:
raid double fault).  Гругря при повышенной нагрузке во время
rebuild диск, которому уже тоже очередь подходила, может
вылететь, не успев отдать данные.

> >>Организацию массива пытаюсь делать сразу при установке АЛД4.0.
> >>Но дальше у меня возникает непонимание: изначально я думал, что
> >>этот массив будет просто содержать "обычные" подразделы типа /,
> >/ может быть лучше положить на отдельный RAID1 по всем дискам,
> >ну или если хочется заодно оптимизировать -- то можно сделать
> >небольшой (полгига-гиг) / на 4HDD RAID1,
>                                ^^^^^^^^^^
> Вот этого не понял: raid1 --- это, как мне казалось, зеркало из
> 2-х дисков. Это можно сделать на 4-х? Смысл от меня ускользает,
> или имеется ввиду "2HDD RAID1"?

Зеркало на N дисках прекрасно живёт "до последнего диска" :)
(в хороших реализациях ещё умеет распараллеливать как минимум
чтение)

> >Ессно, поскольку никто в здравом уме и трезвой памяти себе
> >корня на страйпе не пожелает...
> С этим у меня похоже проблемы ;-)

Ну мож проблемы с категоричностью у меня и авторов lilo -- 
Макс вон свои поправки вносит :) (у меня тоже была одна система
полностью на железном RAID5, но как теперь понимаю -- ей было бы
гораздо лучше быть 2HDD RAID1 под систему и важное и 2HDD RAID0 
-- под сборку).

> >Опять же при решении в пользу пятёрки _обязательно_ ознакомьтесь
> >с этим документом (в частности, это к тому, что лучше разделы
> >для RAID5 отрезать и заворачивать в массив руками после установки
> >корня -- увы, не знаю дистрибутивов, которые бы учитывали сами):
> Т.е. поотрезать, напрмер, sda[bcd]2 в инсталяторе и потом
> заворачивать в массив на установленной системе? Инсталятор, как
> мне показалось, так не умеет.

Не, отрезать лучше fdisk, поприкидывав секторы на пальцах,
как описано по ссылке.

> >http://www.freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID
> Спасибо, читаю...

Кстати, если получится алгоритмизировать -- не стесняйтесь
приписать там же :)

PS: тема для sysadmins@, вообще говоря...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Sofware RAID

[Maxim Tyurin]

Vladimir Karpinsky writes:

> Здравствуйте!
>
> Maxim Tyurin пишет:
>> Это паранойя уже :) Да и backup никто не отменял.
>
> С организацией backup'ом больших объёмов есть проблемы: писать на DVD
> можно, но уверенности в том, что они проживут сколь-нибудь долго,
> совсем нет, а стриммеры подобающих размеров, мягко скажем, дороговаты
> для нас (университет). Поэтому и хочется хранить на HDD, которые
> сейчас значительно доступнее.

Ну для больших объемов HDD значительно дороже чем стример ;)
С DVD если не экономить на болванках, записывать их на нормальном
приводе с информацией для восстановления и нормально их хранить то
через лет пять есть большая вероятность их прочитать.

Если надо хранить долго то тут или МО или стример.

>> Я бы сделал raid1 из двух разделов двух дисков для корня.
>> На оставшихся двух дисках сделал бы swap разделы аналогичного raid1
>> размера. И на остальное место raid5 из четырех дисков.
>
> Завтра попробую. Это можно сделать в процессе установке, или только
> после?

Вроде можно и во время установки. Корень и swap точно можно.

>> Лучше бы добавить хоть еще один диск и сделать raid6 - тормознее, но
>> надежнее. На 4-х дисках raid6 тормозит еще больше чем raid5 на трех.
>
> А как raid5 на 4-х дисках ведёт себя с точки зрения
> производительности?

Лучше чем на трех :) С рейдами 5 и 6 чем больше дисков тем быстрее
бегает (если не наступить на грабли что контролер не тянет большое
количество hdd).

>> И не вижу ничего плохого в корне на пятерке. У меня так давно крутится
>> пара серверов (правда рейды там железные).
>> Да и на софтовом вполне нормально. Тем более что оно hot spare умеет.
>
> Мне hot совсем не обязательно, остановить при необходимости вполне могу.
>
>> Правда для важных данных я бы сделал массив с hot spare и у самого
>> массива включил бы intent bitmaps.
>
> На скорость сильно влияет?

На скорость записи немного влияет (отрицательно).
Зато на скорость восстановления зеркала влияет очень положительно.
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Comm] Software RAID

[Maxim Tyurin]

Michael Shigorin writes:

> On Tue, Mar 11, 2008 at 12:38:22PM +0300, Vladimir Karpinsky wrote:
>> >>Есть компьютер с 4-мя одинаковыми SATA-дисками, на котором
>> >>предполагается хранение достаточно важной информации. Для
>> >>"ответственного хранения" этой информации хочу сделать
>> >>программный RAID-5.
>> >Лучше два RAID1, как мне кажется.  Из пятёрки выковыривать
>> >что-либо малореально, десятка тоже имеет шанс на полное
>> >рассыпание при выходе двух дисков из строя.  Два зеркала 
>> >при потере двух дисков в худшем случае потеряют одно из.
>> Т.е. из raid5 при сбое одного из дисков данные "выковырять"
>> трудно?  Тогда это не raid получается...
>
> Не, при сбое двух.  А это бывает, особенно с дисками из одной
> неудачной партии или походившими несколько лет (google:
> raid double fault).  Гругря при повышенной нагрузке во время
> rebuild диск, которому уже тоже очередь подходила, может
> вылететь, не успев отдать данные.

Я не даром про write intent bitmaps говорил.
С ним восстанавливается быстро. Если использовать железные рейды то
лучше сделать на них 5E или 5EE. Тоже чтоб быстро восстанавливалось.

\scip
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Comm] Software RAID и write intent bitmaps

[Michael Shigorin]

On Wed, Mar 12, 2008 at 02:42:18PM +0200, Maxim Tyurin wrote:
> Я не даром про write intent bitmaps говорил.
> С ним восстанавливается быстро.

http://etbe.coker.com.au/2008/01/28/write-intent-bitmaps/;
спасибо, что подсказал.

Оказывается, оно легко и непринуждённо включается и на ходу:
mdadm -G /dev/md0 -b internal

=> https://bugzilla.altlinux.org/show_bug.cgi?id=14877

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/