[sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Maks Re]

Здравствуйте,

есть сервер,
(напрмер hp microserver)
С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).

какая будет процедура инсталляции, для "офисного" сервера-файлпомойки
если надо учесть, что:
1) 4к кластера на дисках, уже вполне обыденная реальность
2) инсталлятор Кентавр 6 бета (от 17мая) не делает raid10 - или это
нигде не описано и интуитивно не понятно... (я не нашел)
3) инсталлятор (своей логикой) предлагает создать разделы на дисках с
63 сектора  - т.е. без выравнивания


зы: созданные разделы raid10 ранее инстялятор тоже не видит..., а как
увидит - так ребут...

прошу совета, или, так сказать, best practics, у благородных Донов..

спасибо.

ЗЫ: теперь надо выносить /boot на отдельный раздел, или можно как то в
рейде его держать...
принципе не сложно завести raid1 на 4 дисках для рутовой-системной
партиции, ну и также даже своп держать на raid1.
но справиться ли инстялятор???

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Mykola S. Grechukh]

2011/5/25 Maks Re <>:
> Здравствуйте,
> (напрмер hp microserver)
> С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).
>
> какая будет процедура инсталляции, для "офисного" сервера-файлпомойки
> если надо учесть, что:
> 1) 4к кластера на дисках, уже вполне обыденная реальность
> 2) инсталлятор Кентавр 6 бета (от 17мая) не делает raid10 - или это
> нигде не описано и интуитивно не понятно... (я не нашел)
> 3) инсталлятор (своей логикой) предлагает создать разделы на дисках с
> 63 сектора  - т.е. без выравнивания
> зы: созданные разделы raid10 ранее инстялятор тоже не видит..., а как
> увидит - так ребут...

Best practice простая:

- Compact Flash на 4-8-16

- вот такой переходник

http://proline.biz.ua/product_details22.html
http://freedelivery.in.ua/shop/details/309/31/shnuri-perehodniki/perehodniki/compact-flash-cf---ide-perehodnik.html

Или на сату. Ставим систему на него, потом берём gparted и создаём на
терабайтах MiB aligned партиции, соединяем их в нужный raid командой
mdadm, заводим на нём LVM командой pvcreate.

- PROFIT.

Зы. Инсталлер пятый умел raid10, насколько помню. Выравнивать
правильно текущий вроде умеет.

Ззы. Баловство все эти raid10 для файлопомоек, последний раз я сделал
mirror на трёх дисках плюс один в hot spare.

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Anton Gorlov]

26.05.2011 0:57, Mykola S. Grechukh пишет:

> Ззы. Баловство все эти raid10 для файлопомоек, последний раз я сделал
> mirror на трёх дисках плюс один в hot spare.
Не поверю. насчёт софтовых рейдов зуб не дам..но вот при "железных" 
рейдах по опыту 10 значительно выигрывает у 5/зеркал.

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Maks Re]

> > Ззы. Баловство все эти raid10 для файлопомоек, последний раз я
> > сделал mirror на трёх дисках плюс один в hot spare.
> Не поверю. насчёт софтовых рейдов зуб не дам..но вот при "железных" 
> рейдах по опыту 10 значительно выигрывает у 5/зеркал.

ну баловство не баловство, как мне кажется это будет лучше чем:
у меня есть нескольно тазиков с помойками из трех-четырех дисков (по 1Тб)
и создан на них raid5 (с выравниванием).

так вот, когда по самбе писать на тазик, то видим на тазизике LA >60...80
мне кажется это явно не должно так быть,и raid10 будет получше...

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Gennadii Redko]

26.05.2011 09:47, Maks Re пишет:
>>> Ззы. Баловство все эти raid10 для файлопомоек, последний раз я
>>> сделал mirror на трёх дисках плюс один в hot spare.
>> Не поверю. насчёт софтовых рейдов зуб не дам..но вот при "железных" 
>> рейдах по опыту 10 значительно выигрывает у 5/зеркал.
> 
> ну баловство не баловство, как мне кажется это будет лучше чем:
> у меня есть нескольно тазиков с помойками из трех-четырех дисков (по 1Тб)
> и создан на них raid5 (с выравниванием).
> 
> так вот, когда по самбе писать на тазик, то видим на тазизике LA >60...80
> мне кажется это явно не должно так быть,и raid10 будет получше...
Все ж зависит от характера нагрузки.
От отношения операций чтения к операциям записи и от процента попадания
в дисковый кэш.
Если "файлопомойка" - samba, то там обычно операции чтения превалируют и
незачем тратить лишние диски на raid10. 5-ки хватает.
Если массив делается для БД - raid10 лучше.

Хотя на 4-х дисках разница для глаза незаметна для любой задачи как мне
кажется :)

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Eugene Prokopiev]

26 мая 2011 г. 0:57 пользователь Mykola S. Grechukh <gns@altlinux.org> написал:

> Ззы. Баловство все эти raid10 для файлопомоек, последний раз я сделал
> mirror на трёх дисках плюс один в hot spare.

Т.е. raid1? И не то, что на 2, но даже на 3 диска надежды нет? При
такой постановке задачи нужен еще один сервер и подальше ;)

-- 
С уважением,
Прокопьев Евгений

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Mykola S. Grechukh]

2011/5/26 Eugene Prokopiev <>:
> 26 мая 2011 г. 0:57 пользователь Mykola S. Grechukh <gns@altlinux.org> написал:
>
>> Ззы. Баловство все эти raid10 для файлопомоек, последний раз я сделал
>> mirror на трёх дисках плюс один в hot spare.
>
> Т.е. raid1?

Да.

> И не то, что на 2, но даже на 3 диска надежды нет? при такой постановке задачи нужен еще один сервер и подальше ;)

на саташки-то? Давно нет. Проблема в том что после вылета одного
велика вероятность вылета под ребилдом и оставшегося.

Я подумал-подумал как распорядиться четырьмя, решил так. Можно было
два в зеркале, тогда немного выше скорость записи, плюс один hot
spare, а четвёртый использовать для горячего бэкапа два раза в сутки.

А держать систему на флешечке отдельно от этой конструкции, по
подсказке gvy@ - таки делает жизнь лёгкой и приятной.

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Michael Shigorin]

On Wed, May 25, 2011 at 08:57:41PM +0000, Mykola S. Grechukh wrote:
> Best practice простая:
> - Compact Flash на 4-8-16
> - вот такой переходник

Вот как полезно правильные вещи людям подсказывают --
потом дремлешь, а они напоминают... :)

Да, так ещё чуть лучше, если не лень повозиться.
Тогда диски с данными будут намного легче заменяться.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 543 bytes --]

On Thu, May 26, 2011 at 01:02:12PM +0300, Michael Shigorin wrote:
>> Best practice простая:
>> - Compact Flash на 4-8-16
>> - вот такой переходник
MS> Вот как полезно правильные вещи людям подсказывают --
MS> потом дремлешь, а они напоминают... :)
MS> Да, так ещё чуть лучше, если не лень повозиться.
MS> Тогда диски с данными будут намного легче заменяться.

Кстати, а чем это лучше чем USB-flash какой?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Mykola S. Grechukh]

2011/6/1 Денис Смирнов <mithraen@>:
> On Thu, May 26, 2011 at 01:02:12PM +0300, Michael Shigorin wrote:
>>> Best practice простая:
>>> - Compact Flash на 4-8-16
>>> - вот такой переходник
> MS> Вот как полезно правильные вещи людям подсказывают --
> MS> потом дремлешь, а они напоминают... :)
> MS> Да, так ещё чуть лучше, если не лень повозиться.
> MS> Тогда диски с данными будут намного легче заменяться.
>
> Кстати, а чем это лучше чем USB-flash какой?

Проблема в том что иногда сложно зафорсить загрузку именно с
конкретного носителя. Т.е., втыкание левой флешечки, или скажем usb
кармана для бэкапа, запросто сбивает boot device.

А IDE это IDE.

-- 
Mykola Grechukh

CTO, Satelliz-Ukraine

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Michael Shigorin]

On Thu, Jun 02, 2011 at 12:18:22AM +0400, Денис Смирнов wrote:
> >> Best practice простая:
> >> - Compact Flash на 4-8-16
> >> - вот такой переходник
> MS> Вот как полезно правильные вещи людям подсказывают --
> MS> потом дремлешь, а они напоминают... :)
> MS> Да, так ещё чуть лучше, если не лень повозиться.
> MS> Тогда диски с данными будут намного легче заменяться.
> Кстати, а чем это лучше чем USB-flash какой?

1) конструкция типично жёстче;
2) субъективно запись побыстрей и стабильней;
3) оказывается, контроллеры usbflash'ек сейчас обычно
   обрабатывают первые 4Mb как "мелкоблочные" (FAT),
   а остальные гигазы -- как "крупноблочные" со всеми
   вытекающими для ext* и прочих нефатовых, зато ФС;
   за CF такого вроде не водится.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Maks Re]

На Wed, 25 May 2011 20:57:41 +0000 "Mykola S. Grechukh" писал:

> 2011/5/25 Maks Re <>:
> > Здравствуйте,
> > (напрмер hp microserver)
> > С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).
> >
> > какая будет процедура инсталляции, для "офисного"
> > сервера-файлпомойки если надо учесть, что:
> > 1) 4к кластера на дисках, уже вполне обыденная реальность
> > 2) инсталлятор Кентавр 6 бета (от 17мая) не делает raid10 - или это
> > нигде не описано и интуитивно не понятно... (я не нашел)
> > 3) инсталлятор (своей логикой) предлагает создать разделы на дисках
> > с 63 сектора  - т.е. без выравнивания
> > зы: созданные разделы raid10 ранее инстялятор тоже не видит..., а
> > как увидит - так ребут...
> 
> Best practice простая:
> 
> - Compact Flash на 4-8-16
> 
> - вот такой переходник
> 
> http://proline.biz.ua/product_details22.html
> http://freedelivery.in.ua/shop/details/309/31/shnuri-perehodniki/perehodniki/compact-flash-cf---ide-perehodnik.html
> 
> Или на сату. Ставим систему на него, потом берём gparted и создаём на
> терабайтах MiB aligned партиции, соединяем их в нужный raid командой
> mdadm, заводим на нём LVM командой pvcreate.
> 

имеется разница, будет флешка как CF card или как USB-stick
flash-drive ?
на HP microserver имеется отдельная дырка  usb2.0  на мат плате,
в описании - для имено подобного...

а как готовить флешку?
свап делать?
а разделы под какой фс форматить?
а логи куда писать?



> - PROFIT.
> 
> Зы. Инсталлер пятый умел raid10, насколько помню. Выравнивать
> правильно текущий вроде умеет.
> 
> Ззы. Баловство все эти raid10 для файлопомоек, последний раз я сделал
> mirror на трёх дисках плюс один в hot spare.
> 

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Sergei Epiphanov]

В сообщении от 26 мая 2011 00:51:29 автор Maks Re написал:
> ЗЫ: теперь надо выносить /boot на отдельный раздел, или можно как то в
> рейде его держать...

У меня софт-RAID1 на одном из компов, /boot тоже в рейде (отдельного от рейда 
раздела нет). Проблем нет. Загрузчик понимает такой вариант, надо только 
помнить и устанавливать загрузчик в MBR каждого диска рейда. Для GRUB2 это 
просто, а на LILO я не знаю как сделать.

-- 
С уважением, Епифанов Сергей

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Eugene Prokopiev]

26 мая 2011 г. 8:24 пользователь Sergei Epiphanov <serpiph@nikiet.ru> написал:
> В сообщении от 26 мая 2011 00:51:29 автор Maks Re написал:
>> ЗЫ: теперь надо выносить /boot на отдельный раздел, или можно как то в
>> рейде его держать...
>
> У меня софт-RAID1 на одном из компов, /boot тоже в рейде (отдельного от рейда
> раздела нет). Проблем нет. Загрузчик понимает такой вариант, надо только
> помнить и устанавливать загрузчик в MBR каждого диска рейда. Для GRUB2 это
> просто, а на LILO я не знаю как сделать.

raid-extra-boot="mbr-only"
boot="/dev/md0"

?

-- 
С уважением,
Прокопьев Евгений

Re: [sisyphus] инсталляция на новую систему с 4 дисками, raid10 - это возможно?

[Michael Shigorin]

On Thu, May 26, 2011 at 12:51:29AM +0400, Maks Re wrote:
> есть сервер, (напрмер hp microserver)
> С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).
> 
> какая будет процедура инсталляции, для "офисного"
> сервера-файлпомойки если надо учесть, что:
> 1) 4к кластера на дисках, уже вполне обыденная реальность
> 2) инсталлятор Кентавр 6 бета (от 17мая) не делает raid10 - или
> это нигде не описано и интуитивно не понятно... (я не нашел)

Отбиваем по десятку гиг от каждого в начале, делаем RAID1,
ставим на него корень, дальше fdisk'ом делаем уже выровненные
разделы.

> 3) инсталлятор (своей логикой) предлагает создать разделы на дисках с
> 63 сектора  - т.е. без выравнивания

В принципе, есть
https://bugzilla.altlinux.org/show_bug.cgi?id=23848
и там -- пара ссылок на образы, собранные с поправленным libevms.

Т.е. в более свежих бетах должно полечиться.

> зы: созданные разделы raid10 ранее инстялятор тоже не видит...,
> а как увидит - так ребут...

Это скорее к sbolshakov@ и stanv@, но в любом случае корень на
RAID10 и при четырёх дисках я бы ставить не стал (собсно и при
восьми так не делаю, разве если аппаратный рейд и никак иначе).

> ЗЫ: теперь надо выносить /boot на отдельный раздел, или можно
> как то в рейде его держать...

Зачем выносить-то?

> принципе не сложно завести raid1 на 4 дисках для рутовой-системной
> партиции, ну и также даже своп держать на raid1.

Да.

> но справиться ли инстялятор???

Почему ж нет.  BTW и старому можно попробовать указать смещение
начала раздела в один мегабайт.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Sergey]

On Thursday, May 26, 2011, Maks Re wrote:

> есть сервер,
> (напрмер hp microserver)
> С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).

У меня Кентавр ещё не вышедший на RAID5/LVM ставился. Думаю, и не 10
поставится. А нет - можно на 1 hdd/LVM поставить, потом на 3-х создать
деградированную десятку, переместить тома на него и добавить 4-ый.

Можно в sysadmins@lists.altlinux посмотреть тему, где в заголовке
"RAID/LVM", и тут, в sisyphus@, RAID5/LVM тоже можно посмотреть.
Я всякие вопросы задавал и мне отвечали.

Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.
И, кстати, ещё вопрос, а не в LVM ли дело. Что-то попадалось в сети
про тормоза из-за него, правда это было всё старое.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Michael Shigorin]

On Thu, May 26, 2011 at 02:18:52PM +0400, Sergey wrote:
> Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.

У меня разница между raid5.ko и raid10.ko на запись заметна хорошо
(ftp.linux.kiev.ua).  Разумеется, никаких LVM.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Sergey]

On Thursday, May 26, 2011, Michael Shigorin wrote:

> > Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.
 
> У меня разница между raid5.ko и raid10.ko на запись заметна хорошо
> (ftp.linux.kiev.ua).  Разумеется, никаких LVM.

а "time lilo" я не спрашивал ? У меня вот так:
0.00user 0.12system 0:45.38elapsed 0%CPU (0avgtext+0avgdata 5600maxresident)k

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Michael Shigorin]

On Thu, May 26, 2011 at 02:57:57PM +0400, Sergey wrote:
> > > Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.
> > У меня разница между raid5.ko и raid10.ko на запись заметна хорошо
> > (ftp.linux.kiev.ua).  Разумеется, никаких LVM.
> а "time lilo" я не спрашивал ? У меня вот так:
> 0.00user 0.12system 0:45.38elapsed 0%CPU (0avgtext+0avgdata 5600maxresident)k

Сейчас уже не скажу, т.к. корень съехал на флэшку.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Maks Re]

> > Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.
> 
> У меня разница между raid5.ko и raid10.ko на запись заметна хорошо
> (ftp.linux.kiev.ua).  Разумеется, никаких LVM.
> 

т.е. не стоит связываться с LVM over md (raid5&raid6&raid10) ?

Re: [sisyphus] инсталляция на новую систему с 4 дисками возможно?

[Maks Re]

На Thu, 26 May 2011 14:18:52 +0400 Sergey  писал:

> On Thursday, May 26, 2011, Maks Re wrote:
> 
> > есть сервер,
> > (напрмер hp microserver)
> > С 4 дисками, по 1 или даже по 2 и более Тб (кластер по 4Кб).
> 
> У меня Кентавр ещё не вышедший на RAID5/LVM ставился. Думаю, и не 10
> поставится. А нет - можно на 1 hdd/LVM поставить, потом на 3-х создать
> деградированную десятку, переместить тома на него и добавить 4-ый.

про инсталятор в новой бете кентавра 6:
c raid5 & lvm  проблем не было.
я вот столкнулся что в новом инсталяторе в бете от 17 мая нет в меню для
создания raid10, только raid0, raid1, raid5/6

> 
> Можно в sysadmins@lists.altlinux посмотреть тему, где в заголовке
> "RAID/LVM", и тут, в sisyphus@, RAID5/LVM тоже можно посмотреть.
> Я всякие вопросы задавал и мне отвечали.
я тоже, и все сводилось, что руками - да, можно, а инсталятор - еще....

> 
> Кстати, от RAID10 у меня пока впечатление, что не сильно оно лучше.
> И, кстати, ещё вопрос, а не в LVM ли дело. Что-то попадалось в сети
> про тормоза из-за него, правда это было всё старое.
у меня при запись на том с lvm повер raid5 были дикие тормоза, LA >60-80
как при
писать через самбу в шару,
так и 
подцепить с систему диск, и писать с диска на массив.

Михаил вот тоже давно рекомендует raid10.
надо выяснить, насколько это будет хорошо....