[Sysadmins] надёжность RAID

[Sysadmins] надёжность RAID

[Michael Shigorin]

	Здравствуйте.
Возможно, не только мне покажется более интересным обсуждение,
чем собсно статья со сравнением производительности hw/sw RAID:

http://www.opennet.ru/openforum/vsluhforumID3/42879.html

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] [JT] надёжность RAID

[Gennadiy Redko]

Michael Shigorin пишет:
> 	Здравствуйте.
> Возможно, не только мне покажется более интересным обсуждение,
> чем собсно статья со сравнением производительности hw/sw RAID:
> 
> http://www.opennet.ru/openforum/vsluhforumID3/42879.html
> 
А мне статья больше понравилась.
Обсуждение скатилось на выяснение того, обладает ли оппонент 
начальными знаниями по предмету...

Re: [Sysadmins] [JT] надёжность RAID

[Gennadiy Redko]

Gennadiy Redko пишет:
> Michael Shigorin пишет:
>>     Здравствуйте.
>> Возможно, не только мне покажется более интересным обсуждение,
>> чем собсно статья со сравнением производительности hw/sw RAID:
>>
>> http://www.opennet.ru/openforum/vsluhforumID3/42879.html
>>
> А мне статья больше понравилась.
> Обсуждение скатилось на выяснение того, обладает ли оппонент начальными 
> знаниями по предмету...

А вообще говоря там прозвучала здравая мысль о том, что для одного 
сервера аппаратный рейд не нужен, ввиду того, что от такого сервера 
не требуется высокая степень готовности, а для серверов больше чем 
один DAS'ы - вчерашний день.

В связи с этим вопрос - можно ли как-то под Альтом собрать 
виртуальный SAN/NAS на локальных дисках нескольких серверов через 
дополнительные гигабитные эзернеты?

Аппаратный SAN - штука дорогая и затраты на него не всегда оправданы.
Есть класс задач - т. н. "серверы приложений" не ориентированные на 
большой дисковый трафик, но данные для них лучше хранить на 
разделяемом хранилище.

Re: [Sysadmins] надёжность RAID

[Yura Kalinichenko]

[-- Attachment #1: Type: text/plain, Size: 2662 bytes --]

Michael Shigorin пишет:
> 	Здравствуйте.
> Возможно, не только мне покажется более интересным обсуждение,
> чем собсно статья со сравнением производительности hw/sw RAID:
>
> http://www.opennet.ru/openforum/vsluhforumID3/42879.html
>
>   
На самом деле все эти разговоры ровным счетом ничего не значат. Значение 
имеет исключительно конкретная задача, для которой все может быть очень 
индивидуальным. Ты знаешь, я давно использую софтовые рэйды в виду 
специфики решаемых задач: требование 100% надежности в условиях крайне 
ограниченного бюджета (чтобы было понятно: сервер за $1000 - это 
считается ОЧЕНЬ дорого, и таких единицы - среди _сотен_ реально 
работающих) и весьма малочисленного обслуживающего штата. Я там 
наворотил крутой service mdadm, который обеспечивает практически 
автономное функционирование массива и простую процедуры замены, и этого 
пока было достаточно.

Но вот одни из клиентов предоставили типа настоящий серверок, в 
комплекте - интеловский megaraid (точной модели не помню, но когда 
держал в руках - поинтересовался: цена контроллера на сегодня порядка 
$650) + 2*4 SCSI винтов. Т.е. стоимость одной только дисковой подсистемы 
значительно превышает стоимость обычно используемого сервера. 
Первоначальные испытания на обычных тестах (bonnie++ и т.п.) показали 
неплохие (хотя и не сильно выдающиеся) результаты, особенно в плане 
загрузки  процессора. НО обкатка реальной задачи (многопользовательская 
БД с интенсивной записью и еще ряд функций) преподнесла неприятный 
сюрприз: производительность на HW RAID 5 оказалась _ЗАМЕТНО_ хуже, чем 
на обычном софтовом RAID 1, при том, что и вообще сервер в первом случае 
значительно более мощный, чем во втором. И несмотря на то, что я на свой 
страх и риск включил кэширование записи при отсутствии батарейки в 
контроллере - ибо без этого был вообще мрак жуткий (вопрос почему при 
покупке такого дорогого железа сэкономили на батарейке - не ко мне).

А учитывая то, что второго контроллера в ЗИПе нет, и в случае гибели 
этого неизвестно на сколько времени остановится продажа билетов на 
центральном киевском автовокзале - я все более склоняюсь к тому, чтобы 
задействовать случайно завалявшиеся в том серверке пару SATAшных винтов 
под все тот же софтовый рэйд и перенести всю систему на него. Только вот 
чего сваливать на тот мегарейд чтобы и совесть была спокойна и не жалко 
было бы потерять - пока не придумал.

А мораль сей басни такова: любители растопыривать пальцы, доказывая 
необходимость приобретения навороченных супер-пупер-мега-контроллеров в 
большинстве случаев могут найти этим пальцам более интересные места.


[-- Attachment #2: yuk.vcf --]
[-- Type: text/x-vcard, Size: 177 bytes --]

begin:vcard
fn:Yura Kalinichenko
n:Kalinichenko;Yura
email;internet:yuk@kalina.in.ua
tel;home:8-0432-465743
tel;cell:+38-067-5878302
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] надёжность RAID

[Marat Khayrullin]

В сообщении от Saturday 19 July 2008 02:44:16 Yura Kalinichenko написал(а):
> ...
> загрузки  процессора. НО обкатка реальной задачи (многопользовательская
> БД с интенсивной записью и еще ряд функций) преподнесла неприятный
> сюрприз: производительность на HW RAID 5 оказалась _ЗАМЕТНО_ хуже, чем
> на обычном софтовом RAID 1, при том, что и вообще сервер в первом случае

Базы очень плохо работают на raid5.

Re: [Sysadmins] надёжность RAID

[Eugene Prokopiev]

19.07.08, Yura Kalinichenko написал(а):

> Я там наворотил крутой service mdadm, который
> обеспечивает практически автономное функционирование массива и простую
> процедуры замены

А можно посмотреть на diff -u с нашим штатным service mdadm?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] [JT] надёжность RAID

[Michael Shigorin]

On Fri, Jul 18, 2008 at 02:24:14PM +0300, Gennadiy Redko wrote:
> >Возможно, не только мне покажется более интересным обсуждение,
> >чем собсно статья со сравнением производительности hw/sw RAID:
> >http://www.opennet.ru/openforum/vsluhforumID3/42879.html
> А мне статья больше понравилась.
> Обсуждение скатилось на выяснение того, обладает ли оппонент
> начальными знаниями по предмету...

Ну в (скатившемся) обсуждении для меня вот несколько больше
интересных вещей нашлось, чем в (довольно кропотливой) статье...
собственно, потому, что больше интересует практика, а не
синтетика, и надёжность, а не производительность.

Из критичного -- не нашёл в статье упоминания raid5 partition
alignment, без которого при использовании разделов софтовый
RAID5/6 заметно проседает:
http://freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID#h4072-3

Плюс интересней результаты по полностью, а не наполовину,
нагруженному контроллеру.  16-портовые Areca проседали очень
сильно и к сожалению -- даже на прокачке отдельных дисков.
Камушек слабенький и всё через него.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] надёжность RAID

[Yura Kalinichenko]

[-- Attachment #1: Type: text/plain, Size: 1360 bytes --]

Eugene Prokopiev пишет:
> 19.07.08, Yura Kalinichenko написал(а):
>
>   
>> Я там наворотил крутой service mdadm, который
>> обеспечивает практически автономное функционирование массива и простую
>> процедуры замены
>>     
>
> А можно посмотреть на diff -u с нашим штатным service mdadm?
>
>   
Я это делал для Master 2.4 (да, у нас под ним в основном боевые сервера 
пока). Там этого сервиса не было вовсе. Да и мало кому это сегодня 
интересно. Буквально вчера бранчевый mdadm попробовал запустить, он 
сразу на моих дисках обломился. Разбираться не стал, просто перенес свой 
с переименованием, дабы с родным не конфликтовал. Посмотреть можно на  
ftp.linux.kiev.ua:/pub/Linux/ALT/people/_yuk/RAID/mdadm-control-0.2.1-yuk1.src.rpm. 
Только следует иметь в виду, что эта версия еще не обкатана, плюс делал 
я эту разработку под конкретное применение, и не сильно озабачивался по 
поводу универсальности. Первое что вспоминается из возможных 
проблем/ограничений:

   1. only RAID Level 1
   2. ограниченный список поддерживаемых FS (боевая версия вообще ext3-only)
   3. для простоты считается что всегда массив /dev/mdN состоит из
      дисков с тем же номером N.
   4. нужна последняя версия dialog-1.1-20080316 где уже есть все мои
      патчи. В бранче этой версии пока нет.

Тем не менее посмотрите - может и пригодится.

[-- Attachment #2: yuk.vcf --]
[-- Type: text/x-vcard, Size: 177 bytes --]

begin:vcard
fn:Yura Kalinichenko
n:Kalinichenko;Yura
email;internet:yuk@kalina.in.ua
tel;home:8-0432-465743
tel;cell:+38-067-5878302
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] надёжность RAID

[Michael Shigorin]

On Sat, Jul 19, 2008 at 09:29:34AM +0400, Eugene Prokopiev wrote:
> > Я там наворотил крутой service mdadm, который обеспечивает
> > практически автономное функционирование массива и простую
> > процедуры замены
> А можно посмотреть на diff -u с нашим штатным service mdadm?

И было бы здорово повесить файл в bugzilla (спасибо за cc:).
mdadm недавно потерял хозяина, при оказии займусь (а мож ещё
кто поадекватней, было бы лучше).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/