[Sysadmins] Лучшний RAID?

[Sysadmins] Лучшний RAID?

[Max Ivanov]

Есть задача - отдавать много большой статики (фильмы). Денег нет :)
Значит будет софтовый RAID. Что лучше: 2 по RAID1 или 1 RAID 10?

Есть ли в linux регулировка balance algorithm наподобии того, что есть
в BSD? ( http://man.cx/gmirror(8) )

Re: [Sysadmins] Лучшний RAID?

[Max Ivanov]

>Кстати, я думал RAID 0 из RAID 1  это и есть RAID 10. Нет?
Да, но вопрос в том делать ли два независимых RAID1 или же сделать
RAID0 из этих двух RAID1. И там и там объем одинаковый. Я просто как
рассуждаю. В случае 2xRAID1 на каждый запрос будет идти по обращению
на каждый R1.Если запросов 1-2, то преимущество на лицо - читаем
одновременно с четырёх дисков. Но если запросов очень много, то мне
видется выгоднее разнести файлы равномерно по двум независимым R1 и
тогда на каждый запрос будет дергаться всего один R1. Т.е. нагрузка (в
количестве операций чтения)  на каждый винт упадёт.

Re: [Sysadmins] Лучшний RAID?

[SKeeper]

Max Ivanov пишет:
>> Кстати, я думал RAID 0 из RAID 1  это и есть RAID 10. Нет?
>>     
> Да, но вопрос в том делать ли два независимых RAID1 или же сделать
> RAID0 из этих двух RAID1. И там и там объем одинаковый. Я просто как
> рассуждаю. В случае 2xRAID1 на каждый запрос будет идти по обращению
> на каждый R1.Если запросов 1-2, то преимущество на лицо - читаем
> одновременно с четырёх дисков. Но если запросов очень много, то мне
> видется выгоднее разнести файлы равномерно по двум независимым R1 и
> тогда на каждый запрос будет дергаться всего один R1. Т.е. нагрузка (в
> количестве операций чтения)  на каждый винт упадёт.
>   
ИМХО RAID10 будет эффективнее.

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Max Ivanov пишет:
> Есть задача - отдавать много большой статики (фильмы). Денег нет :)
> Значит будет софтовый RAID. Что лучше: 2 по RAID1 или 1 RAID 10?
> 
А зачем такой дорогой рейд для раздачи легко буферизуемого трафика?
В режиме "только чтение".
Т. к. такой трафик хорошо попадает в буферный кэш рейда под эти цели 
должно быть хорошо 5-й или 50-й рейд
1-й и 10-й - для многопотоковой записи как правило.

Конечно нет универсальных решений, но мне кажется, что 10-ка под раздачу 
фильмов - перебор...
Лучше эти деньги на "серверные" диски SAS потратить...

Re: [Sysadmins] Лучшний RAID?

[Max Ivanov]

RAID5 еще хуже. Чтобы отдать кусок надо дернуть минимум 3 диска. В
случае RAID1 минимум 1. Почувствуйте разницу :) В кеши опеационки
ничего не влезет, ну поставишь там 4Gb толку то, при 100 паралельных
закачках.

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Gennadii Redko пишет:

> А зачем такой дорогой рейд для раздачи легко буферизуемого трафика?
> В режиме "только чтение".
> Т. к. такой трафик хорошо попадает в буферный кэш рейда под эти цели 
> должно быть хорошо 5-й или 50-й рейд
> 1-й и 10-й - для многопотоковой записи как правило.
> 
Советую почитать вот этот документ от ИБМ:
http://old.ournet.md/~pavelalex/A%20short%20Introduction%20to%20Storage%20Subsystem%20Performance%20V2.1.zip
Обратите внимание на 21-й и 23-й слайды.
Т. е. при числе потоков до 6-ти и достаточном буферном кэше 5-й и 10-й 
рейды по скорости потокового чтения практически не отличаются.

Re: [Sysadmins] Лучшний RAID?

[Владимир]

В сообщении от 24 ноября 2008 Max Ivanov написал(a):
> RAID5 еще хуже. Чтобы отдать кусок надо дернуть минимум 3 диска. В
> случае RAID1 минимум 1. Почувствуйте разницу :) В кеши опеационки
> ничего не влезет, ну поставишь там 4Gb толку то, при 100 паралельных
> закачках.

а с трёх разных не быстрее читается, чем с одного?

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Max Ivanov пишет:
> RAID5 еще хуже. Чтобы отдать кусок надо дернуть минимум 3 диска. В
> случае RAID1 минимум 1. Почувствуйте разницу :) В кеши опеационки
> ничего не влезет, ну поставишь там 4Gb толку то, при 100 паралельных
> закачках.
Вы почитайте все же то, что я Вам посоветовал.
Все-таки не напрасно люди старались, тестили, оформляли...

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Gennadii Redko пишет:

> Лучше эти деньги на "серверные" диски SAS потратить...
Тут я погорячился, наверное.

Re: [Sysadmins] Лучшний RAID?

[Alexander Volkov]

On 2008-11-24 15:32:59 +0300, Max Ivanov wrote:
MI> >Кстати, я думал RAID 0 из RAID 1  это и есть RAID 10. Нет?
MI> Да, но вопрос в том делать ли два независимых RAID1 или же сделать
MI> RAID0 из этих двух RAID1. И там и там объем одинаковый. Я просто как
MI> рассуждаю. В случае 2xRAID1 на каждый запрос будет идти по обращению
MI> на каждый R1.Если запросов 1-2, то преимущество на лицо - читаем
MI> одновременно с четырёх дисков. Но если запросов очень много, то мне
MI> видется выгоднее разнести файлы равномерно по двум независимым R1 и
MI> тогда на каждый запрос будет дергаться всего один R1. Т.е. нагрузка (в
MI> количестве операций чтения)  на каждый винт упадёт.
http://www.novell.com/documentation/sles10/stor_evms/index.html?page=/documentation/sles10/stor_evms/data/raidmdadmr10cpx.html
--
 Regards, Alexander

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Gennadii Redko пишет:

> Т. е. при числе потоков до 6-ти и достаточном буферном кэше 5-й и 10-й 
> рейды по скорости потокового чтения практически не отличаются.

Даже 5-й - на 20% быстрее 10-го рейда при потоковом чтении и числе 
потоков до 16-ти.

Re: [Sysadmins] Лучшний RAID?

[Max Ivanov]

Предположим надо прочитать 3 блока файла. В RAID5 из 3хHDD это
выльется в 6 операций чтения (на каждый блок читается блок данных с
одного диска и блок проверки с другого). В случае RAID10  (на 4-х
диска) это будет 3 операции чтения. По времени это и там и там займет
2 кванта времени, но в случае RAID 10 во время второй 3-го чтения (2
квант) один винчестер будет свободен для других операций. Тут как не
крути, а RAID5  не выгоден. +вылет RAID5 диска фактически означает
остановку сервиса на время перестройки массива.  + я не знаю на каком
уровне создается дисковые кеши и буферы в linux, если на уровне raw
блоков с дисков, то RAID5 будет еще и засорять кеши своими
проверочными блоками. RAID5  не вариант абсолютно, диски будут SATA,
так что экономия ничего не стоит.

Re: [Sysadmins] Лучшний RAID?

[Max Ivanov]

> http://www.novell.com/documentation/sles10/stor_evms/index.html?page=/documentation/sles10/stor_evms/data/raidmdadmr10cpx.html

Ого, это что-же получается - RAID10 на 3 дисках организовать можно?
Надо будет подробнее изучить этот вопрос :)

Re: [Sysadmins] Лучшний RAID?

[Alexander Volkov]

On 2008-11-24 16:54:13 +0300, Max Ivanov wrote:
MI> > http://www.novell.com/documentation/sles10/stor_evms/index.html?page=/documentation/sles10/stor_evms/data/raidmdadmr10cpx.html

MI> Ого, это что-же получается - RAID10 на 3 дисках организовать можно?
MI> Надо будет подробнее изучить этот вопрос :)
Да, я так и поднимался, потом добавив 4-й :)

--
 Regards, Alexander

Re: [Sysadmins] Лучшний RAID?

[Max Ivanov]

Что-то я так и не осилил, почему near дает производительность чтения
"RAID0"/2, а far как чистый RAID0?

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Max Ivanov пишет:

> блоков с дисков, то RAID5 будет еще и засорять кеши своими
> проверочными блоками. RAID5  не вариант абсолютно, диски будут SATA,
> так что экономия ничего не стоит.
5-ка это ведь еще и страйп...
Есть 50-й рейд, который еще более оптимизирован на чтение.
Вы приводите одни факторы, влияющие на производительность, но почему-то 
игнорируете другие.
Есть же диаграммв на 23-м слайде, которая показывает, что на потоковом 
чтении 5-й рейд быстрее 10-ки.
Я думаю, что 50-ка для отдачи фильмов даст еще 15-20% форы, но это мое 
личное субъективное мнение.
Попробуйте эту диаграмму аргументированно покритиковать.

Re: [Sysadmins] Лучшний RAID?

[Maxim Tyurin]

Max Ivanov writes:

> RAID5 еще хуже. Чтобы отдать кусок надо дернуть минимум 3 диска. В
> случае RAID1 минимум 1. Почувствуйте разницу :) В кеши опеационки
> ничего не влезет, ну поставишь там 4Gb толку то, при 100 паралельных
> закачках.

Неправильный подход к вопросу.
Правильный такой:
RAID5 отдает паралелльно с 3-х дисков

На 4-х дисках только на отдачу RAID5 ИМХО оптимален.

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Лучшний RAID?

[Maxim Tyurin]

Gennadii Redko writes:

> Max Ivanov пишет:
>
>> блоков с дисков, то RAID5 будет еще и засорять кеши своими
>> проверочными блоками. RAID5  не вариант абсолютно, диски будут SATA,
>> так что экономия ничего не стоит.
> 5-ка это ведь еще и страйп...
> Есть 50-й рейд, который еще более оптимизирован на чтение.
> Вы приводите одни факторы, влияющие на производительность, но
> почему-то игнорируете другие.
> Есть же диаграммв на 23-м слайде, которая показывает, что на потоковом
> чтении 5-й рейд быстрее 10-ки.
> Я думаю, что 50-ка для отдачи фильмов даст еще 15-20% форы, но это мое
> личное субъективное мнение.
> Попробуйте эту диаграмму аргументированно покритиковать.

50-ка не подойдет.
У человека дисков ровно в 2 раза меньше чем надо для RAID50 :)

Про RAID5 на 3-х дисках и RAID50 на шести можете не рассказывать - это
тормоза.
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Maxim Tyurin пишет:
> Gennadii Redko writes:
> 
>> Max Ivanov пишет:
>>
>>> блоков с дисков, то RAID5 будет еще и засорять кеши своими
>>> проверочными блоками. RAID5  не вариант абсолютно, диски будут SATA,
>>> так что экономия ничего не стоит.
>> 5-ка это ведь еще и страйп...
>> Есть 50-й рейд, который еще более оптимизирован на чтение.
>> Вы приводите одни факторы, влияющие на производительность, но
>> почему-то игнорируете другие.
>> Есть же диаграммв на 23-м слайде, которая показывает, что на потоковом
>> чтении 5-й рейд быстрее 10-ки.
>> Я думаю, что 50-ка для отдачи фильмов даст еще 15-20% форы, но это мое
>> личное субъективное мнение.
>> Попробуйте эту диаграмму аргументированно покритиковать.
> 
> 50-ка не подойдет.
> У человека дисков ровно в 2 раза меньше чем надо для RAID50 :)
> 
> Про RAID5 на 3-х дисках и RAID50 на шести можете не рассказывать - это
> тормоза.
Кому нужен такой минимализм?
В чем его скрытый смысл?
Диски SATA стоят недорого, шнурки и арматура для их крепления внутри 
корпуса, если нет денег на нормальный ящик, - тоже...

Re: [Sysadmins] Лучшний RAID?

[Michael Shigorin]

Попробую к шапочному разбору с т.з. хозмастера ftp.linux.kiev.ua.

On Mon, Nov 24, 2008 at 03:22:10PM +0300, Max Ivanov wrote:
> Есть задача - отдавать много большой статики (фильмы). Денег нет :)
> Значит будет софтовый RAID. Что лучше: 2 по RAID1 или 1 RAID 10?

Как уже и сказали, 10 != 1+0 или 0+1 -- подробнее см. тж. md(4).
Пользоваться лучше одним md высшего порядка, поскольку иначе
двойной расход stripe cache как минимум.

---

На ftp.linux.kiev.ua используется 2xRAID5 по 4 диска для основной
части и NxMD RAID1 по 2..4 диска (кусочки тех же шпинделей, что
не очень хорошо) -- для ответственной; возможно, вскоре буду
смотреть на осмысленность переезда одной из основных частей
на RAID10 (/pub/Linux/ALT), но пока не уверен.

Планируемая замена попала, в частности, под такие тесты
(варьировать stripe size и -p для меня оказалось без смысла;
это 4xHitachi HDS721010-KLA330):

==> bonnie-raid10-64k-xfs.log <==
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
gig              4G 45448  98 142184  21 45937  13 48763  95 167759  25 533.6   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2815  19 +++++ +++  9311  52  5999  32 +++++ +++  4755  32
gig,4G,45448,98,142184,21,45937,13,48763,95,167759,25,533.6,1,16,2815,19,+++++,+++,9311,52,5999,32,+++++,+++,4755,32

==> bonnie-raid5-64k-xfs.log <==
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
gig              4G 39882  89 46028   9 22759   8 44967  92 204721  61 418.3   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1170   2 +++++ +++  1263   2  1425   2 +++++ +++   987   2
gig,4G,39882,89,46028,9,22759,8,44967,92,204721,61,418.3,1,16,1170,2,+++++,+++,1263,2,1425,2,+++++,+++,987,2

(следует иметь в виду, что при втором читателе RAID10 сможет
выдать по существу вдвое больший throughput)

При этом был благополучно забыт целый ряд вещей (к сожалению,
не скопировал выхлоп с их учётом -- raid5 заметно полегчало):

- noatime для смонтированной руками xfs ;-)
- hdparm -a 1024 /dev/sd[a-h]; hdparm -a 4096 /dev/mdX
- echo 2048 > /sys/block/mdX/md/stripe_cache_size

Ещё в целевом rc.local наблюдается такое (возможно, неактуально
-- была проблема в ioscheduler из ядра Server 4.0.0):

for i in a b c d e f g h; do
        echo deadline > /sys/block/sd$i/queue/scheduler
        echo 1024 > /sys/block/sd$i/queue/read_ahead_kb
done

---

Кстати, если есть небольшой относительно RAM, но сильно активно
разбираемый файл (у нас fgsetup-1.0.0.exe сейчас образует порядка
трети трафика, имея размер 173M -- одно из официальных зеркал)
-- сильно помогает его держать в tmpfs.  Схожая нагрузка на
видавшем виды SCSI не ощущается вообще; SAS тоже совсем другой
вид спорта относительно SATA.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучший диск

[Michael Shigorin]

On Mon, Nov 24, 2008 at 03:06:43PM +0200, TRAViS wrote:
> >RAID5 еще хуже. Чтобы отдать кусок надо дернуть минимум 3 диска.
> Чего вы за диски переживаете? У них работа такая - дергаться
> по каждому запросу :)

Ну они от этого притормаживают (пока не сдохнут).

> Главное возьмите либо SAS, либо подешевле SATA тока
> какие-нибудь raid edition и всё будет путём.

BTW недавно раздумывал (конкретно над SATA-хитачами, у которых
"серверный вариант" с пятью годами гарантии и есть в полтора
раза дороже "обычного") -- остановился на "обычных", поскольку:

* с одной стороны -- с 2005 года особых проблем с ними на нашей
  обычной нагрузке (~10--40Mb/s с удвоением за год; в основном
  её определяет сик, а не трансфер) не наблюдалось,

* с другой -- считаю необходимым менять диски каждые три года вне
  зависимости от типа интерфейса, сообразуясь со своим и чужим
  опытом (и тем, что обычно через три года баланс объёма,
  производительности и энергопотребления заметно меняется).

> Ну и про охлаждение не забудьте.

Градусов до 30, сильно ниже не стоит IIRC.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучшний RAID?

[Gennadii Redko]

Michael Shigorin пишет:

> 
> ==> bonnie-raid10-64k-xfs.log <==
> Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
>                     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
> Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
> gig              4G 45448  98 142184  21 45937  13 48763  95 167759  25 533.6   1
>                     ------Sequential Create------ --------Random Create--------
>                     -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
>               files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
>                  16  2815  19 +++++ +++  9311  52  5999  32 +++++ +++  4755  32
> gig,4G,45448,98,142184,21,45937,13,48763,95,167759,25,533.6,1,16,2815,19,+++++,+++,9311,52,5999,32,+++++,+++,4755,32
> 
> ==> bonnie-raid5-64k-xfs.log <==
> Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
>                     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
> Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
> gig              4G 39882  89 46028   9 22759   8 44967  92 204721  61 418.3   1
>                     ------Sequential Create------ --------Random Create--------
>                     -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
>               files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
>                  16  1170   2 +++++ +++  1263   2  1425   2 +++++ +++   987   2
> gig,4G,39882,89,46028,9,22759,8,44967,92,204721,61,418.3,1,16,1170,2,+++++,+++,1263,2,1425,2,+++++,+++,987,2
> 
А в чем смысл переезда на 10-ку для ftp-сервера?
Ведь потоковое чтение 167759  на 10-ке против 204721 - на 5-ке.
Меньше 50% попадает в кэш?

Re: [Sysadmins] Лучшний RAID?

[Michael Shigorin]

On Mon, Nov 24, 2008 at 07:11:41PM +0200, Gennadii Redko wrote:
> А в чем смысл переезда на 10-ку для ftp-сервера?

Высокая нагрузка -- ::ALTLinux пользуется популярностью по rsync.
Хотя пока пятёрка скорее справляется даже при левой нагрузке
вроде релея на RAID1 рядом (который уезжает на свой таз).

> Ведь потоковое чтение 167759  на 10-ке против 204721 - на 5-ке.
> Меньше 50% попадает в кэш?

Не, просто "для одного читателя" не интересует:

* фоновые читатели есть всегда, даже когда разбиралки пакетов
  локальные работают;

* эти самые разбиралки упираются в процессор, а не диски;

* по 100Mbps больше 12 не отдам ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Michael Shigorin пишет:

> BTW недавно раздумывал (конкретно над SATA-хитачами, у которых
> "серверный вариант" с пятью годами гарантии и есть в полтора
> раза дороже "обычного") -- остановился на "обычных", поскольку:
> 
RAID-edition имеют практически бездефектные поверхности.
Что для дисков в рейдмассивах - критично, по крайней мере для SAS/FC 
которые умеют синхронизировать спины.
На общих тестах разница не проявляется, но использование дисков с 
подменой дефектных секторов может приводить к заметным задержкам, 
заметным на глаз.

Года три как мы стали использовать в серверах только "серверные" диски.
Причем - разные.
Не было ни одного случая "выпадания" секторов.
Отказы были, но другие.

Re: [Sysadmins] Лучшний RAID?

[Maxim Tyurin]

Michael Shigorin writes:

>> Ведь потоковое чтение 167759  на 10-ке против 204721 - на 5-ке.
>> Меньше 50% попадает в кэш?
>
> Не, просто "для одного читателя" не интересует:
>
> * фоновые читатели есть всегда, даже когда разбиралки пакетов
>   локальные работают;

А software raid никак не оптимизирует запросы?

Просто у меня все пятерки кроме моей рабочей станции железные, а на
своей рабочей станции тестированием рейда мне некогда заниматься.

> * эти самые разбиралки упираются в процессор, а не диски;
>
> * по 100Mbps больше 12 не отдам ;-)

Это конечно аргумент но запас карман не тянет ;)
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Лучший диск

[Max Ivanov]

> Ну и про охлаждение не забудьте.
>
> Градусов до 30, сильно ниже не стоит IIRC.

С появлением eSATA появились выносные полки для дисков,т.е. не
полноценный storage, а просто ящик + БП, типа такого:
http://www.norcotek.com/item_detail.php?categoryid=8&modelno=ds-1500 в
России что-нибудь подобное реально достать?

Re: [Sysadmins] Лучший диск

[Michael Shigorin]

On Mon, Nov 24, 2008 at 07:24:42PM +0200, Gennadii Redko wrote:
> >BTW недавно раздумывал (конкретно над SATA-хитачами, у которых
> >"серверный вариант" с пятью годами гарантии и есть в полтора
> >раза дороже "обычного") -- остановился на "обычных", поскольку:
> RAID-edition имеют практически бездефектные поверхности.  Что
> для дисков в рейдмассивах - критично, по крайней мере для
> SAS/FC которые умеют синхронизировать спины.

Ну мы-то относительно бедные (в смысле osdn.org.ua), серверами
дороже трёх штук баксов не пользуемся :) (хотя там как раз SAS)

> На общих тестах разница не проявляется, но использование дисков
> с подменой дефектных секторов может приводить к заметным
> задержкам, заметным на глаз.

Кстати о.

4x Hitachi HDT722525DLA380, три года работы:
Reallocated_Sector_Ct	20 0 1 0
Reallocated_Event_Count	24 0 1 0

4x Hitachi HDT725032VLA360, два года работы:
Reallocated_Sector_Ct 0 0 0 0

Остальное критичное -- по нулям; максимальный прогрев дисков
составлял 52C.

> Года три как мы стали использовать в серверах только
> "серверные" диски.  Причем - разные.  Не было ни одного случая
> "выпадания" секторов.  Отказы были, но другие.

Эт радует.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучшний RAID?

[Michael Shigorin]

On Mon, Nov 24, 2008 at 07:36:15PM +0200, Maxim Tyurin wrote:
> > * эти самые разбиралки упираются в процессор, а не диски;
> > * по 100Mbps больше 12 не отдам ;-)
> Это конечно аргумент но запас карман не тянет ;)

Понимаешь, пока лишних гигабитных портов нет -- напрягаться
особо тоже неинтересно.  Плюс есть подозрение, что запас даже
сейчас относительно приличный :)

Часть обдумывания десятки -- в том, стоит ли зеркалировать
git.alt или нет.  Поскольку если да, то это заметно больше
транзакций записи и вообще сиков; если нет, то десятка слегка
срежет LA.

Треплюсь вот вместо того, чтоб унести релей и выяснить, нужно
ли ещё несколько экземпляров разбиралок на alt*.linux.kiev.ua :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучший диск

[Maks Re]

> http://www.norcotek.com/item_detail.php?categoryid=8&modelno=ds-1500 в
> России что-нибудь подобное реально достать?

aic
http://www.aicipc.com/Category.aspx?ref=RSC8U
под заказ вполне доступны
модели попроще можно поискать живьем.

-- 
С уважением,
  Макс.

Re: [Sysadmins] Лучший диск

[Max Ivanov]

Это не совсем то. По моей ссылке просто коробка, у которой наружу
торчит SATA провод. Втыкаешь его в SATA контроллер и телемаркет. По
вашей же ссылке корпус для storage, куда предполагается докупить
матирнку, проц, контроллеры и  т.д.

>> http://www.norcotek.com/item_detail.php?categoryid=8&modelno=ds-1500 в
>> России что-нибудь подобное реально достать?
>
> aic
> http://www.aicipc.com/Category.aspx?ref=RSC8U
> под заказ вполне доступны
> модели попроще можно поискать живьем.

Re: [Sysadmins] Лучший диск

[Maks Re]

http://www.aicipc.com/ProductDetail.aspx?ref=XJ-D102-212R
как пример jbod (scsi к сожалению)
если поискать, то можно что-то и найти...

при кол-ве винтов, более 12-16, мамку с прцом и памятью, я полагаю вам
посчитают как приятное дополнение в счете, т.к. уже не делает
стоимости железки... а вот контроллер приличный, денег стоит... как и
не стоит забыть кешь и батарейку на него, и производительность
оного...

не нравится АИК? ну я просто знаю что его реально можно в спб найти,
и/или под заказ...


2008/11/24 Max Ivanov <ivanov.maxim@gmail.com>:
> Это не совсем то. По моей ссылке просто коробка, у которой наружу
> торчит SATA провод. Втыкаешь его в SATA контроллер и телемаркет. По
> вашей же ссылке корпус для storage, куда предполагается докупить
> матирнку, проц, контроллеры и  т.д.
>
>>> http://www.norcotek.com/item_detail.php?categoryid=8&modelno=ds-1500 в
>>> России что-нибудь подобное реально достать?
>>
>> aic
>> http://www.aicipc.com/Category.aspx?ref=RSC8U
>> под заказ вполне доступны
>> модели попроще можно поискать живьем.
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
>



-- 
С уважением,
  Макс.

Re: [Sysadmins] Лучший диск

[Max Ivanov]

> при кол-ве винтов, более 12-16, мамку с прцом и памятью, я полагаю вам
> посчитают как приятное дополнение в счете, т.к. уже не делает
> стоимости железки... а вот контроллер приличный, денег стоит... как и
> не стоит забыть кешь и батарейку на него, и производительность
> оного...
>
> не нравится АИК? ну я просто знаю что его реально можно в спб найти,
> и/или под заказ...

Если речь идет о бюджетном решении на SATA дисках и soft raid, то так
ли важен контроллер и батарейки? А 12-16 sata винтов не очень то
дорого стоят, обычную ATX мамку в эти корпуса навряд ли воткнешь, так
что её стоимость незаметной не будет, а без мамки вся конструкция
неработоспособна. Вот если бы у AIC была бы простая штука с БП, куда б
можно было набрать вот таких:
http://www.aicipc.com/ProductDetail.aspx?ref=XC-35D-2 контейнеров и
было штатное место для sata multiplier то я был бы очень рад :) мне не
AIC не нравится, просто они предлагают немного не то, что я ищу.

[Sysadmins] материнка (was: Лучший диск)

[Michael Shigorin]

On Tue, Nov 25, 2008 at 04:30:11AM +0300, Max Ivanov wrote:
> Если речь идет о бюджетном решении на SATA дисках и soft raid,
> то так ли важен контроллер и батарейки? А 12-16 sata винтов не
> очень то дорого стоят, обычную ATX мамку в эти корпуса навряд
> ли воткнешь, так что её стоимость незаметной не будет, а без
> мамки вся конструкция неработоспособна.

Справедливости ради, на картинке помнится _три_ ряда по 12 винтов.
Со стобаксовыми материнка уместится в полряда, с оптимальными --
MB+CPU+RAM влезет.  Ну и ещё на "обычной мамке" обычно шины
разведены неграмотно, очень просто уткнуться именно в них.
(впрочем, тот же Tyan этим тоже порой страдает)

Из бюджетных решений для ftp.linux.kiev.ua подошло такое:
http://inpc.com.ua/data/d34.html
http://www.ixbt.com/mainboard/foxconn/foxconn-nfpik8aa-8ekrs-nforce4pro.shtml
(материнка питается оптероном и регистровой памятью,
имеет на борту 8xSATA, раскиданных по двум мостам)

плюс хитачевские диски
* по старой ibm'овской памяти,
* за вылизанную под многопоточный доступ прошивку,
* а также по причине низкого стартового тока (<= 2A).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Max Ivanov пишет:

> Если речь идет о бюджетном решении на SATA дисках и soft raid, то так
> ли важен контроллер и батарейки? А 12-16 sata винтов не очень то
> дорого стоят, обычную ATX мамку в эти корпуса навряд ли воткнешь, так
12-ть дисков SATA с нативным SATA-интерфейсом просадят канал при 
нагрузке близкой к нормальной.
Если Вы обращали внимание, то рэки на 12-16-ть дисков имеют интерфейс 
SATA-to-SAS или SATA-to-FC.

Re: [Sysadmins] Лучший диск

[Max Ivanov]

> 12-ть дисков SATA с нативным SATA-интерфейсом просадят канал при нагрузке
> близкой к нормальной.
> Если Вы обращали внимание, то рэки на 12-16-ть дисков имеют интерфейс
> SATA-to-SAS или SATA-to-FC.
>
Т.е. наружу торчит SAS а внутри обычные SATA диски? :) ничего так.

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Max Ivanov пишет:
>> 12-ть дисков SATA с нативным SATA-интерфейсом просадят канал при нагрузке
>> близкой к нормальной.
>> Если Вы обращали внимание, то рэки на 12-16-ть дисков имеют интерфейс
>> SATA-to-SAS или SATA-to-FC.
>>
> Т.е. наружу торчит SAS а внутри обычные SATA диски? :) ничего так.
Да.
Это сейчас самое модное решение для больших и не очень быстрых хранилищ.

Re: [Sysadmins] Лучший диск

[Sergey]

On Tuesday 25 November 2008, Gennadii Redko wrote:

> > Если речь идет о бюджетном решении на SATA дисках и soft raid, то так
> > ли важен контроллер и батарейки? А 12-16 sata винтов не очень то
> > дорого стоят, обычную ATX мамку в эти корпуса навряд ли воткнешь, так

> 12-ть дисков SATA с нативным SATA-интерфейсом просадят канал при 
> нагрузке близкой к нормальной.
> Если Вы обращали внимание, то рэки на 12-16-ть дисков имеют интерфейс 
> SATA-to-SAS или SATA-to-FC.

Это уже не рэки, это уже RAID-ы готовые, скорее. По крайней мере, мне просто
коробки не попадались, когда я искал. Все были с контроллерами.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Лучший диск

[Sergey]

On Tuesday 25 November 2008, Max Ivanov wrote:

> Т.е. наружу торчит SAS а внутри обычные SATA диски? :) ничего так.

Известное решение. Но с RAID уже. А наружу оно видится, как один
диск.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Max Ivanov пишет:
>> Ну и про охлаждение не забудьте.
>>
>> Градусов до 30, сильно ниже не стоит IIRC.
> 
> С появлением eSATA появились выносные полки для дисков,т.е. не
> полноценный storage, а просто ящик + БП, типа такого:
> http://www.norcotek.com/item_detail.php?categoryid=8&modelno=ds-1500 в
> России что-нибудь подобное реально достать?
Не лучше ли как-то вот так:
http://www.dlink.ru/products/prodview.php?type=32&id=679
?

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Sergey пишет:
> On Tuesday 25 November 2008, Max Ivanov wrote:
> 
>> Т.е. наружу торчит SAS а внутри обычные SATA диски? :) ничего так.
> 
> Известное решение. Но с RAID уже. А наружу оно видится, как один
> диск.
> 
Не обязательно.
Не помню точно где вот на этой штуке:
http://h10010.www1.hp.com/wwpc/ru/ru/sm/WF06a/12169-304616-241493-241493-241493-3355734.html

рейдконтроллер, в джейбоде или на сервере, но диски доступны как по 
отдельности, так и в массиве.
Контроллер скорее - в сервере.
Это не самый дешевый ящик, но можно поискать тоже самое, но дешевле и с 
другими буквами на шильдике :)

Re: [Sysadmins] Лучший диск

[Maks Re]

> Не лучше ли как-то вот так:
> http://www.dlink.ru/products/prodview.php?type=32&id=679
> ?
и много вы продали таких длинков?

какие есть капризные мелочи, от которых "ничего не работает"?
как далеко до ближайшего сервиса, который учеет чинить такие железки?

если что - я просто ДЛинк не люблю... (акромя тупых свичей л2, в мет.
корпусе со встроенным бп)

вон у ХП сервис центров дофига... у ИБМ меньше, но тоже есть...

-- 
С уважением,
  Макс.

Re: [Sysadmins] Лучший диск

[Gennadii Redko]

Maks Re пишет:
>> Не лучше ли как-то вот так:
>> http://www.dlink.ru/products/prodview.php?type=32&id=679
>> ?
> и много вы продали таких длинков?
Ни одного.
И не купил ни одного тоже.
Я привел пример стореджа с интерфейсом iSCSI
Присматриваюсь к ним...

Re: [Sysadmins] Лучший диск

[Maks Re]

> Ни одного.
> И не купил ни одного тоже.
> Я привел пример стореджа с интерфейсом iSCSI
> Присматриваюсь к ним...

emc ax4 неплох
только есть и дешевле...


-- 
С уважением,
  Макс.