[Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

Здравствуйте,

имеется домашний тазик
на нем я установил 4 диска WD10EARS (сначало было 3, потом добавил 4-й с перестройкой массива)

проблема - низкая скорость и высока нагрузка при записи.

в частности - при копировании по smb, LA может взлететь до 50 (!)


как что покрутить?
чтобы избавиться от такого...

спасибо.

+++++++++++++++++

# uname -a
Linux srv-str-1. 2.6.32-el-smp-alt14 #1 SMP Fri Feb 11
07:53:54 UTC 2011 x86_64 GNU/Linux

создал raid 5
# cat /proc/mdstat 
md2 : active raid5 sdc6[0] sdd6[3] sdb6[2] sda6[1]
      2798154432 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

поверх md2
создан lvm VG00
в нем два тома.

# lvdisplay -m
  --- Logical volume ---
  LV Name                /dev/VG00/d_share
  VG Name                VG00
  LV UUID                B1F1eP-rsdp-3SxM-PS6s-e6ph-Msbk-E5jeZo
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                1,50 TiB
  Current LE             394240
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     768
  Block device           253:0
   
  --- Segments ---
  Logical extent 0 to 204799:
    Type		linear
    Physical volume	/dev/md2
    Physical extents	0 to 204799
   
  Logical extent 204800 to 394239:
    Type		linear
    Physical volume	/dev/md2
    Physical extents	409600 to 599039
   
   
  --- Logical volume ---
  LV Name                /dev/VG00/d_backup
  VG Name                VG00
  LV UUID                sLIQtf-ILew-VQFD-jttb-Zh4k-iWhL-g3Mt5s
  LV Write Access        read/write
  LV Status              available
  # open                 1
  LV Size                812,00 GiB
  Current LE             207872
  Segments               2
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     768
  Block device           253:1
   
  --- Segments ---
  Logical extent 0 to 204799:
    Type		linear
    Physical volume	/dev/md2
    Physical extents	204800 to 409599
   
  Logical extent 204800 to 207871:
    Type		linear
    Physical volume	/dev/md2
    Physical extents	599040 to 602111
   

# fdisk -lu /dev/sd[a-d]

Disk /dev/sda: 1000.2 GB, 1000203804160 bytes
255 heads, 63 sectors/track, 121601 cylinders, всего 1953523055 секторов
Units = секторы of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xd2bd3675

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sda1   *        2048     4196351     2097152   fd  Автоопределение Linux raid
/dev/sda2         4196352    46139391    20971520   fd  Автоопределение Linux raid
/dev/sda3        46139392  1953523054   953691831+   5  Расширенный
/dev/sda5        46141440    88084479    20971520   41  PPC PReP Boot
/dev/sda6        88086528  1953523054   932718263+  fd  Автоопределение Linux raid

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, всего 1953525168 секторов
Units = секторы of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000cea4c

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdb1   *        2048     4196351     2097152   fd  Автоопределение Linux raid
/dev/sdb2         4196352    46139391    20971520   fd  Автоопределение Linux raid
/dev/sdb3        46139392  1953525167   953692888    5  Расширенный
/dev/sdb5        46141440    88084479    20971520   41  PPC PReP Boot
/dev/sdb6        88086528  1953525167   932719320   fd  Автоопределение Linux raid

Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, всего 1953525168 секторов
Units = секторы of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0003d727

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdc1   *        2048     4196351     2097152   fd  Автоопределение Linux raid
/dev/sdc2         4196352    46139391    20971520   fd  Автоопределение Linux raid
/dev/sdc3        46139392  1953525167   953692888    5  Расширенный
/dev/sdc5        46141440    88084479    20971520   41  PPC PReP Boot
/dev/sdc6        88086528  1953525167   932719320   fd  Автоопределение Linux raid

Disk /dev/sdd: 1000.2 GB, 1000204886016 bytes
255 heads, 63 sectors/track, 121601 cylinders, всего 1953525168 секторов
Units = секторы of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x33a66e9e

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sdd1   *        2048     4196351     2097152   fd  Автоопределение Linux raid
/dev/sdd2         4196352    46139391    20971520   fd  Автоопределение Linux raid
/dev/sdd3        46139392  1953525167   953692888    5  Расширенный
/dev/sdd5        46141440    88084479    20971520   41  PPC PReP Boot
/dev/sdd6        88086528  1953525167   932719320   fd  Автоопределение Linux raid

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael A. Kangin]

В Чтв, 03/03/2011 в 23:21 +0300, Maks Re пишет:

> имеется домашний тазик
> на нем я установил 4 диска WD10EARS (сначало было 3, потом добавил 4-й с перестройкой массива)
> проблема - низкая скорость и высока нагрузка при записи.
> в частности - при копировании по smb, LA может взлететь до 50 (!)
> как что покрутить?
> чтобы избавиться от такого...

Ну так raid5 никогда и не славился высокой скоростью записи. Если не
сверхжалко места, конвертните его в raid10 - пошустрее и понадёжнее
будет.

-- 
wbr, Michael A. Kangin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

> Ну так raid5 никогда и не славился высокой скоростью записи. Если не
> сверхжалко места, конвертните его в raid10 - пошустрее и понадёжнее
> будет.
> 

а на лету raid5 -> raid10 возможно?

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael A. Kangin]

On Fri, 2011-03-04 at 12:53 +0300, Maks Re wrote:

> > Ну так raid5 никогда и не славился высокой скоростью записи. Если не
> > сверхжалко места, конвертните его в raid10 - пошустрее и понадёжнее
> > будет.

> а на лету raid5 -> raid10 возможно?

Не думаю. ADAIR, деградированный raid10 поднимается на трёх дисках.


-- 
WBR, Michael A. Kangin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Yura Kalinichenko]

Maks Re пишет:
> Здравствуйте,
>
> имеется домашний тазик
> на нем я установил 4 диска WD10EARS (сначало было 3, потом добавил 4-й с перестройкой массива)
>
> проблема - низкая скорость и высока нагрузка при записи.
На диске случаем нет надписи "Advanced Format" ?

-- 
SY, 
   Yura Kalinichenko

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

> На диске случаем нет надписи "Advanced Format" ?
> 

если вы про размер кластера отличный от 512к ,
да, это те самые диски...
выравнивание вроде сделано...

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael Shigorin]

On Fri, Mar 04, 2011 at 08:55:13AM +0200, Yura Kalinichenko wrote:
> >WD10EARS
> На диске случаем нет надписи "Advanced Format" ?

Есть, это 4k sector, см. ссылку на вики в соседнем письме.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

> 
> Забыли указать файловую систему.


ext3

а какую еще для файл помойки?
направляемый ибп с какими-то акб есть...

> А вообще почитайте вот это http://unixhome.org.ua/blog/doc/227.html
ну познавательно,
а применимо для домашних тазитов?

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael Shigorin]

On Thu, Mar 03, 2011 at 11:21:12PM +0300, Maks Re wrote:
> WD10EARS
> проблема - низкая скорость и высока нагрузка при записи.
> в частности - при копировании по smb, LA может взлететь до 50 (!)
> как что покрутить?

http://www.altlinux.org/BigSector

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

> 
> http://www.altlinux.org/BigSector
> 

по ней и делал.

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Alexey Shabalin]

2011/3/3 Maks Re <admaks@gmail.com>:
> Здравствуйте,
>
> имеется домашний тазик
> на нем я установил 4 диска WD10EARS (сначало было 3, потом добавил 4-й с перестройкой массива)
>
> проблема - низкая скорость и высока нагрузка при записи.
>
> в частности - при копировании по smb, LA может взлететь до 50 (!)
>
>
> как что покрутить?
> чтобы избавиться от такого...

На днях я для себя собирал NAS. Опишу, что бы и самому не забыть.
4 диска WD по 2Тб, mini-ITX мать с atom-D525.
Server-litgh-1.1.3-x86_64 почему то не захотел ставиться (систему
ставил на старинную IDE-флэшку 1Гб - то ли медленно записывал, то ли
посчитал, что места не хватит - ошибка на этапе установки пакетов).
Пришлось обманывать компьютер - поставил на рабочей машине систему в
виртуалку, а потом через бэкап tar развернул на новой машине. Починил
загрузчик и всё завелось.

Что делал с дисками. Простой raid5 и ext4.
- fdisk -c -u /dev/sdb и т.д. весь диск - один раздел типа fd.

- создаём раид:
mdadm --create --chunk=128 --level=5 --raid-devices=4
--bitmap=internal --bitmap-chunk=131072 /dev/sd[bcde]
строится раид долго, около 5 часов. Можно сразу выполнить - будет быстрее:
echo 16384 > /sys/block/md0/md/stripe_cache_size

- после постройки раида, создаём файловую систему(для расчётов
параметров использовал калькулятор
http://busybox.net/~aldot/mkfs_stride.html ):
mkfs.ext4 -b 4096 -E stride=32,stripe-width=96 /dev/md0

И заключительный штрих - добавил в /etc/rc.d/rc.local:
#!/bin/sh

# Set read-ahead
echo "Setting rad-ahead to 32 Mib for /dev/md0"
blockdev --setra 65536 /dev/md0

echo "Setting srtip_cache_size to 16 Mib for /dev/md0"
echo 16384 > /sys/block/md0/md/stripe_cache_size


Получилось следующее:
# dd if=/dev/zero of=./111 bs=10M count=100
100+0 записей считано
100+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 6,7883 c, 154 MB/c

# dd if=/dev/zero of=./111 bs=50M count=100
100+0 записей считано
100+0 записей написано
 скопировано 5242880000 байт (5,2 GB), 39,5708 c, 132 MB/c

Даже 130 для дома мне хватит, всё равно сеть столько не пропустит.

-- 
Alexey Shabalin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael Shigorin]

On Sat, Mar 19, 2011 at 06:21:34PM +0300, Alexey Shabalin wrote:
> Что делал с дисками. Простой raid5 и ext4.
> - fdisk -c -u /dev/sdb и т.д. весь диск - один раздел типа fd.

Если предполагается цеплять массив не в качестве корня -- 
то может быть лучше строить на целых дисках, иначе нужен
либо свежайший fdisk (из сизифа, а не 5.1/p5 -- см. тж.
https://bugzilla.altlinux.org/23014), либо вручную ровнять:
http://freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID

> Даже 130 для дома мне хватит, всё равно сеть столько не пропустит.

Под параллельным доступом просядет до более приемлемых значений ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Alexey Shabalin]

>> Что делал с дисками. Простой raid5 и ext4.
>> - fdisk -c -u /dev/sdb и т.д. весь диск - один раздел типа fd.
>
> Если предполагается цеплять массив не в качестве корня --
> то может быть лучше строить на целых дисках, иначе нужен
> либо свежайший fdisk (из сизифа, а не 5.1/p5 -- см. тж.
> https://bugzilla.altlinux.org/23014), либо вручную ровнять:
> http://freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID
Э, так я вроде указал, что ставился с лёгкого сервера 1.1.3, а он на
базе сизифа.
А один раздел на диск - это я перестраховываюсь от разных шибко умных
udev/systemd - что бы они видели тип раздела fd (раид)
>
>> Даже 130 для дома мне хватит, всё равно сеть столько не пропустит.
>
> Под параллельным доступом просядет до более приемлемых значений ;-)
Уже :) переливал данные с usb-диска, ~ 22 Мб/с (хотя может с usb и
ноутбучного диска больше и не получить).

-- 
Alexey Shabalin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

> Даже 130 для дома мне хватит, всё равно сеть столько не пропустит.
> 

а у меня почему то 65 получилось..
# dd if=/dev/zero of=/srv/share/111.dd  bs=10M count=100
100+0 записей считано
100+0 записей написано
 скопировано 1048576000 байт (1,0 GB), 17,9205 c, 58,5 MB/c
# dd if=/dev/zero of=/srv/share/111.dd  bs=50M
count=100 100+0 записей считано
100+0 записей написано
 скопировано 5242880000 байт (5,2 GB), 81,8663 c, 64,0 MB/c

и у меня ext3 поверх lvm и поверх md

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael Shigorin]

On Sat, Mar 19, 2011 at 11:01:17PM +0300, Maks Re wrote:
> и у меня ext3 поверх lvm и поверх md

Несопоставимо с ext4 поверх md, разумеется.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Maks Re]

На Sat, 19 Mar 2011 22:25:14 +0200 Michael Shigorin писал:

> On Sat, Mar 19, 2011 at 11:01:17PM +0300, Maks Re wrote:
> > и у меня ext3 поверх lvm и поверх md
> 
> Несопоставимо с ext4 поверх md, разумеется.
> 

можно подробнее, что куда не сопостовимо?
вернее так,
так делать правильно,
если есть 4 диска,
надо надежное хранение.
наверх всех дисков будет стоять еще и система. я обычно отрезаю по
5-10Г с каждого диска и делаю на нем raid1 и там ставлю систему, а
дальше как?
как правильно организовать файл-помойку?
какие рекомендованные параметры... (ext3,ext4, xfs etc....)

а то на вики есть только про выравнивание разделов, 
но как мне кажется исталлятор  на бете b6 и легкий сервер умеют
правильно выравнивать сами

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Alexey Shabalin]

2011/3/20 Maks Re:
> На Sat, 19 Mar 2011 22:25:14 +0200 Michael Shigorin писал:
>
>> On Sat, Mar 19, 2011 at 11:01:17PM +0300, Maks Re wrote:
>> > и у меня ext3 поверх lvm и поверх md
>>
>> Несопоставимо с ext4 поверх md, разумеется.
>>
>
> можно подробнее, что куда не сопостовимо?
> вернее так,
> так делать правильно,
> если есть 4 диска,
> надо надежное хранение.
> наверх всех дисков будет стоять еще и система. я обычно отрезаю по
> 5-10Г с каждого диска и делаю на нем raid1 и там ставлю систему, а
> дальше как?
> как правильно организовать файл-помойку?
> какие рекомендованные параметры... (ext3,ext4, xfs etc....)

Я специально дал ссылку на калькулятор параметров для ext*.
Вы их сможете поправить через tune2fs.
Для xfs параметры примерно аналогичные, только ключи другие.
Тип ФС зависит от задач. У меня одной чёткой задачи не было - простая
файлопомойка (где есть и мелкие файлы и огромные), гнаться за
скоростью нет необходимости (всё равно в основном используется wi-fi -
он много не позволит)
поэтому я выбрал ext4, как современную, родную для линукса (вдруг
будет ext5, наверняка сделают возможность миграции :) ). Мне было
тяжело что-то выбрать на основе многочисленных картинок сравнений
различных ФС, которые встречаются на просторах интернета.
Так что ничего советовать не буду :)

Кстати, приятно удивился, что дефрагментатор для ext4 работает. (я
конечно не могу проверить, что он там реально надефрагментировал - но
не у пал, и с torrent-файлом в 45 гигов возился около 20 мин.)

> а то на вики есть только про выравнивание разделов,
> но как мне кажется исталлятор  на бете b6 и легкий сервер умеют
> правильно выравнивать сами


-- 
Alexey Shabalin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Alexey Shabalin]

> Кстати, приятно удивился, что дефрагментатор для ext4 работает. (я
> конечно не могу проверить, что он там реально надефрагментировал - но
> не у пал, и с torrent-файлом в 45 гигов возился около 20 мин.)
Вот что показал при завершении дефрагментации 45-гиг файла:
 extents: 574 -> 368

-- 
Alexey Shabalin

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael Shigorin]

On Sun, Mar 20, 2011 at 12:16:20AM +0300, Maks Re wrote:
> > > и у меня ext3 поверх lvm и поверх md
> > Несопоставимо с ext4 поверх md, разумеется.
> можно подробнее, что куда не сопостовимо?

ext4 с ext3, md с lvm+md.  В каждой паре взято более медленное.
Особенно по записи.

> вернее так, так делать правильно, если есть 4 диска,
> надо надежное хранение.  наверх всех дисков будет стоять еще и
> система. я обычно отрезаю по 5-10Г с каждого диска и делаю на
> нем raid1 и там ставлю систему, а дальше как?

Я тоже; если других дисков нету и надо обязательно на этих же,
то придётся делать разделы и выравнивать те, что под RAID5,
по статье на freesource; но если есть возможность воткнуть какой
IDE flash или через CF-IDE, то лучше ей воспользоваться --
много меньше мороки менять диски с данными раз в три года.

> как правильно организовать файл-помойку?
> какие рекомендованные параметры... (ext3,ext4, xfs etc....)

ext4/xfs/jfs, у меня сейчас дефолт плавно сполз на ext4.

> но как мне кажется исталлятор  на бете b6 и легкий сервер
> умеют правильно выравнивать сами

Последний раз, как смотрел -- было не так.  Тест простой:
если созданный первый раздел начинается с 63-го сектора,
то неправильно.  См. https://bugzilla.altlinux.org/23848

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] оптимальный raid-5 на 4 дисках... ?

[Michael A. Kangin]

В Сбт, 19/03/2011 в 18:21 +0300, Alexey Shabalin пишет:

> - создаём раид:
> mdadm --create --chunk=128 --level=5 --raid-devices=4
> --bitmap=internal --bitmap-chunk=131072 /dev/sd[bcde]
> строится раид долго, около 5 часов. Можно сразу выполнить - будет быстрее:
> echo 16384 > /sys/block/md0/md/stripe_cache_size

Там вроде можно сказать чтото типа --assume-clean=yes
Если это применимо к raid5