[Sysadmins] software RAID -- не тормоз, а якорь

[Sysadmins] software RAID -- не тормоз, а якорь

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 397 bytes --]

Имеется Software RAID, созданый автоматически инсталлятором (от
v12n-server).

При копировании большого файла с source и destination на одном и том же
разделе я получаю скорость в 4(!) мегабайта в секунду.

Куда копать чтобы добиться нормальной скорости работы?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Dank Bagryantsev]

Здравствуйте, Денис.

Вы писали 8 мая 2010 г., 1:15:18:

ДС> Имеется Software RAID, созданый автоматически инсталлятором (от
ДС> v12n-server).

ДС> При копировании большого файла с source и destination на одном и том же
ДС> разделе я получаю скорость в 4(!) мегабайта в секунду.

ДС> Куда копать чтобы добиться нормальной скорости работы?

RAID случайно в это время не ребилдится? Что выдает cat /proc/mdstat ?
И вообще - hdparm -tT /dev/mdX ?

-- 
С уважением,
 Dank

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 688 bytes --]

On Sat, May 08, 2010 at 08:09:36PM +0300, Dank Bagryantsev wrote:

DB> RAID случайно в это время не ребилдится? Что выдает cat /proc/mdstat ?
DB> И вообще - hdparm -tT /dev/mdX ?

RAID не ребилдится.

hdparm -tT выдавал вполне приличные цифры (чуть больше 50Мб/с).

Однако кажется виноват не RAID -- я его оторвал, и ситуация полностью
воспроизвелась, причем даже при копировании между разными дисками --
в начале скорость около 50Мб/с, потом начинает медленно падает вплоть до
~300Кб/с (!).

Чипсет ICH9, харды WD по 500Gb (десктопные, не RE).

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Dank Bagryantsev]

Здравствуйте, Денис.

Вы писали 8 мая 2010 г., 20:26:05:

DB>> RAID случайно в это время не ребилдится? Что выдает cat /proc/mdstat ?
DB>> И вообще - hdparm -tT /dev/mdX ?

ДС> RAID не ребилдится.

ДС> hdparm -tT выдавал вполне приличные цифры (чуть больше 50Мб/с).

ДС> Однако кажется виноват не RAID -- я его оторвал, и ситуация полностью
ДС> воспроизвелась, причем даже при копировании между разными дисками --
ДС> в начале скорость около 50Мб/с, потом начинает медленно падает вплоть до
ДС> ~300Кб/с (!).

ДС> Чипсет ICH9, харды WD по 500Gb (десктопные, не RE).

диски SATA2 ? что говорит hdparm -tT на этих дисках?
SMART по дискам нормальный выдает?
Сколько ОЗУ?
ext3 на дисках? параметры монтирования?
Чем копируете?

Пробовали:
hdparm -a 2048 /dev/sd[a-d]
?

Как вариант, еще можно рассмотреть возможность
echo deadline > /sys/block/sdX/queue/scheduler

-- 
С уважением,
 Dank

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1267 bytes --]

On Sat, May 08, 2010 at 09:54:12PM +0300, Dank Bagryantsev wrote:

Все оказалось проще -- один из хардов умирал. На следующий день он просто
исчез из системы. Хостер заменил хард, и теперь тормоза не
воспроизводятся.

DB> диски SATA2 ? что говорит hdparm -tT на этих дисках?

72Mb/s, никакой видимости проблем не было.

DB> SMART по дискам нормальный выдает?

Чем лучше мониторить SMART? В следующий раз хотел бы о таких проблемах
узнавать до того как хард сдохнет.

DB> Сколько ОЗУ?

8Gb. Да, очень похоже на то что вначале все шло в кэш -- а когда пришло
время сбрасывать на диск, все упиралось, возможно, в какой-то сектор -- и
на этом склеивало ласты.

DB> ext3 на дисках? параметры монтирования?

relatime,nosuid.

DB> Чем копируете?

rsync и mc

DB> Пробовали:
DB> hdparm -a 2048 /dev/sd[a-d]
DB> ?

А стоит при серверных нагрузках такой большой readahead ставить?

DB> Как вариант, еще можно рассмотреть возможность
DB> echo deadline > /sys/block/sdX/queue/scheduler

Там десятка два VE. Если одна из них начнет активно издеваться над диском
-- не хотелось бы чтобы вся система встала колом.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Dank Bagryantsev]

Здравствуйте, Денис.

Вы писали 9 мая 2010 г., 23:06:19:

ДС> Все оказалось проще -- один из хардов умирал. На следующий день он просто
ДС> исчез из системы. Хостер заменил хард, и теперь тормоза не
ДС> воспроизводятся.

DB>> диски SATA2 ? что говорит hdparm -tT на этих дисках?

ДС> 72Mb/s, никакой видимости проблем не было.

DB>> SMART по дискам нормальный выдает?

ДС> Чем лучше мониторить SMART? В следующий раз хотел бы о таких проблемах
ДС> узнавать до того как хард сдохнет.

smartd ?
Кроме того, mike@ выкладывал 23.12.2009 в этой рассылке скрипт

<skip>

DB>> Пробовали:
DB>> hdparm -a 2048 /dev/sd[a-d]
DB>> ?

ДС> А стоит при серверных нагрузках такой большой readahead ставить?

DB>> Как вариант, еще можно рассмотреть возможность
DB>> echo deadline > /sys/block/sdX/queue/scheduler

ДС> Там десятка два VE. Если одна из них начнет активно издеваться над диском
ДС> -- не хотелось бы чтобы вся система встала колом.

Конечно, всё зависит от функций, выполняемых сервером и от его железа.
Кстати, по поводу оптимизации RAID, Michael Shigorin неплохой
комментарий сделал здесь: http://www.opennet.ru/tips/info/881.shtml

-- 
С уважением,
 Dank

Re: [Sysadmins] software RAID -- не тормоз, а якорь

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 639 bytes --]

On Mon, May 10, 2010 at 06:18:20PM +0300, Dank Bagryantsev wrote:

DB> smartd ?

На нынешних винтах все нормально, мониторинг на всякий случай настроил.

DB> Кроме того, mike@ выкладывал 23.12.2009 в этой рассылке скрипт

Если у вас есть, можете прислать копию?

DB> Конечно, всё зависит от функций, выполняемых сервером и от его железа.
DB> Кстати, по поводу оптимизации RAID, Michael Shigorin неплохой
DB> комментарий сделал здесь: http://www.opennet.ru/tips/info/881.shtml

Прочитал, спасибо.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] битый диск -- не тормоз, а якорь

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 1460 bytes --]

On Tue, May 11, 2010 at 12:21:15AM +0400, Денис Смирнов wrote:
> DB> smartd ?
> На нынешних винтах все нормально, мониторинг на всякий случай настроил.

Эт правильно.

> DB> Кроме того, mike@ выкладывал 23.12.2009 в этой рассылке скрипт
> Если у вас есть, можете прислать копию?

Возможно, речь о приложенном.

> DB> Конечно, всё зависит от функций, выполняемых сервером и от его железа.
> DB> Кстати, по поводу оптимизации RAID, Michael Shigorin неплохой
> DB> комментарий сделал здесь: http://www.opennet.ru/tips/info/881.shtml
> Прочитал, спасибо.

Добавил там ещё ссылки из скрипта, плюс из переписки offlist:

---
> > Для дисков в массиве readahead считался так, чтоб сочетаться
> > с readhead всего массива -- кажется, stripe cache тоже имел
> > отношение и сюда (хотя может, путаю и только к размеру
> > страйпа, помноженному на кол-во дисков).
> Ага, то есть для RAID-1 это не актуально как я понимаю.

Не помню точно.  Возможно, стоит для массива включить как для
дисков -- я тюнил с dstat в руках (и после того, как затюнил,
его по факту не использую и могу отдать, btw) и посматривая
на изменения load average то ли ещё по mrtg, то ли уже по
collectd, то ли просто на глаз.  Ещё iostat полезен, но его
отчёты по tps для меня менее прозрачны, что ли.
---

PS: хорошо ещё точные модели покойников давать,
чтоб хоть какой-то шанс наткнуться поиском был.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: smartcheck.sh --]
[-- Type: application/x-sh, Size: 555 bytes --]

Re: [Sysadmins] битый диск -- не тормоз, а якорь

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1136 bytes --]

On Tue, May 11, 2010 at 05:01:27PM +0300, Michael Shigorin wrote:

MS> Возможно, речь о приложенном.

А зачем там hardcoded имена дисков?
Может мне оторвать hardcoded, да опакетить? :)

MS> Не помню точно.  Возможно, стоит для массива включить как для
MS> дисков -- я тюнил с dstat в руках (и после того, как затюнил,
MS> его по факту не использую и могу отдать, btw) и посматривая
MS> на изменения load average то ли ещё по mrtg, то ли уже по
MS> collectd, то ли просто на глаз.  Ещё iostat полезен, но его
MS> отчёты по tps для меня менее прозрачны, что ли.

А на что именно ты в dstat смотрел?

MS> PS: хорошо ещё точные модели покойников давать,
MS> чтоб хоть какой-то шанс наткнуться поиском был.

WDC WD5000AAKS-0                                                                                            

Если честно я не знаю это хард покойник, или элементарно контакт в
SATA-кабеле. Увы, арендованый сервер в другой стране несколько
ограничивает в возможностях диагностики.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] битый диск -- не тормоз, а якорь

[Michael Shigorin]

On Wed, May 12, 2010 at 12:36:27AM +0400, Денис Смирнов wrote:
> MS> Возможно, речь о приложенном.
> А зачем там hardcoded имена дисков?
> Может мне оторвать hardcoded, да опакетить? :)

Для того и постил. :)  Некогда было.

> MS> Не помню точно.  Возможно, стоит для массива включить как для
> MS> дисков -- я тюнил с dstat в руках (и после того, как затюнил,
> MS> его по факту не использую и могу отдать, btw) и посматривая
> MS> на изменения load average то ли ещё по mrtg, то ли уже по
> MS> collectd, то ли просто на глаз.  Ещё iostat полезен, но его
> MS> отчёты по tps для меня менее прозрачны, что ли.
> А на что именно ты в dstat смотрел?

На раскладку загрузки по дискам.  Ещё рекомендуется
Multi-disk HOWTO, если их хотя бы три (чтоб не сразу
в зеркало и всех делов).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/