[Comm] reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Comm] reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Michael Shigorin]

On Fri, Apr 11, 2003 at 12:06:27PM +0300, Oleg Gritsinevich wrote:
> У меня на одной сравнительно слабой машинке, помимо прочего,
> крутится ftp-сервер (pure-ftpd). Проблема заключается в том,
> что если на/с него кто-либо начинает заливать/скачивать
> что-нибудь большое, то машинка становится неживая.

Это наш ioshed -- см. http://www.kerneltrap.org/node.php?id=592 .

На ftp.altlinux.org.ua наблюдалось дословно такое:

уходит 150--1000+ Kb/s с пятка-десятка зон одного шпинделя
(барракуда 120G); LA и загрузка CPU минимальны

пытаемся на тот же раздел (ext3) поселить iso-шники rh9, которые
тянем примерно на 5Mb/s (пока влазят в кэш)

...дальше они начинают вываливаться на fs и тут приходит капут:
скорость залития "сюда" плавно улетает к ~600Kb/s, LA -- в 12--15
(загрузка -- не помню, но все печально, при том, что это
D900/256M, все же не младшенький Celeron :) -- отдача падает до
~40Kb/s (не в последнюю очередь потому, что vsftpd было сказано
отказываться от коннектов при LA > 10, но и чтение с диска просто
ужасно).

понятное дело, что приходится сняться с ручника и перетащить
/pub/Linux/RedHat на второй шпиндель ("давно-было-пора" (tm)),
который был облагорожен XFS в свое время.

далее доливаем все, что надо, на него -- при этом отдача с
_той_же_ fs ненулевая, т.к. RH продолжают тянуть оттуда.

при этом исх. -- все те же ~300K/s, вх. -- ~5M/s, LA ~= 2..3.
На vmstat 1 приятно посмотреть.

Выводы из лабораторной работы: ext3/linux-2.4 для такого
применения меня не удовлетворяет, в отличие от xfs/2.4.

PS: это все на альте, но суть вряд ли другая.

PPS: чем отличается fs от iosched, я догадываюсь; здесь о
"кумулятивном эффекте".

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[Comm] Re: reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Vlad Harchev]

On Fri, Apr 11, 2003 at 01:29:17PM +0300, Michael Shigorin wrote:
> On Fri, Apr 11, 2003 at 12:06:27PM +0300, Oleg Gritsinevich wrote:
> > У меня на одной сравнительно слабой машинке, помимо прочего,
> > крутится ftp-сервер (pure-ftpd). Проблема заключается в том,
> > что если на/с него кто-либо начинает заливать/скачивать
> > что-нибудь большое, то машинка становится неживая.
> 
> Это наш ioshed -- см. http://www.kerneltrap.org/node.php?id=592 .
> 
> На ftp.altlinux.org.ua наблюдалось дословно такое:
> 
> уходит 150--1000+ Kb/s с пятка-десятка зон одного шпинделя
> (барракуда 120G); LA и загрузка CPU минимальны
> 
> пытаемся на тот же раздел (ext3) поселить iso-шники rh9, которые
> тянем примерно на 5Mb/s (пока влазят в кэш)

А если просто RH9 с другого шпинделя копировать на этот ext3 раздел - 
эти симптомы появляются или нет? Или надо чтобы из сети обязательно?

> ...дальше они начинают вываливаться на fs и тут приходит капут:
> скорость залития "сюда" плавно улетает к ~600Kb/s, LA -- в 12--15
> (загрузка -- не помню, но все печально, при том, что это
> D900/256M, все же не младшенький Celeron :) -- отдача падает до
> ~40Kb/s (не в последнюю очередь потому, что vsftpd было сказано
> отказываться от коннектов при LA > 10, но и чтение с диска просто
> ужасно).
> 
> понятное дело, что приходится сняться с ручника и перетащить
> /pub/Linux/RedHat на второй шпиндель ("давно-было-пора" (tm)),
> который был облагорожен XFS в свое время.
> 
> далее доливаем все, что надо, на него -- при этом отдача с
> _той_же_ fs ненулевая, т.к. RH продолжают тянуть оттуда.
> 
> при этом исх. -- все те же ~300K/s, вх. -- ~5M/s, LA ~= 2..3.
> На vmstat 1 приятно посмотреть.
> 
> Выводы из лабораторной работы: ext3/linux-2.4 для такого
> применения меня не удовлетворяет, в отличие от xfs/2.4.
> 
> PS: это все на альте, но суть вряд ли другая.
> 
> PPS: чем отличается fs от iosched, я догадываюсь; здесь о
> "кумулятивном эффекте".

Все-таки рекомендую попытаться на редхатовских ядрах тоже самое сделать.
У них ядра совершенно с другой VM - может там эта проблема тоже отсутствует?
-- 
 Best regards,
  -Vlad

[Comm] Re: reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Michael Shigorin]

On Fri, Apr 11, 2003 at 04:42:13PM +0500, Vlad Harchev wrote:
> > пытаемся на тот же раздел (ext3) поселить iso-шники rh9, которые
> > тянем примерно на 5Mb/s (пока влазят в кэш)
> А если просто RH9 с другого шпинделя копировать на этот ext3
> раздел - эти симптомы появляются или нет? Или надо чтобы из
> сети обязательно?

При локальных переливках (порядка 100--200M, т7е. больше того6
что в кэш по записи обычно влазит) -- то же.

> Все-таки рекомендую попытаться на редхатовских ядрах тоже самое
> сделать.  У них ядра совершенно с другой VM - может там эта
> проблема тоже отсутствует?

Тут не (совсем) в VM дело, как я понимаю.  См. статью на kerneltrap.

И, кстати, не "совсем другой", а "той же" -- ядро ALM2.2 в
существенной степени синхронизировано с SuSE/RH kernels,
насколько я помню.  Или имелось в виду 2.4.9-xx?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[Comm] Re: reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Vlad Harchev]

On Fri, Apr 11, 2003 at 03:33:56PM +0300, Michael Shigorin wrote:
> On Fri, Apr 11, 2003 at 04:42:13PM +0500, Vlad Harchev wrote:
> > > пытаемся на тот же раздел (ext3) поселить iso-шники rh9, которые
> > > тянем примерно на 5Mb/s (пока влазят в кэш)
> > А если просто RH9 с другого шпинделя копировать на этот ext3
> > раздел - эти симптомы появляются или нет? Или надо чтобы из
> > сети обязательно?
> 
> При локальных переливках (порядка 100--200M, т7е. больше того6
> что в кэш по записи обычно влазит) -- то же.

Понятно. Возможно попробую часа через 4 это у себя на rh73.
 
> > Все-таки рекомендую попытаться на редхатовских ядрах тоже самое
> > сделать.  У них ядра совершенно с другой VM - может там эта
> > проблема тоже отсутствует?
> 
> Тут не (совсем) в VM дело, как я понимаю.  См. статью на kerneltrap.
> 
> И, кстати, не "совсем другой", а "той же" -- ядро ALM2.2 в
> существенной степени синхронизировано с SuSE/RH kernels,
> насколько я помню.  Или имелось в виду 2.4.9-xx?

Ну и 2.4.9-xx в частности, хотя кажется и 2.4.18/20 тоже специфические.

-- 
 Best regards,
  -Vlad

[Comm] Re: reading/writing, ugh (was: [d-r] Как правильно расставлять лимиты?)

[Vlad Harchev]

On Fri, Apr 11, 2003 at 05:45:58PM +0500, Vlad Harchev wrote:
> On Fri, Apr 11, 2003 at 03:33:56PM +0300, Michael Shigorin wrote:
> > On Fri, Apr 11, 2003 at 04:42:13PM +0500, Vlad Harchev wrote:
> > > > пытаемся на тот же раздел (ext3) поселить iso-шники rh9, которые
> > > > тянем примерно на 5Mb/s (пока влазят в кэш)
> > > А если просто RH9 с другого шпинделя копировать на этот ext3
> > > раздел - эти симптомы появляются или нет? Или надо чтобы из
> > > сети обязательно?
> > 
> > При локальных переливках (порядка 100--200M, т7е. больше того6
> > что в кэш по записи обычно влазит) -- то же.
> 
> Понятно. Возможно попробую часа через 4 это у себя на rh73.

В общем попробовал.
Машина  Cel666, 784 mb ram.
hdc, hda
По 10-мбитной сети через кросоверный кабель отдавал с hdc файл размером 700мб,
карта rtl8029.
Также копировал 3гб через dd if=/dev/hda15 of=<файл на hdc в ext3fs> (так как
места на hda ни на одном разделе больше 100мб не было - но разницы ведь 
нет - откуда копировать - с другого винта через dd или из сети). 

В общем скорость отдачи на протяжении всего копирования не упала более чем
на 6% и была в среднем 970кб/сек (пик - 1020), скорость копирования hda15 
тоже кажется не упала и была 10мб/сек (мерил как ls -l в каталоге куда 
копирую и вычислением в голове трансфера), LA не привысило 1.3.

Это rh73, stock 2.4.18-3
-- 
 Best regards,
  -Vlad