* [Comm] Производительность
@ 2012-07-28 10:40 Vladimir Karpinsky
2012-07-28 10:57 ` vx8400
2012-07-30 6:41 ` Michael Shigorin
0 siblings, 2 replies; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 10:40 UTC (permalink / raw)
To: ALT Linux Community general discussions,
ALT Linux sysadmins' discussion
Здравствуйте!
Прошу прощения за кросс-пост, --- очень надо решить проблему, отвечайте,
пожалуйста, в одну рассылку.
Есть проблема: выполняется программа, которая читает файлы данных,
переформатирует их и записывает в новом формате, --- т.е. имеем арифметику
+ чтение-запись на диск. Под KDesktop64 (P6 текущий) каждый файл
обрабатывается 10--15 минут, Centos64 --- 110 секунд, windows --- 7 секунд
(пишет один и тот же человек). Компьютер не самый слабый, --- на тестах
(генерация синусоид + запись на диск) этот компьютер быстрее.
model name : Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz
CPU0 : 0.0%us, 0.3%sy, 0.0%ni, 46.3%id, 53.3%wa, 0.0%hi, 0.0%si, 0.0%st
CPU1 : 0.3%us, 0.3%sy, 0.3%ni, 43.7%id, 55.3%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 4059536K total, 3942572K used, 116964K free, 196324K buffers
Swap: 2095036K total, 59828K used, 2035208K free, 3226524K cached
Ядро 3.0.36.
Сейчас трудится 3 таких процесса, других особо затратных процессов больше
нет. Видно, что всё трудится, но производительность чудовищно низкая.
ldd ./sdas2isidl0
linux-vdso.so.1 => (0x00007fff4ebff000)
libz.so.1 => /lib64/libz.so.1 (0x00007f6a90596000)
libm.so.6 => /lib64/libm.so.6 (0x00007f6a90314000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f6a900f7000)
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x00007f6a8fdf0000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f6a8fbda000)
libc.so.6 => /lib64/libc.so.6 (0x00007f6a8f871000)
/lib64/ld-linux-x86-64.so.2 (0x00007f6a907c6000)
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-28 10:40 [Comm] Производительность Vladimir Karpinsky
@ 2012-07-28 10:57 ` vx8400
2012-07-28 11:08 ` Dmitriy Kruglikov
2012-07-30 6:41 ` Michael Shigorin
1 sibling, 1 reply; 26+ messages in thread
From: vx8400 @ 2012-07-28 10:57 UTC (permalink / raw)
To: ALT Linux Community general discussions
Это с одним процессом такой iowait?
Самодостаточный тестовый пример желательно прислать.
wbr,
Oleg.
28 июля 2012 г., 14:40 пользователь Vladimir Karpinsky
<vkarpinsky@mail.ru> написал:
> Здравствуйте!
>
> Под KDesktop64 (P6 текущий) каждый файл
> обрабатывается 10--15 минут, Centos64 --- 110 секунд, windows --- 7 секунд
> (пишет один и тот же человек). Компьютер не самый слабый, --- на тестах
> (генерация синусоид + запись на диск) этот компьютер быстрее.
>
> model name : Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz
>
> CPU0 : 0.0%us, 0.3%sy, 0.0%ni, 46.3%id, 53.3%wa, 0.0%hi, 0.0%si,
> 0.0%st
> CPU1 : 0.3%us, 0.3%sy, 0.3%ni, 43.7%id, 55.3%wa, 0.0%hi, 0.0%si,
> 0.0%st
>
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 10:57 ` vx8400
@ 2012-07-28 11:08 ` Dmitriy Kruglikov
2012-07-28 11:32 ` Vladimir Karpinsky
0 siblings, 1 reply; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-28 11:08 UTC (permalink / raw)
To: ALT Linux Community general discussions
28 июля 2012 г., 13:57 пользователь vx8400 <vx8400@gmail.com> написал:
> Это с одним процессом такой iowait?
Это с какого-то перрода любая запись срывает крышу и возносит LA к облакам...
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-28 11:08 ` Dmitriy Kruglikov
@ 2012-07-28 11:32 ` Vladimir Karpinsky
2012-07-28 11:37 ` Dmitriy Kruglikov
0 siblings, 1 reply; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 11:32 UTC (permalink / raw)
To: ALT Linux Community general discussions
Там 3 одинаковых процесса. Насчёт iowait: м.б. это RAID1 (4 зеркала) так
себя ведёт?
$cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sdb2[1] sda2[0]
2095040 blocks [2/2] [UU]
md2 : active raid1 sdb5[1] sda5[0]
20478912 blocks [2/2] [UU]
md3 : active raid1 sdb6[1] sda6[0]
945476480 blocks [2/2] [UU]
md0 : active raid1 sdb1[1] sda1[0]
8707008 blocks [2/2] [UU]
28.07.2012 15:08, Dmitriy Kruglikov пишет:
> 28 июля 2012 г., 13:57 пользователь vx8400 <vx8400@gmail.com> написал:
>> Это с одним процессом такой iowait?
> Это с какого-то перрода любая запись срывает крышу и возносит LA к облакам...
>
>
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-28 11:32 ` Vladimir Karpinsky
@ 2012-07-28 11:37 ` Dmitriy Kruglikov
2012-07-28 11:47 ` Vladimir Karpinsky
0 siblings, 1 reply; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-28 11:37 UTC (permalink / raw)
To: ALT Linux Community general discussions
28 июля 2012 г., 14:32 пользователь Vladimir Karpinsky
<vkarpinsky@mail.ru> написал:
> Там 3 одинаковых процесса. Насчёт iowait: м.б. это RAID1 (4 зеркала) так
> себя ведёт?
Так бы сразу и сказал ... ;)
Отрывай ему data=ordered ...
tune2fs -o journal_data_writeback /dev/????
Перемонтируй, чтоб применилось.
Потом оторви bitmap...
А перед ем подумай, к чему это все приведет...
Потому как если шо, то я не виноват...
Но у меня LA упало с 2,7 до 0,3 ...
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-28 11:37 ` Dmitriy Kruglikov
@ 2012-07-28 11:47 ` Vladimir Karpinsky
2012-07-28 13:02 ` Dmitriy Kruglikov
2012-07-28 13:04 ` Vladimir Karpinsky
0 siblings, 2 replies; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 11:47 UTC (permalink / raw)
To: community
28.07.2012 15:37, Dmitriy Kruglikov пишет:
> 28 июля 2012 г., 14:32 пользователь Vladimir Karpinsky
> <vkarpinsky@mail.ru> написал:
>> Там 3 одинаковых процесса. Насчёт iowait: м.б. это RAID1 (4 зеркала) так
>> себя ведёт?
> Так бы сразу и сказал ... ;)
>
> Отрывай ему data=ordered ...
> tune2fs -o journal_data_writeback /dev/????
> Перемонтируй, чтоб применилось.
> Потом оторви bitmap...
>
> А перед ем подумай, к чему это все приведет...
> Потому как если шо, то я не виноват...
>
> Но у меня LA упало с 2,7 до 0,3 ...
Можно по-подробнее? А то, я часть слов, приведённых выше, знаю, но не все ;-).
Чем грозит?
Отрывать всем массивам или только тому, на котором это всё происходит (/home)?
Перед tune2fs надо отмонтировать?
Нужен тотальный бэкап перед tune2fs или эта операция не влияет на данные
раздела?
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 11:47 ` Vladimir Karpinsky
@ 2012-07-28 13:02 ` Dmitriy Kruglikov
2012-07-28 13:41 ` Vladimir Karpinsky
` (2 more replies)
2012-07-28 13:04 ` Vladimir Karpinsky
1 sibling, 3 replies; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-28 13:02 UTC (permalink / raw)
To: ALT Linux Community general discussions
28 июля 2012 г., 14:47 пользователь Vladimir Karpinsky
<vkarpinsky@mail.ru> написал:
> Можно по-подробнее? А то, я часть слов, приведённых выше, знаю, но не все
> ;-).
Можно но я предпочитаю рекомендовать вам детально разобраться с
незнакомыми словами.
> Чем грозит?
От "ни чем" до "полной потери" данных...
В зависимости от квалификации. Потому и читать от и до...
> Отрывать всем массивам или только тому, на котором это всё происходит
> (/home)?
Для начала, только тот, который вызыывает проблемя.
Потом остальный...
Потом, пройтись по району и ...
Ну, вы меня поняли...
> Перед tune2fs надо отмонтировать?
Даже если это и не нужно, я предпочел отмонтировать.
> Нужен тотальный бэкап перед tune2fs или эта операция не влияет на данные
> раздела?
Даже если и не влияет, бэкап будет хорошей идеей...
Мало ли, может я маньяк какой и под видом доброго совета какую бяку задумал...
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-28 13:02 ` Dmitriy Kruglikov
@ 2012-07-28 13:41 ` Vladimir Karpinsky
2012-07-28 17:20 ` Vladimir Karpinsky
2012-07-30 6:49 ` Michael Shigorin
2 siblings, 0 replies; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 13:41 UTC (permalink / raw)
To: community
28.07.2012 17:02, Dmitriy Kruglikov пишет:
> Можно но я предпочитаю рекомендовать вам детально разобраться с
> незнакомыми словами.
Я безусловно этим сразу занялся и занимаюсь.
Нашёл:
mdadm --grow --bitmap=none /dev/md0
и
mdadm --grow --bitmap=internal --bitmap-chunk=131072 /dev/md0
Но до конца не могу понять насколько это возможно и безопасно делать на
работающем массиве.
> Даже если и не влияет, бэкап будет хорошей идеей...
Это понятно, но пока всё работает в тестовом режиме, если шансы на падение
не столь велики, то не хочется потерять время на копирование больших
объёмов, если всё грохнется, то потребуется только время на восстановление.
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 13:02 ` Dmitriy Kruglikov
2012-07-28 13:41 ` Vladimir Karpinsky
@ 2012-07-28 17:20 ` Vladimir Karpinsky
2012-07-30 6:49 ` Michael Shigorin
2 siblings, 0 replies; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 17:20 UTC (permalink / raw)
To: community
Тут похоже сложнее: в программе есть O_SYNC (ещё с SUNов), на который,
видимо, раньше многие плевали (в т.ч. ди сих пор плюёт windows), а сейчас
видимо пытаются обрабатывать. А это, как раз LA, плюс SoftRAID, плюс
журнал... Сейчас будем делать версию без о_синка, а дальше, если будет
эффект, думать о том, насколько без него нельзя жить.
28.07.2012 17:02, Dmitriy Kruglikov пишет:
> Можно но я предпочитаю рекомендовать вам детально разобраться с
> незнакомыми словами.
Пока изыскания закрываю. Огромное спасибо, --- я с Вашей помощью несколько
новых слов узнал ;-)!
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 13:02 ` Dmitriy Kruglikov
2012-07-28 13:41 ` Vladimir Karpinsky
2012-07-28 17:20 ` Vladimir Karpinsky
@ 2012-07-30 6:49 ` Michael Shigorin
2012-07-30 6:53 ` Dmitriy Kruglikov
2012-07-30 8:06 ` Vladimir Karpinsky
2 siblings, 2 replies; 26+ messages in thread
From: Michael Shigorin @ 2012-07-30 6:49 UTC (permalink / raw)
To: ALT Linux Community general discussions
On Sat, Jul 28, 2012 at 04:02:33PM +0300, Dmitriy Kruglikov wrote:
> > Можно по-подробнее? А то, я часть слов, приведённых выше,
> > знаю, но не все ;-).
> Можно но я предпочитаю рекомендовать вам детально разобраться
> с незнакомыми словами.
Довольно трудно отрывать write intent bitmap,
если grep bitmap /proc/mdstat пуст.
После отрывания O_SYNC при всё-таки слишком высокой нагрузке
я бы пробовал писать или на ext4, или на xfs. Также стоит
проверить, что используемые диски -- не 4k-секторные либо
соответственно выровнены (http://www.altlinux.org/BigSector).
И ещё https://bugzilla.altlinux.org/27399
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 6:49 ` Michael Shigorin
@ 2012-07-30 6:53 ` Dmitriy Kruglikov
2012-07-30 8:06 ` Vladimir Karpinsky
1 sibling, 0 replies; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-30 6:53 UTC (permalink / raw)
To: shigorin, ALT Linux Community general discussions
30 июля 2012 г., 9:49 пользователь Michael Shigorin написал:
> Довольно трудно отрывать write intent bitmap,
> если grep bitmap /proc/mdstat пуст.
Ну дык.... Это ...
Чтобы выкинуть что-нибудь ненужное нужно сперва купить что-нибудь ненужное ...
Я как прочитал в консоли, что "опаньки", сразу вписал ordered, а потом
установил writeback
> И ещё https://bugzilla.altlinux.org/27399
Да, ядро там обновить давно пора...
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-30 6:49 ` Michael Shigorin
2012-07-30 6:53 ` Dmitriy Kruglikov
@ 2012-07-30 8:06 ` Vladimir Karpinsky
2012-07-30 13:18 ` Michael Shigorin
1 sibling, 1 reply; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-30 8:06 UTC (permalink / raw)
To: community
Здравствуйте!
30.07.2012 10:49, Michael Shigorin пишет:
> On Sat, Jul 28, 2012 at 04:02:33PM +0300, Dmitriy Kruglikov wrote:
>>> Можно по-подробнее? А то, я часть слов, приведённых выше,
>>> знаю, но не все ;-).
>> Можно но я предпочитаю рекомендовать вам детально разобраться
>> с незнакомыми словами.
>
> Довольно трудно отрывать write intent bitmap,
> если grep bitmap /proc/mdstat пуст.
Правильно ли я понимаю, что после tune2fs -o journal_data_writeback /dev/????
Информация в журнал записывается после завершения записи данных, а не до? У
меня сейчас стало:
Default mount options: journal_data_writeback
Можно попытаться вернуться к дефолтному состоянию, но не знаю как...
> После отрывания O_SYNC при всё-таки слишком высокой нагрузке
> я бы пробовал писать или на ext4, или на xfs. Также стоит
> проверить, что используемые диски -- не 4k-секторные либо
> соответственно выровнены (http://www.altlinux.org/BigSector).
> И ещё https://bugzilla.altlinux.org/27399
Это я проверял. Нагрузка там не очень большая, просто стояла задача
гарантировать запись _информации о_ данных в петле после записи данных, в
противном случае, отказаться от всей операции. Другое дело, что на SUNах
это работало, а в Linux толком нет, то ли не так обрабатывалось, то ли
программисты не так использовали это для Linux, во всяком случае, при
каких-то электроавариях петля всё равно часто оказывалась битой. Сейчас
после исключения O_SYNC всё стало бегать на порядки быстрее, LA упало до
0.2. А дальше будем тестировать...
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 8:06 ` Vladimir Karpinsky
@ 2012-07-30 13:18 ` Michael Shigorin
2012-07-30 14:39 ` Vladimir Karpinsky
0 siblings, 1 reply; 26+ messages in thread
From: Michael Shigorin @ 2012-07-30 13:18 UTC (permalink / raw)
To: community
On Mon, Jul 30, 2012 at 12:06:54PM +0400, Vladimir Karpinsky wrote:
> Другое дело, что на SUNах это работало, а в Linux толком нет,
И там, и там SCSI?
> во всяком случае, при каких-то электроавариях петля всё равно
> часто оказывалась битой.
Эээ... так UPS и всех делов, или чего-то не понимаю?
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 13:18 ` Michael Shigorin
@ 2012-07-30 14:39 ` Vladimir Karpinsky
0 siblings, 0 replies; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-30 14:39 UTC (permalink / raw)
To: community
30.07.2012 17:18, Michael Shigorin пишет:
> On Mon, Jul 30, 2012 at 12:06:54PM +0400, Vladimir Karpinsky wrote:
>> Другое дело, что на SUNах это работало, а в Linux толком нет,
>
> И там, и там SCSI?
SUNов раньше было сравнительно много разных, скорее всего везде были SCSI,
там м.б. даже контроллер это отрабатывал. А здесь SATA + SoftRAID.
>> во всяком случае, при каких-то электроавариях петля всё равно
>> часто оказывалась битой.
>
> Эээ... так UPS и всех делов, или чего-то не понимаю?
Проблема была понять в чём тормоза, пока тормозило на компьютере 7-летней
давности, списывали на дряхлость железа, а, когда появился компьютер
достаточно современный --- пришлось разбираться. Кроме того, ноги у этого
софта растут из прошлого века, в некоторые закутки люди уже десятилетия не
заглядывали...
Теперь да: UPS в работу, а O_SYNC --- в сторону, во всяком случае для ПК.
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 11:47 ` Vladimir Karpinsky
2012-07-28 13:02 ` Dmitriy Kruglikov
@ 2012-07-28 13:04 ` Vladimir Karpinsky
2012-07-29 0:36 ` Alexei Takaseev
1 sibling, 1 reply; 26+ messages in thread
From: Vladimir Karpinsky @ 2012-07-28 13:04 UTC (permalink / raw)
To: community
Почитал, подумал...
28.07.2012 15:47, Vladimir Karpinsky пишет:
> 28.07.2012 15:37, Dmitriy Kruglikov пишет:
>> 28 июля 2012 г., 14:32 пользователь Vladimir Karpinsky
>> <vkarpinsky@mail.ru> написал:
>>> Там 3 одинаковых процесса. Насчёт iowait: м.б. это RAID1 (4 зеркала) так
>>> себя ведёт?
>> Так бы сразу и сказал ... ;)
>>
>> Отрывай ему data=ordered ...
>> tune2fs -o journal_data_writeback /dev/????
>> Перемонтируй, чтоб применилось.
Сделал для /home, собрал все данные (до и после) на этом разделе/массиве
(до этого источник был на другом), перемонтировал, но пока результата нет,
--- скорость таже и iowait тот же...
>> Потом оторви bitmap...
Это я так понимаю, уже параметр mdadm? Правильно ли я понимаю, что надо
массив пересоздавать?
>> А перед ем подумай, к чему это все приведет...
>> Потому как если шо, то я не виноват...
>>
>> Но у меня LA упало с 2,7 до 0,3 ...
la тоже высокий остался
>
> Можно по-подробнее? А то, я часть слов, приведённых выше, знаю, но не все ;-).
>
> Чем грозит?
>
> Отрывать всем массивам или только тому, на котором это всё происходит (/home)?
>
> Перед tune2fs надо отмонтировать?
>
> Нужен тотальный бэкап перед tune2fs или эта операция не влияет на данные
> раздела?
>
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 13:04 ` Vladimir Karpinsky
@ 2012-07-29 0:36 ` Alexei Takaseev
2012-07-30 5:40 ` Anton Gorlov
0 siblings, 1 reply; 26+ messages in thread
From: Alexei Takaseev @ 2012-07-29 0:36 UTC (permalink / raw)
To: ALT Linux Community general discussions
----- Исходное сообщение -----
> От: "Vladimir Karpinsky" <vkarpinsky@mail.ru>
> Кому: community@lists.altlinux.org
> Отправленные: Суббота, 28 Июль 2012 г 22:04:00
> Тема: Re: [Comm] Производительность
>
> Почитал, подумал...
>
> 28.07.2012 15:47, Vladimir Karpinsky пишет:
> > 28.07.2012 15:37, Dmitriy Kruglikov пишет:
> >> 28 июля 2012 г., 14:32 пользователь Vladimir Karpinsky
> >> <vkarpinsky@mail.ru> написал:
> >>> Там 3 одинаковых процесса. Насчёт iowait: м.б. это RAID1 (4
> >>> зеркала) так
> >>> себя ведёт?
> >> Так бы сразу и сказал ... ;)
> >>
> >> Отрывай ему data=ordered ...
> >> tune2fs -o journal_data_writeback /dev/????
> >> Перемонтируй, чтоб применилось.
>
> Сделал для /home, собрал все данные (до и после) на этом
> разделе/массиве
> (до этого источник был на другом), перемонтировал, но пока результата
> нет,
> --- скорость таже и iowait тот же...
>
> >> Потом оторви bitmap...
>
> Это я так понимаю, уже параметр mdadm? Правильно ли я понимаю, что
> надо
> массив пересоздавать?
>
> >> А перед ем подумай, к чему это все приведет...
> >> Потому как если шо, то я не виноват...
> >>
> >> Но у меня LA упало с 2,7 до 0,3 ...
>
> la тоже высокий остался
Посмотрите что показывает в:
/sys/block/[имя_жесткого_диска(sda, bla-bla-vla)]/queue
?
если нечто:
noop [cfq]
То можно попробовать на все диски, входящие в массивы:
echo "noop" > /sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
Планировщик cfq при активной записи больших объемов данных у меня регулярно
окукливает системы.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-29 0:36 ` Alexei Takaseev
@ 2012-07-30 5:40 ` Anton Gorlov
2012-07-30 6:06 ` Michael Shigorin
0 siblings, 1 reply; 26+ messages in thread
From: Anton Gorlov @ 2012-07-30 5:40 UTC (permalink / raw)
To: ALT Linux Community general discussions
29.07.2012 4:36, Alexei Takaseev пишет:
> echo "noop" >/sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
>
> Планировщик cfq при активной записи больших объемов данных у меня регулярно
> окукливает системы.
+1. Использую или noop или anticipatory, на аппаратных рейдах deadline
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 5:40 ` Anton Gorlov
@ 2012-07-30 6:06 ` Michael Shigorin
2012-07-30 6:41 ` Dmitriy Kruglikov
2012-07-30 11:24 ` adobrovolskii
0 siblings, 2 replies; 26+ messages in thread
From: Michael Shigorin @ 2012-07-30 6:06 UTC (permalink / raw)
To: ALT Linux Community general discussions
On Mon, Jul 30, 2012 at 09:40:21AM +0400, Anton Gorlov wrote:
> >echo "noop" >/sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
Всё же /sys/block/sd?/queue/scheduler
> >Планировщик cfq при активной записи больших объемов данных у
> >меня регулярно окукливает системы.
> +1. Использую или noop или anticipatory, на аппаратных рейдах deadline
Остановился на deadline и для серверов с HDD/CF, и для ноута с SSD.
noop оказался для SSD неприятней на ощупь, он скорее пригоден для
виртуализованного стораджа или хорошего RAID-контроллера IMHO...
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 6:06 ` Michael Shigorin
@ 2012-07-30 6:41 ` Dmitriy Kruglikov
2012-07-30 11:24 ` adobrovolskii
1 sibling, 0 replies; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-30 6:41 UTC (permalink / raw)
To: shigorin, ALT Linux Community general discussions
30 июля 2012 г., 9:06 пользователь Michael Shigorin <mike@osdn.org.ua> написал:
> Всё же /sys/block/sd?/queue/scheduler
Взгрустнулось... Поигрался...
Имеем raid1 ...
/dev/md5 on /opt type ext4
(rw,nosuid,nodev,relatime,barrier=0,nodelalloc,data=writeback)
# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]
# cat /sys/block/sdb/queue/scheduler
noop anticipatory deadline [cfq]
Тестовое задание:
# dd if=/dev/zero bs=1M count=5000 of=./zero.dd
Для cfq
LA ~ 3,2
5242880000 bytes (5.2 GB) copied, 55.0603 s, 95.2 MB/s
Для noop
LA ~ 6,02
5242880000 bytes (5.2 GB) copied, 62.1367 s, 84.4 MB/s
Для deadline
LA ~ 3,7
5242880000 bytes (5.2 GB) copied, 46.8136 s, 112 MB/s
Для anticipatory
LA ~ 2,2
5242880000 bytes (5.2 GB) copied, 47.8624 s, 110 MB/s
До отрывания bimap и при data=ordered
тестовое задание выполнялось со скоростью ~ 43 MB/s при LA ~ 10-12 ...
Может быть кто-то где-то как-то почерпнет для себя "О пользе
правильных defaults"...
;)
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread* Re: [Comm] Производительность
2012-07-30 6:06 ` Michael Shigorin
2012-07-30 6:41 ` Dmitriy Kruglikov
@ 2012-07-30 11:24 ` adobrovolskii
2012-07-30 11:32 ` Michael Shigorin
2012-07-30 11:34 ` Dmitriy Kruglikov
1 sibling, 2 replies; 26+ messages in thread
From: adobrovolskii @ 2012-07-30 11:24 UTC (permalink / raw)
To: shigorin, ALT Linux Community general discussions
2012/7/30 Michael Shigorin <mike@osdn.org.ua>:
> On Mon, Jul 30, 2012 at 09:40:21AM +0400, Anton Gorlov wrote:
>> >echo "noop" >/sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
>
> Всё же /sys/block/sd?/queue/scheduler
>
А какой формат этого файла? Где читать?
Что значит:
cat /sys/block/sda/queue/scheduler
noop [cfq]
? Какой планировшик используется?
--
Regards,
Andrii Dobrovol`s`kyj
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 11:24 ` adobrovolskii
@ 2012-07-30 11:32 ` Michael Shigorin
2012-07-30 12:14 ` adobrovolskii
2012-07-30 11:34 ` Dmitriy Kruglikov
1 sibling, 1 reply; 26+ messages in thread
From: Michael Shigorin @ 2012-07-30 11:32 UTC (permalink / raw)
To: ALT Linux Community general discussions
On Mon, Jul 30, 2012 at 02:24:40PM +0300, adobrovolskii wrote:
> >> >echo "noop" >/sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
> > Всё же /sys/block/sd?/queue/scheduler
> А какой формат этого файла? Где читать?
На чтение -- список доступных планировщиков и текущий выделен
квадратными скобками; на запись -- строка с именем нужного.
> Что значит:
> cat /sys/block/sda/queue/scheduler
> noop [cfq]
> ? Какой планировшик используется?
cfq
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 11:32 ` Michael Shigorin
@ 2012-07-30 12:14 ` adobrovolskii
2012-07-30 16:27 ` Dmitry Chistikov
0 siblings, 1 reply; 26+ messages in thread
From: adobrovolskii @ 2012-07-30 12:14 UTC (permalink / raw)
To: shigorin, ALT Linux Community general discussions
2012/7/30 Michael Shigorin <mike@osdn.org.ua>:
> On Mon, Jul 30, 2012 at 02:24:40PM +0300, adobrovolskii wrote:
>> >> >echo "noop" >/sys/block/[имя_жесткого_диска(sda, bla-bla-bla)]/queue
>> > Всё же /sys/block/sd?/queue/scheduler
>> А какой формат этого файла? Где читать?
>
> На чтение -- список доступных планировщиков и текущий выделен
> квадратными скобками; на запись -- строка с именем нужного.
>
На чтение и на запись можно использовать разные планировщики?!
Как это должно выглядеть в файле?
>> Что значит:
>> cat /sys/block/sda/queue/scheduler
>> noop [cfq]
>> ? Какой планировшик используется?
>
> cfq
>
спасибо, понял.
--
Regards,
Andrii Dobrovol`s`kyj
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 12:14 ` adobrovolskii
@ 2012-07-30 16:27 ` Dmitry Chistikov
2012-07-31 7:38 ` adobrovolskii
0 siblings, 1 reply; 26+ messages in thread
From: Dmitry Chistikov @ 2012-07-30 16:27 UTC (permalink / raw)
To: ALT Linux Community general discussions
adobrovolskii, Jul. 30, 2012, 15:14 +0300:
> 2012/7/30 Michael Shigorin <mike@osdn.org.ua>:
> > На чтение -- список доступных планировщиков и текущий выделен
> > квадратными скобками; на запись -- строка с именем нужного.
> >
> На чтение и на запись можно использовать разные планировщики?!
Переформулирую: если пытаться из этого файла читать, то будет прочитан
список; если в него попытаться записать, то это будет интерпретировано
как приказ сменить планировщик.
--
Дмитрий Чистиков
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 16:27 ` Dmitry Chistikov
@ 2012-07-31 7:38 ` adobrovolskii
0 siblings, 0 replies; 26+ messages in thread
From: adobrovolskii @ 2012-07-31 7:38 UTC (permalink / raw)
To: ALT Linux Community general discussions
2012/7/30 Dmitry Chistikov <dd1email@gmail.com>:
> adobrovolskii, Jul. 30, 2012, 15:14 +0300:
>> 2012/7/30 Michael Shigorin <mike@osdn.org.ua>:
>> > На чтение -- список доступных планировщиков и текущий выделен
>> > квадратными скобками; на запись -- строка с именем нужного.
>> >
>> На чтение и на запись можно использовать разные планировщики?!
>
> Переформулирую: если пытаться из этого файла читать, то будет прочитан
> список; если в него попытаться записать, то это будет интерпретировано
> как приказ сменить планировщик.
А... Понял.
:)
--
Regards,
Andrii Dobrovol`s`kyj
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-30 11:24 ` adobrovolskii
2012-07-30 11:32 ` Michael Shigorin
@ 2012-07-30 11:34 ` Dmitriy Kruglikov
1 sibling, 0 replies; 26+ messages in thread
From: Dmitriy Kruglikov @ 2012-07-30 11:34 UTC (permalink / raw)
To: ALT Linux Community general discussions
30 июля 2012 г., 14:24 пользователь adobrovolskii написал:
> Что значит:
> cat /sys/block/sda/queue/scheduler
> noop [cfq]
> ? Какой планировшик используется?
Который [тут]
--
Best regards,
Dmitriy Kruglikov.
QString at, dot, mail, XMPP;
at = "@";
dot = ".";
mail = "Dmitriy.Kruglikov" + $at +"gmail" + $dot + "com";
XMPP = $mail;
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Comm] Производительность
2012-07-28 10:40 [Comm] Производительность Vladimir Karpinsky
2012-07-28 10:57 ` vx8400
@ 2012-07-30 6:41 ` Michael Shigorin
1 sibling, 0 replies; 26+ messages in thread
From: Michael Shigorin @ 2012-07-30 6:41 UTC (permalink / raw)
To: community
On Sat, Jul 28, 2012 at 02:40:16PM +0400, Vladimir Karpinsky wrote:
> Ядро 3.0.36.
Попробуйте un-def-3.4.6 на всякий, а ещё хорошо бы посмотреть
strace по этому процессу здесь и на centos -- возможно, станет
заметней. Только -o log, чтоб не тормозить на выводе.
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 26+ messages in thread
end of thread, other threads:[~2012-07-31 7:38 UTC | newest]
Thread overview: 26+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2012-07-28 10:40 [Comm] Производительность Vladimir Karpinsky
2012-07-28 10:57 ` vx8400
2012-07-28 11:08 ` Dmitriy Kruglikov
2012-07-28 11:32 ` Vladimir Karpinsky
2012-07-28 11:37 ` Dmitriy Kruglikov
2012-07-28 11:47 ` Vladimir Karpinsky
2012-07-28 13:02 ` Dmitriy Kruglikov
2012-07-28 13:41 ` Vladimir Karpinsky
2012-07-28 17:20 ` Vladimir Karpinsky
2012-07-30 6:49 ` Michael Shigorin
2012-07-30 6:53 ` Dmitriy Kruglikov
2012-07-30 8:06 ` Vladimir Karpinsky
2012-07-30 13:18 ` Michael Shigorin
2012-07-30 14:39 ` Vladimir Karpinsky
2012-07-28 13:04 ` Vladimir Karpinsky
2012-07-29 0:36 ` Alexei Takaseev
2012-07-30 5:40 ` Anton Gorlov
2012-07-30 6:06 ` Michael Shigorin
2012-07-30 6:41 ` Dmitriy Kruglikov
2012-07-30 11:24 ` adobrovolskii
2012-07-30 11:32 ` Michael Shigorin
2012-07-30 12:14 ` adobrovolskii
2012-07-30 16:27 ` Dmitry Chistikov
2012-07-31 7:38 ` adobrovolskii
2012-07-30 11:34 ` Dmitriy Kruglikov
2012-07-30 6:41 ` Michael Shigorin
ALT Linux Community general discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
public-inbox-index community
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.community
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git