* [Comm] CPU iowait слишком велико
@ 2012-07-13 19:15 Vladimir Karpinsky
2012-07-13 20:47 ` Arcady V. Ivanov
2012-07-14 6:45 ` Alexei Takaseev
0 siblings, 2 replies; 8+ messages in thread
From: Vladimir Karpinsky @ 2012-07-13 19:15 UTC (permalink / raw)
To: ALT Linux Community general discussions
Здравствуйте!
На одном их компьютеров наблюдаю такую картину:
top - 18:54:42 up 153 days, 3:11, 4 users, load average: 0.28, 0.31, 0.49
Tasks: 273 total, 1 running, 272 sleeping, 0 stopped, 0 zombie
CPU0 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.2%wa, 0.0%hi, 0.2%si, 0.0%st
CPU1 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.1%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 4059540K total, 3906728K used, 152812K free, 7756K buffers
Swap: 2095036K total, 2095036K used, 0K free, 279424K cached
Имеется подтормаживание при запуске некторых процессов. В данный момент
ничего особенного в данный момент не делает, крутятся несколько процессов,
MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4 зеркальных
RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних ящиках с
древней начинкой и подобными задачами не вижу, чтобы 25% iowait было, да и
памяти куда-то сожрано немерено. На что имеет смысл обратить внимание,
чтобы локализовать проблему?
#uname -a
Linux pulman.spb.gsras.ru 3.0.20-std-def-alt0.M60P.1 #1 SMP Wed Feb 8
11:19:53 UTC 2012 x86_64 GNU/Linux
Бранч p6, но уже месяца 2--2.5 не обновлялся, --- всё разъезды, да ещё и в
места с плохой или вообще отсутствующей связью.
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-13 19:15 [Comm] CPU iowait слишком велико Vladimir Karpinsky
@ 2012-07-13 20:47 ` Arcady V. Ivanov
2012-07-14 4:22 ` Vladimir Karpinsky
2012-07-14 6:45 ` Alexei Takaseev
1 sibling, 1 reply; 8+ messages in thread
From: Arcady V. Ivanov @ 2012-07-13 20:47 UTC (permalink / raw)
To: ALT Linux Community general discussions
Посмотрите с помощью iotop.
Думаю, это проблема RAID-а.
У меня такая же фигня была.
Если dmesg рисует deadlock-и на 120 сек, это проблема hiresolution таймера.
Ещё крайне полезно поставить для монтирования разделов опцию relatime,
если её почему-то нет.
----- Original Message -----
> From: "Vladimir Karpinsky" <vkarpinsky@mail.ru>
> To: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Sent: Friday, July 13, 2012 9:15:53 PM
> Subject: [Comm] CPU iowait слишком велико
>
> Здравствуйте!
>
> На одном их компьютеров наблюдаю такую картину:
>
> top - 18:54:42 up 153 days, 3:11, 4 users, load average: 0.28,
> 0.31, 0.49
> Tasks: 273 total, 1 running, 272 sleeping, 0 stopped, 0 zombie
> CPU0 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.2%wa, 0.0%hi,
> 0.2%si, 0.0%st
> CPU1 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.1%wa, 0.0%hi,
> 0.2%si, 0.0%st
> Mem: 4059540K total, 3906728K used, 152812K free, 7756K
> buffers
> Swap: 2095036K total, 2095036K used, 0K free, 279424K
> cached
>
> Имеется подтормаживание при запуске некторых процессов. В данный
> момент
> ничего особенного в данный момент не делает, крутятся несколько
> процессов,
> MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4
> зеркальных
> RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних
> ящиках с
> древней начинкой и подобными задачами не вижу, чтобы 25% iowait было,
> да и
> памяти куда-то сожрано немерено. На что имеет смысл обратить
> внимание,
> чтобы локализовать проблему?
>
> #uname -a
> Linux pulman.spb.gsras.ru 3.0.20-std-def-alt0.M60P.1 #1 SMP Wed Feb 8
> 11:19:53 UTC 2012 x86_64 GNU/Linux
>
> Бранч p6, но уже месяца 2--2.5 не обновлялся, --- всё разъезды, да
> ещё и в
> места с плохой или вообще отсутствующей связью.
>
> --
> С уважением,
> Владимир.
>
> _______________________________________________
> community mailing list
> community@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/community
--
С уважением.
Гл. специалист по ИТ ИКИР ДВО РАН.
Аркадий Иванов.
Sincerely yours.
My site http://www.arccomm.ru
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-13 20:47 ` Arcady V. Ivanov
@ 2012-07-14 4:22 ` Vladimir Karpinsky
2012-07-14 4:29 ` Vladimir Karpinsky
2012-07-14 7:04 ` Michael Shigorin
0 siblings, 2 replies; 8+ messages in thread
From: Vladimir Karpinsky @ 2012-07-14 4:22 UTC (permalink / raw)
To: community
14.07.2012 0:47, Arcady V. Ivanov пишет:
> Посмотрите с помощью iotop.
> Думаю, это проблема RAID-а.
Поставил iotop, но пока там ничего а глаза не бросилось, впрочем м.б. я не
знаю на что смотреть.
Cron иногда (~1 раза в месяц) присылает сообщения вида:
checkarray: I: selecting idle I/O scheduling class for resync of md0.
checkarray: I: selecting idle I/O scheduling class for resync of md1.
checkarray: I: selecting idle I/O scheduling class for resync of md2.
checkarray: I: selecting idle I/O scheduling class for resync of md3.
> У меня такая же фигня была.
> Если dmesg рисует deadlock-и на 120 сек, это проблема hiresolution таймера.
# dmesg | grepp md
[9735123.335851] md: using 128k window, over a total of 20478912k.
[9735401.818806] md: md2: data-check done.
[12129217.385503] md: data-check of RAID array md0
[12129217.385506] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[12129217.385508] md: using maximum available idle IO bandwidth (but not
more than 200000 KB/sec) for data-check.
[12129217.385510] md: using 128k window, over a total of 8707008k.
[12129217.620759] md: delaying data-check of md1 until md0 has finished
(they share one or more physical units)
[12129217.631725] md: delaying data-check of md2 until md1 has finished
(they share one or more physical units)
[12129217.631803] md: delaying data-check of md1 until md0 has finished
(they share one or more physical units)
[12129217.642750] md: delaying data-check of md3 until md1 has finished
(they share one or more physical units)
[12129217.642753] md: delaying data-check of md1 until md0 has finished
(they share one or more physical units)
[12129217.642757] md: delaying data-check of md2 until md1 has finished
(they share one or more physical units)
[12129328.050106] md: md0: data-check done.
[12129328.066514] md: delaying data-check of md2 until md1 has finished
(they share one or more physical units)
[12129328.066519] md: data-check of RAID array md1
[12129328.066521] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[12129328.066522] md: using maximum available idle IO bandwidth (but not
more than 200000 KB/sec) for data-check.
[12129328.066525] md: using 128k window, over a total of 2095040k.
[12129328.066955] md: delaying data-check of md3 until md1 has finished
(they share one or more physical units)
[12129352.859826] md: md1: data-check done.
[12129352.874434] md: data-check of RAID array md3
[12129352.874437] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[12129352.874439] md: using maximum available idle IO bandwidth (but not
more than 200000 KB/sec) for data-check.
[12129352.874442] md: using 128k window, over a total of 945476480k.
[12129352.874452] md: delaying data-check of md2 until md3 has finished
(they share one or more physical units)
[12154551.743772] md: md3: data-check done.
[12154551.775858] md: data-check of RAID array md2
[12154551.775861] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[12154551.775862] md: using maximum available idle IO bandwidth (but not
more than 200000 KB/sec) for data-check.
[12154551.775865] md: using 128k window, over a total of 20478912k.
[12154932.231802] md: md2: data-check done.
[13264118.543397] mdadm: sending ioctl 1261 to a partition!
[13264118.543399] mdadm: sending ioctl 1261 to a partition!
[13264118.725254] mdadm: sending ioctl 1261 to a partition!
[13264118.725256] mdadm: sending ioctl 1261 to a partition!
[13264118.807387] mdadm: sending ioctl 1261 to a partition!
[13264118.807389] mdadm: sending ioctl 1261 to a partition!
[13264118.918880] mdadm: sending ioctl 1261 to a partition!
[13264118.918883] mdadm: sending ioctl 1261 to a partition!
[13264119.015867] mdadm: sending ioctl 1261 to a partition!
[13264119.015870] mdadm: sending ioctl 1261 to a partition!
[13264125.165873] mdadm: sending ioctl 1261 to a partition!
[13264125.165875] mdadm: sending ioctl 1261 to a partition!
[13264125.283665] mdadm: sending ioctl 1261 to a partition!
[13264125.283668] mdadm: sending ioctl 1261 to a partition!
[13264125.354219] mdadm: sending ioctl 1261 to a partition!
[13264125.354221] mdadm: sending ioctl 1261 to a partition!
[13264125.459097] mdadm: sending ioctl 1261 to a partition!
[13264125.459099] mdadm: sending ioctl 1261 to a partition!
[13264125.530656] mdadm: sending ioctl 1261 to a partition!
[13264125.530658] mdadm: sending ioctl 1261 to a partition!
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-14 4:22 ` Vladimir Karpinsky
@ 2012-07-14 4:29 ` Vladimir Karpinsky
2012-07-14 7:04 ` Michael Shigorin
1 sibling, 0 replies; 8+ messages in thread
From: Vladimir Karpinsky @ 2012-07-14 4:29 UTC (permalink / raw)
To: community
P.S. Пока смотрел логи и пр., заодно обновился, в т.ч. ядро. Что
посоветуете: искать причину сейчас (uptime > 150 дней) или перегрузиться с
новым ядром и разбираться потом, если/когда обнаружится?
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-14 4:22 ` Vladimir Karpinsky
2012-07-14 4:29 ` Vladimir Karpinsky
@ 2012-07-14 7:04 ` Michael Shigorin
2012-07-14 7:52 ` Vladimir Karpinsky
1 sibling, 1 reply; 8+ messages in thread
From: Michael Shigorin @ 2012-07-14 7:04 UTC (permalink / raw)
To: community
On Sat, Jul 14, 2012 at 08:22:38AM +0400, Vladimir Karpinsky wrote:
> Cron иногда (~1 раза в месяц) присылает сообщения вида:
> checkarray: I: selecting idle I/O scheduling class for resync of md0.
Это фича. :) (периодическая принудительная фоновая синхронизация)
> > > Mem: 4059540K total, 3906728K used, 152812K free, 7756K buffers
> > > Swap: 2095036K total, 2095036K used, 0K free, 279424K cached
> > > Имеется подтормаживание при запуске некторых процессов.
Налицо нехватка RAM для такого объёма задач (или утечек памяти);
посмотрите и покажите ps vax --sort=rss | tail -20
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-14 7:04 ` Michael Shigorin
@ 2012-07-14 7:52 ` Vladimir Karpinsky
2012-07-14 8:12 ` Vladimir Karpinsky
0 siblings, 1 reply; 8+ messages in thread
From: Vladimir Karpinsky @ 2012-07-14 7:52 UTC (permalink / raw)
To: community
14.07.2012 11:04, Michael Shigorin пишет:
> On Sat, Jul 14, 2012 at 08:22:38AM +0400, Vladimir Karpinsky wrote:
>> Cron иногда (~1 раза в месяц) присылает сообщения вида:
>> checkarray: I: selecting idle I/O scheduling class for resync of md0.
>
> Это фича. :) (периодическая принудительная фоновая синхронизация)
Понял.
>>>> Mem: 4059540K total, 3906728K used, 152812K free, 7756K buffers
>>>> Swap: 2095036K total, 2095036K used, 0K free, 279424K cached
>>>> Имеется подтормаживание при запуске некторых процессов.
>
> Налицо нехватка RAM для такого объёма задач (или утечек памяти);
> посмотрите и покажите ps vax --sort=rss | tail -20
Спасибо, нашёл процесс, который хотел уже слишком много, надо будет его
помониторить. С памятью ситуация нормализовалась, а, вот, с iowait что-то
происходит: раньше стояло на 25%, а сейчас непрерывно меняется, причём то
упадёт до 0, то поднимается до 70%. Например:
top - 07:49:33 up 153 days, 16:06, 3 users, load average: 2.14, 2.25, 1.85
Tasks: 270 total, 1 running, 269 sleeping, 0 stopped, 0 zombie
CPU0 : 0.3%us, 0.3%sy, 0.0%ni, 47.0%id, 52.0%wa, 0.0%hi, 0.3%si, 0.0%st
CPU1 : 0.0%us, 0.0%sy, 0.0%ni, 48.3%id, 51.3%wa, 0.0%hi, 0.3%si, 0.0%st
Mem: 4059540K total, 1766388K used, 2293152K free, 121528K buffers
Swap: 2095036K total, 189396K used, 1905640K free, 1247076K cached
Как посмотреть, что это происходит?
--
С уважением,
Владимир.
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Comm] CPU iowait слишком велико
2012-07-13 19:15 [Comm] CPU iowait слишком велико Vladimir Karpinsky
2012-07-13 20:47 ` Arcady V. Ivanov
@ 2012-07-14 6:45 ` Alexei Takaseev
1 sibling, 0 replies; 8+ messages in thread
From: Alexei Takaseev @ 2012-07-14 6:45 UTC (permalink / raw)
To: ALT Linux Community general discussions
----- Исходное сообщение -----
> От: "Vladimir Karpinsky" <vkarpinsky@mail.ru>
> Кому: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Отправленные: Суббота, 14 Июль 2012 г 4:15:53
> Тема: [Comm] CPU iowait слишком велико
>
> Здравствуйте!
>
> На одном их компьютеров наблюдаю такую картину:
>
> top - 18:54:42 up 153 days, 3:11, 4 users, load average: 0.28,
> 0.31, 0.49
> Tasks: 273 total, 1 running, 272 sleeping, 0 stopped, 0 zombie
> CPU0 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.2%wa, 0.0%hi,
> 0.2%si, 0.0%st
> CPU1 : 0.1%us, 3.1%sy, 0.9%ni, 70.5%id, 25.1%wa, 0.0%hi,
> 0.2%si, 0.0%st
> Mem: 4059540K total, 3906728K used, 152812K free, 7756K
> buffers
> Swap: 2095036K total, 2095036K used, 0K free, 279424K
> cached
>
> Имеется подтормаживание при запуске некторых процессов. В данный
> момент
> ничего особенного в данный момент не делает, крутятся несколько
> процессов,
> MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4
> зеркальных
> RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних
> ящиках с
> древней начинкой и подобными задачами не вижу, чтобы 25% iowait было,
> да и
> памяти куда-то сожрано немерено. На что имеет смысл обратить
> внимание,
> чтобы локализовать проблему?
Вот и посмотрите, кто у вас сожрал всю память и загнал систему в дикий сваппинг.
Основную нагрузку на диск у вас дает перегонка данных из свапа в память и обратно.
Наверное действительно нужно обновить ядро и ребутнуть систему.
^ permalink raw reply [flat|nested] 8+ messages in thread
end of thread, other threads:[~2012-07-14 8:12 UTC | newest]
Thread overview: 8+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2012-07-13 19:15 [Comm] CPU iowait слишком велико Vladimir Karpinsky
2012-07-13 20:47 ` Arcady V. Ivanov
2012-07-14 4:22 ` Vladimir Karpinsky
2012-07-14 4:29 ` Vladimir Karpinsky
2012-07-14 7:04 ` Michael Shigorin
2012-07-14 7:52 ` Vladimir Karpinsky
2012-07-14 8:12 ` Vladimir Karpinsky
2012-07-14 6:45 ` Alexei Takaseev
ALT Linux Community general discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
public-inbox-index community
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.community
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git