[Comm] CPU iowait слишком велико

[Comm] CPU iowait слишком велико

[Vladimir Karpinsky]

Здравствуйте!

На одном их компьютеров наблюдаю такую картину:

top - 18:54:42 up 153 days,  3:11,  4 users,  load average: 0.28, 0.31, 0.49
Tasks: 273 total,   1 running, 272 sleeping,   0 stopped,   0 zombie
CPU0  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.2%wa,  0.0%hi,  0.2%si,  0.0%st
CPU1  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.1%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:   4059540K total,  3906728K used,   152812K free,     7756K buffers
Swap:  2095036K total,  2095036K used,        0K free,   279424K cached

Имеется подтормаживание при запуске некторых процессов. В данный момент 
ничего особенного в данный момент не делает, крутятся несколько процессов, 
MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4 зеркальных 
RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних ящиках с 
древней начинкой и подобными задачами не вижу, чтобы 25% iowait было, да и 
памяти куда-то сожрано немерено. На что имеет смысл обратить внимание, 
чтобы локализовать проблему?

#uname -a
Linux pulman.spb.gsras.ru 3.0.20-std-def-alt0.M60P.1 #1 SMP Wed Feb 8 
11:19:53 UTC 2012 x86_64 GNU/Linux

Бранч p6, но уже месяца 2--2.5 не обновлялся, --- всё разъезды, да ещё и в 
места с плохой или вообще отсутствующей связью.

-- 
	С уважением,
		Владимир.

Re: [Comm] CPU iowait слишком велико

[Arcady V. Ivanov]

Посмотрите с помощью iotop.
Думаю, это проблема RAID-а.

У меня такая же фигня была.
Если dmesg рисует deadlock-и на 120 сек, это проблема hiresolution таймера.

Ещё крайне полезно поставить для монтирования разделов опцию relatime,
если её почему-то нет.



----- Original Message -----
> From: "Vladimir Karpinsky" <vkarpinsky@mail.ru>
> To: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Sent: Friday, July 13, 2012 9:15:53 PM
> Subject: [Comm] CPU iowait слишком велико
> 
> Здравствуйте!
> 
> На одном их компьютеров наблюдаю такую картину:
> 
> top - 18:54:42 up 153 days,  3:11,  4 users,  load average: 0.28,
> 0.31, 0.49
> Tasks: 273 total,   1 running, 272 sleeping,   0 stopped,   0 zombie
> CPU0  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.2%wa,  0.0%hi,
>  0.2%si,  0.0%st
> CPU1  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.1%wa,  0.0%hi,
>  0.2%si,  0.0%st
> Mem:   4059540K total,  3906728K used,   152812K free,     7756K
> buffers
> Swap:  2095036K total,  2095036K used,        0K free,   279424K
> cached
> 
> Имеется подтормаживание при запуске некторых процессов. В данный
> момент
> ничего особенного в данный момент не делает, крутятся несколько
> процессов,
> MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4
> зеркальных
> RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних
> ящиках с
> древней начинкой и подобными задачами не вижу, чтобы 25% iowait было,
> да и
> памяти куда-то сожрано немерено. На что имеет смысл обратить
> внимание,
> чтобы локализовать проблему?
> 
> #uname -a
> Linux pulman.spb.gsras.ru 3.0.20-std-def-alt0.M60P.1 #1 SMP Wed Feb 8
> 11:19:53 UTC 2012 x86_64 GNU/Linux
> 
> Бранч p6, но уже месяца 2--2.5 не обновлялся, --- всё разъезды, да
> ещё и в
> места с плохой или вообще отсутствующей связью.
> 
> --
> 	С уважением,
> 		Владимир.
> 
> _______________________________________________
> community mailing list
> community@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/community

-- 
С уважением.
Гл. специалист по ИТ ИКИР ДВО РАН.
Аркадий Иванов.
Sincerely yours.
My site http://www.arccomm.ru

Re: [Comm] CPU iowait слишком велико

[Vladimir Karpinsky]

14.07.2012 0:47, Arcady V. Ivanov пишет:
> Посмотрите с помощью iotop.
> Думаю, это проблема RAID-а.

Поставил iotop, но пока там ничего а глаза не бросилось, впрочем м.б. я не 
знаю на что смотреть.

Cron иногда (~1 раза в месяц) присылает сообщения вида:

checkarray: I: selecting idle I/O scheduling class for resync of md0.
checkarray: I: selecting idle I/O scheduling class for resync of md1.
checkarray: I: selecting idle I/O scheduling class for resync of md2.
checkarray: I: selecting idle I/O scheduling class for resync of md3.

> У меня такая же фигня была.
> Если dmesg рисует deadlock-и на 120 сек, это проблема hiresolution таймера.

# dmesg | grepp md
[9735123.335851] md: using 128k window, over a total of 20478912k.
[9735401.818806] md: md2: data-check done.
[12129217.385503] md: data-check of RAID array md0
[12129217.385506] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[12129217.385508] md: using maximum available idle IO bandwidth (but not 
more than 200000 KB/sec) for data-check.
[12129217.385510] md: using 128k window, over a total of 8707008k.
[12129217.620759] md: delaying data-check of md1 until md0 has finished 
(they share one or more physical units)
[12129217.631725] md: delaying data-check of md2 until md1 has finished 
(they share one or more physical units)
[12129217.631803] md: delaying data-check of md1 until md0 has finished 
(they share one or more physical units)
[12129217.642750] md: delaying data-check of md3 until md1 has finished 
(they share one or more physical units)
[12129217.642753] md: delaying data-check of md1 until md0 has finished 
(they share one or more physical units)
[12129217.642757] md: delaying data-check of md2 until md1 has finished 
(they share one or more physical units)
[12129328.050106] md: md0: data-check done.
[12129328.066514] md: delaying data-check of md2 until md1 has finished 
(they share one or more physical units)
[12129328.066519] md: data-check of RAID array md1
[12129328.066521] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[12129328.066522] md: using maximum available idle IO bandwidth (but not 
more than 200000 KB/sec) for data-check.
[12129328.066525] md: using 128k window, over a total of 2095040k.
[12129328.066955] md: delaying data-check of md3 until md1 has finished 
(they share one or more physical units)
[12129352.859826] md: md1: data-check done.
[12129352.874434] md: data-check of RAID array md3
[12129352.874437] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[12129352.874439] md: using maximum available idle IO bandwidth (but not 
more than 200000 KB/sec) for data-check.
[12129352.874442] md: using 128k window, over a total of 945476480k.
[12129352.874452] md: delaying data-check of md2 until md3 has finished 
(they share one or more physical units)
[12154551.743772] md: md3: data-check done.
[12154551.775858] md: data-check of RAID array md2
[12154551.775861] md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
[12154551.775862] md: using maximum available idle IO bandwidth (but not 
more than 200000 KB/sec) for data-check.
[12154551.775865] md: using 128k window, over a total of 20478912k.
[12154932.231802] md: md2: data-check done.
[13264118.543397] mdadm: sending ioctl 1261 to a partition!
[13264118.543399] mdadm: sending ioctl 1261 to a partition!
[13264118.725254] mdadm: sending ioctl 1261 to a partition!
[13264118.725256] mdadm: sending ioctl 1261 to a partition!
[13264118.807387] mdadm: sending ioctl 1261 to a partition!
[13264118.807389] mdadm: sending ioctl 1261 to a partition!
[13264118.918880] mdadm: sending ioctl 1261 to a partition!
[13264118.918883] mdadm: sending ioctl 1261 to a partition!
[13264119.015867] mdadm: sending ioctl 1261 to a partition!
[13264119.015870] mdadm: sending ioctl 1261 to a partition!
[13264125.165873] mdadm: sending ioctl 1261 to a partition!
[13264125.165875] mdadm: sending ioctl 1261 to a partition!
[13264125.283665] mdadm: sending ioctl 1261 to a partition!
[13264125.283668] mdadm: sending ioctl 1261 to a partition!
[13264125.354219] mdadm: sending ioctl 1261 to a partition!
[13264125.354221] mdadm: sending ioctl 1261 to a partition!
[13264125.459097] mdadm: sending ioctl 1261 to a partition!
[13264125.459099] mdadm: sending ioctl 1261 to a partition!
[13264125.530656] mdadm: sending ioctl 1261 to a partition!
[13264125.530658] mdadm: sending ioctl 1261 to a partition!

-- 
	С уважением,
		Владимир.

Re: [Comm] CPU iowait слишком велико

[Vladimir Karpinsky]

P.S. Пока смотрел логи и пр., заодно обновился, в т.ч. ядро. Что 
посоветуете: искать причину сейчас (uptime > 150 дней) или перегрузиться с 
новым ядром и разбираться потом, если/когда обнаружится?

-- 
	С уважением,
		Владимир.

Re: [Comm] CPU iowait слишком велико

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Vladimir Karpinsky" <vkarpinsky@mail.ru>
> Кому: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Отправленные: Суббота, 14 Июль 2012 г 4:15:53
> Тема: [Comm] CPU iowait слишком велико
> 
> Здравствуйте!
> 
> На одном их компьютеров наблюдаю такую картину:
> 
> top - 18:54:42 up 153 days,  3:11,  4 users,  load average: 0.28,
> 0.31, 0.49
> Tasks: 273 total,   1 running, 272 sleeping,   0 stopped,   0 zombie
> CPU0  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.2%wa,  0.0%hi,
>  0.2%si,  0.0%st
> CPU1  :  0.1%us,  3.1%sy,  0.9%ni, 70.5%id, 25.1%wa,  0.0%hi,
>  0.2%si,  0.0%st
> Mem:   4059540K total,  3906728K used,   152812K free,     7756K
> buffers
> Swap:  2095036K total,  2095036K used,        0K free,   279424K
> cached
> 
> Имеется подтормаживание при запуске некторых процессов. В данный
> момент
> ничего особенного в данный момент не делает, крутятся несколько
> процессов,
> MySQL в совсем нежёстком режиме, м.б. не закрыт сеанс KDE4, 4
> зеркальных
> RAID'а. Из 271 задачи подавляющее большинство "спит". На соседних
> ящиках с
> древней начинкой и подобными задачами не вижу, чтобы 25% iowait было,
> да и
> памяти куда-то сожрано немерено. На что имеет смысл обратить
> внимание,
> чтобы локализовать проблему?

Вот и посмотрите, кто у вас сожрал всю память и загнал систему в дикий сваппинг.
Основную нагрузку на диск у вас дает перегонка данных из свапа в память и обратно.

Наверное действительно нужно обновить ядро и ребутнуть систему.

Re: [Comm] CPU iowait слишком велико

[Michael Shigorin]

On Sat, Jul 14, 2012 at 08:22:38AM +0400, Vladimir Karpinsky wrote:
> Cron иногда (~1 раза в месяц) присылает сообщения вида:
> checkarray: I: selecting idle I/O scheduling class for resync of md0.

Это фича. :) (периодическая принудительная фоновая синхронизация)

> > > Mem:   4059540K total,  3906728K used,   152812K free,     7756K buffers
> > > Swap:  2095036K total,  2095036K used,        0K free,   279424K cached
> > > Имеется подтормаживание при запуске некторых процессов.

Налицо нехватка RAM для такого объёма задач (или утечек памяти);
посмотрите и покажите ps vax --sort=rss | tail -20

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] CPU iowait слишком велико

[Vladimir Karpinsky]

14.07.2012 11:04, Michael Shigorin пишет:
> On Sat, Jul 14, 2012 at 08:22:38AM +0400, Vladimir Karpinsky wrote:
>> Cron иногда (~1 раза в месяц) присылает сообщения вида:
>> checkarray: I: selecting idle I/O scheduling class for resync of md0.
>
> Это фича. :) (периодическая принудительная фоновая синхронизация)

Понял.

>>>> Mem:   4059540K total,  3906728K used,   152812K free,     7756K buffers
>>>> Swap:  2095036K total,  2095036K used,        0K free,   279424K cached
>>>> Имеется подтормаживание при запуске некторых процессов.
>
> Налицо нехватка RAM для такого объёма задач (или утечек памяти);
> посмотрите и покажите ps vax --sort=rss | tail -20

Спасибо, нашёл процесс, который хотел уже слишком много, надо будет его 
помониторить. С памятью ситуация нормализовалась, а, вот, с iowait что-то 
происходит: раньше стояло на 25%, а сейчас непрерывно меняется, причём то 
упадёт до 0, то поднимается до 70%. Например:
top - 07:49:33 up 153 days, 16:06,  3 users,  load average: 2.14, 2.25, 1.85
Tasks: 270 total,   1 running, 269 sleeping,   0 stopped,   0 zombie
CPU0  :  0.3%us,  0.3%sy,  0.0%ni, 47.0%id, 52.0%wa,  0.0%hi,  0.3%si,  0.0%st
CPU1  :  0.0%us,  0.0%sy,  0.0%ni, 48.3%id, 51.3%wa,  0.0%hi,  0.3%si,  0.0%st
Mem:   4059540K total,  1766388K used,  2293152K free,   121528K buffers
Swap:  2095036K total,   189396K used,  1905640K free,  1247076K cached

Как посмотреть, что это происходит?


-- 
	С уважением,
		Владимир.

Re: [Comm] CPU iowait слишком велико

[Vladimir Karpinsky]

Прошу прощения, это пока я развлекался у меня пошла перекачка данных...

14.07.2012 11:52, Vladimir Karpinsky пишет:
> а, вот, с iowait что-то происходит: раньше стояло на 25%, а сейчас
> непрерывно меняется, причём то упадёт до 0, то поднимается до 70%.

-- 
	С уважением,
		Владимир.