[Sysadmins] ksoftirq 99% cpu load.

[Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

Привет, всем.

Такая проблема.

ksoftirq/0 сильно грузит процессор.
Грузит его из-за большого кол-ва прерываний от сетевых карт при большой 
нагрузке.

Драйвер e1000
ver: 7.2.7-k2-NAPI

Ядро 2.6.18-std-smp-alt12

Процессор 2xDUALCORE XEON 5130 2GHz
Память 4 Gb.

Используется iptables и tc.

Работает 2 интерфейса eth0 и eth1

           CPU0       CPU1       CPU2       CPU3
  0:   13735138          0          0          0    IO-APIC-edge  timer
  1:       2393          0          0          0    IO-APIC-edge  i8042
  6:          3          0          0          0    IO-APIC-edge  floppy
  8:          1          0          0          0    IO-APIC-edge  rtc
  9:          1          0          0          0   IO-APIC-level  acpi
 14:         61          0          0          0    IO-APIC-edge  ide0
 58:  318597153          0          0          0         PCI-MSI  eth0
 66:  287621153          0          0          0         PCI-MSI  eth1
169:     164881          0          0          0   IO-APIC-level  ioc0
NMI:      25267        390        238        241
LOC:   13735941   13736293   13736274   13736102
ERR:          0
MIS:          0

Вопросы:
Как можно уменьшить кол-во прерываний и снизить нагрузку на процессор?
Поможет ли использование только одной сетевой карты вместо двух?
Как узнать работает ли NAPI в драйвере?

Заранее спасиб.

Re: [Sysadmins] ksoftirq 99% cpu load.

[Led]

On Tuesday 14 October 2008 12:48:11 ahtoh@pulnet.ru wrote:
> Привет, всем.
>
> Такая проблема.
>
> ksoftirq/0 сильно грузит процессор.
> Грузит его из-за большого кол-ва прерываний от сетевых карт при большой
> нагрузке.
>
> Драйвер e1000
> ver: 7.2.7-k2-NAPI
>
> Ядро 2.6.18-std-smp-alt12
>
> Процессор 2xDUALCORE XEON 5130 2GHz
> Память 4 Gb.
........
> Как узнать работает ли NAPI в драйвере?

grep E1000_NAPI /boot/config-$(uname -r)

-- 
Led

Re: [Sysadmins] ksoftirq 99% cpu load.

[Max Ivanov]

Поставьте irqbalance, прерывания размажутся по всем ядрам, возможно поможет.


>
>           CPU0       CPU1       CPU2       CPU3
>  0:   13735138          0          0          0    IO-APIC-edge  timer
>  1:       2393          0          0          0    IO-APIC-edge  i8042
>  6:          3          0          0          0    IO-APIC-edge  floppy
>  8:          1          0          0          0    IO-APIC-edge  rtc
>  9:          1          0          0          0   IO-APIC-level  acpi
>  14:         61          0          0          0    IO-APIC-edge  ide0
>  58:  318597153          0          0          0         PCI-MSI  eth0
>  66:  287621153          0          0          0         PCI-MSI  eth1
> 169:     164881          0          0          0   IO-APIC-level  ioc0
> NMI:      25267        390        238        241
> LOC:   13735941   13736293   13736274   13736102

Re: [Sysadmins] ksoftirq 99% cpu load.

[Alex]

Вам от такого надо избавляться, производительность сильно возрастет:
>  58:  318597153          0          0          0         PCI-MSI  eth0
>  66:  287621153          0          0          0         PCI-MSI  eth1

Я бы использовал SMP IRQ affinity
http://www.cs.uwaterloo.ca/~brecht/servers/apic/SMP-affinity.txt
тут все коротко и понятно.

Алекс.

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 14 октября 2008 ahtoh@pulnet.ru написал(a):

Интересна такая вещь.

На другой intel машине стоит P4 QUADCORE.
Карта eth на PCI-E. Драйвер e1000e на 2.6.24-std-smp-def.

          CPU0       CPU1       CPU2       CPU3
218:  207308123  207313437  207306481  207307841   PCI-MSI-edge      eth0
LOC:  163304719  156470744  163719640  155030232   Local timer interrupts

т.е. получается, что прерывания обрабатываются всеми ядрами.

Это из-за ядра 2.6.24 или из-за драйвера e1000e?

Re: [Sysadmins] ksoftirq 99% cpu load.

[Unsafe.ru]

14.10.2008 16:57, ahtoh@pulnet.ru пишет:
> В сообщении от 14 октября 2008 ahtoh@pulnet.ru написал(a):
>
> Интересна такая вещь.
>
> На другой intel машине стоит P4 QUADCORE.
> Карта eth на PCI-E. Драйвер e1000e на 2.6.24-std-smp-def.
>
>           CPU0       CPU1       CPU2       CPU3
> 218:  207308123  207313437  207306481  207307841   PCI-MSI-edge      eth0
> LOC:  163304719  156470744  163719640  155030232   Local timer interrupts
>
> т.е. получается, что прерывания обрабатываются всеми ядрами.
>
> Это из-за ядра 2.6.24 или из-за драйвера e1000e?
>
>   
Подозреваю, что из-за включенного irq routing'а в ядре std-def.

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 14 октября 2008 Unsafe.ru написал(a):
> 14.10.2008 16:57, ahtoh@pulnet.ru пишет:
> > В сообщении от 14 октября 2008 ahtoh@pulnet.ru написал(a):
> >
> > Интересна такая вещь.
> >
> > На другой intel машине стоит P4 QUADCORE.
> > Карта eth на PCI-E. Драйвер e1000e на 2.6.24-std-smp-def.
> >
> >           CPU0       CPU1       CPU2       CPU3
> > 218:  207308123  207313437  207306481  207307841   PCI-MSI-edge      eth0
> > LOC:  163304719  156470744  163719640  155030232   Local timer interrupts
> >
> > т.е. получается, что прерывания обрабатываются всеми ядрами.
> >
> > Это из-за ядра 2.6.24 или из-за драйвера e1000e?
>
> Подозреваю, что из-за включенного irq routing'а в ядре std-def.
>
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

В 2.6.18 это есть? И как включается?

Re: [Sysadmins] ksoftirq 99% cpu load.

[Konstantin A. Lepikhov]

14.10.2008 17:45, ahtoh@pulnet.ru пишет:
> В сообщении от 14 октября 2008 Unsafe.ru написал(a):
>   
>> 14.10.2008 16:57, ahtoh@pulnet.ru пишет:
>>     
>>> В сообщении от 14 октября 2008 ahtoh@pulnet.ru написал(a):
>>>
>>> Интересна такая вещь.
>>>
>>> На другой intel машине стоит P4 QUADCORE.
>>> Карта eth на PCI-E. Драйвер e1000e на 2.6.24-std-smp-def.
>>>
>>>           CPU0       CPU1       CPU2       CPU3
>>> 218:  207308123  207313437  207306481  207307841   PCI-MSI-edge      eth0
>>> LOC:  163304719  156470744  163719640  155030232   Local timer interrupts
>>>
>>> т.е. получается, что прерывания обрабатываются всеми ядрами.
>>>
>>> Это из-за ядра 2.6.24 или из-за драйвера e1000e?
>>>       
>> Подозреваю, что из-за включенного irq routing'а в ядре std-def.
>>
>> _______________________________________________
>> Sysadmins mailing list
>> Sysadmins@lists.altlinux.org
>> https://lists.altlinux.org/mailman/listinfo/sysadmins
>>     
>
> В 2.6.18 это есть? И как включается?
>
>   
apt-get install irqbalance

PS Читайте предыдущие ответы.

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 14 октября 2008 Konstantin A. Lepikhov написал(a):
> 14.10.2008 17:45, ahtoh@pulnet.ru пишет:
> > В сообщении от 14 октября 2008 Unsafe.ru написал(a):
> >> 14.10.2008 16:57, ahtoh@pulnet.ru пишет:
> >>> В сообщении от 14 октября 2008 ahtoh@pulnet.ru написал(a):
> >>>
> >>> Интересна такая вещь.
> >>>
> >>> На другой intel машине стоит P4 QUADCORE.
> >>> Карта eth на PCI-E. Драйвер e1000e на 2.6.24-std-smp-def.
> >>>
> >>>           CPU0       CPU1       CPU2       CPU3
> >>> 218:  207308123  207313437  207306481  207307841   PCI-MSI-edge     
> >>> eth0 LOC:  163304719  156470744  163719640  155030232   Local timer
> >>> interrupts
> >>>
> >>> т.е. получается, что прерывания обрабатываются всеми ядрами.
> >>>
> >>> Это из-за ядра 2.6.24 или из-за драйвера e1000e?
> >>
> >> Подозреваю, что из-за включенного irq routing'а в ядре std-def.
> >>
> >> _______________________________________________
> >> Sysadmins mailing list
> >> Sysadmins@lists.altlinux.org
> >> https://lists.altlinux.org/mailman/listinfo/sysadmins
> >
> > В 2.6.18 это есть? И как включается?
>
> apt-get install irqbalance
>
> PS Читайте предыдущие ответы.
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

irqbalance может распределяет прерывания например
от eth0 на CPU0, а от eth1 на CPU1 итд.
А здесь сразу по всем ядрам, что конечно лучше.

Re: [Sysadmins] ksoftirq 99% cpu load.

[Konstantin A. Lepikhov]

14.10.2008 18:13, ahtoh@pulnet.ru пишет:
>
> irqbalance может распределяет прерывания например
> от eth0 на CPU0, а от eth1 на CPU1 итд.
> А здесь сразу по всем ядрам, что конечно лучше.
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
>   
Вы это сами только что придумали?

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 14 октября 2008 Konstantin A. Lepikhov написал(a):
> 14.10.2008 18:13, ahtoh@pulnet.ru пишет:
> > irqbalance может распределяет прерывания например
> > от eth0 на CPU0, а от eth1 на CPU1 итд.
> > А здесь сразу по всем ядрам, что конечно лучше.
> > _______________________________________________
> > Sysadmins mailing list
> > Sysadmins@lists.altlinux.org
> > https://lists.altlinux.org/mailman/listinfo/sysadmins
>
> Вы это сами только что придумали?
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

Вот /proc/interrupts c запущенным irqbalance ядро 2.6.18

           CPU0       CPU1       CPU2       CPU3
  0:   14736893          0     253682    4383039    IO-APIC-edge  timer
  1:       2393          0          0          0    IO-APIC-edge  i8042
  6:          3          0          0          0    IO-APIC-edge  floppy
  8:          1          0          0          0    IO-APIC-edge  rtc
  9:          1          0          0          0   IO-APIC-level  acpi
 14:         61          0          0          0    IO-APIC-edge  ide0
 58:  339791237  110911999          0          0         PCI-MSI  eth0
 66:  437172012          0          0          0         PCI-MSI  eth1
169:     175988          0       1648    2087386   IO-APIC-level  ioc0
NMI:      35854       9985        453        541
LOC:   19374644   19375064   19375160   19374988
ERR:          0
MIS:          0

Как видно прерывания от определенных системных устройств
распределены строго по определённым ядрам.

А вот 2.6.24-std-smp-def

           CPU0       CPU1       CPU2       CPU3
  0:         29          0          0          0   IO-APIC-edge      timer
  1:          1          0          1          0   IO-APIC-edge      i8042
  8:          0          1          0          0   IO-APIC-edge      rtc
  9:          0          0          0          1   IO-APIC-fasteoi   acpi
 12:          0          1          1          2   IO-APIC-edge      i8042
 17:          0          0          0          0   IO-APIC-fasteoi   
uhci_hcd:usb3, ehci_hcd:usb4
 18:          0          0          0          0   IO-APIC-fasteoi   libata, 
uhci_hcd:usb1, uhci_hcd:usb7
 19:          0          0          0          0   IO-APIC-fasteoi   
uhci_hcd:usb6
 21:      88026      87808      88783      89463   IO-APIC-fasteoi   libata, 
libata, uhci_hcd:usb2
 23:          0          0          0          0   IO-APIC-fasteoi   
uhci_hcd:usb5, ehci_hcd:usb8
2298: 1602881384 1602881600 1602880626 1602879945   PCI-MSI-edge      eth0
NMI:          0          0          0          0   Non-maskable interrupts
LOC:   35594469   15987382   18652239    9478400   Local timer interrupts
RES:        666       1473        745       1531   Rescheduling interrupts
CAL:       1425       1446       1447        191   function call interrupts
TLB:       1421       1537       1471       1578   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
SPU:          0          0          0          0   Spurious interrupts
ERR:          0

Видно, что все ядра поочередно учавствуют в обработке прерываний от одного 
устройства.

Или я не прав?

Re: [Sysadmins] ksoftirq 99% cpu load.

[Led]

On Tuesday, 14 October 2008 19:21:28 ahtoh@pulnet.ru wrote:

> Видно, что все ядра поочередно учавствуют в обработке прерываний от одного
> устройства.
>
> Или я не прав?

А что- мануал (кстати, очень короткий) прочитать - не судьба?

-- 
Led

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 14 октября 2008 Led написал(a):
> On Tuesday, 14 October 2008 19:21:28 ahtoh@pulnet.ru wrote:
> > Видно, что все ядра поочередно учавствуют в обработке прерываний от
> > одного устройства.
> >
> > Или я не прав?
>
> А что- мануал (кстати, очень короткий) прочитать - не судьба?

Мануал от чего?

Re: [Sysadmins] ksoftirq 99% cpu load.

[Michael Shigorin]

On Wed, Oct 15, 2008 at 08:53:47AM +0400, ahtoh@pulnet wrote:
> > > Видно, что все ядра поочередно учавствуют в обработке
> > > прерываний от одного устройства.  Или я не прав?
> > А что- мануал (кстати, очень короткий) прочитать - не судьба?
> Мануал от чего?

irqbalance(1), вестимо.  Хотя он действительно краток:

DESCRIPTION
       The purpose of irqbalance is distribute hardware interrupts across pro-
       cessors on a multiprocessor system in order to increase performance.

Поскольку распределять можно как динамически, так и статически, 
то предположение о "eth0<->CPU0" этот мануал не опровергает.

Из наблюдаемого -- при работе irqbalance обработчики прерываний
потихоньку мигрируют по процессорам/ядрам, "выравнивая" значения
счётчиков на примерно сопоставимые величины.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] ksoftirq 99% cpu load.

[ahtoh]

В сообщении от 15 октября 2008 Michael Shigorin написал(a):
> On Wed, Oct 15, 2008 at 08:53:47AM +0400, ahtoh@pulnet wrote:
> > > > Видно, что все ядра поочередно учавствуют в обработке
> > > > прерываний от одного устройства.  Или я не прав?
> > >
> > > А что- мануал (кстати, очень короткий) прочитать - не судьба?
> >
> > Мануал от чего?
>
> irqbalance(1), вестимо.  Хотя он действительно краток:
>
> DESCRIPTION
>        The purpose of irqbalance is distribute hardware interrupts across
> pro- cessors on a multiprocessor system in order to increase performance.
>
> Поскольку распределять можно как динамически, так и статически,
> то предположение о "eth0<->CPU0" этот мануал не опровергает.
>
> Из наблюдаемого -- при работе irqbalance обработчики прерываний
> потихоньку мигрируют по процессорам/ядрам, "выравнивая" значения
> счётчиков на примерно сопоставимые величины.

Ну вот. А мне тыкали в мануал, что мол я всё придумал.
А в 2.6.24 действительно паралелльно они обрабатываются всеми ядрами сразу?
Наблюдаю такое в /proc/interrupts без всяких irqbalance

Re: [Sysadmins] ksoftirq 99% cpu load.

[Led]

On Wednesday 15 October 2008 15:31:39 ahtoh@pulnet.ru wrote:
> В сообщении от 15 октября 2008 Michael Shigorin написал(a):
> > On Wed, Oct 15, 2008 at 08:53:47AM +0400, ahtoh@pulnet wrote:
> > > > > Видно, что все ядра поочередно учавствуют в обработке
> > > > > прерываний от одного устройства.  Или я не прав?
> > > >
> > > > А что- мануал (кстати, очень короткий) прочитать - не судьба?
> > >
> > > Мануал от чего?
> >
> > irqbalance(1), вестимо.  Хотя он действительно краток:
> >
> > DESCRIPTION
> >        The purpose of irqbalance is distribute hardware interrupts across
> > pro- cessors on a multiprocessor system in order to increase performance.
> >
> > Поскольку распределять можно как динамически, так и статически,
> > то предположение о "eth0<->CPU0" этот мануал не опровергает.
> >
> > Из наблюдаемого -- при работе irqbalance обработчики прерываний
> > потихоньку мигрируют по процессорам/ядрам, "выравнивая" значения
> > счётчиков на примерно сопоставимые величины.
>
> Ну вот. А мне тыкали в мануал, что мол я всё придумал.

Похоже, что зря "тыкали". Потому как вы так и не осили 10 строк из него.

-- 
Led

Re: [Sysadmins] ksoftirq 99% cpu load.

[Serge]

> Из наблюдаемого -- при работе irqbalance обработчики прерываний
> потихоньку мигрируют по процессорам/ядрам, "выравнивая" значения
> счётчиков на примерно сопоставимые величины.
насколько оправданным является использование irqbalance в плане 
производительности системы или нужно использовать только при проблемах?

Re: [Sysadmins] ksoftirq 99% cpu load.

[Michael Shigorin]

On Wed, Oct 15, 2008 at 03:44:25PM +0300, Serge wrote:
> > Из наблюдаемого -- при работе irqbalance обработчики
> > прерываний потихоньку мигрируют по процессорам/ядрам,
> > "выравнивая" значения счётчиков на примерно сопоставимые
> > величины.
> насколько оправданным является использование irqbalance в плане
> производительности системы или нужно использовать только при
> проблемах?

Использую на 4-процессорных/ядерных системах, проблем _от этого_
не наблюдаю.

Надо бы как-нить в Server интегрировать, если в ядре чего-нить
автоматом так делающего не изобретут...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/