[Comm] IRQ distribution

[Comm] IRQ distribution

[Dmytro O. Redchuk]

Добрый день.


   Взялся я тестировать один testbed сервер с двумя xeon'ами и четырьмя
   сетевушками.

   Возмущает вот это:

# cat /proc/interrupts 
           CPU0       CPU1       CPU2       CPU3       
  0:        132          0          0    8945837    IO-APIC-edge  timer
  1:          0          0          0          4    IO-APIC-edge  keyboard
  8:          0          0          0          2    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
 12:          0          0          0         40    IO-APIC-edge  PS/2 Mouse
 14:          0          0          0          2    IO-APIC-edge  ide0
 15:          0          0          0     366599    IO-APIC-edge  libata
 16:          0          0          0          0   IO-APIC-level  usb-uhci
 19:          0          0          0          0   IO-APIC-level  usb-uhci
 21:          0          0          0     278074   IO-APIC-level  SysKonnect SK-98xx
 22:          0          0          0     981208   IO-APIC-level  SysKonnect SK-98xx
 23:          0          0          0          0   IO-APIC-level  ehci_hcd
 24:          0          0          0   63399187   IO-APIC-level  eth2
 25:          0          0          0   65940143   IO-APIC-level  eth3
NMI:          0          0          0          0 
LOC:    8945768    8945750    8945751    8945766 
ERR:          0
MIS:          0


   Непонятно, почему так сгрудились прерывания на последнем процессоре?

   Я, вообще говоря, могу руками раскидывать -- но это ж ведь неправильно,
   по идее..


   Там Мастер, 2.4.26-std-smp-alt13.


   Да, кстати, процессоры я оставил в hyperthreading, но и с выключенным
   HT имеем то же самое.


   Что я опять нахомутал?-)

   Это решается? Кто что делает в таких случаях?

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] IRQ distribution

[Dmitry Lebkov]

Dmytro O. Redchuk wrote:
> Добрый день.
> 
> 
>    Взялся я тестировать один testbed сервер с двумя xeon'ами и четырьмя
>    сетевушками.
> 
>    Возмущает вот это:
> 
> # cat /proc/interrupts 

[skip]

> 
>    Непонятно, почему так сгрудились прерывания на последнем процессоре?
> 
>    Я, вообще говоря, могу руками раскидывать -- но это ж ведь неправильно,
>    по идее..
> 
> 
>    Там Мастер, 2.4.26-std-smp-alt13.
> 
> 
>    Да, кстати, процессоры я оставил в hyperthreading, но и с выключенным
>    HT имеем то же самое.
> 
> 
>    Что я опять нахомутал?-)
> 
>    Это решается? Кто что делает в таких случаях?

См. пакет irqbalance в Сизифе.

-- 
WBR, Dmitry Lebkov

Re: [Comm] IRQ distribution

[Dmytro O. Redchuk]

On Sat, May 06, 2006 at 08:30:29PM +1100, Dmitry Lebkov wrote:
> См. пакет irqbalance в Сизифе.
Спасибо.

А есть в этом смысл? И в каких случаях?

Почти ничего толкового не гуглится, почему-то.


Я "мнение" уже почти составил, но хотелось бы более опытных послушать.


> 
> -- 
> WBR, Dmitry Lebkov

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] IRQ distribution

[Dmitry Lebkov]

Dmytro O. Redchuk wrote:
> On Sat, May 06, 2006 at 08:30:29PM +1100, Dmitry Lebkov wrote:
>> См. пакет irqbalance в Сизифе.
> Спасибо.
> 
> А есть в этом смысл? И в каких случаях?

Ну как раз в таких случаях, как твой. ;)

> Почти ничего толкового не гуглится, почему-то.

Я случайно обнаружил эту "утиль", когда ставил RHEL4. Попробовал
ее на нескольких машинах с похожей картинкой распределения прерываний
между процессорами. Распределение значительно улучшилось. ;)
Запаковал для Сизифа.

> Я "мнение" уже почти составил, но хотелось бы более опытных послушать.

Таки оно более правильно, когда прерывания распределяются между _физическими_
процессорами, а не обрабатываются одним. А вот для однопроцессорных машин с HT
оно смысла не имеет, imho.

-- 
WBR, Dmitry Lebkov

Re: [Comm] IRQ distribution

[Dmytro O. Redchuk]

On Sat, May 06, 2006 at 09:08:52PM +1100, Dmitry Lebkov wrote:
> Dmytro O. Redchuk wrote:
> > On Sat, May 06, 2006 at 08:30:29PM +1100, Dmitry Lebkov wrote:
> >> См. пакет irqbalance в Сизифе.
> > Спасибо.
> > 
> > А есть в этом смысл? И в каких случаях?
> 
> Ну как раз в таких случаях, как твой. ;)
Хм :)


> > Почти ничего толкового не гуглится, почему-то.
> 
> Я случайно обнаружил эту "утиль", когда ставил RHEL4. Попробовал
> ее на нескольких машинах с похожей картинкой распределения прерываний
> между процессорами. Распределение значительно улучшилось. ;)
> Запаковал для Сизифа.

Я, кроме всего прочего, нагуглил один документик (
http://lwn.net/Articles/145406/ ), так там значится:

---------------------------------
Optimising any system relies on keep thrashing to a minimum.  As a result
I highly recommend disable IRQ Balancing.

	make menuconfig for your kernel config
	Select "Processor type and features"
	Disable "Enable kernel irq balancing"
	Rebuild your kernel and reboot.

...

---------------------------------

Так вот мне и интересно. У меня, не исключено, как раз случай, когда я бы
хотел разнести всего пару прерываний ;О) а до "оптимизации" всех остальных
мне особого дела нет.

> > Я "мнение" уже почти составил, но хотелось бы более опытных послушать.
> 
> Таки оно более правильно, когда прерывания распределяются между _физическими_
> процессорами, а не обрабатываются одним. А вот для однопроцессорных машин с HT
> оно смысла не имеет, imho.
Бум пробовать.

Может, картинки нарисую.

> 
> -- 
> WBR, Dmitry Lebkov

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk