[Hardware] Прерывания на SMP

[Hardware] Прерывания на SMP

[Alexei V. Mezin]

Подскажите, как должны выглядеть прерывания на SMP?
Обратил внимание, что xosview показывает прерывания только на одном 
процессоре. А на втором всегда "горит" прерывания от таймера. Обратил 
внимание, что иногда в лог попадает "disabling interrupt 11: nobody 
cares". И после этого на второй процессор вообще нет прерываний. 
Пропадание 11 прерывания бывает иногда сразу после включения, иногда 
после длительной работы.

[alexei@threebears alexei]$ cat /proc/interrupts
            CPU0       CPU1
   0:    2605637        156    IO-APIC-edge  timer
   1:       6081          2    IO-APIC-edge  i8042
   3:          0          1   IO-APIC-level  acpi
   4:        456          1    IO-APIC-edge  serial
   8:          1          0    IO-APIC-edge  rtc
  11:      99999          1   IO-APIC-level  VIA686A 
<--- вот это нормально?
  12:     247419          0    IO-APIC-edge  i8042
  14:      22799          0    IO-APIC-edge  ide0
  16:     329431          1   IO-APIC-level  ohci_hcd:usb2, nvidia
  17:      53447          0   IO-APIC-level  eth0, ohci_hcd:usb3
  18:     242172          1   IO-APIC-level  ide2, ehci_hcd:usb1, EMU10K1
  19:          5          0   IO-APIC-level  bttv0, bt878
NMI:          0          0
LOC:    2605578    2605629
ERR:          0
MIS:          0

[Hardware] Re: Прерывания на SMP

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1418 bytes --]

Hi Alexei!

Wednesday 02, at 12:58:11 AM you wrote:

> 
> Подскажите, как должны выглядеть прерывания на SMP?
это "чистый SMP", не HT?

> Обратил внимание, что xosview показывает прерывания только на одном 
> процессоре. А на втором всегда "горит" прерывания от таймера. Обратил 
> внимание, что иногда в лог попадает "disabling interrupt 11: nobody 
> cares". И после этого на второй процессор вообще нет прерываний. 
> Пропадание 11 прерывания бывает иногда сразу после включения, иногда 
> после длительной работы.
можно попробовать pci=routeirq поставить ядру.
У меня на SMP показывает след. картину (ядро 2.4.31):
$ cat /proc/interrupts
	      CPU0       CPU1
     0:   71985013   73468245    IO-APIC-edge  timer
     1:          2          8    IO-APIC-edge  keyboard
     2:          0          0          XT-PIC  cascade
     8:          1          0    IO-APIC-edge  rtc
     9:    3449068    3458596   IO-APIC-level  eth0
    10:     190356     185961   IO-APIC-level  BusLogic BT-958
    14:          0          6    IO-APIC-edge  ide0
   NMI:          0          0
   LOC:  145452940  145452938
   ERR:          0
   MIS:          2

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: smime.p7s --]
[-- Type: application/x-pkcs7-signature, Size: 1377 bytes --]

Re: [Hardware] Re: Прерывания на SMP

[Alexei V. Mezin]

Konstantin A. Lepikhov wrote:
> Hi Alexei!
> 
> Wednesday 02, at 12:58:11 AM you wrote:
> 
>> Подскажите, как должны выглядеть прерывания на SMP?
> это "чистый SMP", не HT?
Да, именно чистый SMP, два PIII-1GHz.


> можно попробовать pci=routeirq поставить ядру.
> У меня на SMP показывает след. картину (ядро 2.4.31):
> $ cat /proc/interrupts
> 	      CPU0       CPU1
>      0:   71985013   73468245    IO-APIC-edge  timer
>      1:          2          8    IO-APIC-edge  keyboard
>      2:          0          0          XT-PIC  cascade
>      8:          1          0    IO-APIC-edge  rtc
>      9:    3449068    3458596   IO-APIC-level  eth0
>     10:     190356     185961   IO-APIC-level  BusLogic BT-958
>     14:          0          6    IO-APIC-edge  ide0
>    NMI:          0          0
>    LOC:  145452940  145452938
>    ERR:          0
>    MIS:          2
> 
Вот видно, что у вас прерывания сбалансированы по процессорам. Но на 
ядре 2.4.х. А у меня все на одном, да еще и иногда пропадают. На ядре 2.6.х.


-- 
Alexei V. Mezin

NT-MDT Co.
Phone: 095-913-5736
Fax: 095-913-573
Email: mezin@ntmdt.ru
URL: http://www.ntmdt.com

Re: [Hardware] Re: Прерывания на SMP

[Genix]

Alexei V. Mezin wrote:

> Вот видно, что у вас прерывания сбалансированы по процессорам. Но на 
> ядре 2.4.х. А у меня все на одном, да еще и иногда пропадают. На ядре 
> 2.6.х.

только что заметил что у меня тоже самое:
$ cat /proc/interrupts
            CPU0       CPU1       CPU2       CPU3
   0:  304614203          0          0          0    IO-APIC-edge  timer
   1:         88          0          0          0    IO-APIC-edge  keyboard
   2:          0          0          0          0          XT-PIC  cascade
   8:          1          0          0          0    IO-APIC-edge  rtc
   9:          0          0          0          0   IO-APIC-level  acpi
  14:          4          1          0          0    IO-APIC-edge  ide0
  24:    5096654          0          0          0   IO-APIC-level  gdth
  52:   29526825          0          0          0   IO-APIC-level  qla2300
  58:   28951925          0          0          0   IO-APIC-level  eth0
NMI:          0          0          0          0
LOC:  304619922  304619860  304619920  304619920
ERR:          0
MIS:          0

$ uname -r
2.4.26

правда Redhat 7.3, ядро самосборное.
Так в чем же может быть причина?


-- 
У каждого в башке свои тараканы...

Re: [Hardware] Прерывания на SMP

[Andrei Bulava]

Alexei V. Mezin wrote:

<skip />

> Вот видно, что у вас прерывания сбалансированы по процессорам. Но на
> ядре 2.4.х. А у меня все на одном, да еще и иногда пропадают. На ядре
> 2.6.х.

$ cat /proc/interrupts
           CPU0       CPU1
  0:   25652779          0  local-APIC-edge  timer
  1:          8          1    IO-APIC-edge  i8042
  3:      22829      20703    IO-APIC-edge  serial
  4:     112421     111952    IO-APIC-edge  serial
  8:          0          1    IO-APIC-edge  rtc
  9:          0          0   IO-APIC-level  acpi
 10:          0          0   IO-APIC-level  ohci_hcd
 12:         61          5    IO-APIC-edge  i8042
 14:     114985     114892    IO-APIC-edge  ide0
177:         30         30   IO-APIC-level  aic7xxx, aic7xxx
185:         19    1248092   IO-APIC-level  eth0
201:    1502644         15   IO-APIC-level  eth1
209:     267197     263056   IO-APIC-level  cciss0
NMI:          0          0
LOC:   25655147   25655146
ERR:          0
MIS:          0

$ cat /etc/redhat-release
CentOS release 4.2 (Final)

$ uname -r
2.6.9-22.0.1.ELsmp

$ cat /proc/cpuinfo |grep 'model name'
model name      : Intel(R) Pentium(R) III CPU family      1266MHz
model name      : Intel(R) Pentium(R) III CPU family      1266MHz

-- 
// AB1002-UANIC

Re: [Hardware] Re: Прерывания на SMP

[Nikolay A. Fetisov]

On Wednesday 02 November 2005 13:39, Alexei V. Mezin wrote:
> .....
> Вот видно, что у вас прерывания сбалансированы по
> процессорам. Но на ядре 2.4.х. А у меня все на одном, да еще
> и иногда пропадают. На ядре 2.6.х.

Хм. А ведь аналогично:
$ cat /proc/interrupts 
           CPU0       CPU1       
  0:  218036561          0          XT-PIC  timer
  1:     159602          0          XT-PIC  i8042
  2:          0          0          XT-PIC  cascade
  5:   18742401          0          XT-PIC  nvidia
  7:         87          0          XT-PIC  parport0
  8:          2          0          XT-PIC  rtc
  9:          1          0          XT-PIC  acpi
 10:    2720513          0          XT-PIC  eth0, EMU10K1
 11:   48109515          0          XT-PIC  ide2, uhci_hcd:usb1, 
uhci_hcd:usb2
 12:    4358173          0          XT-PIC  i8042
 14:   17235127          0          XT-PIC  ide0
 15:   17245278          0          XT-PIC  ide1
NMI:          0          0 
LOC:  218046327  218047222 
ERR:          0
MIS:          0

2xPentium III 933 MHz, системная плата ABIT VP6, чипсет VIA 
694X. Текущий Sisyphus, ядро 2.6.12-vs26-smp-alt3
Грузится с  'noapic acpi=on nolapic' .

И вторая машина такая же, ядро только 2.6.11-std26-smp-alt10. 
Картина та же.

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Re: Прерывания на SMP

[Alexei V. Mezin]

Nikolay A. Fetisov wrote:

> Хм. А ведь аналогично:
Ну значит можно не волноваться, у всех примерно одинаково.

> 2xPentium III 933 MHz, системная плата ABIT VP6, чипсет VIA 
> 694X. Текущий Sisyphus, ядро 2.6.12-vs26-smp-alt3
> Грузится с  'noapic acpi=on nolapic' .
У меня машина на таком же чипсете. А что дает на нем заклинание "noapic 
acpi=on nolapic"?



-- 
Alexei V. Mezin

NT-MDT Co.
Phone: 095-913-5736
Fax: 095-913-573
Email: mezin@ntmdt.ru
URL: http://www.ntmdt.com

Re: [Hardware] Re: Прерывания на SMP

[Nikolay A. Fetisov]

On Wednesday 02 November 2005 18:29, Alexei V. Mezin wrote:

> У меня машина на таком же чипсете. А что дает на нем
> заклинание "noapic acpi=on nolapic"?

Заклинания описаны в манускрипте 
%doc/kernel-doc-XXX/kernel-parameters.txt

noapic - запрет на использование, если не ошибаюсь, Advanced PCI 
Interrupt Controller. Или Programmable. Возможно, оно-то и 
отвечает за распределение IRQ по процессорам.

На одной машине стоит просто 'noapic'. В неё воткнуто 4 штуки 
3Com 905-ых, без данного заклинания она висла при загрузке ядра 
2.6. 

На другой 'noapic' пришло вместе с сетевой картой на VIA Rhine. 
Она же потребовала и 'nolapic'. Кстати, как я помню, без этого 
параметра в логах появлялись ошибки Вашего вида 'disabling 
interrupt XX: nobody cares'. И отваливалась сетевая карта.
По результатам работы noapic и nolapic перестал определяться 
ACPI, пришлось включать принудительно.

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Прерывания на SMP

[Andrei Bulava]

Nikolay A. Fetisov wrote:
> И вторая машина такая же, ядро только 2.6.11-std26-smp-alt10. 
> Картина та же.

А где в ALT irqbalance(1) ? В RH он лежит в пакете kernel-utils, а у нас?

-- 
// AB1002-UANIC

Re: [Hardware] Прерывания на SMP

[Nikolay A. Fetisov]

On Wednesday 02 November 2005 18:52, Andrei Bulava wrote:

> А где в ALT irqbalance(1) ? В RH он лежит в пакете
> kernel-utils, а у нас?

А это кто и что делать должен? В Sisyphus такого нет, самое 
близкое - это config/irqbalance.h из kernel-headers.

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Прерывания на SMP

[Alexei V. Mezin]

Nikolay A. Fetisov wrote:
> On Wednesday 02 November 2005 18:52, Andrei Bulava wrote:
> 
>> А где в ALT irqbalance(1) ? В RH он лежит в пакете
>> kernel-utils, а у нас?
> 
> А это кто и что делать должен? В Sisyphus такого нет, самое 
> близкое - это config/irqbalance.h из kernel-headers.
> 
Нагуглилсь из дебиановских сайтов:
"Daemon to balance irq's across multiple CPUs on systems with the 2.4 or 
2.6 kernel. This can lead to better performance and IO balance on SMP 
systems. Useful mostly just for 2.4 kernels, or 2.6 kernels with 
CONFIG_IRQBALANCE turned off."

Возникают закономерные вопросы:
у нас в ядрах отключен irqbalance?
включен, но не работает?
он никому не нужен, поэтому в ядре он есть, но не работает?


-- 
Alexei V. Mezin

NT-MDT Co.
Phone: 095-913-5736
Fax: 095-913-573
Email: mezin@ntmdt.ru
URL: http://www.ntmdt.com

Re: [Hardware] Прерывания на SMP

[Nikolay A. Fetisov]

On Wednesday 02 November 2005 19:30, Alexei V. Mezin wrote:
> Nikolay A. Fetisov wrote:
> > On Wednesday 02 November 2005 18:52, Andrei Bulava wrote:
> >> А где в ALT irqbalance(1) ? В RH он лежит в пакете
> >> kernel-utils, а у нас?
> >
> > А это кто и что делать должен? В Sisyphus такого нет, самое
> > близкое - это config/irqbalance.h из kernel-headers.
>
> Нагуглилсь из дебиановских сайтов:
> "Daemon to balance irq's across multiple CPUs on systems with
> the 2.4 or 2.6 kernel. This can lead to better performance
> and IO balance on SMP systems. Useful mostly just for 2.4
> kernels, or 2.6 kernels with CONFIG_IRQBALANCE turned off."
>
> Возникают закономерные вопросы:
> у нас в ядрах отключен irqbalance?
Нет, включён:
# grep CONFIG_IRQBALANCE /boot/config-2.* 
/boot/config-2.6.11-std26-smp-alt11:CONFIG_IRQBALANCE=y
/boot/config-2.6.11-std26-smp-alt8:CONFIG_IRQBALANCE=y
/boot/config-2.6.12-std26-smp-alt4:CONFIG_IRQBALANCE=y
/boot/config-2.6.12-vs26-smp-alt3:CONFIG_IRQBALANCE=y

> включен, но не работает?
Похоже на то. Или (у меня во всяком случае) ему разные 'noapic' 
мешают.

> он никому не нужен, поэтому в ядре он есть, но не работает?
[JT]  Может, на это никто внимания пока не обращал?

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Прерывания на SMP

[Alexei V. Mezin]

Nikolay A. Fetisov wrote:

>> включен, но не работает?
> Похоже на то. Или (у меня во всяком случае) ему разные 'noapic' 
> мешают.
Включен.
[root@threebears root]# grep CONFIG_IRQBALANCE 
/boot/config-2.6.12-wks26-smp-alt4
CONFIG_IRQBALANCE=y

Ядро грузится без "магических" параметров:
[root@threebears root]# dmesg | grep "command line"
Kernel command line: auto BOOT_IMAGE=2612-wks26-smp-4 ro root=2105

Но прерывания явно не сбалансированы.


>> он никому не нужен, поэтому в ядре он есть, но не работает?
> [JT]  Может, на это никто внимания пока не обращал?
Может просто это ни на что не влияет? Будем проверять :)

Re: [Hardware] Прерывания на SMP

[Nikolay A. Fetisov]

On Wednesday 02 November 2005 20:20, Alexei V. Mezin wrote:
> ....
> Ядро грузится без "магических" параметров:
> ....
> Но прерывания явно не сбалансированы.
Но второй камень у Вас всё-таки что-то обрабатывает. У меня ему 
вообще ничего не достаётся.

По этой же теме: kernel-doc-XXX/IRQ-affinity.txt и в более 
подробном виде 
http://bbcr.uwaterloo.ca/~brecht/servers/apic/SMP-affinity.txt

Итого: по разным процессорам распределяются только прерывания, 
поддерживаемые IO-APIC. При загрузке ядра с параметром 'noapic' 
все прерывания, таким образом, обрабатывает только первый 
процессор. В VIA 694X поддержка APIC имеет ряд особенностей, 
которые приводят к периодическим сбоям в обработке прерываний с 
выдачей сообщений 'disabling interrupt XX: nobody cares'. В 
лучшем случае после подобного сбоя все прерывания 
обрабатываются первым процессором, в худшем - происходит 
зависание системы, отказы плат и пр.

Так?

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Прерывания на SMP

[Alexei V. Mezin]

Nikolay A. Fetisov wrote:

> По этой же теме: kernel-doc-XXX/IRQ-affinity.txt и в более 
> подробном виде 
> http://bbcr.uwaterloo.ca/~brecht/servers/apic/SMP-affinity.txt
> 
Как-то там мутно написано. В итоге все равно непонятно, влияет ли 
распределение на скорость работы.

> Итого: по разным процессорам распределяются только прерывания, 
> поддерживаемые IO-APIC. При загрузке ядра с параметром 'noapic' 
> все прерывания, таким образом, обрабатывает только первый 
> процессор. В VIA 694X поддержка APIC имеет ряд особенностей, 
> которые приводят к периодическим сбоям в обработке прерываний с 
> выдачей сообщений 'disabling interrupt XX: nobody cares'. В 
> лучшем случае после подобного сбоя все прерывания 
> обрабатываются первым процессором, в худшем - происходит 
> зависание системы, отказы плат и пр.
Запустил irqbalance демон у себя. Прерывания стали равномерно 
распределяться по процам. IRQ11 все равно оказалось ничейным и 
отвалилось. Как всегда это ни на что не повлияло (может правда пропал 
набортный звук, но он не используется). Работает _не хуже_, чем было до 
этого. Осталось понять, как проверить, работает ли лучше.

Кстати, в dmesg проскакивает строка, что ядро включает режим 
balanced_irq. Но на самом деле ничего не происходит. Это бага в ядре? 
Или там прикручена проверка и на определенных чипсетах (например, 
via694xx) режим просто игнорируется?


-- 
Alexei V. Mezin

NT-MDT Co.
Phone: 095-913-5736
Fax: 095-913-573
Email: mezin@ntmdt.ru
URL: http://www.ntmdt.com

Re: [Hardware] Прерывания на SMP

[Nikolay A. Fetisov]

On Thursday 03 November 2005 12:43, Alexei V. Mezin wrote:
> ....  все равно непонятно,
> влияет ли распределение на скорость работы.

IMHO влиять должно на сильно нагруженных операциями ввода-вывода 
системах. Как я понимаю, распределение прерываний по 
процессорам позволяет параллельно обрабатывать два и более 
вызова IRQ. Т.е. на сильно нагруженных системах меньше 
прерываний будет стоять в очереди на обработку. 

На скорость же работы _приложений_ распределение прерываний 
влиять не должно, планировщик в любом случае должен 
распределять задачи в соответствии с загрузкой процессоров. 
Учитывая обычные требования к обработчикам прерываний 
(минимальный размер кода и данных, максимальная скорость 
работы) балансировка их по процессорам что-либо видимое должна 
давать только для систем, производительность которых 
ограничивается именно вводом-выводом.

> ...
> Кстати, в dmesg проскакивает строка, что ядро включает режим
> balanced_irq. 
И у меня тоже. "Starting balanced_irq". Причём с выключенным 
APIC оно не должно работать по-любому.

> Но на самом деле ничего не происходит. Это бага 
> в ядре? Или там прикручена проверка и на определенных 
> чипсетах (например, via694xx) режим просто игнорируется?
[JT] Ну он же "starting"... О том, что он _запустился_, 
сообщений же нет. 

-- 
С уважением,
Николай Фетисов

Re: [Hardware] Прерывания на SMP

[Maks Re]

OFF:
> А где в ALT irqbalance(1) ? В RH он лежит в пакете kernel-utils, а у нас?

а что именно делает  irqbalance?

я подгядел, на свой сервак, на котором RH стоит, там выключена данная
фича, и камней 2, только вот я не уверен что это не HT, а именно 2
камня. но картинка по cat /proc/interrupts как у  Nikolay A. Fetisov,
т.е. все на  одном камне.
ядро 2.4.21-27.0.2/ELsmp
cat /proc/cmdlime
ro root=LABAL=/
PS: вертится на этом хосте httpd, c хорошой нагрузкой...

/OFF


--
С уважением,
  Макс.

Re: [Hardware] Прерывания на SMP

[Michael Shigorin]

On Wed, Nov 02, 2005 at 05:52:10PM +0200, Andrei Bulava wrote:
> А где в ALT irqbalance(1) ? В RH он лежит в пакете
> kernel-utils, а у нас?

Как, ты ещё не свернул? ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] Прерывания на SMP

[Andrei Bulava]

Michael Shigorin wrote:
> On Wed, Nov 02, 2005 at 05:52:10PM +0200, Andrei Bulava wrote:
> 
>>А где в ALT irqbalance(1) ? В RH он лежит в пакете
>>kernel-utils, а у нас?
> 
> 
> Как, ты ещё не свернул? ;-)

Уже уточняли, что irqbalance(1) критичен только для а) ядер ветки 2.4;
б) ядер ветки 2.6 без включенного в ядре CONFIG_IRQBALANCE=y

Ну, и последнее - у меня нет SMP-систем под ALT :-\

-- 
// AB1002-UANIC

Re: [Hardware] Прерывания на SMP

[Michael Shigorin]

On Fri, Nov 04, 2005 at 10:36:33AM +0200, Andrei Bulava wrote:
> Ну, и последнее - у меня нет SMP-систем под ALT :-\

Тебе предоставить доступ к SMP-системе под ALT? :)
(в смысле на стенде, не боевой)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/