[Sysadmins] А что у нас с SMP в p6 ?

[Sysadmins] А что у нас с SMP в p6 ?

[Sergey]

Приветствую.

Словил какую-то засаду... 

Была система с 4-хядерным процессором. Всё более-менее жило. Пришло время 
проапгрейдить. Заменил материнку, в новой два 4-хядерника. Всё остальное без
изменений. 

Так вот, если раньше нагрузка распределялась по ядрам более-менее равномерно,
то сейчас, по большей части, пашет одно ядро, а остальные, такое впечатление,
что "на подхвате":

# ps ax|grep "ksoftirqd\|events"
    4 ?        R     54:02 [ksoftirqd/0]
    9 ?        S      0:00 [ksoftirqd/1]
   13 ?        S      0:04 [ksoftirqd/2]
   17 ?        S      0:02 [ksoftirqd/3]
   21 ?        S      0:00 [ksoftirqd/4]
   25 ?        S      0:00 [ksoftirqd/5]
   29 ?        S      0:00 [ksoftirqd/6]
   33 ?        S      0:00 [ksoftirqd/7]
   35 ?        R     57:02 [events/0]
   36 ?        S      0:00 [events/1]
   37 ?        S      0:05 [events/2]
   38 ?        S      0:00 [events/3]
   39 ?        S      0:01 [events/4]
   40 ?        S      0:02 [events/5]
   41 ?        S      0:01 [events/6]
   42 ?        S      0:03 [events/7]

Что-то как-то странно. Ядро 2.6.32-el-smp-alt27. Восьмиядерная система у меня
вторая, с первой всё в порядке, но там ядро 2.6.18-ovz-rhel-alt13.M51.32.
Никто про проблемы с многоядерными системами у 2.6.32 не слышал ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP в p6 ?

[Sergey]

On Thursday, February 09, 2012 11:51:14 Sergey wrote:

> Что-то как-то странно. Ядро 2.6.32-el-smp-alt27.

Параметр maxcpus=4 ни к каким изменениям не привёл, кроме того, что 
заработало только на 4-х ядрах, с 3.2.5-std-def-alt1 поведение аналогичное. 
Не хотелось бы, чтобы это оказалось особенностью железки... Материнка 
S5500BC, 2 x Intel Xeon E5607.

На Intel S3210SH с Intel Core2 Quad Q8300 всё делится нормально между
ядрами с тем же самым 2.6.32-el-smp-alt27.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP в p6 ?

[Anton Gorlov]

а случаем там noapic/noacpi какой не затесался в параметрах?

09.02.2012 15:35, Sergey пишет:
> On Thursday, February 09, 2012 11:51:14 Sergey wrote:
>
>> Что-то как-то странно. Ядро 2.6.32-el-smp-alt27.
>
> Параметр maxcpus=4 ни к каким изменениям не привёл, кроме того, что
> заработало только на 4-х ядрах, с 3.2.5-std-def-alt1 поведение аналогичное.
> Не хотелось бы, чтобы это оказалось особенностью железки... Материнка
> S5500BC, 2 x Intel Xeon E5607.
>
> На Intel S3210SH с Intel Core2 Quad Q8300 всё делится нормально между
> ядрами с тем же самым 2.6.32-el-smp-alt27.
>

Re: [Sysadmins] А что у нас с SMP в p6 ?

[Sergey]

On Thursday, February 09, 2012 16:01:35 Anton Gorlov wrote:

> а случаем там noapic/noacpi какой не затесался в параметрах?

Я только материнку поменял (с тем, что на ней). Система ровно та же
самая, не затесался. Да и без acpi/apic, наверное, по одному ядру было
бы видно. Или, вообще, однопроцессорная система получилась бы...

# cat /proc/cmdline
auto BOOT_IMAGE=2632-el-smp-27 ro root=UUID=ea6486b9-10c6-4a30-8a11-74c473b90c2a panic=30

Я вот уже думаю, не в Core i7 ли дело - Xeon E5607 c этим ядром как раз.
Может там что-то поменяли такое, что у SMP планировщика крышу снесло...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP в p6 ?

[Sergey]

On Thursday, February 09, 2012 16:47:20 Sergey wrote:
 
> Я вот уже думаю, не в Core i7 ли дело - Xeon E5607 c этим ядром как раз.
> Может там что-то поменяли такое, что у SMP планировщика крышу снесло...

В качестве идиотского предположения: планировщик посчитал, что физический
процессор один и грузит нулевой поток, а остальное - как пойдёт... Эдакий
супергипертрединг - 8 потоков на ядро. :-)

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Thursday 09 February 2012, Sergey wrote:

> > а случаем там noapic/noacpi какой не затесался в параметрах?
> 
> Я только материнку поменял (с тем, что на ней). Система ровно та 
> же самая, не затесался. Да и без acpi/apic, наверное, по одному
> ядру было бы видно. Или, вообще, однопроцессорная система получилась
> бы... 
 
Вернул на место Intel S3210SH / Intel Core2 Quad Q8300. Процессы снова
нормально раскидываются по ядрам.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Ildar Mulyukov]

On 09.02.2012 23:39:17, Sergey wrote:
> On Thursday 09 February 2012, Sergey wrote:
> 
> > > а случаем там noapic/noacpi какой не затесался в параметрах?
> >
> > Я только материнку поменял (с тем, что на ней). Система ровно та
> > же самая, не затесался. Да и без acpi/apic, наверное, по одному
> > ядру было бы видно. Или, вообще, однопроцессорная система получилась
> > бы...
> 
> Вернул на место Intel S3210SH / Intel Core2 Quad Q8300. Процессы снова
> нормально раскидываются по ядрам.

Проще проверять на ядрах того же редхата. Если на похожих версиях ядер  
разное поведение, можно начинать вешать багу.
-- 
Ildar Mulyukov,
   free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
Jabber: ildar.mulyukov@gmail.com
ICQ: 4334029
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Thursday, February 09, 2012 21:39:17 Sergey wrote:

> Вернул на место Intel S3210SH / Intel Core2 Quad Q8300. 
> Процессы снова нормально раскидываются по ядрам.

Ещё забавнее... Сборка ядра на S5500BC/E5607 распараллеливается
совершенно нормально. Получается, что тип задачи ещё влияет.
Грабля была с обработкой трафика. 

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 16:34:22
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Thursday, February 09, 2012 21:39:17 Sergey wrote:
> 
> > Вернул на место Intel S3210SH / Intel Core2 Quad Q8300.
> > Процессы снова нормально раскидываются по ядрам.
> 
> Ещё забавнее... Сборка ядра на S5500BC/E5607 распараллеливается
> совершенно нормально. Получается, что тип задачи ещё влияет.
> Грабля была с обработкой трафика.

сетевух сколько? есть ли в них отдельные очереди*

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 15:58:30 Alexei Takaseev wrote:

> > > Вернул на место Intel S3210SH / Intel Core2 Quad Q8300.
> > > Процессы снова нормально раскидываются по ядрам.
> > 
> > Ещё забавнее... Сборка ядра на S5500BC/E5607 распараллеливается
> > совершенно нормально. Получается, что тип задачи ещё влияет.
> > Грабля была с обработкой трафика.
> 
> сетевух сколько ?

Много. Две бортовых у той и у другой материнки, плюс ещё 4, одна
из которых четырёхпортовка.

> есть ли в них отдельные очереди*

Для 82572EI/82571EB пишут, что 

Intel® I/O Acceleration Technology
2Tx, 2Rx queues, message signaled interrupts, receive side scaling, header splitting

но, наверное, это не очень важно, так как 4 переставлялись, как есть, и сейчас
они же и работают. Менялись только бортовые. У S5500BC это 

00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit Network Connection
01:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection

Что сейчас нормально работает на S3210SH/Q8300:

Бортовые:
00:19.0 Ethernet controller: Intel Corporation 82566DM-2 Gigabit Network Connection (rev 02)
08:02.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)

Две PCI-e:
01:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06)
02:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06)

четырёхпортовка PCI-e http://ark.intel.com/products/50496/Intel-PRO1000-PT-Quad-Port-Server-Adapter
05:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (Copper) (rev 06)
05:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (Copper) (rev 06)
06:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (Copper) (rev 06)
06:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (Copper) (rev 06)

Старенькая PCI (точно не скажу, какая):
08:01.0 Ethernet controller: Intel Corporation 82557/8/9/0/1 Ethernet Pro 100 (rev 08)
 
-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 17:52:51
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 15:58:30 Alexei Takaseev wrote:
> 
> > > > Вернул на место Intel S3210SH / Intel Core2 Quad Q8300.
> > > > Процессы снова нормально раскидываются по ядрам.
> > > 
> > > Ещё забавнее... Сборка ядра на S5500BC/E5607 распараллеливается
> > > совершенно нормально. Получается, что тип задачи ещё влияет.
> > > Грабля была с обработкой трафика.
> > 
> > сетевух сколько ?
> 
> Много. Две бортовых у той и у другой материнки, плюс ещё 4, одна
> из которых четырёхпортовка.
> 
> > есть ли в них отдельные очереди*
> 
> Для 82572EI/82571EB пишут, что
> 
> Intel® I/O Acceleration Technology
> 2Tx, 2Rx queues, message signaled interrupts, receive side scaling,
> header splitting
> 
> но, наверное, это не очень важно, так как 4 переставлялись, как есть,
> и сейчас
> они же и работают. Менялись только бортовые. У S5500BC это
> 
> 00:19.0 Ethernet controller: Intel Corporation 82567LM-2 Gigabit
> Network Connection
> 01:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network
> Connection
> 
> Что сейчас нормально работает на S3210SH/Q8300:
> 
> Бортовые:
> 00:19.0 Ethernet controller: Intel Corporation 82566DM-2 Gigabit
> Network Connection (rev 02)
> 08:02.0 Ethernet controller: Intel Corporation 82541GI Gigabit
> Ethernet Controller (rev 05)
> 
> Две PCI-e:
> 01:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit
> Ethernet Controller (Copper) (rev 06)
> 02:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit
> Ethernet Controller (Copper) (rev 06)
> 
> четырёхпортовка PCI-e
> http://ark.intel.com/products/50496/Intel-PRO1000-PT-Quad-Port-Server-Adapter
> 05:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit
> Ethernet Controller (Copper) (rev 06)
> 05:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit
> Ethernet Controller (Copper) (rev 06)
> 06:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit
> Ethernet Controller (Copper) (rev 06)
> 06:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit
> Ethernet Controller (Copper) (rev 06)
> 
> Старенькая PCI (точно не скажу, какая):
> 08:01.0 Ethernet controller: Intel Corporation 82557/8/9/0/1 Ethernet
> Pro 100 (rev 08)

Похоже, что дело таки в материнке. И самый оптимальный вариант - растащить прерывания сетевух на отдельные ядра вручную через smp_affinity.

У себя я это таким скриптом сделал:
---
#!/bin/sh

P=`find /proc/irq -name 'eth0-rx-0' -print | sed 's@/eth0-rx-0@@'`
echo "1" > ${P}/smp_affinity

P=`find /proc/irq -name 'eth0-tx-0' -print | sed 's@/eth0-tx-0@@'`
echo "2" > ${P}/smp_affinity

P=`find /proc/irq -name 'eth1-rx-0' -print | sed 's@/eth1-rx-0@@'`
echo "4" > ${P}/smp_affinity

P=`find /proc/irq -name 'eth1-tx-0' -print | sed 's@/eth1-tx-0@@'`
echo "8" > ${P}/smp_affinity
---

irqbalance для этого лучше не использовать.

наличие очередей можно определить через cat /proc/interrupts:

 46: 2491993875 3178910304          0          0   PCI-MSI-edge      eth0-rx-0
 47:  810336516 3558468146          0          0   PCI-MSI-edge      eth0-tx-0
 48:        629          0          0       1712   PCI-MSI-edge      eth0
 49:  366255653          0 1973013332          0   PCI-MSI-edge      eth1-rx-0
 50: 1308353038          0          0 2840998644   PCI-MSI-edge      eth1-tx-0
 51:        995          0       2643          0   PCI-MSI-edge      eth1

как раз иллюстрация севшей на одно ядро сети, которую потом растолкал по полкам вручную.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 17:12:25 Alexei Takaseev wrote:

> наличие очередей можно определить через cat /proc/interrupts:

Похоже, нет очередей, хотя и пишут, что есть (это на S3210SH состояние):

# cat /proc/interrupts|grep eth
 17:     232232     229553     232107     232933   IO-APIC-fasteoi   ehci_hcd:usb1, eth8
 18:    4593969    4593299    4600537    4598977   IO-APIC-fasteoi   uhci_hcd:usb3, uhci_hcd:usb7, eth7
 30:  102821353  102815479  102693947  102676727   PCI-MSI-edge      eth0
 31:    8075129    8078573    8088871    8085811   PCI-MSI-edge      eth1
 32:   28659098   28660973   28707354   28711305   PCI-MSI-edge      eth2
 33:   18777213   18781401   18805857   18818107   PCI-MSI-edge      eth3
 34:    1194114    1195055    1195445    1196739   PCI-MSI-edge      eth4
 35:    9815854    9819117    9829359    9829357   PCI-MSI-edge      eth5
 36:   15718228   15714281   15730854   15735764   PCI-MSI-edge      eth6

Жаль, что не догадался посмотреть на S5500BC. Вроде придумал, куда
её пристроить на время разбора полётов, но не факт, что сегодня смогу.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 13:51:00 Sergey wrote:

> Похоже, нет очередей, хотя и пишут, что есть (это на S3210SH состояние):
> 
> # cat /proc/interrupts|grep eth
>  17:     232232     229553     232107     232933   IO-APIC-fasteoi   ehci_hcd:usb1, eth8
>  18:    4593969    4593299    4600537    4598977   IO-APIC-fasteoi   uhci_hcd:usb3, uhci_hcd:usb7, eth7
>  30:  102821353  102815479  102693947  102676727   PCI-MSI-edge      eth0

У системы, работающей на S3210SH, в /proc/irq/<N>/есть smp_affinity_list...
Осталось понять, от чего зависит его наличие.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 20:48:03
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 13:51:00 Sergey wrote:
> 
> > Похоже, нет очередей, хотя и пишут, что есть (это на S3210SH
> > состояние):
> > 
> > # cat /proc/interrupts|grep eth
> >  17:     232232     229553     232107     232933   IO-APIC-fasteoi
> >    ehci_hcd:usb1, eth8
> >  18:    4593969    4593299    4600537    4598977   IO-APIC-fasteoi
> >    uhci_hcd:usb3, uhci_hcd:usb7, eth7
> >  30:  102821353  102815479  102693947  102676727   PCI-MSI-edge
> >       eth0
> 
> У системы, работающей на S3210SH, в /proc/irq/<N>/есть
> smp_affinity_list...
> Осталось понять, от чего зависит его наличие.

Может туплю, но smp_affinity и smp_affinity_list суть разное представление одного и тоже - указывают на каких ядрах процессора идет обработка прерывания. smp_affinity бинарная маска, smp_affinity_list список номеров ядер.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 20:29:31 Alexei Takaseev wrote:

> > У системы, работающей на S3210SH, в /proc/irq/<N>/есть
> > smp_affinity_list...
> > Осталось понять, от чего зависит его наличие.
> 
> Может туплю, но smp_affinity и smp_affinity_list суть разное
> представление одного и тоже - указывают на каких ядрах процессора 
> идет обработка прерывания. smp_affinity бинарная маска, 
> smp_affinity_list список номеров ядер.

Я до этого только дочитал. :-) Похоже, что так. Но я не понимаю, почему одна
и та же система, с одним и тем же ядром, загруженная с одного и того же HDD, 
в одном случае, имеет smp_affinity_list (на S3210SH), в другом нет (на S5500BC).
Полтергейст.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 21:44:12
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 20:29:31 Alexei Takaseev wrote:
> 
> > > У системы, работающей на S3210SH, в /proc/irq/<N>/есть
> > > smp_affinity_list...
> > > Осталось понять, от чего зависит его наличие.
> > 
> > Может туплю, но smp_affinity и smp_affinity_list суть разное
> > представление одного и тоже - указывают на каких ядрах процессора
> > идет обработка прерывания. smp_affinity бинарная маска,
> > smp_affinity_list список номеров ядер.
> 
> Я до этого только дочитал. :-) Похоже, что так. Но я не понимаю,
> почему одна
> и та же система, с одним и тем же ядром, загруженная с одного и того
> же HDD,
> в одном случае, имеет smp_affinity_list (на S3210SH), в другом нет
> (на S5500BC).
> Полтергейст.

У меня только одно предположение - особенности чипсета, конкретно южного моста.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 20:29:31 Alexei Takaseev wrote:

> smp_affinity бинарная маска,

Только вот непонятно ещё с форматом... 

http://lkml.indiana.edu/hypermail/linux/kernel/1103.3/02814.html

Setting smp affinity to cpus 256 to 263 would be:
echo 000000ff,00000000,00000000,00000000,00000000,00000000,00000000,00000000 > smp_affinity

А вот тут по-другому написано: http://www.mjmwired.net/kernel/Documentation/IRQ-affinity.txt

Причём, оба варианта не дают ожидаемый эффект в случае с S5500BC,
первый ещё и ошибку даёт. Формат поменялся, что ли.

Работают только маски, указывающие на одно ядро. Например

echo 80 > smp_affinity   задаёт 7-ое ядро
echo 8  > smp_affinity   задаёт 3-е ядро

Тут всё правильно. Но вот 

echo 88  > smp_affinity  приводит к тому, что работает только 7-ое или 3-е, в зависимости
от того, какое из них работало. Переключений туда-сюда не происходит.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 22:01:06 Alexei Takaseev wrote:

> > Я до этого только дочитал. :-) Похоже, что так. Но я не понимаю, почему
> > одна и та же система, с одним и тем же ядром, загруженная с одного и 
> > того же HDD, в одном случае, имеет smp_affinity_list (на S3210SH), в 
> > другом нет (на S5500BC).
> 
> У меня только одно предположение - особенности чипсета, конкретно южного
> моста.

То есть, получается, что распределением того, какое ядро будет обслуживать
прерывание в данный конкретный момент времени, занимается чипсет, а 
из ядра это только настраивается через smp_affinity*... И ядром проблему 
решить, получается, нельзя.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 23:25:34
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 20:29:31 Alexei Takaseev wrote:
> 
> > smp_affinity бинарная маска,
> 
> Только вот непонятно ещё с форматом...

Что-то вообще замутное все. Всегда делал подразумевал, что в числе, отправляемом в smp_affinity важен номер бита с 1.

То есть. echo "1" > ... это мы вешаем прерывание на 0-е ядро, "2" -- на 1-е, "4" -- на 2-е и тд. И ни разу такой подход осечек не давал.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 10 Февраль 2012 г 23:36:16
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 22:01:06 Alexei Takaseev wrote:
> 
> > > Я до этого только дочитал. :-) Похоже, что так. Но я не понимаю,
> > > почему
> > > одна и та же система, с одним и тем же ядром, загруженная с
> > > одного и
> > > того же HDD, в одном случае, имеет smp_affinity_list (на
> > > S3210SH), в
> > > другом нет (на S5500BC).
> > 
> > У меня только одно предположение - особенности чипсета, конкретно
> > южного
> > моста.
> 
> То есть, получается, что распределением того, какое ядро будет
> обслуживать
> прерывание в данный конкретный момент времени, занимается чипсет, а
> из ядра это только настраивается через smp_affinity*... И ядром
> проблему
> решить, получается, нельзя.

Если я ошибаюсь, то пусть подправят люди, глубоко копающиеся в ядре, но по моему разумению, тут возможно недопонимание между ядром и чипсетом, когда ядро не знает о возможностях чипсета и скатывается к параметрам по умолчанию. посление std-def не пробовали там запустить?

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 22:37:51 Alexei Takaseev wrote:
 
> То есть. echo "1" > ... это мы вешаем прерывание на 0-е ядро, 
> "2" -- на 1-е, "4" -- на 2-е и тд. И ни разу такой подход осечек
> не давал.

Ну вот оно и сейчас так работает (с тем нюансом, что на S5500BC работает
только одно из ядер, попадающих под маску). А примеры попадаются 
какие-то страшные и неработающие.

:-)

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 11 Февраль 2012 г 0:06:37
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday, February 10, 2012 22:37:51 Alexei Takaseev wrote:
>  
> > То есть. echo "1" > ... это мы вешаем прерывание на 0-е ядро,
> > "2" -- на 1-е, "4" -- на 2-е и тд. И ни разу такой подход осечек
> > не давал.
> 
> Ну вот оно и сейчас так работает (с тем нюансом, что на S5500BC
> работает
> только одно из ядер, попадающих под маску). А примеры попадаются
> какие-то страшные и неработающие.

Лучше задавать такие маски чтобы карта только на один процессор вешалась. Эмпирически вывел, что порядок прерываний, для скоростей до 200М на порт, особо не критичен, а вот выше начинаются проблемы.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday 10 February 2012, Alexei Takaseev wrote:

> посление std-def не пробовали там запустить ?

Пробовал, то же самое.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday 10 February 2012, Alexei Takaseev wrote:

> > Ну вот оно и сейчас так работает (с тем нюансом, что на S5500BC
> > работает только одно из ядер, попадающих под маску). А примеры 
> > попадаются какие-то страшные и неработающие.
> 
> Лучше задавать такие маски чтобы карта только на один процессор вешалась. 
> Эмпирически вывел, что порядок прерываний, для скоростей до 200М на порт, 
> особо не критичен, а вот выше начинаются проблемы.  

200 пока нет нигде... То есть, получется, что бороться за работу сетевых
карт на нескольких процессорах особенного смысла нет ? Не работает, и фиг
с ними ? Хотя, на самом деле, там не только сетевые карты по нескольким 
процессорам одновременно развесить не получается.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 11 Февраль 2012 г 0:58:12
> Тема: Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?
> 
> On Friday 10 February 2012, Alexei Takaseev wrote:
> 
> > > Ну вот оно и сейчас так работает (с тем нюансом, что на S5500BC
> > > работает только одно из ядер, попадающих под маску). А примеры
> > > попадаются какие-то страшные и неработающие.
> > 
> > Лучше задавать такие маски чтобы карта только на один процессор
> > вешалась.
> > Эмпирически вывел, что порядок прерываний, для скоростей до 200М на
> > порт,
> > особо не критичен, а вот выше начинаются проблемы.
> 
> 200 пока нет нигде... То есть, получется, что бороться за работу
> сетевых
> карт на нескольких процессорах особенного смысла нет ? Не работает, и
> фиг
> с ними ? Хотя, на самом деле, там не только сетевые карты по
> нескольким
> процессорам одновременно развесить не получается.

За остальное оборудование не скажу, а вот по сетевым картам в тематических
форумах прямо рекомендуют "гуляния" пресекать, гвоздями прибивая прерывания
к ядрам. Максимум применение "многоядерности" это разнесение аппаратных
очередей одной сетевой карты по разным ядрам.

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday 10 February 2012, Sergey wrote:

> > наличие очередей можно определить через cat /proc/interrupts:
> 
> Похоже, нет очередей,

Немного не в тему, но момент интересный. Это на S5500BC, одна 
из двух бортовых сетевых карт:

2.6.32-ovz-el-alt40.M60P.2:

driver: e1000e
version: 1.6.3-NAPI
firmware-version: 1.8-4
bus-info: 0000:00:19.0

  63:      PCI-MSI-edge      eth1-Q0
  64:      PCI-MSI-edge      eth1

А это я сюда же ядро от CentOS поставил,
2.6.32-131.21.1.el6.x86_64:

driver: e1000e
version: 1.2.20-k2
firmware-version: 1.8-4

  63:         PCI-MSI-edge      eth1-rx-0
  64:         PCI-MSI-edge      eth1-tx-0
  65:         PCI-MSI-edge      eth1

Плюс одна очередь, однако... eth0, как без очередей был,
так и остался.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Michael Shigorin]

On Thu, Feb 16, 2012 at 02:17:24AM +0400, Sergey wrote:
> 2.6.32-ovz-el-alt40.M60P.2:
> version: 1.6.3-NAPI
> 
> 2.6.32-131.21.1.el6.x86_64:
> version: 1.2.20-k2
> 
> Плюс одна очередь, однако...

И минус NAPI.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Thursday, February 16, 2012 09:48:34 Michael Shigorin wrote:

> > version: 1.2.20-k2
> > 
> > Плюс одна очередь, однако...
> 
> И минус NAPI.

Это да. Но очередь-то куда дели ?! Или тут или NAPI, или очередь ?
:-)
 
-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 10, 2012 17:12:25 Alexei Takaseev wrote:
> 
>  46: 2491993875 3178910304          0          0   PCI-MSI-edge      eth0-rx-0
>  47:  810336516 3558468146          0          0   PCI-MSI-edge      eth0-tx-0
>  48:        629          0          0       1712   PCI-MSI-edge      eth0
>  49:  366255653          0 1973013332          0   PCI-MSI-edge      eth1-rx-0
>  50: 1308353038          0          0 2840998644   PCI-MSI-edge      eth1-tx-0
>  51:        995          0       2643          0   PCI-MSI-edge      eth1
> 
> как раз иллюстрация севшей на одно ядро сети, которую потом растолкал по полкам вручную.

В общем, пока с S5500BC складывается такая ситуация. Интеловцы сказали,
что у них с RHEL всё раскидывается по ядрам. Я их попросил показать, что
в smp_affinity, и оказалось, что в RHEL туда кто-то пишет. То есть, там 
конкретные привязки к ядрам образуются для ряда прерываний (но у части 
0000ff тоже). Вопрос, кто такое там делает. Или, наоборот, кто в ALT везде 
прописывает 0000ff...

Попробовал поставить Server Light на 5.1 (точнее, на Сизифе времён
перед бранчеванием). Всё повисло на одном ядре. Но вот после установки
2.6.18-ovz-rhel-alt13.M51.34 часть прерываний сами разбежались по 
другим ядрам. Сетевые карты остались на одном, правда, но хоть какие-то
изменения - ata_piix уехал. Вот что в каталогах /proc/irq/<N>, плюс значение
smp_affinity (кстати, вот он, тот старый формат):

0: smp_affinity
00000000,00000001
8: rtc  smp_affinity
00000000,00000001
9: acpi  smp_affinity
00000000,00000001
90: ata_piix  smp_affinity
00000000,000000ff
98: ata_piix  smp_affinity
00000000,000000ff
122: eth1-rx-0  smp_affinity
ffffffff,ffffffff
130: eth1-tx-0  smp_affinity
ffffffff,ffffffff
138: eth1  smp_affinity
ffffffff,ffffffff
146: ehci_hcd:usb1  smp_affinity  uhci_hcd:usb3  uhci_hcd:usb4  uhci_hcd:usb5
00000000,000000ff
201: ehci_hcd:usb2  smp_affinity  uhci_hcd:usb6  uhci_hcd:usb7  uhci_hcd:usb8
00000000,000000ff
202: eth0  smp_affinity
ffffffff,ffffffff

Получается, тут на уровне ядра значение smp_affinity разное задано.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Thursday, February 16, 2012 18:58:35 Sergey wrote:

> В общем, пока с S5500BC складывается такая ситуация. Интеловцы
> сказали, что у них с RHEL всё раскидывается по ядрам. Я их попросил
> показать, что в smp_affinity, и оказалось, что в RHEL туда кто-то
> пишет.

У них там irqbalance запущен по-умолчанию. Блин, первая материнка,
где оно мне потребовалось..

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday, February 17, 2012 16:36:02 Sergey wrote:

> У них там irqbalance запущен по-умолчанию. Блин, первая материнка,
> где оно мне потребовалось..

Кстати, irqbalance-0.55-29.el6.x86_64 из CentOS работает на этой материнке,
а irqbalance-0.56-alt1 висит процессом и ничего не делает...
Помог откат до irqbalance-0.55-alt3.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Michael Shigorin]

On Fri, Feb 17, 2012 at 05:15:58PM +0400, Sergey wrote:
> > У них там irqbalance запущен по-умолчанию. Блин, первая
> > материнка, где оно мне потребовалось..
> Кстати, irqbalance-0.55-29.el6.x86_64 из CentOS работает на
> этой материнке, а irqbalance-0.56-alt1 висит процессом и ничего
> не делает...  Помог откат до irqbalance-0.55-alt3.

Хм, повесь на всякий -- у меня будто боками не вылазило.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Friday 17 February 2012, Michael Shigorin wrote:

> > Кстати, irqbalance-0.55-29.el6.x86_64 из CentOS работает на
> > этой материнке, а irqbalance-0.56-alt1 висит процессом и ничего
> > не делает...  Помог откат до irqbalance-0.55-alt3.

> Хм, повесь на всякий -- у меня будто боками не вылазило.
 
http://bugzilla.altlinux.org/26959

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] А что у нас с SMP на Intel S5500BC / Xeon E5607 ?

[Sergey]

On Thursday 16 February 2012, Michael Shigorin wrote:

> > 2.6.32-131.21.1.el6.x86_64:
> > version: 1.2.20-k2
> > 
> > Плюс одна очередь, однако...
> 
> И минус NAPI.

http://bugzilla.altlinux.org/26960

-- 
С уважением, Сергей
a_s_y@sama.ru