[sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Ivan Adzhubey]

Доброго дня всем!

Мучаюсь со все тем же новым компьютером на м/п Intel DX38BT. При наличии 
сколько-нибудь заметного сетевого траффика он периодически самопроизвольно 
перегружается, больше пары часов аптайма не получается. При этом нигде не 
остается никаких следов причины ребута. Причиной собственно перезагрузок 
является как я подозреваю встроенный аппаратный watchdog, который не 
отключается полностью, несмотря на выставленные аж в двух местах в БИОСе 
опции disable. А сбоит похоже драйвер встроенной сетевой карты. Гугление дает 
наводку на то, что интелевские драйверы имеют оптимистичную привычку включать 
поддержку Message Signaled Interrupts (MSI), тогда как многие встроенные NIC, 
даже и вполне свежие, на самом деле этот режим не держат (по причине 
отсутствия в них поддержки MSI-X расширений, без которых вероятность race 
condition в ядре приближается к единице). Проблема в том, что отключить MSI в 
e1000/e1000e нельзя никак, кроме как пересборкой драйвера. Даже выставление 
noapic в параметрах загрузки ядра не помогает - все интеррапты переключаются 
в XT режим, кроме... eth0, который по-прежнему MSI. И что делать?? Говорят, 
что в 2.6.27 на эту тему есть какой-то патчик и некоторым он помогает, а у 
нас на дворе только-только 2.6.25...

Коллеги, никогда не покупайте материнских плат от Intel. Это что-то 
чудовищное.

# uname -a
Linux ika 2.6.25-std-def-alt9 #1 SMP Wed Sep 10 13:50:51 MSD 2008 x86_64 
GNU/Linux

# lsmod|fgrep e100
e1000e                115236  0

# lspci -v
00:19.0 Ethernet controller: Intel Corporation 82566DC-2 Gigabit Network 
Connection (rev 02)
        Subsystem: Intel Corporation Device 0001
        Flags: bus master, fast devsel, latency 0, IRQ 2301
        Memory at e0200000 (32-bit, non-prefetchable) [size=128K]
        Memory at e0224000 (32-bit, non-prefetchable) [size=4K]
        I/O ports at 20e0 [size=32]
        Capabilities: [c8] Power Management version 2
        Capabilities: [d0] Message Signalled Interrupts: Mask- 64bit+ 
Queue=0/0 Enable+
        Capabilities: [e0] Vendor Specific Information <?>
        Kernel driver in use: e1000e
        Kernel modules: e1000, e1000e

# cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:         37          1          0          0   IO-APIC-edge      timer
  1:          1          0          1          0   IO-APIC-edge      i8042
  3:          1          0          0          1   IO-APIC-edge
  8:          0          0          1          0   IO-APIC-edge      rtc
  9:          0          0          0          0   IO-APIC-fasteoi   acpi
 12:          0          2          0          2   IO-APIC-edge      i8042
 16:      13740      13701      13814      13856   IO-APIC-fasteoi   
fglrx[0]@PCI:1:0:0
 17:          7          5          5          6   IO-APIC-fasteoi   
uhci_hcd:usb3, ehci_hcd:usb7, HDA Intel
 18:        999       1034       1018       1032   IO-APIC-fasteoi   
uhci_hcd:usb1, uhci_hcd:usb6
 19:          0          1          2          0   IO-APIC-fasteoi   
uhci_hcd:usb5, ohci1394
 21:       3040       3012       3050       3044   IO-APIC-fasteoi   ata_piix, 
ata_piix, uhci_hcd:usb2
 22:         38         38         38         38   IO-APIC-fasteoi   HDA Intel
 23:       1103       1135       1126       1125   IO-APIC-fasteoi   
uhci_hcd:usb4, ehci_hcd:usb8
2301:     195398     195400     195275     195226   PCI-MSI-edge      eth0
NMI:          0          0          0          0   Non-maskable interrupts
LOC:     118133      98168      91687      85636   Local timer interrupts
RES:       1619        940        877       2208   Rescheduling interrupts
CAL:      22568      11422      25209      16560   function call interrupts
TLB:       4848       4928       6267       6532   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
SPU:          0          0          0          0   Spurious interrupts
ERR:          0


--Иван

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Konstantin A. Lepikhov]

Hi Ivan!

Thursday 11, at 02:53:33 AM you wrote:

> Доброго дня всем!
> 
> Мучаюсь со все тем же новым компьютером на м/п Intel DX38BT. При наличии 
> сколько-нибудь заметного сетевого траффика он периодически самопроизвольно 
> перегружается, больше пары часов аптайма не получается. При этом нигде не 
> остается никаких следов причины ребута. Причиной собственно перезагрузок 
> является как я подозреваю встроенный аппаратный watchdog, который не 
> отключается полностью, несмотря на выставленные аж в двух местах в БИОСе 
> опции disable. А сбоит похоже драйвер встроенной сетевой карты. Гугление дает 
> наводку на то, что интелевские драйверы имеют оптимистичную привычку включать 
> поддержку Message Signaled Interrupts (MSI), тогда как многие встроенные NIC, 
> даже и вполне свежие, на самом деле этот режим не держат (по причине 
> отсутствия в них поддержки MSI-X расширений, без которых вероятность race 
> condition в ядре приближается к единице). Проблема в том, что отключить MSI в 
> e1000/e1000e нельзя никак, кроме как пересборкой драйвера. Даже выставление 
> noapic в параметрах загрузки ядра не помогает - все интеррапты переключаются 
> в XT режим, кроме... eth0, который по-прежнему MSI. И что делать?? Говорят, 
> что в 2.6.27 на эту тему есть какой-то патчик и некоторым он помогает, а у 
> нас на дворе только-только 2.6.25...
> 
> Коллеги, никогда не покупайте материнских плат от Intel. Это что-то 
> чудовищное.
> 
что, даже pci=nomsi не помогает?

-- 
WBR et al.

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Ivan Adzhubey]

On Thursday 11 September 2008 03:05:56 am Konstantin A. Lepikhov wrote:
> Hi Ivan!
>
> Thursday 11, at 02:53:33 AM you wrote:
> > режим, кроме... eth0, который по-прежнему MSI. И что делать?? Говорят,
> > что в 2.6.27 на эту тему есть какой-то патчик и некоторым он помогает, а
> > у нас на дворе только-только 2.6.25...
> >
> > Коллеги, никогда не покупайте материнских плат от Intel. Это что-то
> > чудовищное.
>
> что, даже pci=nomsi не помогает?

Кажется этого-то я не пробовал... как ни удивительно. Сейчас проверю, спасибо 
за наводку!

--Иван

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Michael A. Kangin]

В сообщении от Thursday 11 September 2008 10:53:33 Ivan Adzhubey написал(а):

> Коллеги, никогда не покупайте материнских плат от Intel. Это что-то
> чудовищное.

У меня с этой платой полёт нормальный, кроме просыпания из памяти. Наивный 
вопрос - БИОС свежий? Там интели очень много правили всякого.

> # uname -a
> Linux ika 2.6.25-std-def-alt9 #1 SMP Wed Sep 10 13:50:51 MSD 2008 x86_64
> GNU/Linux

# uname -a
Linux mak-home 2.6.26-wks-smp-alt3 #1 SMP PREEMPT Wed Aug 20 01:41:58 MSD 2008 
i686 GNU/Linux


> # lsmod|fgrep e100
> e1000e                115236  0

#  lsmod|fgrep e100
e1000e                 86436  0

> # lspci -v
> 00:19.0 Ethernet controller: Intel Corporation 82566DC-2 Gigabit Network
> Connection (rev 02)
>         Subsystem: Intel Corporation Device 0001
>         Flags: bus master, fast devsel, latency 0, IRQ 2301
>         Memory at e0200000 (32-bit, non-prefetchable) [size=128K]
>         Memory at e0224000 (32-bit, non-prefetchable) [size=4K]
>         I/O ports at 20e0 [size=32]
>         Capabilities: [c8] Power Management version 2
>         Capabilities: [d0] Message Signalled Interrupts: Mask- 64bit+
> Queue=0/0 Enable+
>         Capabilities: [e0] Vendor Specific Information <?>
>         Kernel driver in use: e1000e
>         Kernel modules: e1000, e1000e

# lspci -v
00:19.0 Ethernet controller: Intel Corporation 82566DC-2 Gigabit Network 
Connection (rev 02)
        Subsystem: Intel Corporation Device 0001
        Flags: bus master, fast devsel, latency 0, IRQ 220
        Memory at 93100000 (32-bit, non-prefetchable) [size=128K]
        Memory at 93124000 (32-bit, non-prefetchable) [size=4K]
        I/O ports at 2400 [size=32]
        Capabilities: [c8] Power Management version 2
        Capabilities: [d0] Message Signalled Interrupts: Mask- 64bit+ 
Queue=0/0 Enable+
        Capabilities: [e0] Vendor Specific Information <?>
        Kernel driver in use: e1000e
        Kernel modules: e1000e


>
> # cat /proc/interrupts
>            CPU0       CPU1       CPU2       CPU3
>   0:         37          1          0          0   IO-APIC-edge      timer
>   1:          1          0          1          0   IO-APIC-edge      i8042
>   3:          1          0          0          1   IO-APIC-edge
>   8:          0          0          1          0   IO-APIC-edge      rtc
>   9:          0          0          0          0   IO-APIC-fasteoi   acpi
>  12:          0          2          0          2   IO-APIC-edge      i8042
>  16:      13740      13701      13814      13856   IO-APIC-fasteoi
> fglrx[0]@PCI:1:0:0
>  17:          7          5          5          6   IO-APIC-fasteoi
> uhci_hcd:usb3, ehci_hcd:usb7, HDA Intel
>  18:        999       1034       1018       1032   IO-APIC-fasteoi
> uhci_hcd:usb1, uhci_hcd:usb6
>  19:          0          1          2          0   IO-APIC-fasteoi
> uhci_hcd:usb5, ohci1394
>  21:       3040       3012       3050       3044   IO-APIC-fasteoi  
> ata_piix, ata_piix, uhci_hcd:usb2
>  22:         38         38         38         38   IO-APIC-fasteoi   HDA
> Intel 23:       1103       1135       1126       1125   IO-APIC-fasteoi
> uhci_hcd:usb4, ehci_hcd:usb8
> 2301:     195398     195400     195275     195226   PCI-MSI-edge      eth0
> NMI:          0          0          0          0   Non-maskable interrupts
> LOC:     118133      98168      91687      85636   Local timer interrupts
> RES:       1619        940        877       2208   Rescheduling interrupts
> CAL:      22568      11422      25209      16560   function call interrupts
> TLB:       4848       4928       6267       6532   TLB shootdowns
> TRM:          0          0          0          0   Thermal event interrupts
> THR:          0          0          0          0   Threshold APIC
> interrupts SPU:          0          0          0          0   Spurious
> interrupts ERR:          0


# cat /proc/interrupts
           CPU0       CPU1
  0:  672549988    3705469   IO-APIC-edge      timer
  1:         43          1   IO-APIC-edge      i8042
  3:          7          1   IO-APIC-edge
  9:          0          0   IO-APIC-fasteoi   acpi
 12:         65          2   IO-APIC-edge      i8042
 16:   59529163     321578   IO-APIC-fasteoi   nvidia
 17:         22         17   IO-APIC-fasteoi   uhci_hcd:usb3, ehci_hcd:usb6
 18:    2042865      40272   IO-APIC-fasteoi   uhci_hcd:usb1, uhci_hcd:usb7
 19:      14939         77   IO-APIC-fasteoi   uhci_hcd:usb5, firewire_ohci
 21:    2985434         24   IO-APIC-fasteoi   uhci_hcd:usb2
 22:   27936003      79394   IO-APIC-fasteoi   HDA Intel
 23:    3310800          0   IO-APIC-fasteoi   uhci_hcd:usb4, ehci_hcd:usb8
220:   31490076   56519135   PCI-MSI-edge      eth0
221:   34997566    4404474   PCI-MSI-edge      ahci
NMI:          0          0   Non-maskable interrupts
LOC:  107272619  389979115   Local timer interrupts
RES:   96333897   94590070   Rescheduling interrupts
CAL:     358028     864609   function call interrupts
TLB:     247006     442189   TLB shootdowns
TRM:          0          0   Thermal event interrupts
SPU:          0          0   Spurious interrupts
ERR:          0
MIS:          0



Из забавного на этой плате еще то, что если ни один раздел диска не помечен 
как активный, его MBRу управление передаваться не будет. Ну и загрузки тоже 
не будет.



-- 
wbr, Michael A. Kangin

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Ivan Adzhubey]

Добрый день!

On Thursday 11 September 2008 03:09:56 am Michael A. Kangin wrote:
> В сообщении от Thursday 11 September 2008 10:53:33 Ivan Adzhubey написал(а):
> > Коллеги, никогда не покупайте материнских плат от Intel. Это что-то
> > чудовищное.
>
> У меня с этой платой полёт нормальный, кроме просыпания из памяти. Наивный
> вопрос - БИОС свежий? Там интели очень много правили всякого.

Ну это я на автомате обновил: v.1814 от 8 августа.

> > # uname -a
> > Linux ika 2.6.25-std-def-alt9 #1 SMP Wed Sep 10 13:50:51 MSD 2008 x86_64
> > GNU/Linux
>
> # uname -a
> Linux mak-home 2.6.26-wks-smp-alt3 #1 SMP PREEMPT Wed Aug 20 01:41:58 MSD
> 2008 i686 GNU/Linux

А не напомните, где wks берут? Еще проблема - стоит свежий Radeon, который 
ничем кроме fglrx на данный момент не заводится. Так что нужен еще и 
соответствующий ядерный модуль fgrlx. Попробовать и без иксов можно конечно, 
но вообще я на это машинке еще и работаю... точнее, собирался работать ;-(.

> Из забавного на этой плате еще то, что если ни один раздел диска не помечен
> как активный, его MBRу управление передаваться не будет. Ну и загрузки тоже
> не будет.

Это не самое забавное, забавно что она продается якобы как плата для 
оверклокеров (aka BoneTrail) но из-за неотключаемого watchdog'а никаким 
оверклокингом там и не пахнет. Мне эту машину продали с большой скидкой и 
теперь я кажется понимаю почему...

--Иван

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Алексей Шенцев]

On Thursday 11 September 2008 11:19:51 Ivan Adzhubey wrote:
> А не напомните, где wks берут? Еще проблема - стоит свежий Radeon, который
> ничем кроме fglrx на данный момент не заводится. Так что нужен еще и
> соответствующий ядерный модуль fgrlx. 
http://www.unsafe.ru/lakostis/RPMS/ALTLinux/
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Sergey]

On Thursday 11 September 2008, Ivan Adzhubey wrote:

> Это не самое забавное, забавно что она продается якобы как плата для 
> оверклокеров

Самое забавное - это я впервые слышу, что Intel что-то для оверклокеров
сделал... И таки да, на
http://www.intel.com/products/desktop/motherboards/DX38BT/DX38BT-overview.htm
написано "With support for 1333 MHz front side bus, fast DDR3 memory and
overclocking". Абалдеть... Нет, материнки для оверклокеров у нас не 
эксплуатируются.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Ivan Adzhubey]

On Thursday 11 September 2008 03:40:29 am Sergey wrote:
> On Thursday 11 September 2008, Ivan Adzhubey wrote:
> > Это не самое забавное, забавно что она продается якобы как плата для
> > оверклокеров
>
> Самое забавное - это я впервые слышу, что Intel что-то для оверклокеров
> сделал... И таки да, на
> http://www.intel.com/products/desktop/motherboards/DX38BT/DX38BT-overview.h
>tm написано "With support for 1333 MHz front side bus, fast DDR3 memory and
> overclocking". Абалдеть... Нет, материнки для оверклокеров у нас не
> эксплуатируются.

Ну как же, в начале года они шуму наделали моделью SkullTrail (D5400XS), 
продавалась натурально в коробке с черепами. Правда как раз эта плата была 
вполне приличная, но дорогая. А BoneTrail - это народный вариант. Народ 
колется, но ест...

--Иван

P.S. на этом оффтопик я закрываю ;)

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Алексей Шенцев]

On Thursday 11 September 2008 11:09:56 Michael A. Kangin wrote:
> Из забавного на этой плате еще то, что если ни один раздел диска не помечен
> как активный, его MBRу управление передаваться не будет. Ну и загрузки тоже
> не будет.
Этому приколу от интел уже адцать лет ....
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Sergey]

On Thursday 11 September 2008, Ivan Adzhubey wrote:

> Коллеги, никогда не покупайте материнских плат от Intel. Это что-то 
> чудовищное.
 
Что-то как-то не соответствует... Несколько десятков шлюзов, оборудование
исключительно Intel, e100/e1000/e1000e используются направо/налево. Есть
конфигурации до 8 Ethernet. Ничего похожего не наблюдаю. Ядро везде 2.6.18
c OpenVZ. Да и раньше никаких похожих проблем не было. 10 лет уже только
Intel.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Ivan Adzhubey]

On Thursday 11 September 2008 03:30:44 am Sergey wrote:
> On Thursday 11 September 2008, Ivan Adzhubey wrote:
> > Коллеги, никогда не покупайте материнских плат от Intel. Это что-то
> > чудовищное.
>
> Что-то как-то не соответствует... Несколько десятков шлюзов, оборудование
> исключительно Intel, e100/e1000/e1000e используются направо/налево. Есть
> конфигурации до 8 Ethernet. Ничего похожего не наблюдаю. Ядро везде 2.6.18
> c OpenVZ. Да и раньше никаких похожих проблем не было. 10 лет уже только
> Intel.

Когда покупалось? Я тоже еще лет пять назад для серверов все от Intel покупал, 
но тогда они десктопных материнок не выпускали. А сейчас говорят и серверные, 
на 5000-ом чипсете, глючат страшно. А уж так называемые продукты "для 
энтузиастов"...

Впрочем, может мне просто неповезло, так же как и тем беднягам, рыдания 
которых я нагуглил за последние пару дней.

Прошу прощения за оффтопик, с этим в hardware нужно идти.

--Иван

Re: [sisyphus] Intel PRO/1000 & Message Signaled Interrupts

[Sergey]

On Thursday 11 September 2008, Ivan Adzhubey wrote:

> Когда покупалось?

Постоянно покупается. Самое последнее, там, где e1000e, это S3210SHLC.
Где попроще требуется, берутся какие-то десктопные, из того, что на
складе лежит (старого там не лежит - фирма ещё и продающая). 

> Прошу прощения за оффтопик, с этим в hardware нужно идти.

Это возможно. Подписаться что ли... :-)

-- 
С уважением, Сергей
a_s_y@sama.ru