[Hardware] overruns

[Hardware] overruns

[Anton Gorlov]

Что-то на 1 сервере..который работает в качестве роутера и игрового 
сервера недавно стал замечать ошибки на сетевом интерфейсе:

[root@zeon root]# ifconfig
eth0    Link encap:Ethernet  HWaddr 00:02:B3:3F:BE:82
         ...
         RX packets:9012965 errors:0 dropped:0 overruns:0 frame:0
         TX packets:6344815 errors:0 dropped:0 overruns:208 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:2260591529 (2155.8 Mb)  TX bytes:3324664021 (3170.6 Mb)
        Interrupt:17 Base address:0xd000 Memory:e6301000-e6301038

eth1    Link encap:Ethernet  HWaddr 00:02:B3:38:91:30
         inet addr:192.168.0.1  Bcast:192.168.0.255  Mask:255.255.255.0
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         RX packets:4187453 errors:0 dropped:0 overruns:34 frame:0
         TX packets:5679251 errors:0 dropped:0 overruns:1089 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:3131182150 (2986.1 Mb)  TX bytes:1304391003 (1243.9 Mb)
         Interrupt:18 Base address:0xd400 Memory:e6300000-e6300038


Сетёвки- интелы

00:0a.0 Ethernet controller: Intel Corp. 82557/8/9 [Ethernet Pro 100] 
(rev 08)
         Subsystem: Intel Corp. EtherExpress PRO/100+ Management Adapter 
with Alert On LAN*
         Flags: bus master, medium devsel, latency 32, IRQ 17
         Memory at e6301000 (32-bit, non-prefetchable) [size=4K]
         I/O ports at d000 [size=64]
         Memory at e6000000 (32-bit, non-prefetchable) [size=1M]
         Expansion ROM at <unassigned> [disabled] [size=1M]
         Capabilities: [dc] Power Management version 2

Модуль e100. Вопрос -как лечить?

-- 
   np: Dark Princess - The Skin Of The Universe [paused]

Re: [Hardware] overruns

[Konstantin A. Lepikhov]

<цитата от="Anton Gorlov">
> Что-то на 1 сервере..который работает в качестве роутера и игрового
> сервера недавно стал замечать ошибки на сетевом интерфейсе:
>
> [root@zeon root]# ifconfig
> eth0    Link encap:Ethernet  HWaddr 00:02:B3:3F:BE:82
>          ...
>          RX packets:9012965 errors:0 dropped:0 overruns:0 frame:0
>          TX packets:6344815 errors:0 dropped:0 overruns:208 carrier:0
>          collisions:0 txqueuelen:1000
>          RX bytes:2260591529 (2155.8 Mb)  TX bytes:3324664021 (3170.6 Mb)
>         Interrupt:17 Base address:0xd000 Memory:e6301000-e6301038
Чего-то с прерываниями не то. Если только с apic/noapic попробовать
загрузиться.

-- 
WBR et al.

Re: [Hardware] overruns

[Anton Gorlov]

Konstantin A. Lepikhov пишет:

> Чего-то с прерываниями не то. Если только с apic/noapic попробовать
> загрузиться.

Хм.там в общем-то был переезд с 266 пня на атлонXP. Но вроде проблем 
небыло.. иначались буквально вчера. Единственное что помню менял после 
пеерезда -эт аспи и друзей расскоментировал в модулях.

[root@zeon root]# cat /proc/interrupts
            CPU0
   0:    6848421    IO-APIC-edge  timer
   1:          4    IO-APIC-edge  keyboard
   8:          2    IO-APIC-edge  rtc
   9:          0   IO-APIC-level  acpi
  12:          8    IO-APIC-edge  PS/2 Mouse
  14:     159903    IO-APIC-edge  ide0
  17:   14522484   IO-APIC-level  eth0
  18:    4524411   IO-APIC-level  eth1
  19:          0   IO-APIC-level  CMI8738-MC6
  21:          0   IO-APIC-level  usb-uhci, usb-uhci
NMI:          0
LOC:    6848381
ERR:          0
MIS:          0



-- 
   np: Forgive-Me-Not - Опуститься В Рай

Re: [Hardware] overruns

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 2546 bytes --]

On Wed, May 31, 2006 at 04:35:42PM +0400, Anton Gorlov wrote:
> Что-то на 1 сервере..который работает в качестве роутера и игрового 
> сервера недавно стал замечать ошибки на сетевом интерфейсе:
> 
> [root@zeon root]# ifconfig
> eth0    Link encap:Ethernet  HWaddr 00:02:B3:3F:BE:82
>          ...
>          RX packets:9012965 errors:0 dropped:0 overruns:0 frame:0
>          TX packets:6344815 errors:0 dropped:0 overruns:208 carrier:0
>          collisions:0 txqueuelen:1000
>          RX bytes:2260591529 (2155.8 Mb)  TX bytes:3324664021 (3170.6 Mb)
>         Interrupt:17 Base address:0xd000 Memory:e6301000-e6301038
> 
> eth1    Link encap:Ethernet  HWaddr 00:02:B3:38:91:30
>          inet addr:192.168.0.1  Bcast:192.168.0.255  Mask:255.255.255.0
>          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
>          RX packets:4187453 errors:0 dropped:0 overruns:34 frame:0
>          TX packets:5679251 errors:0 dropped:0 overruns:1089 carrier:0
>          collisions:0 txqueuelen:1000
>          RX bytes:3131182150 (2986.1 Mb)  TX bytes:1304391003 (1243.9 Mb)
>          Interrupt:18 Base address:0xd400 Memory:e6300000-e6300038

А какие-нибудь сообщения в dmesg при этом появляются?  Ядро там какое?

> Сетёвки- интелы
> 
> 00:0a.0 Ethernet controller: Intel Corp. 82557/8/9 [Ethernet Pro 100] 
> (rev 08)
>          Subsystem: Intel Corp. EtherExpress PRO/100+ Management Adapter 
> with Alert On LAN*
>          Flags: bus master, medium devsel, latency 32, IRQ 17
>          Memory at e6301000 (32-bit, non-prefetchable) [size=4K]
>          I/O ports at d000 [size=64]
>          Memory at e6000000 (32-bit, non-prefetchable) [size=1M]
>          Expansion ROM at <unassigned> [disabled] [size=1M]
>          Capabilities: [dc] Power Management version 2
> 
> Модуль e100. Вопрос -как лечить?

Вообще tx underrun возникает, когда адаптер начинает передачу пакета до
полного завершения чтения всех его данных из памяти, а потом не успевает
вовремя прочитать данные (например, из-за занятости шины PCI другим
устройством).  Однако вроде бы драйвер e100 в ядрах 2.6.x выставляет
tx_threshold таким образом, что подобная ситуация возникнуть не может
(поскольку значение этого параметра превышает максимальный размер пакета
Ethernet при стандартном MTU).  А вот драйвер e100 в 2.4.x пытается
динамически подстраивать этот параметр - повышает при появлении ошибок и
опять снижает, когда ошибки перестают обнаруживаться, и средств для
управления этим параметром там не предусмотрено.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] overruns

[Anton Gorlov]

Sergey Vlasov пишет:

> А какие-нибудь сообщения в dmesg при этом появляются?  Ядро там какое?
были..пока там был модуль ee100 (не вспомню точно его имя).. заменил на 
e100 - сутки простоял без прболем, а потом появились опять ошибки.

uname -r
2.4.26-std-up-alt6




>> Модуль e100. Вопрос -как лечить?
> Вообще tx underrun возникает, когда адаптер начинает передачу пакета до
> полного завершения чтения всех его данных из памяти, а потом не успевает
> вовремя прочитать данные (например, из-за занятости шины PCI другим
> устройством). 
Это знаем.

>Однако вроде бы драйвер e100 в ядрах 2.6.x выставляет
> tx_threshold таким образом, что подобная ситуация возникнуть не может
> (поскольку значение этого параметра превышает максимальный размер пакета
> Ethernet при стандартном MTU).  А вот драйвер e100 в 2.4.x пытается
> динамически подстраивать этот параметр - повышает при появлении ошибок и
> опять снижает, когда ошибки перестают обнаруживаться, и средств для
> управления этим параметром там не предусмотрено.

Плохо.. собрать что-ли 2.6 ядро под мастер. Только вот много чего ещё 
тащить придётся боюсь.

-- 
   np: Forgive-Me-Not - Петля

Re: [Hardware] overruns

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 662 bytes --]

On Wed, May 31, 2006 at 06:42:18PM +0400, Anton Gorlov wrote:
> Sergey Vlasov пишет:
> 
> > А какие-нибудь сообщения в dmesg при этом появляются?  Ядро там какое?
> были..пока там был модуль ee100 (не вспомню точно его имя).. заменил на 
> e100 - сутки простоял без прболем, а потом появились опять ошибки.

Ну можно опять вернуть eepro100 - он хотя бы не пытается понижать
tx_threshold, поэтому через некоторое время ошибки должны прекратиться.

http://www.ussg.iu.edu/hypermail/linux/kernel/0401.1/0610.html
http://www.ussg.iu.edu/hypermail/linux/kernel/0401.1/0707.html

Либо пытаться смотреть, кто же так занимает шину, подстраивать latency...

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] overruns

[Anton Gorlov]

Sergey Vlasov пишет:

>>> А какие-нибудь сообщения в dmesg при этом появляются?  Ядро там какое?
>> были..пока там был модуль ee100 (не вспомню точно его имя).. заменил на 
>> e100 - сутки простоял без прболем, а потом появились опять ошибки.
> Ну можно опять вернуть eepro100 - он хотя бы не пытается понижать
> tx_threshold, поэтому через некоторое время ошибки должны прекратиться.

Хм. с e100 ошибок гораздо меньше..и бегать стало шустрее.

> Либо пытаться смотреть, кто же так занимает шину, подстраивать latency...

Догадываюсь -там 2 сетевых интерфейса -1 к првоайдеру со сокростью 
100MB/S fullduplex. Вторя сетёвка в локалку с такой же скоростью. 
Проблемы начались после устанвоки на комп сепрвера cs и отрубания в 
iptables лишних хостов,с которых трафик платный. Загрузка почти 
круглосуточно на максимум.

Re: [Hardware] overruns

[Anton Gorlov]

Ставили на сервер ещё пару винтов... единственное что сказал dmesg - это

eth0: OEM i82557/i82558 10/100 Ethernet, 00:02:B3:3F:BE:82, IRQ 17.
   Board assembly 734938-005, Physical connectors present: RJ45
   Primary interface chip i82555 PHY #1.
   General self-test: passed.
   Serial sub-system self-test: passed.
   Internal registers self-test: passed.
   ROM checksum self-test: passed (0x04f4518b).
divert: allocating divert_blk for eth0
e100: selftest OK.
e100: eth0: Intel(R) PRO/100 Network Connection
   Hardware receive checksums enabled
   cpu cycle saver enabled





-- 
   np: silence ( Winamp ушел в Партизаны ;-)

Re: [Hardware] overruns

[Serg Rychka]

On Wed, 31 May 2006, Anton Gorlov wrote:

> Что-то на 1 сервере..который работает в качестве роутера и
> игрового
> сервера недавно стал замечать ошибки на сетевом интерфейсе:
>
> [root@zeon root]# ifconfig
> eth0    Link encap:Ethernet  HWaddr 00:02:B3:3F:BE:82
>          ...
>          RX packets:9012965 errors:0 dropped:0 overruns:0
> frame:0
>          TX packets:6344815 errors:0 dropped:0 overruns:208
> carrier:0
>          collisions:0 txqueuelen:1000

а вы не замчеали динамику увеличения ошибок относительно времени?
и в чем в реальной работе выражаются данные ошибки (в смысле
заметили бы вы чтото неладное, если бы не показания ifconfig)?

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] overruns

[Anton Gorlov]

Serg Rychka пишет:

> а вы не замчеали динамику увеличения ошибок относительно времени?
Нет.. оно може ти сразу начаться..и после суток свободного полёта

> и в чем в реальной работе выражаются данные ошибки (в смысле
> заметили бы вы чтото неладное, если бы не показания ifconfig)?

Всё началсоь с того..что мне пожаловались на увеличение времени пинга 
сервера и повышения загрузки cpu в этот момент до 70%. Единственное что 
менялось недавно -это установка апача на сервер.


-- 
   np: Forgive-Me-Not - Петля [stopped]

Re: [Hardware] overruns

[Konstantin A. Lepikhov]

<цитата от="Anton Gorlov">
> Ставили на сервер ещё пару винтов... единственное что сказал dmesg - это
>
> eth0: OEM i82557/i82558 10/100 Ethernet, 00:02:B3:3F:BE:82, IRQ 17.
>    Board assembly 734938-005, Physical connectors present: RJ45
>    Primary interface chip i82555 PHY #1.
>    General self-test: passed.
>    Serial sub-system self-test: passed.
>    Internal registers self-test: passed.
>    ROM checksum self-test: passed (0x04f4518b).
> divert: allocating divert_blk for eth0
> e100: selftest OK.
> e100: eth0: Intel(R) PRO/100 Network Connection
>    Hardware receive checksums enabled
>    cpu cycle saver enabled
А вот это фигня какая-то - предыдущее сообщение от eepro100, а потом e100.
Или они там по времени разнесены?

-- 
WBR et al.

Re: [Hardware] overruns

[Anton Gorlov]

Konstantin A. Lepikhov пишет:

> А вот это фигня какая-то - предыдущее сообщение от eepro100, а потом e100.
> Или они там по времени разнесены?

Судя по всему этоя лишнего закопипейстил -кусок старого лога.
Сейчас в логах только

Jun  1 12:02:55 zeon kernel: divert: allocating divert_blk for eth0
Jun  1 12:02:55 zeon kernel: e100: selftest OK.
Jun  1 12:02:55 zeon kernel: e100: eth0: Intel(R) PRO/100 Network Connection
Jun  1 12:02:55 zeon kernel:   Hardware receive checksums enabled
Jun  1 12:02:55 zeon kernel:   cpu cycle saver enabled
Jun  1 12:02:55 zeon kernel:
Jun  1 12:02:55 zeon kernel: divert: allocating divert_blk for eth1
Jun  1 12:02:55 zeon kernel: e100: selftest OK.
Jun  1 12:02:55 zeon kernel: e100: eth1: Intel(R) PRO/100 Network Connection
Jun  1 12:02:55 zeon kernel:   Hardware receive checksums enabled
Jun  1 12:02:55 zeon kernel:   cpu cycle saver enabled

и
lsmod |grep 100
e100                   48908   2  (autoclean)

-- 
   np: Dark Princess - Living In Me [paused]

Re: [Hardware] overruns

[Serg Rychka]

On Thu, 1 Jun 2006, Anton Gorlov wrote:

> Serg Rychka пишет:
>
> > а вы не замчеали динамику увеличения ошибок относительно
> времени?
> Нет.. оно може ти сразу начаться..и после суток свободного
> полёта
>
> > и в чем в реальной работе выражаются данные ошибки (в смысле
> > заметили бы вы чтото неладное, если бы не показания
> ifconfig)?
>
> Всё началсоь с того..что мне пожаловались на увеличение
> времени пинга
> сервера и повышения загрузки cpu в этот момент до 70%.
> Единственное что
> менялось недавно -это установка апача на сервер.
>

В случае если есть много соединений с р2р сетями, может
зашкаливать количество одновременных соединений. смотрите
cat /proc/net/ip_conntrack |wc -l и если там больше 8000 то
увеличте ip_conntrack_max, так как по умолчанию там 4096 помоему.

-- 
С наилучшими пожеланиями,
                  _ _
Сергей Рычка       |    ДонНТУ, Системный/сетевой администратор
[ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] overruns

[Anton Gorlov]

Serg Rychka пишет:

> В случае если есть много соединений с р2р сетями, может
> зашкаливать количество одновременных соединений. смотрите
> cat /proc/net/ip_conntrack |wc -l и если там больше 8000 то
> увеличте ip_conntrack_max, так как по умолчанию там 4096 помоему.

[root@zeon root]# sysctl -a |grep ip_conntrack_max
net.ipv4.ip_conntrack_max = 16376
net.ipv4.netfilter.ip_conntrack_max = 16376
[root@zeon root]# cat /proc/net/ip_conntrack |wc -l
23

p2p ..как и dc+ нету..пров даже dc+ внутри своей сети запретил..сказли 
циску перегружает им это. ну ещёб..подключили почти всю пензу на 
скорости 100MB. А ресурсы не резиновые оказались.

-- 
     np: Dark Princess - Lost Sunrise