[d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey]

(в качестве теста, первый раз пробовал послать 05/01)

Приветствую.

Пока не знаю, откуда грабли, но, вдруг, кто-то что-то слышал уже ? 
Да и для статистики. В какой-то момент стало валиться с kernel panic
буквально в течение пары минут после перезагрузки (это после пары
недель нормальной работы). В логах было тихо. Из отличий от конфигурации
c 2612-std26-smp-4 было включение ip_conntrack/ip_nat h323/sip/pptp. 
Не сильно раздумывая, поубирал. Помогло. Но не на долго. Ещё через 
пару недель выпало вот так:

Jan  5 19:08:02 kernel: KERNEL: assertion (flags & MSG_PEEK) failed at net/ipv4/tcp.c (1178)
Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)
Jan  5 19:08:03 kernel: KERNEL: assertion (flags & MSG_PEEK) failed at net/ipv4/tcp.c (1178)
Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)
Jan  5 19:08:03 kernel: KERNEL: assertion (flags & MSG_PEEK) failed at net/ipv4/tcp.c (1178)
Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)
Jan  5 19:08:03 kernel: KERNEL: assertion (flags & MSG_PEEK) failed at net/ipv4/tcp.c (1178)
Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)

ещё через несколько сообщений стали появляться и битые:

Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)
Jan  5 19:08:03 kernel: KERNEL: assertion (flags & MSG_PEEK) faat netat neat net/iat at net/ipvat netat net/iatat net/iat nat net/ipat nat net/ipvatat net/iat net/ipvat net/ipv4/tcpat nat net/iat net/at net/ipvat net/iat net/ipat net/ipv4/tcp.at net/ipv4at netat net/ipv4/tat net/atnet/ipv4/tat netat net/ipv4/tcpat netat net/ipvat net/at net/ipv4/tcp.c (at net/ipvat net/ipv4/tcp.cat net/ipvat net/ipv4/at netat net/ipv4/tcat netat net/ipv4/at net/at net/ipv4/at netat net/ipv4/at neat net/ipvat net/at net/ipv4at nat net/ipv4/tat netat net/ipv4/at net/iat net/ipv4/tcp.at netat net/ipv4/tcat net/iat net/ipv4/at neat net/ipv4/at net/iat net/ipv4/at net/ipat net/ipv4/tat neat net/ipv4/tcat net/ipat net/ipv4/at netat net/ipv4at net/at net/ipvat netat net/ipv4/tcat netat net/ipv4at netat net/ipv4/at net/ipat net/ipv4/at net/ipvat net/ipv4/at netat net/ipv4/tat net/ipv4/tcp.c (1178)
Jan  5 19:08:03 kernel: KERNat net/ipv4/at net/iat net/ipv4at netat net/ipv4at netat net/ipv4/at net/iat net/ipv4/at netat net/ipv4/at netat net/ipv4/at netat net/ipv4/tcpat net/ipvat net/ipv4/at net/at net/ipv4/at netat net/ipv4/at neat net/ipv4/at neat net/ipv4/at netat net/ipv4/at net/ipat net/ipv4/at net/ipvat net/ipv4/tat net/ipvat net/ipv4/at net/iat net/ipv4/at netat net/ipv4/tat net/at net/ipv4/at net/iat net/ipv4/at net/ipvat net/ipv4/tat net/at net/ipv4/at at net/ipv4at net/ipat net/ipv4at net/at net/ipv4at neat net/ipv4at netat net/ipv4/at net/ipvat net/ipv4/at net/iat net/ipv4/at neat net/ipv4/at net/at net/ipv4at netat net/ipv4at netat net/ipv4/at netat net/ipv4/tcpat net/iat net/ipv4/at netat net/ipv4/tcat neat net/ipv4/at net/at net/ipv4/tcat netat net/ipv4/tcaat net/ipat net/at net/ipvat net/ipvat net/ipv4at net/at net/ipv4at netat net/ipv4/at netat net/ipv4at neat net/ipv4at netat net/ipv4at netat net/ipv4/at netat net/ipv4at net/ipv4/at net/ipv4/tcat net/ipvat net/ipv4/tcat net/iat net/

Это что было в логе после reset. Предыдущая загрузка была с lilo -R, так что
произошёл откат на 2612-std26-smp-4. 2618-std-smp-1 было пересобрано из src.rpm
в Compact 3.0: gcc version 3.4.4 20050526 (ALT Linux, build 3.4.4-alt1).

В новых сборках какие-нибудь патчи на тему nat и ipv4 были ? А то с диалапа 
не очень удобно искать/читать...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 3083 bytes --]

On Sun, Jan 21, 2007 at 03:23:46PM +0400, Sergey wrote:
> (в качестве теста, первый раз пробовал послать 05/01)

В это время рассылка, как выяснилось, не работала (хотя в архиве
сообщения сохранились).

> Пока не знаю, откуда грабли, но, вдруг, кто-то что-то слышал уже ? 
> Да и для статистики. В какой-то момент стало валиться с kernel panic
> буквально в течение пары минут после перезагрузки (это после пары
> недель нормальной работы). В логах было тихо. Из отличий от конфигурации
> c 2612-std26-smp-4 было включение ip_conntrack/ip_nat h323/sip/pptp. 

Есть возможность сохранить сообщения kernel panic (через serial
console, или хотя бы снимок экрана)?

Впрочем, как раз kernel panic в H.323 conntrack исправлялся в
kernel-image-std-smp/2.6.18-alt2, так что в любом случае стоит
попробовать свежую версию.

> Не сильно раздумывая, поубирал. Помогло. Но не на долго. Ещё через 
> пару недель выпало вот так:
> 
> Jan  5 19:08:02 kernel: KERNEL: assertion (flags & MSG_PEEK) failed at net/ipv4/tcp.c (1178)
> Jan  5 19:08:03 kernel: KERNEL: assertion (tp->copied_seq == tp->rcv_nxt || (flags & (MSG_PEEK | MSG_TRUNC))) failed at net/ipv4/tcp.c (1242)

Похожие случаи, для которых никто не написал, была ли решена проблема:

http://lkml.org/lkml/2006/1/23/50
http://lkml.org/lkml/2006/12/10/172

Оба случая связаны с использованием драйвера sk98lin; у вас он тоже
используется?  Если да - попробуйте заменить его на skge или sky2
(skge поддерживает старые модели, sky2 - более новые; можно посмотреть
в выводе pciscan -v от root, какой из этих модулей нужен для
имеющегося железа).

Кроме того, можно посмотреть вывод ethtool -k для сетевых устройств и
попробовать отключить, например, TSO (ethtool -K tso off).

> Это что было в логе после reset. Предыдущая загрузка была с lilo -R, так что
> произошёл откат на 2612-std26-smp-4. 2618-std-smp-1 было пересобрано из src.rpm
> в Compact 3.0: gcc version 3.4.4 20050526 (ALT Linux, build 3.4.4-alt1).
> 
> В новых сборках какие-нибудь патчи на тему nat и ipv4 были ? А то с диалапа 
> не очень удобно искать/читать...

Патчи к netfilter были:

    NETFILTER: ip_tables: revision support for compat code
    EBTABLES: Prevent wraparounds in checks for entry components' sizes.
    EBTABLES: Deal with the worst-case behaviour in loop checks.
    EBTABLES: Verify that ebt_entries have zero ->distinguisher.
    EBTABLES: Fix wraparounds in ebt_entries verification.
    NETFILTER: H.323 conntrack: fix crash with CONFIG_IP_NF_CT_ACCT
    NETFILTER: xt_CONNSECMARK: fix Kconfig dependencies
    NETFILTER: Kconfig: fix xt_physdev dependencies
    NETFILTER: Honour source routing for LVS-NAT
    NETFILTER: arp_tables: missing unregistration on module unload
    NETFILTER: Missed and reordered checks in {arp,ip,ip6}_tables
    NETFILTER: ip_tables: fix module refcount leaks in compat error paths
    NETFILTER: ip_tables: compat error way cleanup
    NETFILTER: Missing check for CAP_NET_ADMIN in iptables compat layer

ipv4 трогали вроде бы только в районе ipsec.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey]

> В это время рассылка, как выяснилось, не работала (хотя в архиве
> сообщения сохранились).

Об этом я в курсе. Сейчас, кстати, тоже не до конца работает - я вижу
сообщение и ответ только через web-интерфейс, почтой так и не пришло.
Григорию уже написал.

> Есть возможность сохранить сообщения kernel panic (через serial
> console, или хотя бы снимок экрана)?

Попробую, хотя, возможно, уже не надо, похожий на правду ответ ниже уже 
есть.

> Впрочем, как раз kernel panic в H.323 conntrack исправлялся в
> kernel-image-std-smp/2.6.18-alt2, так что в любом случае стоит
> попробовать свежую версию.

Хотел следующим письмом дописать, что уже начал пробовать: с пятницы
alt3 стоит. Только письма в рассылку не дождался.

> Похожие случаи, для которых никто не написал, была ли решена проблема:
> 
> http://lkml.org/lkml/2006/1/23/50
> http://lkml.org/lkml/2006/12/10/172
>
> Оба случая связаны с использованием драйвера sk98lin; у вас он тоже
> используется?

Очень похоже. Тем более, что замену ядра я сделал на трёх компьютерах, а
проблема только на одном всплывает и он единственный с sk98lin. Только, до
настоящего момента, я проблему со значительно большей нагрузкой связывал.

> Оба случая связаны с использованием драйвера sk98lin; у вас он тоже
> используется?  Если да - попробуйте заменить его на skge или sky2

В этом варианте один минус только: при использовании sk98lin откат 
на 2612 делается автоматом. sky2 в 2612, как я понимаю, отсутствует ?
Подумалось: а если sk98lin в sky2 для 2612 переименовать, обман пройдёт ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey]

On Sunday 21 January 2007 17:54, Sergey wrote:

> Об этом я в курсе. Сейчас, кстати, тоже не до конца работает - я вижу
> сообщение и ответ только через web-интерфейс, почтой так и не пришло.

А это пришло. Хотя я переподписался предварительно c час назад. 

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1189 bytes --]

On Sun, Jan 21, 2007 at 05:54:22PM +0400, Sergey wrote:
> > http://lkml.org/lkml/2006/1/23/50
> > http://lkml.org/lkml/2006/12/10/172
> >
> > Оба случая связаны с использованием драйвера sk98lin; у вас он тоже
> > используется?
> 
> Очень похоже. Тем более, что замену ядра я сделал на трёх компьютерах, а
> проблема только на одном всплывает и он единственный с sk98lin. Только, до
> настоящего момента, я проблему со значительно большей нагрузкой связывал.

Похоже, что sk98lin всё-таки не полностю совместим со свежими
ядрами...

> > Оба случая связаны с использованием драйвера sk98lin; у вас он тоже
> > используется?  Если да - попробуйте заменить его на skge или sky2
> 
> В этом варианте один минус только: при использовании sk98lin откат 
> на 2612 делается автоматом. sky2 в 2612, как я понимаю, отсутствует ?
> Подумалось: а если sk98lin в sky2 для 2612 переименовать, обман пройдёт ?

Просто переименовать файл модуля вряд ли получится - имя модуля
находится внутри файла, и не совсем понятно, что произойдёт в случае
несоответствия этого имени тому, что ожидалось в modprobe.  Но можно
написать в modules.conf что-то вроде:

probe eth0 sky2 sk98lin

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey]

On Sunday 21 January 2007 19:27, Sergey Vlasov wrote:

> Но можно написать в modules.conf что-то вроде:
> 
> probe eth0 sky2 sk98lin

Да, что-то я не подумал, отвык от modules.conf... Если alt3 зависнет,
то попробую.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [d-kernel] 2618-std-smp-1 и проблемы , то ли с nat, то ли с ipv4 вообще ( в Compact 3.0 правда )

[Sergey]

On Sunday 21 January 2007, Sergey wrote:

> > Но можно написать в modules.conf что-то вроде:
> > 
> > probe eth0 sky2 sk98lin
> 
> Да, что-то я не подумал, отвык от modules.conf... Если alt3 зависнет,
> то попробую.
 
Не прошло и года - завис с теми же симптомами. Попробую alt8 собрать и,
видимо, на sky2 перелезть...

-- 
С уважением, Сергей
a_s_y@sama.ru