[sisyphus] Проблемы с сетью с новыми ядрами

[sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

Доброго времени суток всем!

Последнее время столкнулся с проблемой - с некоторых компьютеров в локальной 
сети не грузятся определенные веб-сайты. Виснут, отваливаются или грузятся в 
час по чайной ложке. Симптомы очень похожи на конфликт установок 
MTU/MRU(MSS), но наблюдаются только на машинах с относительно свежими ядрами, 
а именно > std-smp-2.6.18-alt8 (включая и std-def-2.6.24-alt7). Под Windows 
на тех же машинах эти же странички загружаются мгновенно. То же и на машинах 
со старыми ядрами std-smp-2.6.18-alt8 и 2.4.32 (одна такая завалялась). С 
домашнего компа под последним Сизифом (2.6.24-std-def-alt7) однако все 
летает. Понятно, что кто-то где-то напортачил с конфигурацией одной из 
многочисленных кисок за которыми сидит наша локальная сеть - это большая 
корпорация помешанная на security, с десятками (если не сотней) IT-инженеров 
из которых от силы три человека хотя бы относительно понимают, что делают. К 
сожалению, мне от этого не легче. Кто-нибудь может подсказать, что такого 
могло измениться в стеке TCP/IP на уровне после 2.6.18-alt8, что приводит к 
такому печальному результату? И как бы это обойти? Пока приходится 
даунгрейдить все машины до 2.6.18-alt8, но долго так не проживешь. Возможно, 
это следствие неработающего Path MTU Discovery (подозреваю, что ICMP на 
файрволах у нас заблокировано как класс, обычно это первое, что делают 
шибко "сертифицированные" инженеры по сетевой безопасности). Как обойти-то? 
Ведь старые ядра и Windows как-то обходят.

Это на самом деле не проблема Сизифа - я проверял на Кноппиксе, там то же 
самое. В Кноппиксе 4.0.2 (2.6.12) сеть работает, в 5.1.1 (2.6.19) уже 
тормозит, часть сайтов не грузятся. Тем не менее был бы признателен за совет. 
Гугление мало помогает, так как сетевые настройки ядра сильно поменялись и 
почти все рецепты устарели, а документация к ядру рудиментарна. Исходники 
ядра я до пенсии читать буду...

--Иван

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Denis Medvedev]

покрутите параметры /proc/sys/net/ipv4&#10;такие как &#10;tcp_mtu_probing&#10;tcp_window_scaling&#10;tcp_congestion_control&#10;и &#10;tcp_syncookies&#10;&#10;&#10;-----Original Message-----&#10;From: Ivan Adzhubey <iadzhubey@rics.bwh.harvard.edu>&#10;To: sisyphus@lists.altlinux.org&#10;Date: Wed, 23 Apr 2008 22:43:28 -0400&#10;Subject: [sisyphus] Проблемы с сетью с новыми ядрами&#10;&#10;> Доброго времени суток всем!&#10;> &#10;> Последнее время столкнулся с проблемой - с некоторых компьютеров в локальной &#10;> сети не грузятся определенные веб-сайты. Виснут, отваливаются или грузятся в &#10;> час по чайной ложке. Симптомы очень похожи на конфликт установок &#10;> MTU/MRU(MSS), но наблюдаются только на машинах с относительно свежими ядрами, &#10;> а именно > std-smp-2.6.18-alt8 (включая и std-def-2.6.24-alt7). Под Windows &#10;> на тех же машинах эти же странички загружаются мгновенно. То же и на машинах &#10;> со старыми ядрами std-smp-2.6.18-alt8 и 2.4.32 (одна такая завалялась). С &#10;> домашнего компа под последним Сизифом (2.6.24-std-def-alt7) однако все &#10;> летает. Понятно, что кто-то где-то напортачил с конфигурацией одной из &#10;> многочисленных кисок за которыми сидит наша локальная сеть - это большая &#10;> корпорация помешанная на security, с десятками (если не сотней) IT-инженеров &#10;> из которых от силы три человека хотя бы относительно понимают, что делают. К &#10;> сожалению, мне от этого не легче. Кто-нибудь может подсказать, что такого &#10;> могло измениться в стеке TCP/IP на уровне после 2.6.18-alt8, что приводит к &#10;> такому печальному результату? И как бы это обойти? Пока приходится &#10;> даунгрейдить все машины до 2.6.18-alt8, но долго так не проживешь. Возможно, &#10;> это следствие неработающего Path MTU Discovery (подозреваю, что ICMP на &#10;> файрволах у нас заблокировано как класс, обычно это первое, что делают &#10;> шибко "сертифицированные" инженеры по сетевой безопасности). Как обойти-то? &#10;> Ведь старые ядра и Windows как-то обходят.&#10;> &#10;> Это на самом деле не проблема Сизифа - я проверял на Кноппиксе, там то же &#10;> самое. В Кноппиксе 4.0.2 (2.6.12) сеть работает, в 5.1.1 (2.6.19) уже &#10;> тормозит, часть сайтов не грузятся. Тем не менее был бы признателен за совет. &#10;> Гугление мало помогает, так как сетевые настройки ядра сильно поменялись и &#10;> почти все рецепты устарели, а документация к ядру рудиментарна. Исходники &#10;> ядра я до пенсии читать буду...&#10;> &#10;> --Иван&#10;> _______________________________________________&#10;> Sisyphus mailing list&#10;> Sisyphus@lists.altlinux.org&#10;> https://lists.altlinux.org/mailman/listinfo/sisyphus

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Wednesday 23 April 2008 11:25:21 pm Denis Medvedev wrote:
> покрутите параметры /proc/sys/net/ipv4
такие как
> 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_control

>и 
tcp_syncookies




Кто-нибудь может подсказать, чем отличаются ip_no_pmtu_disc от 
tcp_mtu_probing?

--Иван

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Sergey]

On Thursday 24 April 2008, Denis Medvedev wrote:

> покрутите параметры /proc/sys/net/ipv4
такие как 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_control
и

Это из этой серии ?
http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=923

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 917 bytes --]

On Wed, Apr 23, 2008 at 10:43:28PM -0400, Ivan Adzhubey wrote:
> Последнее время столкнулся с проблемой - с некоторых компьютеров в локальной 
> сети не грузятся определенные веб-сайты. Виснут, отваливаются или грузятся в 
> час по чайной ложке. Симптомы очень похожи на конфликт установок 
> MTU/MRU(MSS), но наблюдаются только на машинах с относительно свежими ядрами, 
> а именно > std-smp-2.6.18-alt8 (включая и std-def-2.6.24-alt7).

Какая именно сборка 2.6.18-std-smp после alt8 уже не работает?  Какие
сетевые карты на проблемных машинах (lspci -nnvv)?

> Кто-нибудь может подсказать, что такого могло измениться в стеке
> TCP/IP на уровне после 2.6.18-alt8, что приводит к такому печальному
> результату?

Если различие именно между разными сборками 2.6.18-std-smp-altN - там
стек не трогался, а вот некоторые сетевые драйверы (forcedeth, r8169,
skge, tg3) сильно обновлялись в сборке alt10.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Alex]

Я уже писал о чем то подобном
http://lists.altlinux.org/pipermail/sisyphus/2008-March/213509.html
У меня это видно на ssh, другие порты закрыты в инет.
Единственное, с 2.6.18-alt10 как раз все отлично работает, траблы начинаются с 24ого
Судя по всему, баги начались при переходи с версии 1.01 на 2 драйвера b44
Может быть у вас такая же сетевушка?

Alex

On Wed, 23 Apr 2008 22:43:28 -0400
Ivan Adzhubey wrote:

> Доброго времени суток всем!
> 
> Последнее время столкнулся с проблемой - с некоторых компьютеров в локальной 
> сети не грузятся определенные веб-сайты. Виснут, отваливаются или грузятся в 
> час по чайной ложке. Симптомы очень похожи на конфликт установок 
> MTU/MRU(MSS), но наблюдаются только на машинах с относительно свежими ядрами, 
> а именно > std-smp-2.6.18-alt8 (включая и std-def-2.6.24-alt7). Под Windows 
> на тех же машинах эти же странички загружаются мгновенно. То же и на машинах 

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Thursday 24 April 2008 05:14:15 am Sergey Vlasov wrote:
> On Wed, Apr 23, 2008 at 10:43:28PM -0400, Ivan Adzhubey wrote:
> > Последнее время столкнулся с проблемой - с некоторых компьютеров в
> > локальной сети не грузятся определенные веб-сайты. Виснут, отваливаются
> > или грузятся в час по чайной ложке. Симптомы очень похожи на конфликт
> > установок MTU/MRU(MSS), но наблюдаются только на машинах с относительно
> > свежими ядрами, а именно > std-smp-2.6.18-alt8 (включая и
> > std-def-2.6.24-alt7).
>
> Какая именно сборка 2.6.18-std-smp после alt8 уже не работает?  Какие
> сетевые карты на проблемных машинах (lspci -nnvv)?

Точно определить сборку на которой это сломалось пока не могу - машин с 
ядерами между alt8 и alt12 под рукой не оказалось. Буду пробовать ставить 
разные сборки и сравнивать. Но это занятие на неделю. Сетевые на машинах 
преимущественно разнообразные Intel (встроенные на м/п), драйвера всюду 
eepro{100|1000}, но есть и пара tg3.

> > Кто-нибудь может подсказать, что такого могло измениться в стеке
> > TCP/IP на уровне после 2.6.18-alt8, что приводит к такому печальному
> > результату?
>
> Если различие именно между разными сборками 2.6.18-std-smp-altN - там
> стек не трогался, а вот некоторые сетевые драйверы (forcedeth, r8169,
> skge, tg3) сильно обновлялись в сборке alt10.

Не должно бы это зависить от драйверов, хотя конечно и не такие чудеса 
случались... Попробую сравнить с alt10 первым делом.

--Иван

The information transmitted in this electronic communication is intended only
for the person or entity to whom it is addressed and may contain confidential
and/or privileged material. Any review, retransmission, dissemination or other
use of or taking of any action in reliance upon this information by persons or
entities other than the intended recipient is prohibited. If you received this
information in error, please contact the Compliance HelpLine at 800-856-1983 and
properly dispose of this information.

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Thursday 24 April 2008 05:34:02 am Alex wrote:
> Я уже писал о чем то подобном
> http://lists.altlinux.org/pipermail/sisyphus/2008-March/213509.html
> У меня это видно на ssh, другие порты закрыты в инет.
> Единственное, с 2.6.18-alt10 как раз все отлично работает, траблы
> начинаются с 24ого Судя по всему, баги начались при переходи с версии 1.01
> на 2 драйвера b44 Может быть у вас такая же сетевушка?

Да нет, в основном Intel и пара tg3...

--Иван

The information transmitted in this electronic communication is intended only
for the person or entity to whom it is addressed and may contain confidential
and/or privileged material. Any review, retransmission, dissemination or other
use of or taking of any action in reliance upon this information by persons or
entities other than the intended recipient is prohibited. If you received this
information in error, please contact the Compliance HelpLine at 800-856-1983 and
properly dispose of this information.

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Thursday 24 April 2008 04:30:49 am Sergey wrote:
> On Thursday 24 April 2008, Denis Medvedev wrote:
> > покрутите параметры /proc/sys/net/ipv4
такие как
> > 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_control&#1
> >0;и
>
> Это из этой серии ?
> http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=923

Точно! Спасибо огромное, отключение tcp_window_scaling мгновенно вылечило 
проблему. Теперь буду думать, какую казнь изобрести для "IT специалиста" 
настраивавшего наши киски...

--Иван


The information transmitted in this electronic communication is intended only
for the person or entity to whom it is addressed and may contain confidential
and/or privileged material. Any review, retransmission, dissemination or other
use of or taking of any action in reliance upon this information by persons or
entities other than the intended recipient is prohibited. If you received this
information in error, please contact the Compliance HelpLine at 800-856-1983 and
properly dispose of this information.

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Thursday 24 April 2008 02:26:23 pm Ivan Adzhubey wrote:
> On Thursday 24 April 2008 04:30:49 am Sergey wrote:
> > On Thursday 24 April 2008, Denis Medvedev wrote:
> > > покрутите параметры /proc/sys/net/ipv4
такие как
> > > 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_control&
> > >#1 0;и
> >
> > Это из этой серии ?
> > http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=923
>
> Точно! Спасибо огромное, отключение tcp_window_scaling мгновенно вылечило
> проблему. Теперь буду думать, какую казнь изобрести для "IT специалиста"
> настраивавшего наши киски...

Что интересно, сейчас проверил - на старых ядрах tcp_window_scaling тоже 
включено по умолчанию, тем не менее никаких проблем не наблюдается. Только на 
новых ядрах это приводит к тормозам. Проверил также на Ubuntu 7.10, та же 
картина маслом - с tcp_window_scaling enabled сеть толком не работает.

--Иван

The information transmitted in this electronic communication is intended only
for the person or entity to whom it is addressed and may contain confidential
and/or privileged material. Any review, retransmission, dissemination or other
use of or taking of any action in reliance upon this information by persons or
entities other than the intended recipient is prohibited. If you received this
information in error, please contact the Compliance HelpLine at 800-856-1983 and
properly dispose of this information.

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1100 bytes --]

On Thu, Apr 24, 2008 at 02:32:10PM -0400, Ivan Adzhubey wrote:
> On Thursday 24 April 2008 02:26:23 pm Ivan Adzhubey wrote:
> > On Thursday 24 April 2008 04:30:49 am Sergey wrote:
> > > On Thursday 24 April 2008, Denis Medvedev wrote:
> > > > покрутите параметры /proc/sys/net/ipv4
такие как
> > > > 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_control&
> > > >#1 0;и
> > >
> > > Это из этой серии ?
> > > http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=923
> >
> > Точно! Спасибо огромное, отключение tcp_window_scaling мгновенно вылечило
> > проблему. Теперь буду думать, какую казнь изобрести для "IT специалиста"
> > настраивавшего наши киски...
> 
> Что интересно, сейчас проверил - на старых ядрах tcp_window_scaling тоже 
> включено по умолчанию, тем не менее никаких проблем не наблюдается. Только на 
> новых ядрах это приводит к тормозам.

Странное явление.  Вообще там может быть зависимость от
/proc/sys/net/ipv4/tcp_[rw]mem, а эти значения выставляются в
зависимости от обнаруженной ядром памяти - возможно, разница
появляется отсюда.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Проблемы с сетью с новыми ядрами

[Ivan Adzhubey]

On Thursday 24 April 2008 02:58:26 pm Sergey Vlasov wrote:
> On Thu, Apr 24, 2008 at 02:32:10PM -0400, Ivan Adzhubey wrote:
> > On Thursday 24 April 2008 02:26:23 pm Ivan Adzhubey wrote:
> > > On Thursday 24 April 2008 04:30:49 am Sergey wrote:
> > > > On Thursday 24 April 2008, Denis Medvedev wrote:
> > > > > покрутите параметры /proc/sys/net/ipv4
такие как
> > > > > 
tcp_mtu_probing
tcp_window_scaling
tcp_congestion_cont
> > > > >rol& #1 0;и
> > > >
> > > > Это из этой серии ?
> > > > http://faq.altlinux.ru/index.php?action=listq&nf=1&qid=923
> > >
> > > Точно! Спасибо огромное, отключение tcp_window_scaling мгновенно
> > > вылечило проблему. Теперь буду думать, какую казнь изобрести для "IT
> > > специалиста" настраивавшего наши киски...
> >
> > Что интересно, сейчас проверил - на старых ядрах tcp_window_scaling тоже
> > включено по умолчанию, тем не менее никаких проблем не наблюдается.
> > Только на новых ядрах это приводит к тормозам.
>
> Странное явление.  Вообще там может быть зависимость от
> /proc/sys/net/ipv4/tcp_[rw]mem, а эти значения выставляются в
> зависимости от обнаруженной ядром памяти - возможно, разница
> появляется отсюда.

На новых ядрах tcp_rmem max значение в процентном отношении несколько больше, 
независимо от памяти. А проблема никак не зависит от размера памяти, да и 
различия у наших машин небольшие - почти все с 1GB, парочка - 2GB.

--Иван


The information transmitted in this electronic communication is intended only
for the person or entity to whom it is addressed and may contain confidential
and/or privileged material. Any review, retransmission, dissemination or other
use of or taking of any action in reliance upon this information by persons or
entities other than the intended recipient is prohibited. If you received this
information in error, please contact the Compliance HelpLine at 800-856-1983 and
properly dispose of this information.