[Sysadmins] veth packet loss

[Sysadmins] veth packet loss

[Michael A. Kangin]

Добрый день.

Случилась со мной намедни преудивительная история - начала временами
пропадать связь с филиалом - куча потерь пакетов. Причем, связь с самим
рутером в этом филиале через интернет не пропадает, и в логах OpenVPN
всё чисто.
После стандартных шаманств по уменьшениям размеров пакетов и пингов в
различных комбинациях выяснилось, что потеря пакетов происходит между
VZ-контейнером, где живёт OpenVPN, и хостнодой. Сеть там типа veth.
Потери пакетов на пингах mtr'ом составляют где-то 15%.

В логах на хостноде всё чисто, в dmesg всё хорошо. При потерях пакетов
загрузки системы мизерная. Всякие там user_beancounters без превышения
лимитов. Пакеты теряются так: вроде всё хорошо-хорошо, потом бац! -
пропадает десяток пингов один за другим, потом опять всё хорошо.

Наверное, злобные pps какие-то, подумал я, включил помониторить.
Нагрузка в среднем 300-400 pps, никак при потерях не меняется. Причем
доведение видеонаблюдением до 10-11 kpps в спокойный период никаких
проблем не создаёт.

Включив ради очередного тесту arping на проблемный адрес заметил, что
все потери тут же исчезли. А остановив его, тут же получил новую порцию
их. Ага, сказал я. Помониторил запись в arp-кеше для этого адреса, и
точно - в период потерь вместо адреса MAC появляется <incomplete>, а
потом MAC снова появляется и цикл потерь прекращается.
Прописывание статического MACа проблему на_сейчас решило.

Вот ведь!!! налицо всёже глюк. Почему пропадает MAC-адрес? он пропадает
явно быстрей, чем стандартное время жизни в 60 секунд. И порой не
стремится быстро отрезолвится назад, период пропажи пакетов может
длиться секунд 15.

Проблема такая набигает эпидемией, я вижу уже второй такой случай за
последний месяц. (до этого 6 месяцев полёт нормальный).

Ядро: 2.6.32-ovz-el-alt40.M60P.2

Ну и собственно вопрос - как правильно инициализировать статические
arp-записи при старте системы? про rc.local догадываюсь, конечно, но
может как-то etcnet'ом?



-- 
wbr, Michael A. Kangin

Re: [Sysadmins] veth packet loss

[Viacheslav Dubrovskyi]

14.04.2013 19:48, Michael A. Kangin пишет:
> Добрый день.
>
>
> Включив ради очередного тесту arping на проблемный адрес заметил, что
> все потери тут же исчезли. А остановив его, тут же получил новую порцию
> их. Ага, сказал я. Помониторил запись в arp-кеше для этого адреса, и
> точно - в период потерь вместо адреса MAC появляется <incomplete>, а
> потом MAC снова появляется и цикл потерь прекращается.
> Прописывание статического MACа проблему на_сейчас решило.
>
> Вот ведь!!! налицо всёже глюк. Почему пропадает MAC-адрес? он пропадает
> явно быстрей, чем стандартное время жизни в 60 секунд. И порой не
> стремится быстро отрезолвится назад, период пропажи пакетов может
> длиться секунд 15.
>
> Проблема такая набигает эпидемией, я вижу уже второй такой случай за
> последний месяц. (до этого 6 месяцев полёт нормальный).
>
> Ядро: 2.6.32-ovz-el-alt40.M60P.2
# sysctl -a | grep proxy_arp
Что показывает?

>
> Ну и собственно вопрос - как правильно инициализировать статические
> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
> может как-то etcnet'ом?
А как у вас veth настроен?
В бридж добавлен на HN или роутинг?


-- 
WBR,
Viacheslav Dubrovskyi

Re: [Sysadmins] veth packet loss

[Michael A. Kangin]

14.04.2013 21:42, Viacheslav Dubrovskyi пишет:

>> Ядро: 2.6.32-ovz-el-alt40.M60P.2
> # sysctl -a | grep proxy_arp
> Что показывает?

По нулям всё.


>> Ну и собственно вопрос - как правильно инициализировать статические
>> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
>> может как-то etcnet'ом?
> А как у вас veth настроен?
> В бридж добавлен на HN или роутинг?

В этой VE два интерфейса - один для интернета, засунут в соответствующий
бридж, а второй для локалки представлен просто в HN своим интерфейсом,
т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.

Я думал в принципе насчёт proxy_arp уже как-то, но оно без него
замечательно, в принципе, работает. За исключением этих коротких эксцессов.

-- 
wbr, Michael A. Kangin

Re: [Sysadmins] veth packet loss

[Viacheslav Dubrovskyi]

14.04.2013 20:54, Michael A. Kangin пишет:
>>> Ну и собственно вопрос - как правильно инициализировать статические
>>> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
>>> может как-то etcnet'ом?
>> А как у вас veth настроен?
>> В бридж добавлен на HN или роутинг?
> В этой VE два интерфейса - один для интернета, засунут в соответствующий
> бридж, а второй для локалки представлен просто в HN своим интерфейсом,
> т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.
Так проблемы с каким?  А то не ясно из вашего описания.

> Я думал в принципе насчёт proxy_arp уже как-то, но оно без него
> замечательно, в принципе, работает. За исключением этих коротких эксцессов.
Ну попробуйте включить.

Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
сети еще один такой же IP есть. Проверьте.

-- 
WBR,
Viacheslav Dubrovskyi

Re: [Sysadmins] veth packet loss

[Michael A. Kangin]

14.04.2013 22:24, Viacheslav Dubrovskyi пишет:

>>> А как у вас veth настроен?
>>> В бридж добавлен на HN или роутинг?
>> В этой VE два интерфейса - один для интернета, засунут в соответствующий
>> бридж, а второй для локалки представлен просто в HN своим интерфейсом,
>> т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.
> Так проблемы с каким?  А то не ясно из вашего описания.

Проблемы с маршрутизируемым интерфейсом.

> Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
> сети еще один такой же IP есть. Проверьте.

Это вряд ли.
Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
один и тот же всегда, иногда просто теряется.



-- 
wbr, Michael A. Kangin

Re: [Sysadmins] veth packet loss

[Viacheslav Dubrovskyi]

14.04.2013 21:43, Michael A. Kangin пишет:
> Проблемы с маршрутизируемым интерфейсом.
>> Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
>> сети еще один такой же IP есть. Проверьте.
> Это вряд ли.
> Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
> один и тот же всегда, иногда просто теряется.
Ну тогда, на HN проблема, в dmesg что-то должно быть. Например фаервол
или переполнение conntrack и т.д.
Может на свиче ограничение к-ва маков на порту. Или свич сам глючит.

-- 
WBR,
Viacheslav Dubrovskyi

Re: [Sysadmins] veth packet loss

[Michael A. Kangin]

On 15.04.2013 00:24, Viacheslav Dubrovskyi wrote:

>>  Проблемы с маршрутизируемым интерфейсом.
>>>  Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
>>>  сети еще один такой же IP есть. Проверьте.
>>  Это вряд ли.
>>  Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
>>  один и тот же всегда, иногда просто теряется.
> Ну тогда, на HN проблема, в dmesg что-то должно быть.


А вот нету. :)

> Например фаервол
> или переполнение conntrack и т.д.


пробовал разрешать всё на этот интерфейс первым же правилом.
но опять же, причина стопудов пропажа MACа из кеша. Казалось бы, при чем 
тут conntrack...

> Может на свиче ограничение к-ва маков на порту. Или свич сам глючит.

Свич по идее циска хорошая гигабитная, за ним не замечено. Да и при чём 
тут свич, если пропажа пакетов идёт внутри самого компьютера. За 
пределами его всё ок.

В общем, попробую на досуге проверить версию с proxy_arp, но странно это 
всё, странно.

Re: [Sysadmins] veth packet loss [OFF]

[Sergei Epiphanov]

On 15 апреля 2013 01:15 Michael A. Kangin wrote:
> Свич по идее циска хорошая гигабитная, за ним не замечено.

Мы тоже как-то не грешили на циску (тоже хорошую и гигабитную). А вот поди ж 
ты, захлёбывалась там, где Allied Telesis переваривает всё на ура.

-- 
С уважением, Епифанов Сергей