* [Sysadmins] veth packet loss
@ 2013-04-14 16:48 Michael A. Kangin
2013-04-14 17:42 ` Viacheslav Dubrovskyi
0 siblings, 1 reply; 8+ messages in thread
From: Michael A. Kangin @ 2013-04-14 16:48 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Добрый день.
Случилась со мной намедни преудивительная история - начала временами
пропадать связь с филиалом - куча потерь пакетов. Причем, связь с самим
рутером в этом филиале через интернет не пропадает, и в логах OpenVPN
всё чисто.
После стандартных шаманств по уменьшениям размеров пакетов и пингов в
различных комбинациях выяснилось, что потеря пакетов происходит между
VZ-контейнером, где живёт OpenVPN, и хостнодой. Сеть там типа veth.
Потери пакетов на пингах mtr'ом составляют где-то 15%.
В логах на хостноде всё чисто, в dmesg всё хорошо. При потерях пакетов
загрузки системы мизерная. Всякие там user_beancounters без превышения
лимитов. Пакеты теряются так: вроде всё хорошо-хорошо, потом бац! -
пропадает десяток пингов один за другим, потом опять всё хорошо.
Наверное, злобные pps какие-то, подумал я, включил помониторить.
Нагрузка в среднем 300-400 pps, никак при потерях не меняется. Причем
доведение видеонаблюдением до 10-11 kpps в спокойный период никаких
проблем не создаёт.
Включив ради очередного тесту arping на проблемный адрес заметил, что
все потери тут же исчезли. А остановив его, тут же получил новую порцию
их. Ага, сказал я. Помониторил запись в arp-кеше для этого адреса, и
точно - в период потерь вместо адреса MAC появляется <incomplete>, а
потом MAC снова появляется и цикл потерь прекращается.
Прописывание статического MACа проблему на_сейчас решило.
Вот ведь!!! налицо всёже глюк. Почему пропадает MAC-адрес? он пропадает
явно быстрей, чем стандартное время жизни в 60 секунд. И порой не
стремится быстро отрезолвится назад, период пропажи пакетов может
длиться секунд 15.
Проблема такая набигает эпидемией, я вижу уже второй такой случай за
последний месяц. (до этого 6 месяцев полёт нормальный).
Ядро: 2.6.32-ovz-el-alt40.M60P.2
Ну и собственно вопрос - как правильно инициализировать статические
arp-записи при старте системы? про rc.local догадываюсь, конечно, но
может как-то etcnet'ом?
--
wbr, Michael A. Kangin
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 16:48 [Sysadmins] veth packet loss Michael A. Kangin
@ 2013-04-14 17:42 ` Viacheslav Dubrovskyi
2013-04-14 17:54 ` Michael A. Kangin
0 siblings, 1 reply; 8+ messages in thread
From: Viacheslav Dubrovskyi @ 2013-04-14 17:42 UTC (permalink / raw)
To: sysadmins
14.04.2013 19:48, Michael A. Kangin пишет:
> Добрый день.
>
>
> Включив ради очередного тесту arping на проблемный адрес заметил, что
> все потери тут же исчезли. А остановив его, тут же получил новую порцию
> их. Ага, сказал я. Помониторил запись в arp-кеше для этого адреса, и
> точно - в период потерь вместо адреса MAC появляется <incomplete>, а
> потом MAC снова появляется и цикл потерь прекращается.
> Прописывание статического MACа проблему на_сейчас решило.
>
> Вот ведь!!! налицо всёже глюк. Почему пропадает MAC-адрес? он пропадает
> явно быстрей, чем стандартное время жизни в 60 секунд. И порой не
> стремится быстро отрезолвится назад, период пропажи пакетов может
> длиться секунд 15.
>
> Проблема такая набигает эпидемией, я вижу уже второй такой случай за
> последний месяц. (до этого 6 месяцев полёт нормальный).
>
> Ядро: 2.6.32-ovz-el-alt40.M60P.2
# sysctl -a | grep proxy_arp
Что показывает?
>
> Ну и собственно вопрос - как правильно инициализировать статические
> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
> может как-то etcnet'ом?
А как у вас veth настроен?
В бридж добавлен на HN или роутинг?
--
WBR,
Viacheslav Dubrovskyi
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 17:42 ` Viacheslav Dubrovskyi
@ 2013-04-14 17:54 ` Michael A. Kangin
2013-04-14 18:24 ` Viacheslav Dubrovskyi
0 siblings, 1 reply; 8+ messages in thread
From: Michael A. Kangin @ 2013-04-14 17:54 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
14.04.2013 21:42, Viacheslav Dubrovskyi пишет:
>> Ядро: 2.6.32-ovz-el-alt40.M60P.2
> # sysctl -a | grep proxy_arp
> Что показывает?
По нулям всё.
>> Ну и собственно вопрос - как правильно инициализировать статические
>> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
>> может как-то etcnet'ом?
> А как у вас veth настроен?
> В бридж добавлен на HN или роутинг?
В этой VE два интерфейса - один для интернета, засунут в соответствующий
бридж, а второй для локалки представлен просто в HN своим интерфейсом,
т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.
Я думал в принципе насчёт proxy_arp уже как-то, но оно без него
замечательно, в принципе, работает. За исключением этих коротких эксцессов.
--
wbr, Michael A. Kangin
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 17:54 ` Michael A. Kangin
@ 2013-04-14 18:24 ` Viacheslav Dubrovskyi
2013-04-14 18:43 ` Michael A. Kangin
0 siblings, 1 reply; 8+ messages in thread
From: Viacheslav Dubrovskyi @ 2013-04-14 18:24 UTC (permalink / raw)
To: sysadmins
14.04.2013 20:54, Michael A. Kangin пишет:
>>> Ну и собственно вопрос - как правильно инициализировать статические
>>> arp-записи при старте системы? про rc.local догадываюсь, конечно, но
>>> может как-то etcnet'ом?
>> А как у вас veth настроен?
>> В бридж добавлен на HN или роутинг?
> В этой VE два интерфейса - один для интернета, засунут в соответствующий
> бридж, а второй для локалки представлен просто в HN своим интерфейсом,
> т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.
Так проблемы с каким? А то не ясно из вашего описания.
> Я думал в принципе насчёт proxy_arp уже как-то, но оно без него
> замечательно, в принципе, работает. За исключением этих коротких эксцессов.
Ну попробуйте включить.
Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
сети еще один такой же IP есть. Проверьте.
--
WBR,
Viacheslav Dubrovskyi
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 18:24 ` Viacheslav Dubrovskyi
@ 2013-04-14 18:43 ` Michael A. Kangin
2013-04-14 20:24 ` Viacheslav Dubrovskyi
0 siblings, 1 reply; 8+ messages in thread
From: Michael A. Kangin @ 2013-04-14 18:43 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
14.04.2013 22:24, Viacheslav Dubrovskyi пишет:
>>> А как у вас veth настроен?
>>> В бридж добавлен на HN или роутинг?
>> В этой VE два интерфейса - один для интернета, засунут в соответствующий
>> бридж, а второй для локалки представлен просто в HN своим интерфейсом,
>> т.е. рутинг получается. А то через бридж не удавалось файрволом огораживать.
> Так проблемы с каким? А то не ясно из вашего описания.
Проблемы с маршрутизируемым интерфейсом.
> Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
> сети еще один такой же IP есть. Проверьте.
Это вряд ли.
Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
один и тот же всегда, иногда просто теряется.
--
wbr, Michael A. Kangin
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 18:43 ` Michael A. Kangin
@ 2013-04-14 20:24 ` Viacheslav Dubrovskyi
2013-04-14 21:15 ` Michael A. Kangin
0 siblings, 1 reply; 8+ messages in thread
From: Viacheslav Dubrovskyi @ 2013-04-14 20:24 UTC (permalink / raw)
To: sysadmins
14.04.2013 21:43, Michael A. Kangin пишет:
> Проблемы с маршрутизируемым интерфейсом.
>> Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
>> сети еще один такой же IP есть. Проверьте.
> Это вряд ли.
> Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
> один и тот же всегда, иногда просто теряется.
Ну тогда, на HN проблема, в dmesg что-то должно быть. Например фаервол
или переполнение conntrack и т.д.
Может на свиче ограничение к-ва маков на порту. Или свич сам глючит.
--
WBR,
Viacheslav Dubrovskyi
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss
2013-04-14 20:24 ` Viacheslav Dubrovskyi
@ 2013-04-14 21:15 ` Michael A. Kangin
2013-04-15 9:50 ` [Sysadmins] veth packet loss [OFF] Sergei Epiphanov
0 siblings, 1 reply; 8+ messages in thread
From: Michael A. Kangin @ 2013-04-14 21:15 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
On 15.04.2013 00:24, Viacheslav Dubrovskyi wrote:
>> Проблемы с маршрутизируемым интерфейсом.
>>> Вообще, те симптомы что вы описываете, похожи на конфликт IP. Возможно в
>>> сети еще один такой же IP есть. Проверьте.
>> Это вряд ли.
>> Кроме того, тогда бы в выдаче по arp светился бы другой MAC. А тут он
>> один и тот же всегда, иногда просто теряется.
> Ну тогда, на HN проблема, в dmesg что-то должно быть.
А вот нету. :)
> Например фаервол
> или переполнение conntrack и т.д.
пробовал разрешать всё на этот интерфейс первым же правилом.
но опять же, причина стопудов пропажа MACа из кеша. Казалось бы, при чем
тут conntrack...
> Может на свиче ограничение к-ва маков на порту. Или свич сам глючит.
Свич по идее циска хорошая гигабитная, за ним не замечено. Да и при чём
тут свич, если пропажа пакетов идёт внутри самого компьютера. За
пределами его всё ок.
В общем, попробую на досуге проверить версию с proxy_arp, но странно это
всё, странно.
^ permalink raw reply [flat|nested] 8+ messages in thread
* Re: [Sysadmins] veth packet loss [OFF]
2013-04-14 21:15 ` Michael A. Kangin
@ 2013-04-15 9:50 ` Sergei Epiphanov
0 siblings, 0 replies; 8+ messages in thread
From: Sergei Epiphanov @ 2013-04-15 9:50 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
On 15 апреля 2013 01:15 Michael A. Kangin wrote:
> Свич по идее циска хорошая гигабитная, за ним не замечено.
Мы тоже как-то не грешили на циску (тоже хорошую и гигабитную). А вот поди ж
ты, захлёбывалась там, где Allied Telesis переваривает всё на ура.
--
С уважением, Епифанов Сергей
^ permalink raw reply [flat|nested] 8+ messages in thread
end of thread, other threads:[~2013-04-15 9:50 UTC | newest]
Thread overview: 8+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2013-04-14 16:48 [Sysadmins] veth packet loss Michael A. Kangin
2013-04-14 17:42 ` Viacheslav Dubrovskyi
2013-04-14 17:54 ` Michael A. Kangin
2013-04-14 18:24 ` Viacheslav Dubrovskyi
2013-04-14 18:43 ` Michael A. Kangin
2013-04-14 20:24 ` Viacheslav Dubrovskyi
2013-04-14 21:15 ` Michael A. Kangin
2013-04-15 9:50 ` [Sysadmins] veth packet loss [OFF] Sergei Epiphanov
ALT Linux sysadmins discussion
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
public-inbox-index sysadmins
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.sysadmins
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git