[Sysadmins] LARTC and VE traffic in multihomed server

[Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

Hi.
Есть сервер с несколькими сетями наружу и кучкой контейнеров на нём.
Policy routing работает, но только для собственных интерфейсов сервера.
Контейнеры же, получая пакет через любой интерфейс путем DNAT, отвечают
всё равно дефолтным маршрутом.
Как бы их заставить возвращать пакеты тем же путем, откуда они пришли?

--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-25 17:14:40 +0400, Alexander Volkov wrote:
AV> Hi.
AV> Есть сервер с несколькими сетями наружу и кучкой контейнеров на нём.
AV> Policy routing работает, но только для собственных интерфейсов сервера.
AV> Контейнеры же, получая пакет через любой интерфейс путем DNAT, отвечают
AV> всё равно дефолтным маршрутом.
AV> Как бы их заставить возвращать пакеты тем же путем, откуда они пришли?
При этом пакеты,к примеру,  на 80 порт прокидываются в один контейнер с nginx, а он
уже раскидывает по нужным VE
--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 438 bytes --]

25.10.2012 16:14, Alexander Volkov пишет:
> Hi.
> Есть сервер с несколькими сетями наружу и кучкой контейнеров на нём.
> Policy routing работает, но только для собственных интерфейсов сервера.
> Контейнеры же, получая пакет через любой интерфейс путем DNAT, отвечают
> всё равно дефолтным маршрутом.
> Как бы их заставить возвращать пакеты тем же путем, откуда они пришли?
Т.е. контейнеры имеют серые IP?

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 606 bytes --]

25.10.2012 16:43, Viacheslav Dubrovskyi пишет:
> 25.10.2012 16:14, Alexander Volkov пишет:
>> Hi.
>> Есть сервер с несколькими сетями наружу и кучкой контейнеров на нём.
>> Policy routing работает, но только для собственных интерфейсов сервера.
>> Контейнеры же, получая пакет через любой интерфейс путем DNAT, отвечают
>> всё равно дефолтным маршрутом.
>> Как бы их заставить возвращать пакеты тем же путем, откуда они пришли?
> Т.е. контейнеры имеют серые IP?
А вообще, чтобы возвращались туда же откуда пришли, поставьте еще и NAT. 
Только не понятно при чем тут LARTC?

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-25 16:53:35 +0300, Viacheslav Dubrovskyi wrote:
VD> 25.10.2012 16:43, Viacheslav Dubrovskyi пишет:
VD> >25.10.2012 16:14, Alexander Volkov пишет:
VD> >>Hi.
VD> >>Есть сервер с несколькими сетями наружу 
VD> >>и кучкой контейнеров на нём.
VD> >>Policy routing работает, но только для 
VD> >>собственных интерфейсов сервера.
VD> >>Контейнеры же, получая пакет через 
VD> >>любой интерфейс путем DNAT, отвечают
VD> >>всё равно дефолтным маршрутом.
VD> >>Как бы их заставить возвращать пакеты 
VD> >>тем же путем, откуда они пришли?
VD> >Т.е. контейнеры имеют серые IP?
Да, поэтому NAT.
VD> А вообще, чтобы возвращались туда же 
VD> откуда пришли, поставьте еще и NAT. Только 
VD> не понятно при чем тут LARTC?
Ну, первоначальная настройка из этого выросла.
Кто-нибудь решал подобное?

--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Alexander Volkov" <vaa@altlinux.org>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 26 Октябрь 2012 г 15:13:55
> Тема: Re: [Sysadmins] LARTC and VE traffic in multihomed server
> 
> On 2012-10-25 16:53:35 +0300, Viacheslav Dubrovskyi wrote:
> VD> 25.10.2012 16:43, Viacheslav Dubrovskyi пишет:
> VD> >25.10.2012 16:14, Alexander Volkov пишет:
> VD> >>Hi.
> VD> >>Есть сервер с несколькими сетями наружу
> VD> >>и кучкой контейнеров на нём.
> VD> >>Policy routing работает, но только для
> VD> >>собственных интерфейсов сервера.
> VD> >>Контейнеры же, получая пакет через
> VD> >>любой интерфейс путем DNAT, отвечают
> VD> >>всё равно дефолтным маршрутом.
> VD> >>Как бы их заставить возвращать пакеты
> VD> >>тем же путем, откуда они пришли?
> VD> >Т.е. контейнеры имеют серые IP?
> Да, поэтому NAT.
> VD> А вообще, чтобы возвращались туда же
> VD> откуда пришли, поставьте еще и NAT. Только
> VD> не понятно при чем тут LARTC?
> Ну, первоначальная настройка из этого выросла.
> Кто-нибудь решал подобное?

Я такое делал через объединения нужного внешнего интерфейса с интерфейсом VE в бридж (устройство vether вроде как)

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-26 15:18:22 +0900, Alexei Takaseev wrote:


AT> ----- Исходное сообщение -----
AT> > От: "Alexander Volkov" <vaa@altlinux.org>
AT> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
AT> > Отправленные: Пятница, 26 Октябрь 2012 г 15:13:55
AT> > Тема: Re: [Sysadmins] LARTC and VE traffic in multihomed server
AT> > 
AT> > On 2012-10-25 16:53:35 +0300, Viacheslav Dubrovskyi wrote:
AT> > VD> 25.10.2012 16:43, Viacheslav Dubrovskyi пишет:
AT> > VD> >25.10.2012 16:14, Alexander Volkov пишет:
AT> > VD> >>Hi.
AT> > VD> >>Есть сервер с несколькими сетями наружу
AT> > VD> >>и кучкой контейнеров на нём.
AT> > VD> >>Policy routing работает, но только для
AT> > VD> >>собственных интерфейсов сервера.
AT> > VD> >>Контейнеры же, получая пакет через
AT> > VD> >>любой интерфейс путем DNAT, отвечают
AT> > VD> >>всё равно дефолтным маршрутом.
AT> > VD> >>Как бы их заставить возвращать пакеты
AT> > VD> >>тем же путем, откуда они пришли?
AT> > VD> >Т.е. контейнеры имеют серые IP?
AT> > Да, поэтому NAT.
AT> > VD> А вообще, чтобы возвращались туда же
AT> > VD> откуда пришли, поставьте еще и NAT. Только
AT> > VD> не понятно при чем тут LARTC?
AT> > Ну, первоначальная настройка из этого выросла.
AT> > Кто-нибудь решал подобное?

AT> Я такое делал через объединения нужного внешнего интерфейса с интерфейсом VE в бридж (устройство vether вроде как)
Мне таки кажется, что это не совсем то - выбрать определенный интерфейс
для исхлдящего пакета я могу. Надо бы выпускать ответ по тому же
интерфейсу, через который пришел запрос.

--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Michael Shigorin]

On Fri, Oct 26, 2012 at 11:39:12AM +0400, Alexander Volkov wrote:
> > Я такое делал через объединения нужного внешнего интерфейса с
> > интерфейсом VE в бридж (устройство vether вроде как)
> Мне таки кажется, что это не совсем то - выбрать определенный
> интерфейс для исхлдящего пакета я могу. Надо бы выпускать ответ
> по тому же интерфейсу, через который пришел запрос.

Возможно, стоит окинуть взглядом
http://wiki.openvz.org/Category:Networking --
припоминается страничка, на которой разбирались
соотношения VE и HN как сетевых хостов и маршрутизатора.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-26 13:19:11 +0300, Michael Shigorin wrote:
MS> On Fri, Oct 26, 2012 at 11:39:12AM +0400, Alexander Volkov wrote:
MS> > > Я такое делал через объединения нужного внешнего интерфейса с
MS> > > интерфейсом VE в бридж (устройство vether вроде как)
MS> > Мне таки кажется, что это не совсем то - выбрать определенный
MS> > интерфейс для исхлдящего пакета я могу. Надо бы выпускать ответ
MS> > по тому же интерфейсу, через который пришел запрос.

MS> Возможно, стоит окинуть взглядом
MS> http://wiki.openvz.org/Category:Networking --
MS> припоминается страничка, на которой разбирались
MS> соотношения VE и HN как сетевых хостов и маршрутизатора.
И это тоже в общем понятно - HN выступает в данном случае только как
маршрутизатор для сети VE.
Поэтому тут даже ovz можно и не трогать - возможно ли вообще посылать
ответы в зависимости от маршрута запроса?

--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Pavel]

> Как бы их заставить возвращать пакеты тем же путем, откуда они пришли?
А не
man iptables
/connmark
ли вам нужен?


-- 
Pavel

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-26 16:11:49 +0400, Pavel wrote:
P> >Как бы их заставить возвращать пакеты 
P> >тем же путем, откуда они пришли?
P> А не
P> man iptables
P> /connmark
P> ли вам нужен?
 
оо, спасибо за направление, похоже на то) 

--
 Regards, Alexander

Re: [Sysadmins] LARTC and VE traffic in multihomed server

[Alexander Volkov]

On 2012-10-26 17:13:17 +0400, Alexander Volkov wrote:
AV> On 2012-10-26 16:11:49 +0400, Pavel wrote:
AV> P> >Как бы их заставить возвращать пакеты 
AV> P> >тем же путем, откуда они пришли?
AV> P> А не
AV> P> man iptables
AV> P> /connmark
AV> P> ли вам нужен?
AV>  
AV> оо, спасибо за направление, похоже на то) 
Итого, для числа линков N добавляются правила:
ip ru ad fwmark n table link_n
$IPTABLES -t mangle -N conn_track
$IPTABLES -t mangle -A conn_track -i $n -j CONNMARK --set-mark n
$IPTABLES -t mangle -A PREROUTING -m state --state ESTABLISHED,RELATED \
-j CONNMARK --restore-mark
$IPTABLES -t mangle -A FORWARD -i $VI_IF -m state --state NEW \
-j conn_track

И всё работает как надо)

--
 Regards, Alexander