[Sysadmins] роутинг

[Sysadmins] роутинг

[Anton Gorlov]

Есть некая циска с адресом 10.22.2.193/32  на лупбэке,есть  на циске 2
интерфейса с
адресами                                                                  
10.22.2.68/26                                                                                                                                               
 
10.22.2.130/26                                                                                                                                              
 
                                                                                                                                                            
 
через которые этот лупбэк (10.22.2.193)
доступен.                                                                                                           
 
                                                                                                                                                            
 
Вланы приземляются на линуксом сервере (пока что
так.).                                                                                                     
 
Со стороны этого сервера на вланах висят
соответсвенно                                                                                                      
 
10.22.2.67/26                                                                                                                                               
 
10.22.2.129/26                                                                                                                                              
 
                                                                                                                                                            
 
                                                                                                                                                            
 
и на сервере соответственно прописан роут до 10.22.2.193 через  оба
доступных
линка                                                                          
 
                                                                                                                                                            
 
ip route
show                                                                                                                                               
 
default via 192.168.24.33 dev eth1
10.22.2.64/26 dev vlan10  proto kernel  scope link  src 10.22.2.67
10.22.2.128/26 dev vlan11  proto kernel  scope link   src 10.22.2.129
192.168.24.0/24 dev eth1  proto kernel  scope link  src
192.168.24.82                                                                       
 
                                                                                                                                                            
 
                                                                                                                                                            
 
ip route show table vl10 10.22.2.193 via 10.22.2.68 dev
vlan10                                                                                              
 
ip route show table vl11 10.22.2.193 via 10.22.2.130 dev
vlan11                                                                                             
 
                                                                                                                                                            
 
C циски сервер доступен через оба линка. Всё
Ок.                                                                                                            
 
С Сервера циска так же доступна через оба линка. Всё
Ок.                                                                                                    
 
                                                                                                                                                            
 
                                                                                                                                                            
 
А вот всё что за сервером - пакеты  приходят скажем  через vlan10,
уходят во вне как и положено через eth1 (там nat, но не суть важно). А
Вот ответы циске с внешних хостов с этого сервера уходят не черех тот
интерфейс с которого пришли -а через тот, кто 1 поднялся или через тот у
кого метрика ниже.                ␤

То есть скажем отправляю с циски пакет в сторону 8.8.8.8
Приходит пакет на vlan10   10.22.2.193->8.8.8.8
Далее на eth1 вижу исх пакеты на 8.8.8.8,Как и положено  а вот ответы от
8.8.8.8 ->10.22.2.193 вижу на vlan11

То есть проблема исключительно с путём по которому возвращаются
транзитные
пакеты.                                                                            

                                                                                                                                                             

Как бы добиться что бы  ответные пакеты в данном случае уходили с того
же интерфейса, с которого изначально пришёл запрос?

Re: [Sysadmins] роутинг

[Alexander Volkov]

On 2015-01-21 02:21:07 +0300, Anton Gorlov wrote:
G>                                                                                                                                                              

AG> Как бы добиться что бы  ответные пакеты в данном случае уходили с того
AG> же интерфейса, с которого изначально пришёл запрос?
Policy routing?
Маркировать входящие и отправлять по метке...

--
 Regards, Alexander

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 11:38, Alexander Volkov пишет:
> On 2015-01-21 02:21:07 +0300, Anton Gorlov wrote:
> G>                                                                                                                                                              
>
> AG> Как бы добиться что бы  ответные пакеты в данном случае уходили с того
> AG> же интерфейса, с которого изначально пришёл запрос?
> Policy routing?
> Маркировать входящие и отправлять по метке...
Входящие имеется в виду со стороны циски или ответные из внешнего мира?

Re: [Sysadmins] роутинг

[Alexander Volkov]

On 2015-01-21 13:52:14 +0300, Anton Gorlov wrote:
AG> 21.01.2015 11:38, Alexander Volkov пишет:
AG> > On 2015-01-21 02:21:07 +0300, Anton Gorlov wrote:
AG> > G>                                                                                                                                                              
AG> >
AG> > AG> Как бы добиться что бы  ответные пакеты в данном случае уходили с того
AG> > AG> же интерфейса, с которого изначально пришёл запрос?
AG> > Policy routing?
AG> > Маркировать входящие и отправлять по метке...
AG> Входящие имеется в виду со стороны циски или ответные из внешнего мира?
Если я правильно понял, то надо отправлять ответный пакет в тот же канал,
по которому пришел запрос?
Тогда, по идее, без разницы, откуда он пришел - надо промаркировать
возможные варианты и маршрутизировать по нужным правилам...

--
 Regards, Alexander

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 15:06, Alexander Volkov пишет:
> Если я правильно понял, то надо отправлять ответный пакет в тот же канал,
> по которому пришел запрос?
> Тогда, по идее, без разницы, откуда он пришел - надо промаркировать
> возможные варианты и маршрутизировать по нужным правилам...
Да всё верно.
Но вот если маркировать уже ответный пакет..то  я же не знаю откуда он
пришёл.. :(

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 15:20, Anton Gorlov пишет:
>> Если я правильно понял, то надо отправлять ответный пакет в тот же канал,
>> > по которому пришел запрос?
>> > Тогда, по идее, без разницы, откуда он пришел - надо промаркировать
>> > возможные варианты и маршрутизировать по нужным правилам...
> Да всё верно.
> Но вот если маркировать уже ответный пакет..то  я же не знаю откуда он
> пришёл.. :(


Собственно в лоб

iptables -A PREROUTING -i vlan10 -t mangle  -j MARK --set-mark 1
iptables -A PREROUTING -i vlan11 -t mangle  -j MARK --set-mark 2

ip rule add fwmark 1 table vl10
ip rule add fwmark 2 table vl11


ip route show table vl10
10.22.2.193 via 10.22.2.68 dev vlan10  src 10.22.2.67 
ip route show table vl11
10.22.2.193 via 10.22.2.130 dev vlan11  src 10.22.2.12

не помогло

Re: [Sysadmins] роутинг

[Alexander Volkov]

On 2015-01-21 15:26:44 +0300, Anton Gorlov wrote:
AG> 21.01.2015 15:20, Anton Gorlov пишет:
AG> >> Если я правильно понял, то надо отправлять ответный пакет в тот же канал,
AG> >> > по которому пришел запрос?
AG> >> > Тогда, по идее, без разницы, откуда он пришел - надо промаркировать
AG> >> > возможные варианты и маршрутизировать по нужным правилам...
AG> > Да всё верно.
AG> > Но вот если маркировать уже ответный пакет..то  я же не знаю откуда он
AG> > пришёл.. :(


AG> Собственно в лоб

AG> iptables -A PREROUTING -i vlan10 -t mangle  -j MARK --set-mark 1
AG> iptables -A PREROUTING -i vlan11 -t mangle  -j MARK --set-mark 2

AG> ip rule add fwmark 1 table vl10
AG> ip rule add fwmark 2 table vl11


AG> ip route show table vl10
AG> 10.22.2.193 via 10.22.2.68 dev vlan10  src 10.22.2.67 
AG> ip route show table vl11
AG> 10.22.2.193 via 10.22.2.130 dev vlan11  src 10.22.2.12

AG> не помогло
а не забылось?
$IPTABLES -t mangle -A PREROUTING -m state --state ESTABLISHED,RELATED -j
CONNMARK --restore-mark

--
 Regards, Alexander

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 16:17, Alexander Volkov пишет:
> AG> не помогло
> а не забылось?
> $IPTABLES -t mangle -A PREROUTING -m state --state ESTABLISHED,RELATED -j
> CONNMARK --restore-mark
Неа.. тут вот ещё что откопалось..

ping -I 10.22.2.67 10.22.2.193 -c 3
ping -I 10.22.2.129 10.22.2.193 -c 3
 
Ок..

А просто
ping  10.22.2.193 шлёт пакеты в df gw..

Re: [Sysadmins] роутинг

[Anton Farygin]

On 21.01.2015 16:24, Anton Gorlov wrote:
> 21.01.2015 16:17, Alexander Volkov пишет:
>> AG> не помогло
>> а не забылось?
>> $IPTABLES -t mangle -A PREROUTING -m state --state ESTABLISHED,RELATED -j
>> CONNMARK --restore-mark
> Неа.. тут вот ещё что откопалось..
>
> ping -I 10.22.2.67 10.22.2.193 -c 3
> ping -I 10.22.2.129 10.22.2.193 -c 3
>
> Ок..
>
> А просто
> ping  10.22.2.193 шлёт пакеты в df gw..

А
net.ipv4.conf.all.rp_filter = 2
не помогает ?

вообще схема какая-то странная. чего-то не догоняю, для чего это 
придумывалось именно в таком виде ? Зачем роут с циски на сервер по 
обоим доступным линкам ?

Зачем вообще два линка ?

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 17:06, Anton Farygin пишет:
>
> А
> net.ipv4.conf.all.rp_filter = 2
> не помогает ?
>
> вообще схема какая-то странная. чего-то не догоняю, для чего это
> придумывалось именно в таком виде ? Зачем роут с циски на сервер по
> обоим доступным линкам ?
>
> Зачем вообще два линка ? 
Неа не помогает.
Вообще  делал резервирование управления до циски. На случай если 1
управляющий модуль отвалится что бы управление,flow/snmp-трапы были
доступны с того же  src адреса но по другому линку.

Может логичнее настроить аля OSPF на циске и роутере (linux) куда она
приземляется? Или просто  агрегацию 2 линков сделать по 2 интерфейсам с
модулей управления?

Re: [Sysadmins] роутинг

[Anton Farygin]

On 21.01.2015 17:28, Anton Gorlov wrote:
> 21.01.2015 17:06, Anton Farygin пишет:
>>
>> А
>> net.ipv4.conf.all.rp_filter = 2
>> не помогает ?
>>
>> вообще схема какая-то странная. чего-то не догоняю, для чего это
>> придумывалось именно в таком виде ? Зачем роут с циски на сервер по
>> обоим доступным линкам ?
>>
>> Зачем вообще два линка ?
> Неа не помогает.
> Вообще  делал резервирование управления до циски. На случай если 1
> управляющий модуль отвалится что бы управление,flow/snmp-трапы были
> доступны с того же  src адреса но по другому линку.

Обязательно автоматическое переключение ?
Есть разный подход к решению этой задачи.


> Может логичнее настроить аля OSPF на циске и роутере (linux) куда она
> приземляется? Или просто  агрегацию 2 линков сделать по 2 интерфейсам с
> модулей управления?

Я вообще не понимаю зачем на одно физическое устройство дублировать 
линии передачи данных в данном случае ?

Ведь, если сдохнет сервер - работать не будет
сдохнет циска - работать не будет

резервируется только управляющий модуль и сетевая верёвка. Какова 
вероятность его отказа ? есть за что бороться ?

OSPF ещё туда тащить. какой-то перегруз.

Re: [Sysadmins] роутинг

[Anton Gorlov]

21.01.2015 17:41, Anton Farygin пишет:
> Обязательно автоматическое переключение ?
> Есть разный подход к решению этой задачи.
>
>
>> Может логичнее настроить аля OSPF на циске и роутере (linux) куда она
>> приземляется? Или просто  агрегацию 2 линков сделать по 2 интерфейсам с
>> модулей управления?
>
> Я вообще не понимаю зачем на одно физическое устройство дублировать
> линии передачи данных в данном случае ?
>
> Ведь, если сдохнет сервер - работать не будет
> сдохнет циска - работать не будет
>
> резервируется только управляющий модуль и сетевая верёвка. Какова
> вероятность его отказа ? есть за что бороться ?
>
> OSPF ещё туда тащить. какой-то перегруз. 

Тут всё просто. У циски 2 модуля управления и если помер 1 то полетим на
2. Или если по какой-то причине произошло переключения управляющих модулей.

Дублирую не линии, а порт управления..с которого кроме управления ещё
сыпится нужная информация, которую терять не хотелось бы.
ospf всё равно рано или поздно понадобится. Это сейчас роутер на
сервере. Что будет дальше пока не знаю. Да и прописывать маршруты
статиком рано или поздно станет не масштабируемо.

Re: [Sysadmins] роутинг

[Anton Farygin]

On 21.01.2015 18:35, Anton Gorlov wrote:
> 21.01.2015 17:41, Anton Farygin пишет:
>> Обязательно автоматическое переключение ?
>> Есть разный подход к решению этой задачи.
>>
>>
>>> Может логичнее настроить аля OSPF на циске и роутере (linux) куда она
>>> приземляется? Или просто  агрегацию 2 линков сделать по 2 интерфейсам с
>>> модулей управления?
>>
>> Я вообще не понимаю зачем на одно физическое устройство дублировать
>> линии передачи данных в данном случае ?
>>
>> Ведь, если сдохнет сервер - работать не будет
>> сдохнет циска - работать не будет
>>
>> резервируется только управляющий модуль и сетевая верёвка. Какова
>> вероятность его отказа ? есть за что бороться ?
>>
>> OSPF ещё туда тащить. какой-то перегруз.
>
> Тут всё просто. У циски 2 модуля управления и если помер 1 то полетим на
> 2. Или если по какой-то причине произошло переключения управляющих модулей.
>
> Дублирую не линии, а порт управления..с которого кроме управления ещё
> сыпится нужная информация, которую терять не хотелось бы.
> ospf всё равно рано или поздно понадобится. Это сейчас роутер на
> сервере. Что будет дальше пока не знаю. Да и прописывать маршруты
> статиком рано или поздно станет не масштабируемо.

Ну тогда пачку секаса с OSPF ;)

Какие-то цисковские заморочки ;) я более привычен это делать на линуксах.

Re: [Sysadmins] роутинг

[Sergey]

On Wednesday 21 January 2015, Anton Farygin wrote:

> Ну тогда пачку секаса с OSPF ;)
 
Да там всё просто. :-)

-- 
С уважением, Сергей.

Re: [Sysadmins] роутинг

[Anton Gorlov]

22.01.2015 10:42, Sergey пишет:
>> > Ну тогда пачку секаса с OSPF ;)
>  
> Да там всё просто. :-)
В общем-то да.
Единственное чего или нет или плохо смотрю - не найду как в сторону
определённых направлений не анонсить некоторые подсети.

Re: [Sysadmins] роутинг

[Sergey]

On Thursday 22 January 2015, Anton Gorlov wrote:

> Единственное чего или нет или плохо смотрю - не найду как в
> сторону определённых направлений не анонсить некоторые подсети.

Если OSPF в Квагге, то это она не умеет:
http://bugzilla.quagga.net/show_bug.cgi?id=414

То есть, можно не принять маршрут, получаемый по протоколу
другого типа. Если речь об этом.

-- 
С уважением, Сергей.

Re: [Sysadmins] роутинг

[alexei]

----- Исходное сообщение -----
> От: "Sergey" <a_s_y@sama.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Четверг, 22 Январь 2015 г 22:10:13
> Тема: Re: [Sysadmins] роутинг

> On Thursday 22 January 2015, Anton Gorlov wrote:
> 
>> Единственное чего или нет или плохо смотрю - не найду как в
>> сторону определённых направлений не анонсить некоторые подсети.
> 
> Если OSPF в Квагге, то это она не умеет:
> http://bugzilla.quagga.net/show_bug.cgi?id=414
> 
> То есть, можно не принять маршрут, получаемый по протоколу
> другого типа. Если речь об этом.

Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
по фильтрации маршрутов я более развитого инструмента не видел.
Правда, там совсем не cisco-like, что в в первое время напрягает.

Re: [Sysadmins] роутинг

[Anton Farygin]

On 22.01.2015 17:34, alexei@taf.ru wrote:
>
>
> ----- Исходное сообщение -----
>> От: "Sergey" <a_s_y@sama.ru>
>> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
>> Отправленные: Четверг, 22 Январь 2015 г 22:10:13
>> Тема: Re: [Sysadmins] роутинг
>
>> On Thursday 22 January 2015, Anton Gorlov wrote:
>>
>>> Единственное чего или нет или плохо смотрю - не найду как в
>>> сторону определённых направлений не анонсить некоторые подсети.
>>
>> Если OSPF в Квагге, то это она не умеет:
>> http://bugzilla.quagga.net/show_bug.cgi?id=414
>>
>> То есть, можно не принять маршрут, получаемый по протоколу
>> другого типа. Если речь об этом.
>
> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
> по фильтрации маршрутов я более развитого инструмента не видел.
> Правда, там совсем не cisco-like, что в в первое время напрягает.

плюсую bird, BGP у меня на нём живёт.

Re: [Sysadmins] роутинг

[Anton Gorlov]

22.01.2015 17:34, alexei@taf.ru пишет:
> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
> по фильтрации маршрутов я более развитого инструмента не видел.
> Правда, там совсем не cisco-like, что в в первое время напрягает.
А по надёжности оно как?

Re: [Sysadmins] роутинг

[alexei]

----- Исходное сообщение -----
> От: "Anton Gorlov" <stalker@altlinux.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Пятница, 23 Январь 2015 г 1:55:29
> Тема: Re: [Sysadmins] роутинг

> 22.01.2015 17:34, alexei@taf.ru пишет:
>> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
>> по фильтрации маршрутов я более развитого инструмента не видел.
>> Правда, там совсем не cisco-like, что в в первое время напрягает.
> А по надёжности оно как?

Проблем именно из-за bird небыло никогда. Кстати, в отличии от квагги-зебры,
при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
перезагрузки самого демона на трафик почти не влияют.

Re: [Sysadmins] роутинг

[Anton Gorlov]

23.01.2015 05:54, alexei@taf.ru пишет:
> Проблем именно из-за bird небыло никогда. Кстати, в отличии от квагги-зебры,
> при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
> перезагрузки самого демона на трафик почти не влияют.

Ну это для меня не критично...
Сейчас  сижу вкуриваю мануалы на bird..

Re: [Sysadmins] роутинг

[Anton Farygin]

On 23.01.2015 05:54, alexei@taf.ru wrote:
>
>
> ----- Исходное сообщение -----
>> От: "Anton Gorlov" <stalker@altlinux.ru>
>> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
>> Отправленные: Пятница, 23 Январь 2015 г 1:55:29
>> Тема: Re: [Sysadmins] роутинг
>
>> 22.01.2015 17:34, alexei@taf.ru пишет:
>>> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
>>> по фильтрации маршрутов я более развитого инструмента не видел.
>>> Правда, там совсем не cisco-like, что в в первое время напрягает.
>> А по надёжности оно как?
>
> Проблем именно из-за bird небыло никогда. Кстати, в отличии от квагги-зебры,
> при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
> перезагрузки самого демона на трафик почти не влияют.

А можно тут подробнее ? у меня service bird stop приводит к пропаданию 
маршрутов.

Re: [Sysadmins] роутинг

[alexei]

----- Исходное сообщение -----
> От: "Anton Farygin" <rider@altlinux.com>
> Кому: sysadmins@lists.altlinux.org
> Отправленные: Пятница, 23 Январь 2015 г 19:15:26
> Тема: Re: [Sysadmins] роутинг

> On 23.01.2015 05:54, alexei@taf.ru wrote:
>>
>>
>> ----- Исходное сообщение -----
>>> От: "Anton Gorlov" <stalker@altlinux.ru>
>>> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
>>> Отправленные: Пятница, 23 Январь 2015 г 1:55:29
>>> Тема: Re: [Sysadmins] роутинг
>>
>>> 22.01.2015 17:34, alexei@taf.ru пишет:
>>>> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
>>>> по фильтрации маршрутов я более развитого инструмента не видел.
>>>> Правда, там совсем не cisco-like, что в в первое время напрягает.
>>> А по надёжности оно как?
>>
>> Проблем именно из-за bird небыло никогда. Кстати, в отличии от квагги-зебры,
>> при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
>> перезагрузки самого демона на трафик почти не влияют.
> 
> А можно тут подробнее ? у меня service bird stop приводит к пропаданию
> маршрутов.

protocol kernel {
...
       persist;                # Don't remove routes on bird shutdown
...
}

Re: [Sysadmins] роутинг

[Anton Farygin]

On 23.01.2015 19:26, alexei@taf.ru wrote:
>
>
> ----- Исходное сообщение -----
>> От: "Anton Farygin" <rider@altlinux.com>
>> Кому: sysadmins@lists.altlinux.org
>> Отправленные: Пятница, 23 Январь 2015 г 19:15:26
>> Тема: Re: [Sysadmins] роутинг
>
>> On 23.01.2015 05:54, alexei@taf.ru wrote:
>>>
>>>
>>> ----- Исходное сообщение -----
>>>> От: "Anton Gorlov" <stalker@altlinux.ru>
>>>> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
>>>> Отправленные: Пятница, 23 Январь 2015 г 1:55:29
>>>> Тема: Re: [Sysadmins] роутинг
>>>
>>>> 22.01.2015 17:34, alexei@taf.ru пишет:
>>>>> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
>>>>> по фильтрации маршрутов я более развитого инструмента не видел.
>>>>> Правда, там совсем не cisco-like, что в в первое время напрягает.
>>>> А по надёжности оно как?
>>>
>>> Проблем именно из-за bird небыло никогда. Кстати, в отличии от квагги-зебры,
>>> при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
>>> перезагрузки самого демона на трафик почти не влияют.
>>
>> А можно тут подробнее ? у меня service bird stop приводит к пропаданию
>> маршрутов.
>
> protocol kernel {
> ...
>         persist;                # Don't remove routes on bird shutdown
> ...
> }

Спасибо, очень нужная вещь.

Re: [Sysadmins] роутинг

[Eugene Prokopiev]

22 января 2015 г., 17:34 <alexei@...> написал:

> Правда, там совсем не cisco-like, что в в первое время напрягает.

Но зато JunOS-like, что уже радует :)

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] роутинг

[Alexey Shabalin]

23 января 2015 г., 14:15 пользователь Anton Farygin  написал:
> On 23.01.2015 05:54, alexei@taf.ru wrote:
>>>> Тогда имеет смысл посмотреть в сторону bird. В плане возможностей
>>>> по фильтрации маршрутов я более развитого инструмента не видел.
>>>> Правда, там совсем не cisco-like, что в в первое время напрягает.
>>>
>>> А по надёжности оно как?
>>
>>
>> Проблем именно из-за bird небыло никогда. Кстати, в отличии от
>> квагги-зебры,
>> при остановке bird, таблица маршрутизации в ядре не пропадает, из-за чего
>> перезагрузки самого демона на трафик почти не влияют.
> А можно тут подробнее ? у меня service bird stop приводит к пропаданию
> маршрутов.

Кстати, у меня в git лежит вариант с запуском bird от пользователя
_bird (drop root privileges). Все никак не решусь отправить в сизиф.
Если вдруг кто протестирует и отзовётся, буду рад.

-- 
Alexey Shabalin