[Sysadmins] Два канала в интернет

[Sysadmins] Два канала в интернет

[Yuri V. Anikin]

Доброго всем!
Пытаюсь настроить маршрутизацию на двоих провайдеров (eth1- MCN 
медленный unlimited; eth2- VGT быстый коммерческий). Основные задачи: 
доступность вэб-сервера, подключенного к eth0 (DMZ) с обоих внешних 
интерфейсов и "укорачивание" маршрутов до пиринговых сетей 2-го провайдера.

Итак, по порядку:
1) Сетевые интерфейсы
[ayv@guard ayv]$ sudo ip address list
1: lo: <LOOPBACK,UP> mtu 16436 qdisc noqueue
     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
     inet 127.0.0.1/8 brd 127.255.255.255 scope host lo
2: eth0: <BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast qlen 100
     link/ether XX:XX:XX:XX:XX:XX brd ff:ff:ff:ff:ff:ff
     inet 192.168.0.254/24 brd 192.168.0.255 scope global eth0
3: eth1: <BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_fast qlen 100
     link/ether YY:YY:YY:YY:YY:YY brd ff:ff:ff:ff:ff:ff
     inet 195.209.85.33/30 brd 195.209.85.35 scope global eth1
4: eth2: <BROADCAST,MULTICAST,PROMISC,UP> mtu 1500 qdisc pfifo_fast qlen 100
     link/ether ZZ:ZZ:ZZ:ZZ:ZZ:ZZ brd ff:ff:ff:ff:ff:ff
     inet 85.112.43.86/30 brd 85.112.43.87 scope global eth2

2) Список правил:
[ayv@guard ayv]$ sudo ip rule list
0:      from all lookup local
32758:  from 195.209.85.33 lookup MCN
32759:  from 85.112.43.86 lookup VGT
32760:  from 195.209.85.33 lookup MCN
32761:  from 85.112.43.86 lookup VGT
32762:  from 195.209.85.33 lookup MCN
32763:  from 85.112.43.86 lookup VGT
32764:  from 195.209.85.33 lookup MCN
32765:  from 85.112.43.86 lookup VGT
32766:  from all lookup main
32767:  from all lookup default

3) Содержание /etc/iproute2/rt_tables
#
# reserved values
#
#255    local
#254    main
253     default
#0      unspec

#
# local
#
#1      inr.ruhep
200 MCN
201 VGT

4) Таблица маршрутизации:
[ayv@guard ayv]$ sudo ip route list table main
85.112.43.84/30 dev eth2  proto kernel  scope link  src 85.112.43.86
195.209.85.32/30 dev eth1  proto kernel  scope link  src 195.209.85.33
62.102.146.0/24 dev eth2  scope link  src 85.112.43.86
62.102.147.0/24 dev eth2  scope link  src 85.112.43.86
195.128.138.0/24 dev eth2  scope link  src 85.112.43.86
192.168.0.0/24 dev eth0  proto kernel  scope link  src 192.168.0.254
195.128.134.0/24 dev eth2  scope link  src 85.112.43.86
85.112.32.0/19 dev eth2  scope link  src 85.112.43.86
62.213.0.0/19 dev eth2  scope link  src 85.112.43.86
217.77.96.0/19 dev eth2  scope link  src 85.112.43.86
195.144.192.0/19 dev eth2  scope link  src 85.112.43.86
212.32.192.0/19 dev eth2  scope link  src 85.112.43.86
88.200.128.0/17 dev eth2  scope link  src 85.112.43.86
127.0.0.0/8 dev lo  scope link
default via 195.209.85.34 dev eth1

Маршрутом по умолчанию является маршрут на unlimited-канал.

5) Iptables настроен на NAT и forwarding 80 порта в DMZ-сеть 192.168.0.0

6) Ядро  2.4.20-alt12-up

Не работает, однако... По интерфейсу eth1 все в порядке. Не 
осуществляется проброс пакетов, приходящих на 80 порт eth2. В 
/var/log/kernel/warnings сыпятся сообщения файрвола о "марсианских 
источниках". Соображения?

-- 
С уважением,
главный инженер
МОУ ДПОС "Центр медиаобразования"
Юрий Аникин

Re: [Sysadmins] Два канала в интернет

[Evgenii Terechkov]

"Yuri V. Anikin" пишет:

> Не работает, однако... По интерфейсу eth1 все в порядке. Не 
> осуществляется проброс пакетов, приходящих на 80 порт eth2. В 
> /var/log/kernel/warnings сыпятся сообщения файрвола о "марсианских 
> источниках". Соображения?

Я отвечал в community@ (и посылал сюда). Не помогло?

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Sysadmins] Два канала в интернет

[Sergey]

On Wednesday 01 November 2006 15:37, Yuri V. Anikin wrote:

> Основные задачи: 
> доступность вэб-сервера, подключенного к eth0 (DMZ) с обоих внешних 
> интерфейсов и "укорачивание" маршрутов до пиринговых сетей 2-го провайдера.

Предполагается доступность именно по любому адресу, или у сервера будет
просто два имени (www1 и www2 к примеру) ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Два канала в интернет

[Yuri V. Anikin]

Evgenii Terechkov пишет:
> "Yuri V. Anikin" пишет:
> 
>> Не работает, однако... По интерфейсу eth1 все в порядке. Не 
>> осуществляется проброс пакетов, приходящих на 80 порт eth2. В 
>> /var/log/kernel/warnings сыпятся сообщения файрвола о "марсианских 
>> источниках". Соображения?
> 
> Я отвечал в community@ (и посылал сюда). Не помогло?
> 

>> 6) Ядро  2.4.20-alt12-up
> 
> На 2.6 наверно лучше перейти. 2.4 больше вроде официально не
> поддерживается.

Дополнительное уточнение: на этой машине (P-166/192MB)стоит Мастер 2.2 с 
обновлениями. Переход на Compact 3.0 (ядро 2.6), как Вы понимаете, 
затруднителен.
> 
>> > Не работает, однако... По интерфейсу eth1 все в порядке. Не 
>> > осуществляется проброс пакетов, приходящих на 80 порт eth2. В 
>> > /var/log/kernel/warnings сыпятся сообщения о "марсианских источниках". 
>> > Соображения?
> 
> Ну почитайте, что такое "марсианские пакеты". Рядом обычно и рецепты лежат.
> Тот же lartc.

Читаю...

> 
> #echo "rp_filter=0" >> /etc/net/ifaces/eth2/sysctl.conf не оно?

Если только по sysctl -a |grep rp_filter :
net.ipv4.conf.eth2.rp_filter = 1
net.ipv4.conf.eth1.rp_filter = 1
net.ipv4.conf.eth0.rp_filter = 1
net.ipv4.conf.lo.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.rp_filter = 1

Выставить данные параметры в /etc/sysctl.conf в значение "0"?



-- 
С уважением,
главный инженер
МОУ ДПОС "Центр медиаобразования"
Юрий Аникин

Re: [Sysadmins] Два канала в интернет

[Michael Shigorin]

On Thu, Nov 02, 2006 at 02:41:31PM +0400, Yuri V. Anikin wrote:
> > Я отвечал в community@ (и посылал сюда). Не помогло?
> >> 6) Ядро  2.4.20-alt12-up
> > На 2.6 наверно лучше перейти. 2.4 больше вроде официально не
> > поддерживается.

То в сизифе из-за glibc-2.5.

> Дополнительное уточнение: на этой машине (P-166/192MB)стоит
> Мастер 2.2 с обновлениями. Переход на Compact 3.0 (ядро 2.6),
> как Вы понимаете, затруднителен.

С другой стороны, ядро 2.4 из ALM2.2 (как и сам 2.2)
действительно уже не поддерживается.

Это не по теме, но в качестве уточнения во избежание...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Два канала в интернет

[Yuri V. Anikin]

Sergey пишет:
> On Wednesday 01 November 2006 15:37, Yuri V. Anikin wrote:
> 
>> Основные задачи: 
>> доступность вэб-сервера, подключенного к eth0 (DMZ) с обоих внешних 
>> интерфейсов и "укорачивание" маршрутов до пиринговых сетей 2-го провайдера.
> 
> Предполагается доступность именно по любому адресу, или у сервера будет
> просто два имени (www1 и www2 к примеру) ?
> 
Предполагается, что имя www.mec.tgl.ru соответствует двум IP-адресам: 
195.209.85.33 и 85.112.43.86 и данный сервер доступен с обоих аплинков.

-- 
С уважением,
главный инженер
МОУ ДПОС "Центр медиаобразования"
Юрий Аникин

Re: [Sysadmins] Два канала в интернет

[Michael Shigorin]

On Thu, Nov 02, 2006 at 11:59:42AM +0400, Sergey wrote:
> > Основные задачи: 
> > доступность вэб-сервера, подключенного к eth0 (DMZ) с обоих
> > внешних интерфейсов и "укорачивание" маршрутов до пиринговых
> > сетей 2-го провайдера.
> Предполагается доступность именно по любому адресу, или у
> сервера будет просто два имени (www1 и www2 к примеру) ?

Ну сделайте разные VIEW в bind9, если получается.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Два канала в интернет

[Evgenii Terechkov]

"Yuri V. Anikin" пишет:

>> На 2.6 наверно лучше перейти. 2.4 больше вроде официально не
>> поддерживается.
> Дополнительное уточнение: на этой машине (P-166/192MB)стоит Мастер 2.2 с 
> обновлениями. Переход на Compact 3.0 (ядро 2.6), как Вы понимаете, 
> затруднителен.

Понимаю, но помочь в этом конечно не могу. Просто заметил.

>> #echo "rp_filter=0" >> /etc/net/ifaces/eth2/sysctl.conf не оно?

Да, там же net-scripts... Это для etcnet.

> Если только по sysctl -a |grep rp_filter :
> net.ipv4.conf.eth2.rp_filter = 1
> net.ipv4.conf.eth1.rp_filter = 1
> net.ipv4.conf.eth0.rp_filter = 1
> net.ipv4.conf.lo.rp_filter = 1
> net.ipv4.conf.default.rp_filter = 1
> net.ipv4.conf.all.rp_filter = 1
>
> Выставить данные параметры в /etc/sysctl.conf в значение "0"?

Вроде толку не будет, т.к. /e/sysctl.conf читается при загрузке (может даже
до поднятия сети).

Скорее уж echo 'SYSCTL_RP_FILTER=0' >> /etc/sysconfig/network-scripts/ifcfg-eth2
чтобы при поднятий интерфейса ставилось.

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Sysadmins] Два канала в интернет

[Denis Ognewsky]

В сообщении от Четверг 02 Ноябрь 2006 16:04 Evgenii Terechkov написал(a):

> Вроде толку не будет, т.к. /e/sysctl.conf читается при загрузке (может даже
> до поднятия сети).
>
> Скорее уж echo 'SYSCTL_RP_FILTER=0' >>
> /etc/sysconfig/network-scripts/ifcfg-eth2 чтобы при поднятий интерфейса
> ставилось.
в /etc/sysctl.conf прописано net.ipv4.conf.default.rp_filter = 1
поправить на ноль и сделать sysctl -w net.ipv4.conf.default.rp_filter=0


-- 
emp

Re: [Sysadmins] Два канала в интернет

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 2133 bytes --]

On Wed, Nov 01, 2006 at 03:37:03PM +0400, Yuri V. Anikin wrote:
> 32758:  from 195.209.85.33 lookup MCN
> 32759:  from 85.112.43.86 lookup VGT
> 32760:  from 195.209.85.33 lookup MCN
> 32761:  from 85.112.43.86 lookup VGT
зачем столько копий? ядрышко остановится на первом совпадении, а дальше не
пойдет.

> default via 195.209.85.34 dev eth1
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
откуда бы не пришёл пакет, ответ идет всегда через eth1. а следовательно,
если у нас SNAT, то ответ пойдет с другого ip, а значит обрыв соединения


> 5) Iptables настроен на NAT и forwarding 80 порта в DMZ-сеть 192.168.0.0
вот у меня именно этого оказалось мало, пришлось отдельно указывать
netfilter, что если пакет пришёл с другого интерфейса, отвечать по нему
же.

для входящий подключений это выглядело так:

iptables -t mangle -A INPUT -i eth1 -j CONNMARK --set-mark 0x200  
// используется именно CONNMARK, а не MARK, так как после проглатывания
// подключения ядром, весь sk_buf с MARK усрет, и для INPUT
// сгененирируется новый пакет, с пустым MARK.
// CONNMARK же ставиться на подкюлчение и хранится независимо

iptables -t mangle -A OUTPUT -m connmark --mark 0x200 -j MARK --set-mark
0x200
// а вот здесь уже проставляется именно netfilter mark на освное инфы из
// connection tracking
// цепочка именно OUTPUT, так как в POSTROUTING вычесление маршрута и
// исходящего eth уже будет произведено


ip rule add pref 10000 fwmark 0x200 table PASSIVEETH

ip route add table PASSIVEETH add default via <что там надо>


для сквозных пакетов работать надо с цепочкой FORWARD: на -i eth1 ставить
CONNMARK, на -i eth2 ставить условие -m connmark --mark

> 6) Ядро  2.4.20-alt12-up
должно и тут работать

> В /var/log/kernel/warnings сыпятся сообщения файрвола о "марсианских 
> источниках". Соображения?
а вот про это сообразить не могу.
сообщаения о марсионцах валятся, если обратный маршрут (проверка
включается/выключается через rc_filter) не совпадает с входящим
интерфейсом. в принципе логично: пришло по eth1, ответ идет по eth0.
типичный марсианин :)
-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Два канала в интернет

[ender]

[-- Attachment #1: Type: text/plain, Size: 838 bytes --]

On Thu, Nov 02, 2006 at 02:41:31PM +0400, Yuri V. Anikin wrote:
> Evgenii Terechkov пишет:
> > #echo "rp_filter=0" >> /etc/net/ifaces/eth2/sysctl.conf не оно?
> 
> Если только по sysctl -a |grep rp_filter :
> net.ipv4.conf.eth2.rp_filter = 1
> net.ipv4.conf.eth1.rp_filter = 1
> net.ipv4.conf.eth0.rp_filter = 1
> net.ipv4.conf.lo.rp_filter = 1
> net.ipv4.conf.default.rp_filter = 1
> net.ipv4.conf.all.rp_filter = 1
> 
> Выставить данные параметры в /etc/sysctl.conf в значение "0"?
марсианцы не причина, а следствие. выключая rp_filter выключается только
варнинг. а ответ-то всё равно будет идти с другого интерфейса: в default
via поди src стоит, да и SNAT прописан на все пакеты.


в сторону: что-то я своих писем тут не вижу. то ли не доходят до рассылки,
то ли до меня...

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Два канала в интернет

[Denis Ognewsky]

В сообщении от Четверг 02 Ноябрь 2006 17:14 ender@atrus.ru написал(a):

> > Выставить данные параметры в /etc/sysctl.conf в значение "0"?
> марсианцы не причина, а следствие. выключая rp_filter выключается только
> варнинг. а ответ-то всё равно будет идти с другого интерфейса: в default
включается не только варнинг. реально пакеты неходят.

-- 
emp

Re: [Sysadmins] Два канала в интернет

[Sergey]

On Thursday 02 November 2006 14:51, Yuri V. Anikin wrote:

> Предполагается, что имя www.mec.tgl.ru соответствует двум IP-адресам: 
> 195.209.85.33 и 85.112.43.86 и данный сервер доступен с обоих аплинков.

Это не сильно хороший вариант. 

1. При пропадании одного канала сервер будет доступен через раз.
2. Трафик временами будет ходить неоптимально. Особенно, если
   посетители планируются местные.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Два канала в интернет

[Sergey]

On Thursday 02 November 2006 14:52, Michael Shigorin wrote:

> > Предполагается доступность именно по любому адресу, или у
> > сервера будет просто два имени (www1 и www2 к примеру) ?
> 
> Ну сделайте разные VIEW в bind9, если получается.

Это, всё равно, не решит проблему доступности при отвале канала.
Хотя, на самом деле, если ориентироваться на борьбу только с 
продолжительными проблемами, изменение адреса в DNS - это выход.

-- 
С уважением, Сергей
a_s_y@sama.ru