[Sysadmins] Хитрые настройки iptables

[Sysadmins] Хитрые настройки iptables

[Denis Kirienko]

Приветствую!

Была у меня раньше сеть с одним шлюзом. На шлюзе
eth0 смотрел в локалку и имел IP 192.168....
eth1 смотрел наружу и имел белый IP.

На шлюзе работало много чего полезного: squid, apache, bind для своего
домена, postfix для домена ну и много разной мелочевки.

Теперь в шлюз воткнулась еще одна карточка eth2. У нее IP-адрес
172.24.... в локальной сети провайдера. Канал этот более быстрый, чем
eth1 и нелимитированный по трафику.

Что хочется сделать? Весь пользовательский трафик пустить в eth2, но при
этом сохранить висящие на белом IP eth1 столь полезные нам apache,
postfix и bind...

Что было сделано. Пока я прописал маршрутом по умолчанию eth2 и
пользователи начали ходить в интернет через eth2. Но только шлюз теперь
по своему белому IP не виден, снаружи не пингуется.

Насколько я понимаю, если кто-то хочет получить доступ к машине снаружи,
  то машина присылает пакет в eth1, а шлюз отвечает пакетом в eth2,
поскольку это маршрут по умолчанию.

Как быть? Наверное, надо прописать в iptables так, чтобы если пакет
исходит с белого IP, то его нужно направить в eth1, а не в eth2. Как это
сделать? Или есть какие-то более правильные решения?

--
Денис

Re: [Sysadmins] Хитрые настройки iptables

[Alexander Volkov]

On Mon, 30 Jan 2006 21:15:58 +0300, Denis Kirienko <dk_for_lists  
lmsh.edu.ru> wrote:

> Как быть? Наверное, надо прописать в iptables так, чтобы если пакет
> исходит с белого IP, то его нужно направить в eth1, а не в eth2. Как это
> сделать? Или есть какие-то более правильные решения?

А поискать тут же хотя бы за месяц? Я поднимал ту же тему,  всё  
разжевали/выяснили...

-- 
Regards, Alexander.

Re: [Sysadmins] Хитрые настройки iptables

[Denis Kirienko]

Alexander Volkov пишет:
> On Mon, 30 Jan 2006 21:15:58 +0300, Denis Kirienko <dk_for_lists 
> lmsh.edu.ru> wrote:
> 
>> Как быть? Наверное, надо прописать в iptables так, чтобы если пакет
>> исходит с белого IP, то его нужно направить в eth1, а не в eth2. Как это
>> сделать? Или есть какие-то более правильные решения?
> 
> А поискать тут же хотя бы за месяц? Я поднимал ту же тему,  всё 
> разжевали/выяснили...

О, да, спасибо! Нашел, прочитал, сделал, заработало.

И... сразу же столкнулся с задачей пустить локальный трафик от разных 
приложений через разные интерфейсы.

Проблема такая. Если я пущу исходящий трафик от postfix через второго 
провайдера, то многие почтовики откажутся его принимать, поскольку белый 
IP второго провайдера забанен за спам. Поэтому почту от локального 
сервера postfix, на 25 порту, необходимо отдавать через мой белый IP.

Поэтому стоит такая задача: как настроить postfix так, чтобы он работал 
только через белый ip, привязанный к eth1?

Или аналогичная задача - можно ли настроить squid (который будет 
основным пожирателем трафика) так, чтобы он работал только через ip, 
привязанный к eth2?

Все это - локальные службы, а уж с транзитным трафиком я, кажется, 
понял, как разбираться.

--
Денис

Re: [Sysadmins] Хитрые настройки iptables

[Vladimir V. Kamarzin]

>>>>> On 31 Jan 2006 at 22:57 "DK" == Denis Kirienko writes:

 DK> И... сразу же столкнулся с задачей пустить локальный трафик от разных
 DK> приложений через разные интерфейсы.
 DK> Проблема такая. Если я пущу исходящий трафик от postfix через второго
 DK> провайдера, то многие почтовики откажутся его принимать, поскольку
 DK> белый IP второго провайдера забанен за спам. Поэтому почту от
 DK> локального сервера postfix, на 25 порту, необходимо отдавать через мой
 DK> белый IP.
 DK> Поэтому стоит такая задача: как настроить postfix так, чтобы он
 DK> работал только через белый ip, привязанный к eth1?

В принципе можно через ip rule разрулить, или воспользоваться параметром
inet_interfaces (и возможно proxy_interfaces).

 DK> Или аналогичная задача - можно ли настроить squid (который будет
 DK> основным пожирателем трафика) так, чтобы он работал только через ip,
 DK> привязанный к eth2?

См. tcp_outgoing_address

-- 
vvk

Re: [Sysadmins] Хитрые настройки iptables

[Denis Kirienko]

Vladimir V. Kamarzin пишет:
>>>>>> On 31 Jan 2006 at 22:57 "DK" == Denis Kirienko writes:
> 
>  DK> И... сразу же столкнулся с задачей пустить локальный трафик от разных
>  DK> приложений через разные интерфейсы.
>  DK> Проблема такая. Если я пущу исходящий трафик от postfix через второго
>  DK> провайдера, то многие почтовики откажутся его принимать, поскольку
>  DK> белый IP второго провайдера забанен за спам. Поэтому почту от
>  DK> локального сервера postfix, на 25 порту, необходимо отдавать через мой
>  DK> белый IP.
>  DK> Поэтому стоит такая задача: как настроить postfix так, чтобы он
>  DK> работал только через белый ip, привязанный к eth1?
> 
> В принципе можно через ip rule разрулить, или воспользоваться параметром
> inet_interfaces (и возможно proxy_interfaces).

Непонятно, как разрулить через ip rule. В ip rule нельзя задать в 
качестве критерия номер порта. И судя по iptables tutorial пометить 
исходящий пакет тоже нельзя: routing decision принимается до попадания 
пакета в mangle.

inet_interfaces использовать не удалось: независимо от его значения все 
уходит через default gateway.

>  DK> Или аналогичная задача - можно ли настроить squid (который будет
>  DK> основным пожирателем трафика) так, чтобы он работал только через ip,
>  DK> привязанный к eth2?
> 
> См. tcp_outgoing_address

О, а вот это - то, что надо. Странно, я этот параметр проглядел, хотя 
squid.conf весь просмотрел. Наверное, невнимательно смотрел. Собственно, 
желаемого я добился: весь основной трафик от клиентов пустил через 
прокси (получилось 700 мегабайт за сутки), а все остальное - в белый ip, 
там за день набежало всего-то 10 мегабайт. Спасибо!

--
Денис

Re: [Sysadmins] Хитрые настройки iptables

[Aleksey Avdeev]

Denis Kirienko пишет:
> Vladimir V. Kamarzin пишет:
> 
...
> 
> Непонятно, как разрулить через ip rule. В ip rule нельзя задать в
> качестве критерия номер порта. И судя по iptables tutorial пометить
> исходящий пакет тоже нельзя: routing decision принимается до попадания
> пакета в mangle.

  Можно: когда срабатывает ip rule -- пакет ещё в ядре. (У меня --
работает.)

PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
фильтрации по метке пакета.

-- 

С уважением. Алексей.

Re: [Sysadmins] Хитрые настройки iptables

[Maxim Tyurin]

Aleksey Avdeev writes:

> Denis Kirienko пишет:
>> Vladimir V. Kamarzin пишет:
>> 
> ...
>> 
>> Непонятно, как разрулить через ip rule. В ip rule нельзя задать в
>> качестве критерия номер порта. И судя по iptables tutorial пометить
>> исходящий пакет тоже нельзя: routing decision принимается до попадания
>> пакета в mangle.
>
>   Можно: когда срабатывает ip rule -- пакет ещё в ядре. (У меня --
> работает.)

Точно работает?
Для трафика *от локального процесса*?


>
> PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
> фильтрации по метке пакета.

OUTPUT ROUTING срабатывает раньше iptables OUTPUT

Транзитный трафик можно крутить как угодно, а от локального процесса
нет :(
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Хитрые настройки iptables

[Aleksey Avdeev]

Maxim Tyurin пишет:
> Aleksey Avdeev writes:
> 
> 
>>Denis Kirienko пишет:
>>
>>>Vladimir V. Kamarzin пишет:
>>>
>>
>>...
>>
>>>Непонятно, как разрулить через ip rule. В ip rule нельзя задать в
>>>качестве критерия номер порта. И судя по iptables tutorial пометить
>>>исходящий пакет тоже нельзя: routing decision принимается до попадания
>>>пакета в mangle.
>>
>>  Можно: когда срабатывает ip rule -- пакет ещё в ядре. (У меня --
>>работает.)
> 
> 
> Точно работает?
> Для трафика *от локального процесса*?

  Точно. :-)

> 
>>PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
>>фильтрации по метке пакета.
> 
> 
> OUTPUT ROUTING срабатывает раньше iptables OUTPUT
> 
> Транзитный трафик можно крутить как угодно, а от локального процесса
> нет :(

  И транзитный, и локальный трафик, требующие обработки в таблице
mangle (в цепочках PREROUTING и OUTPUT соответственно) заворачиваю в
одну цепочку. Где и помечаю.

  Работает, однако. :-)

-- 

С уважением. Алексей.

Re: [Sysadmins] Хитрые настройки iptables

[Maxim Tyurin]

Aleksey Avdeev writes:

>>>PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
>>>фильтрации по метке пакета.
>> 
>> 
>> OUTPUT ROUTING срабатывает раньше iptables OUTPUT
>> 
>> Транзитный трафик можно крутить как угодно, а от локального процесса
>> нет :(
>
>   И транзитный, и локальный трафик, требующие обработки в таблице
> mangle (в цепочках PREROUTING и OUTPUT соответственно) заворачиваю в
> одну цепочку. Где и помечаю.
>
>   Работает, однако. :-)

Я отстал от жизни?
http://www.docum.org/docum.org/kptd/
Эта схема уже не действительна? Раньше не работало.
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] Хитрые настройки iptables

[Aleksey Avdeev]

Maxim Tyurin пишет:
> Aleksey Avdeev writes:
> 
> 
>>>>PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
>>>>фильтрации по метке пакета.
>>>
>>>
>>>OUTPUT ROUTING срабатывает раньше iptables OUTPUT
>>>
>>>Транзитный трафик можно крутить как угодно, а от локального процесса
>>>нет :(
>>
>>  И транзитный, и локальный трафик, требующие обработки в таблице
>>mangle (в цепочках PREROUTING и OUTPUT соответственно) заворачиваю в
>>одну цепочку. Где и помечаю.
>>
>>  Работает, однако. :-)
> 
> 
> Я отстал от жизни?
> http://www.docum.org/docum.org/kptd/
> Эта схема уже не действительна? Раньше не работало.

  Не знаю: я в такие дебри не лазил... Настраивал, с помощью
<http://www.nixp.ru/articles/iproute>, других источников и метода
научного тыка.

-- 

С уважением. Алексей.

Re[2]: [Sysadmins] Хитрые настройки iptables

[Dank Bagryantsev]

Здравствуйте, Aleksey.

Вы писали 3 февраля 2006 г., 17:11:58:

>>>>>PS: См. <http://www.opennet.ru/docs/RUS/LARTC/x1308.html> на предмет
>>>>>фильтрации по метке пакета.
>>>>
>>>>
>>>>OUTPUT ROUTING срабатывает раньше iptables OUTPUT
>>>>
>>>>Транзитный трафик можно крутить как угодно, а от локального процесса
>>>>нет :(
>>>
>>>  И транзитный, и локальный трафик, требующие обработки в таблице
>>>mangle (в цепочках PREROUTING и OUTPUT соответственно) заворачиваю в
>>>одну цепочку. Где и помечаю.
>>>
>>>  Работает, однако. :-)
>> 
>> 
>> Я отстал от жизни?
>> http://www.docum.org/docum.org/kptd/
>> Эта схема уже не действительна? Раньше не работало.

Схема действительна и все работает только так и не иначе!
2Aleksey: Другими словами, если сказал routing, что этот ip-пакет от
локального процесса выйдет через этот конкретный интерфейс, то
никакими средствами iptables его через другой интерфейс не выпустишь.
Если я не прав, то предъявите доказательства, pls.

AA>   Не знаю: я в такие дебри не лазил... Настраивал, с помощью
AA> <http://www.nixp.ru/articles/iproute>, других источников и метода
AA> научного тыка.

IMHO, наверное, о каком-то нюансе вы умалчиваете...

Например, при динамической маршрутизации свои нюансы могут возникнуть...
Да и следующая схема должна дать требуемые результаты:

"повесить" локальный процесс на dummy0/определенный IP(или через
vserver) + source-routing + SNAT/DNAT(если надо)


-- 
С уважением,
 Dank

Re: [Sysadmins] Хитрые настройки iptables

[Aleksey Avdeev]

Dank Bagryantsev пишет:
> Здравствуйте, Aleksey.
> 
...
> 
> 
> Схема действительна и все работает только так и не иначе!
> 2Aleksey: Другими словами, если сказал routing, что этот ip-пакет от
> локального процесса выйдет через этот конкретный интерфейс, то
> никакими средствами iptables его через другой интерфейс не выпустишь.
> Если я не прав, то предъявите доказательства, pls.

  Iptables отправкой пакета через интерфейс и не управляет. Там только
MARK делается... И в какой интерфейс его отправить -- уже другие
механизмы занимаются.

> 
> AA>   Не знаю: я в такие дебри не лазил... Настраивал, с помощью
> AA> <http://www.nixp.ru/articles/iproute>, других источников и метода
> AA> научного тыка.
> 
> IMHO, наверное, о каком-то нюансе вы умалчиваете...

  Вполне возможно. О подробностях смогу сообщить недели через 2 (когда
из командировка вернусь).

> 
> Например, при динамической маршрутизации свои нюансы могут возникнуть...

  У меня -- только статическая.

> Да и следующая схема должна дать требуемые результаты:
> 
> "повесить" локальный процесс на dummy0/определенный IP(или через
> vserver) + source-routing + SNAT/DNAT(если надо)

  Я с локального хоста по этой схеме по ftp ходил, пока туннель со
стороны шлюза непорушил. (Пробрасовал через туннель ftp трафик от своего
хоста и тестовой подсети, к нему подключённой.)

-- 

С уважением. Алексей.

Re: [Sysadmins] Хитрые настройки iptables

[Aleksey Avdeev]

Aleksey Avdeev пишет:
> Dank Bagryantsev пишет:
> 
>>Здравствуйте, Aleksey.
>>
> 
> ...
> 
>>
>>Схема действительна и все работает только так и не иначе!
>>2Aleksey: Другими словами, если сказал routing, что этот ip-пакет от
>>локального процесса выйдет через этот конкретный интерфейс, то
>>никакими средствами iptables его через другой интерфейс не выпустишь.
>>Если я не прав, то предъявите доказательства, pls.
> 
> 
>   Iptables отправкой пакета через интерфейс и не управляет. Там только
> MARK делается... И в какой интерфейс его отправить -- уже другие
> механизмы занимаются.
> 
> 
>>AA>   Не знаю: я в такие дебри не лазил... Настраивал, с помощью
>>AA> <http://www.nixp.ru/articles/iproute>, других источников и метода
>>AA> научного тыка.
>>
>>IMHO, наверное, о каком-то нюансе вы умалчиваете...
> 
> 
>   Вполне возможно. О подробностях смогу сообщить недели через 2 (когда
> из командировка вернусь).

  Вернулся. Готов продолжить беседу.

> 
> 
>>Например, при динамической маршрутизации свои нюансы могут возникнуть...
> 
> 
>   У меня -- только статическая.
> 
> 
>>Да и следующая схема должна дать требуемые результаты:
>>
>>"повесить" локальный процесс на dummy0/определенный IP(или через
>>vserver) + source-routing + SNAT/DNAT(если надо)
> 
> 
>   Я с локального хоста по этой схеме по ftp ходил, пока туннель со
> стороны шлюза непорушил. (Пробрасовал через туннель ftp трафик от своего
> хоста и тестовой подсети, к нему подключённой.)

  Туннель -- починен.

  Как у меня сделано (etcnet-0.8.0-alt1 +
etcnet-defaults-server-0.8.0-alt1):

/etc/net/ifaces/

/etc/net/ifaces/lan -- локальная сетка (ничего интересного)

/etc/net/ifaces/mylan -- тестовый сегмент (тоже, ничего интересного)

/etc/net/ifaces/gre_tun -- туннель к ftp шлюзу (отличен от шлюза по
умолчанию).

/etc/net/ifaces/gre_tun/{options,ipv4address} -- обычные настройки
туннеля (из примеров брал)

/etc/net/ifaces/gre_tun/ipv4rule -- помеченное, маршрутизируем отдельной
таблицей (ftp.out):

====

fwmark 1 table ftp.out

====

/etc/net/ifaces/gre_tun/ipv4route -- маршрут по умолчанию для ftp.out:

====

default via <ip шлюза в туннеле> dev gre_gaspar table ftp.out

====

/etc/net/ifaces/gre_gaspar/fw/iptables/filter -- всё пропускать

/etc/net/ifaces/gre_gaspar/fw/iptables/mangle/{OUTPUT,PREROUTING} --
идентичны:

====

-p tcp -m tcp -j tunmark

====

/etc/net/ifaces/gre_gaspar/fw/iptables/mangle/tunmark -- метим пакеты:

====

-d 127.0.0.0/8 -j RETURN
-d <lan ip> -j RETURN
-p tcp -m multiport --destination-port 20,21,873 -j MARK --set-mark 0x1

====

/etc/net/ifaces/gre_gaspar/fw/iptables/nat/POSTROUTING -- натим всё, что
 идёт через данный интерфейс:

====

-o $NAME -j SNAT --to-source <ip хоста в туннеле>

====

  iproute:

/etc/iproute2/rt_tables:

====

#
# reserved values
#
255	local
254	main
253	default
0	unspec
#
# local
#
#1	inr.ruhep
201 ftp.out

====

  При такой схеме весь ftp/rsync трафик из тестовой сетки (mylan) и
локального хоста (к которому она подсоединена) -- уходит не на
умолчальный шлюз, а туда -- куда мне нужно.

-- 

С уважением. Алексей.

Re: [Sysadmins] Хитрые настройки iptables

[Vladimir V. Kamarzin]

>>>>> On 02 Feb 2006 at 02:10 "DK" == Denis Kirienko writes:

 DK> inet_interfaces использовать не удалось: независимо от его значения
 DK> все уходит через default gateway.

inet_interfaces указывает smtpd, на каких интерфейсах слушать. Для отправки
через определённый интерфейс - это proxy_interfaces (если я ничего не путаю
:-) )

-- 
vvk

Re: [Sysadmins] Хитрые настройки iptables

[Ivan Fedorov]

Denis Kirienko пишет:
> Проблема такая. Если я пущу исходящий трафик от postfix через второго 
> провайдера, то многие почтовики откажутся его принимать, поскольку белый 
> IP второго провайдера забанен за спам. Поэтому почту от локального 
> сервера postfix, на 25 порту, необходимо отдавать через мой белый IP.
> 
> Поэтому стоит такая задача: как настроить postfix так, чтобы он работал 
> только через белый ip, привязанный к eth1?
У меня вот так прописано... postfix там древний, возможно сейчас что-то 
получше есть.

master.cf:
smtp    unix  -       -       n       -       -       smtp -o 
smtp_bind_address=WhiteIP
relay   unix  -       -       n       -       -       smtp -o 
smtp_bind_address=WhiteIP