[Sysadmins] рутер на nftables

[Sysadmins] рутер на nftables

[Вадим Илларионов]

Пытаясь перепилить шлюз с иптаблиц на сабж, упёрся в пару неясностей в
таблице mangle:

1. Цепочка forward
TCPMSS     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp
flags:0x06/0x02 TCPMSS clamp to PMTU

2. Цепочка postrouting
TTL        all  --  0.0.0.0/0            0.0.0.0/0            TTL match
TTL == 1 TTL set to 64

Может, кому-то уже удалось перевести это в правила nftables?

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Вадим Илларионов]

30.11.2016 23:22, Вадим Илларионов пишет:
> Пытаясь перепилить шлюз с иптаблиц на сабж, упёрся в пару неясностей в таблице mangle:
>
> 1. Цепочка forward
> TCPMSS tcp -- 0.0.0.0/0 0.0.0.0/0 tcp flags:0x06/0x02 TCPMSS clamp to PMTU
>
> 2. Цепочка postrouting
> TTL    all -- 0.0.0.0/0 0.0.0.0/0 TTL match TTL == 1 TTL set to 64
# nft add rule mangle postrouting ip ttl == 1 counter ip ttl 64

Не оно ли? По крайней мере, добавилось без ругани и пакетики считаются.
Осталось оттестировать результат.
А вот по первому вопросу пока голяк.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Вадим Илларионов]

Выяснилась неприятная деталь: при переводе контейнера с etcnet на
systemd-networkd проксмокс, вместо того, чтобы заменять в сетевых
конфигах контейнера только секции [Match] и [Network], переписывает их
полностью. Стало быть, привязка к интерфейсам контейнера статических
маршрутов и ДНС-опций невозможна без огорода из костылей и грабель.
Открывать багу?

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Вадим Илларионов]

По всему выходит, я тут сам с собой переписываюсь.
Что ж, хоть пообщаться с умным человеком... :)

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Вадим Илларионов" <gbimobou@gmail.com>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправлено: Четверг, 1 Декабрь 2016 г 21:37:09
> Тема: Re: [Sysadmins] рутер на nftables
> 
> Выяснилась неприятная деталь: при переводе контейнера с etcnet на
> systemd-networkd проксмокс, вместо того, чтобы заменять в сетевых
> конфигах контейнера только секции [Match] и [Network], переписывает
> их
> полностью. Стало быть, привязка к интерфейсам контейнера статических
> маршрутов и ДНС-опций невозможна без огорода из костылей и грабель.
> Открывать багу?

Использование на серверах systemd-networkd это как-то... ну оооочень оригинально.
Учитывая как лихо авторы там размахивают шашками поклав на совместимость. Год сидел
на рабочей и домашней машине на этом самом systemd-networkd, вернулся обратно взад на
etcnet, ибо засношало, что при любом изменении параметров сети часто надо перегружать
систему. Вечные драки с openresolv и отсыхающие на этой почве DNS. Невовремя пропадающие
вручную через ip назначенные адреса и маршруты и многое другое.

systemd-networkd серьезно можно рассматривать только когда разработчики наиграются с
накручиванием на нем свистоперделок и успокоятся.

Re: [Sysadmins] рутер на nftables

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Вадим Илларионов" <gbimobou@gmail.com>
> Кому: sysadmins@lists.altlinux.org
> Отправлено: Среда, 30 Ноябрь 2016 г 23:22:30
> Тема: [Sysadmins]  рутер на nftables
> 
> Пытаясь перепилить шлюз с иптаблиц на сабж, упёрся в пару неясностей
> в
> таблице mangle:
> 
> 1. Цепочка forward
> TCPMSS     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp
> flags:0x06/0x02 TCPMSS clamp to PMTU
> 
> 2. Цепочка postrouting
> TTL        all  --  0.0.0.0/0            0.0.0.0/0            TTL
> match
> TTL == 1 TTL set to 64
> 
> Может, кому-то уже удалось перевести это в правила nftables?

Целиком и полностью переехать на nft сейчас не реально. Что-то можно вынести в nft,
что-то пока оставить на iptables

Re: [Sysadmins] рутер на nftables

[В.А. Илларионов]

02.12.2016 12:52, Alexei Takaseev пишет:

>
>> Пытаясь перепилить шлюз с иптаблиц на сабж, упёрся в пару неясностей
>> в
>> таблице mangle:
>>
>> 1. Цепочка forward
>> TCPMSS     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp
>> flags:0x06/0x02 TCPMSS clamp to PMTU
>>
>> 2. Цепочка postrouting
>> TTL        all  --  0.0.0.0/0            0.0.0.0/0            TTL
>> match
>> TTL == 1 TTL set to 64
>>
>> Может, кому-то уже удалось перевести это в правила nftables?
> Целиком и полностью переехать на nft сейчас не реально. Что-то можно вынести в nft,
> что-то пока оставить на iptables

Ну, с ТТЛ, вроде, получилось, а кламп TCPMSS нужен только на РРР-соединениях. У меня лишь одни подопечные до 
сих пор на АДСЛ остались, остальным не актуально.

А вот фейл2бан на нфтаблицах работает отлично - только жаль, что:
а) он у нас старый и акции с нфтаблицами пришлось добавлять руками;
б) прибит зависимостями наглухо к иптаблицам, и снести их можно только с --nodeps;
в) нфтаблицы тоже старые и не умеют burst.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "В.А. Илларионов" <gbimobou@gmail.com>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправлено: Пятница, 2 Декабрь 2016 г 13:23:19
> Тема: Re: [Sysadmins] рутер на nftables
> 
> 02.12.2016 12:52, Alexei Takaseev пишет:
> 
> >
> >> Пытаясь перепилить шлюз с иптаблиц на сабж, упёрся в пару
> >> неясностей
> >> в
> >> таблице mangle:
> >>
> >> 1. Цепочка forward
> >> TCPMSS     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp
> >> flags:0x06/0x02 TCPMSS clamp to PMTU
> >>
> >> 2. Цепочка postrouting
> >> TTL        all  --  0.0.0.0/0            0.0.0.0/0            TTL
> >> match
> >> TTL == 1 TTL set to 64
> >>
> >> Может, кому-то уже удалось перевести это в правила nftables?
> > Целиком и полностью переехать на nft сейчас не реально. Что-то
> > можно вынести в nft,
> > что-то пока оставить на iptables
> 
> Ну, с ТТЛ, вроде, получилось, а кламп TCPMSS нужен только на
> РРР-соединениях. У меня лишь одни подопечные до
> сих пор на АДСЛ остались, остальным не актуально.
> 
> А вот фейл2бан на нфтаблицах работает отлично - только жаль, что:
> а) он у нас старый и акции с нфтаблицами пришлось добавлять руками;
> б) прибит зависимостями наглухо к иптаблицам, и снести их можно
> только с --nodeps;

Чем это мешает? Учитывая то, что nft и iptables между собой не конфликтуют, и
вполне себе живут и работают на одной системе.

> в) нфтаблицы тоже старые и не умеют burst.

В Сизиф и P8 буквально вчера отправил 0.6, там этот функционал есть.

Re: [Sysadmins] рутер на nftables

[В.А. Илларионов]

02.12.2016 14:16, Alexei Takaseev пишет:
>
>> Ну, с ТТЛ, вроде, получилось, а кламп TCPMSS нужен только на
>> РРР-соединениях. У меня лишь одни подопечные до
>> сих пор на АДСЛ остались, остальным не актуально.
>>
>> А вот фейл2бан на нфтаблицах работает отлично - только жаль, что:
>> а) он у нас старый и акции с нфтаблицами пришлось добавлять руками;
>> б) прибит зависимостями наглухо к иптаблицам, и снести их можно
>> только с --nodeps;
> Чем это мешает? Учитывая то, что nft и iptables между собой не конфликтуют, и
> вполне себе живут и работают на одной системе.

Но при наличии альтернатив зависимость-то ни к чему. Почему б её не отогнуть?

>> в) нфтаблицы тоже старые и не умеют burst.
> В Сизиф и P8 буквально вчера отправил 0.6, там этот функционал есть.

Ну, не успел обновиться - не знал. А фейл2бан когда обновляться будет? Я патчик слепил, с таймаутом в сетах - 
как в ипсете.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "В.А. Илларионов" <gbimobou@gmail.com>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправлено: Пятница, 2 Декабрь 2016 г 14:58:46
> Тема: Re: [Sysadmins] рутер на nftables
> 
> 02.12.2016 14:16, Alexei Takaseev пишет:
> >
> >> Ну, с ТТЛ, вроде, получилось, а кламп TCPMSS нужен только на
> >> РРР-соединениях. У меня лишь одни подопечные до
> >> сих пор на АДСЛ остались, остальным не актуально.
> >>
> >> А вот фейл2бан на нфтаблицах работает отлично - только жаль, что:
> >> а) он у нас старый и акции с нфтаблицами пришлось добавлять
> >> руками;
> >> б) прибит зависимостями наглухо к иптаблицам, и снести их можно
> >> только с --nodeps;
> > Чем это мешает? Учитывая то, что nft и iptables между собой не
> > конфликтуют, и
> > вполне себе живут и работают на одной системе.
> 
> Но при наличии альтернатив зависимость-то ни к чему. Почему б её не
> отогнуть?
> 
> >> в) нфтаблицы тоже старые и не умеют burst.
> > В Сизиф и P8 буквально вчера отправил 0.6, там этот функционал
> > есть.
> 
> Ну, не успел обновиться - не знал. А фейл2бан когда обновляться
> будет? Я патчик слепил, с таймаутом в сетах -
> как в ипсете.

Тут лучше обратиться к майнтайнеру этого пакета, лучше через багзиллу.

Re: [Sysadmins] рутер на nftables

[Вадим Илларионов]

02.12.2016 16:12, Alexei Takaseev пишет:
>>>> А вот фейл2бан на нфтаблицах работает отлично - только жаль, что:
>>>> а) он у нас старый и акции с нфтаблицами пришлось добавлять
>>>> руками;
>>>> б) прибит зависимостями наглухо к иптаблицам, и снести их можно
>>>> только с --nodeps;
>>> Чем это мешает? Учитывая то, что nft и iptables между собой не
>>> конфликтуют, и вполне себе живут и работают на одной системе.
>> Но при наличии альтернатив зависимость-то ни к чему. Почему б её не
>> отогнуть?

Зарегистрировал  в багзилле.

>> А фейл2бан когда обновляться будет? Я патчик слепил, с таймаутом в сетах -
>> как в ипсете.
> Тут лучше обратиться к майнтайнеру этого пакета, лучше через багзиллу.

Предложил патч в багтрекере разработчиков.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Eugene Prokopiev]

2 декабря 2016 г., 7:41 пользователь Alexei Takaseev <alexei@taf.ru> написал:

> Использование на серверах systemd-networkd это как-то... ну оооочень оригинально.
> Учитывая как лихо авторы там размахивают шашками поклав на совместимость. Год сидел
> на рабочей и домашней машине на этом самом systemd-networkd, вернулся обратно взад на
> etcnet, ибо засношало, что при любом изменении параметров сети часто надо перегружать
> систему. Вечные драки с openresolv и отсыхающие на этой почве DNS. Невовремя пропадающие
> вручную через ip назначенные адреса и маршруты и многое другое.

Реальная необходимость перезагрузки для того, чтоб убедиться в
правильном поднятии всего хоть чуть-чуть нетривиально наконфигуренного
- это противно конечно, однако зачем при наличии systemd-networkd
может понадобиться еще и openresolv, можете пример привести?

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] рутер на nftables

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Eugene Prokopiev" <enp@itx.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправлено: Понедельник, 5 Декабрь 2016 г 13:17:04
> Тема: Re: [Sysadmins] рутер на nftables
> 
> 2 декабря 2016 г., 7:41 пользователь Alexei Takaseev <alexei@taf.ru>
> написал:
> 
> > Использование на серверах systemd-networkd это как-то... ну
> > оооочень оригинально.
> > Учитывая как лихо авторы там размахивают шашками поклав на
> > совместимость. Год сидел
> > на рабочей и домашней машине на этом самом systemd-networkd,
> > вернулся обратно взад на
> > etcnet, ибо засношало, что при любом изменении параметров сети
> > часто надо перегружать
> > систему. Вечные драки с openresolv и отсыхающие на этой почве DNS.
> > Невовремя пропадающие
> > вручную через ip назначенные адреса и маршруты и многое другое.
> 
> Реальная необходимость перезагрузки для того, чтоб убедиться в
> правильном поднятии всего хоть чуть-чуть нетривиально
> наконфигуренного
> - это противно конечно, однако зачем при наличии systemd-networkd
> может понадобиться еще и openresolv, можете пример привести?

Хотя бы тем, что указанный systemd-networkd вместо отданного по DHCP
DNS впихивает 8.8.8.8 и 8.8.4.4. И это у него прибито гвоздями в коде.
Что бы ни говорили, но такое поведение не считаю нормальным. И да,
ЕМНИП, опять же не все кучеряво в плане назначения адресов ipv6 DNS.
То ли тоже подсовывались гугловские, то ли вообще клался болт на этот
пустяк. На выходе же получались затупы при обращении к v6 ресурсам.

Re: [Sysadmins] рутер на nftables

[Eugene Prokopiev]

5 декабря 2016 г., 8:29 пользователь Alexei Takaseev <alexei@taf.ru> написал:

>> Реальная необходимость перезагрузки для того, чтоб убедиться в
>> правильном поднятии всего хоть чуть-чуть нетривиально
>> наконфигуренного
>> - это противно конечно, однако зачем при наличии systemd-networkd
>> может понадобиться еще и openresolv, можете пример привести?
>
> Хотя бы тем, что указанный systemd-networkd вместо отданного по DHCP
> DNS впихивает 8.8.8.8 и 8.8.4.4. И это у него прибито гвоздями в коде.
> Что бы ни говорили, но такое поведение не считаю нормальным. И да,
> ЕМНИП, опять же не все кучеряво в плане назначения адресов ipv6 DNS.
> То ли тоже подсовывались гугловские, то ли вообще клался болт на этот
> пустяк. На выходе же получались затупы при обращении к v6 ресурсам.

1) DNS настроивает systemd-resolved, который связан с systemd-networkd
лишь тем, что читает DNS из /etc/systemd/network (но не только
оттуда).
2) 8.8.8.8 и 8.8.4.4 в systemd-resolved гвоздями не прибиты и никогда
не были, насколько помню. Их можно было выключить в
/etc/systemd/resolved.conf, но у нас сейчас и этого дефолта уже нет. У
systemd-resolved есть другая неприятная проблема, связанная с нашим
чрутованным пингом, которая решается не самым красивым способом.
3) как все вышеперечисленное связано с openresolv? Просто я его не
использую, может я что-то упускаю?

Про ipv6 ничего сказать не могу, т.к. не использую его, а отключение
некоторое время назад для systemd-networkd и правда было проблемой (а
во многих дистрибутивах это проблема до сих пор).

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] рутер на nftables

[В.А. Илларионов]

05.12.2016 14:07, Eugene Prokopiev пишет:
> 3) как все вышеперечисленное связано с openresolv? Просто я его не
> использую, может я что-то упускаю?
>
> Про ipv6 ничего сказать не могу, т.к. не использую его, а отключение
> некоторое время назад для systemd-networkd и правда было проблемой (а
> во многих дистрибутивах это проблема до сих пор).

Вот у меня схожая картина:
а) ни openresolv, ни ipv6 не использую;
б) обязанности ДНС в тех мелких сетях (в моей домашней, в корпоративной и в паре подопечных конторок), где 
виртуализирован рутер из сабжа, лежат на dnsmasq - как и функции DHCP, разумеется.
Посему systemd-networkd + nftables функционалом устраивают без малого полностью. Не вижу препятствий по их 
использованию, кроме искусственной привязки fail2ban'а к iptables - и то лишь у нас, да невозможности прибить 
стат.маршруты к интерфейсам рутера без самописного шаманства.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Eugene Prokopiev]

5 декабря 2016 г., 9:32 пользователь В.А. Илларионов
<gbimobou@gmail.com> написал:

> ... невозможности прибить
> стат.маршруты к интерфейсам рутера без самописного шаманства.

Не очень понял, где тут место шаманству и почему штатных возможностей
systemd-networkd недостаточно?

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] рутер на nftables

[В.А. Илларионов]

05.12.2016 14:44, Eugene Prokopiev пишет:
>> ... невозможности прибить
>> стат.маршруты к интерфейсам рутера без самописного шаманства.
> Не очень понял, где тут место шаманству и почему штатных возможностей
> systemd-networkd недостаточно?

Ранее в этой ветке я уже сетовал, что наша реализация PVE переписывает конфиги сетевух systemd-networkd в 
контейнерах LXC полностью, вместо того, чтоб поменять всего пару секций - [Match] да [Network].

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Eugene Prokopiev]

5 декабря 2016 г., 10:02 пользователь В.А. Илларионов
<gbimobou@gmail.com> написал:
> 05.12.2016 14:44, Eugene Prokopiev пишет:
>>>
>>> ... невозможности прибить
>>> стат.маршруты к интерфейсам рутера без самописного шаманства.
>>
>> Не очень понял, где тут место шаманству и почему штатных возможностей
>> systemd-networkd недостаточно?
>
>
> Ранее в этой ветке я уже сетовал, что наша реализация PVE переписывает
> конфиги сетевух systemd-networkd в контейнерах LXC полностью, вместо того,
> чтоб поменять всего пару секций - [Match] да [Network].

А управлять сетью в контейнерах вместо PVE средствами самих
контейнеров (в т.ч. выдать статические маршруты по dhcp при
необходимости) почему-либо неудобно?

Я управляю сетью в контейнерах именно средствами самих контейнеров,
правда с systemd-nspawn/machinectl вместо pve/lxc и статические
маршруты мне не требуются.

-- 
WBR,
Eugene Prokopiev

Re: [Sysadmins] рутер на nftables

[В.А. Илларионов]

05.12.2016 15:34, Eugene Prokopiev пишет:

>> Ранее в этой ветке я уже сетовал, что наша реализация PVE переписывает
>> конфиги сетевух systemd-networkd в контейнерах LXC полностью, вместо того,
>> чтоб поменять всего пару секций - [Match] да [Network].
> А управлять сетью в контейнерах вместо PVE средствами самих
> контейнеров (в т.ч. выдать статические маршруты по dhcp при
> необходимости) почему-либо неудобно?

С одной стороны, зачастую удобно задавать параметры интерфейсов прямо из веб-морды PVE. С другой - на LXC пока 
не пробовал не задавать, посему не знаю, как сформируется конфиг в контейнере. Надо попробовать.
На старой версии, 3.х, именно так и делал - все конфиги управлялись изнутри OpenVZ-шек.

> Я управляю сетью в контейнерах именно средствами самих контейнеров,
> правда с systemd-nspawn/machinectl вместо pve/lxc и статические
> маршруты мне не требуются.

Тут вопрос, как отрабатывает перловый модуль PVE для конкретных типов дистрибутива в контейнере. Попробую - отпишу.

-- 
Мимо крокодил.
WBR, rednex CIO.
Viber = +7(964)103-65-67
JID = <mailto:>
Skype = $local_part@<mailto:>

Опциии rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"

Re: [Sysadmins] рутер на nftables

[Вадим Илларионов]

05.12.2016 15:34, Eugene Prokopiev пишет:
> А управлять сетью в контейнерах вместо PVE средствами самих
> контейнеров (в т.ч. выдать статические маршруты по dhcp при
> необходимости) почему-либо неудобно?
>
> Я управляю сетью в контейнерах именно средствами самих контейнеров,
> правда с systemd-nspawn/machinectl вместо pve/lxc и статические
> маршруты мне не требуются.

Увы, перловый модуль PVE пересоздаёт конфиги сетевух с нуля, даже когда
предоставлены только имя, мост и мак-адрес.

Видимо, надо на вешать багу на компонент setup_systemd_networkd с тем
прицелом, чтоб либо позволял добавлять статику, либо не перезаписывал
хотя бы секции [Route].

А лучше - чтоб не трогал конфиг, если опция адреса - статика, но сам он
не задан.

-- 
Мимо крокодил.
WBR, rednex CIO.
JID = <mailto:>
Skype = $local_part@<mailto:>
Viber = +7(964)103-65-67

Опции rsync -aHAX --delete мозг автоматом переводит как "удалить к чёртовой матери!"