[Sysadmins] iptables performance

[Sysadmins] iptables performance

[Andriy Khavryuchenko]

Подскажите тёмному какие ручки в ядре нужно дёргать, чтобы через 
iptables можно было прогонять поток syn-flood-а в 20-40Mbps?  Правил 
фильтрации где-то от сорока тысяч.

Сейчас при превышении потоком определённой границы (1-2Mbps кажется), 
начинается дикая потеря пакетов, 100%-я загрузка одного из ядер оптерона 
hardware и software interrupts и следующие сообщения в логах:

  TCP: too many of orphaned sockets
  Out of socket memory

Openvz ядро.

По результатам гугленья, ручки tcp сейчас подкручены следующим образом:

echo "20" > /proc/sys/net/ipv4/tcp_fin_timeout
echo "2048" > /proc/sys/net/core/netdev_max_backlog
echo "2048" > /proc/sys/net/core/somaxconn
echo "300" > /proc/sys/net/ipv4/tcp_keepalive_time
echo "15" > /proc/sys/net/ipv4/tcp_keepalive_intvl
echo "2" > /proc/sys/net/ipv4/tcp_keepalive_probes
echo "1" > /proc/sys/net/ipv4/tcp_syncookies
echo "2" > /proc/sys/net/ipv4/tcp_synack_retries
echo "2" > /proc/sys/net/ipv4/tcp_syn_retries
echo "28000" > /proc/sys/net/ipv4/tcp_max_syn_backlog
echo "10" > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_recv
echo "40" > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_sent
echo "1" > /proc/sys/net/ipv4/conf/all/rp_filter
echo "220000" > /proc/sys/net/ipv4/ip_conntrack_max
echo "1" > /proc/sys/net/ipv4/tcp_window_scaling
echo "0" > /proc/sys/net/ipv4/tcp_sack
echo "0" > /proc/sys/net/ipv4/conf/all/accept_source_route
echo "1" > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts
echo "1" > /proc/sys/net/ipv4/icmp_ignore_bogus_error_responses
echo 0 > /proc/sys/net/ipv4/tcp_abort_on_overflow
sysctl -w net.core.rmem_default=2097152
sysctl -w net.core.rmem_max=2097152
sysctl -w net.core.wmem_max=2097152
sysctl -w net.core.wmem_default=2097152
sysctl -w "net.ipv4.tcp_mem= 786432 1048576 1572864"
sysctl -w net.ipv4.tcp_max_orphans = 30000

Где узкое место и что крутить?

-- 
Это задействует левый ALT (кнопка такая, а не характеристика
дистрибутива $)
		-- genix in #8201

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Friday 11, at 01:26:31 PM you wrote:

> Подскажите тёмному какие ручки в ядре нужно дёргать, чтобы через iptables 
> можно было прогонять поток syn-flood-а в 20-40Mbps?  Правил фильтрации 
> где-то от сорока тысяч.
> 
> Сейчас при превышении потоком определённой границы (1-2Mbps кажется), 
> начинается дикая потеря пакетов, 100%-я загрузка одного из ядер оптерона 
> hardware и software interrupts и следующие сообщения в логах:
> 
>  TCP: too many of orphaned sockets
>  Out of socket memory
> 
> Openvz ядро.
> 
> По результатам гугленья, ручки tcp сейчас подкручены следующим образом:
> 
версия ovz ядра какая?

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написав:
> Friday 11, at 01:26:31 PM you wrote:
>> Сейчас при превышении потоком определённой границы (1-2Mbps кажется), 
>> начинается дикая потеря пакетов, 100%-я загрузка одного из ядер оптерона 
>> hardware и software interrupts и следующие сообщения в логах:
>>
>>  TCP: too many of orphaned sockets
>>  Out of socket memory
>>
>> Openvz ядро.
>>
>> По результатам гугленья, ручки tcp сейчас подкручены следующим образом:
>>
> версия ovz ядра какая?

Извините, там не альт в HN :(

Там debian 2.6.18.dfsg.1-18etch1

-- 
Стас, надо как-то раскрасить диалоги.
		-- rider in #7335

Re: [Sysadmins] iptables performance

[Andrew Avramenko]

Используйте цепочки. Сделайте минимальным путь правила, если это возможно.


11.04.08, Andriy Khavryuchenko<akhavr@khavr.com> написал(а):
> Подскажите тёмному какие ручки в ядре нужно дёргать, чтобы через iptables
> можно было прогонять поток syn-flood-а в 20-40Mbps?  Правил фильтрации
> где-то от сорока тысяч.
>
>  Сейчас при превышении потоком определённой границы (1-2Mbps кажется),
> начинается дикая потеря пакетов, 100%-я загрузка одного из ядер оптерона
> hardware и software interrupts и следующие сообщения в логах:
>
>   TCP: too many of orphaned sockets
>   Out of socket memory
>
>  Openvz ядро.
>
>  По результатам гугленья, ручки tcp сейчас подкручены следующим образом:
>
>  echo "20" > /proc/sys/net/ipv4/tcp_fin_timeout
>  echo "2048" > /proc/sys/net/core/netdev_max_backlog
>  echo "2048" > /proc/sys/net/core/somaxconn
>  echo "300" > /proc/sys/net/ipv4/tcp_keepalive_time
>  echo "15" > /proc/sys/net/ipv4/tcp_keepalive_intvl
>  echo "2" > /proc/sys/net/ipv4/tcp_keepalive_probes
>  echo "1" > /proc/sys/net/ipv4/tcp_syncookies
>  echo "2" > /proc/sys/net/ipv4/tcp_synack_retries
>  echo "2" > /proc/sys/net/ipv4/tcp_syn_retries
>  echo "28000" > /proc/sys/net/ipv4/tcp_max_syn_backlog
>  echo "10" >
> /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_recv
>  echo "40" >
> /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_syn_sent
>  echo "1" > /proc/sys/net/ipv4/conf/all/rp_filter
>  echo "220000" > /proc/sys/net/ipv4/ip_conntrack_max
>  echo "1" > /proc/sys/net/ipv4/tcp_window_scaling
>  echo "0" > /proc/sys/net/ipv4/tcp_sack
>  echo "0" > /proc/sys/net/ipv4/conf/all/accept_source_route
>  echo "1" > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts
>  echo "1" >
> /proc/sys/net/ipv4/icmp_ignore_bogus_error_responses
>  echo 0 > /proc/sys/net/ipv4/tcp_abort_on_overflow
>  sysctl -w net.core.rmem_default=2097152
>  sysctl -w net.core.rmem_max=2097152
>  sysctl -w net.core.wmem_max=2097152
>  sysctl -w net.core.wmem_default=2097152
>  sysctl -w "net.ipv4.tcp_mem= 786432 1048576 1572864"
>  sysctl -w net.ipv4.tcp_max_orphans = 30000
>
>  Где узкое место и что крутить?
>
>  --
>  Это задействует левый ALT (кнопка такая, а не характеристика
>  дистрибутива $)
>                 -- genix in #8201
>  _______________________________________________
>  Sysadmins mailing list
>  Sysadmins@lists.altlinux.org
>  https://lists.altlinux.org/mailman/listinfo/sysadmins
>


-- 
With best regards,
Andrew

Re: [Sysadmins] iptables performance

[Sergey]

On Monday 14 April 2008, User Dima wrote:

> Мне почему-то кажется, что вы именно пытаетесь осадить крепость. Подумайте
> над изменением алгоритма фильтарции. 40000 правил фильтрации - такое даже 
> в голове не укладывается.  

Например, 4000 пользователей, по 10 персональных правил...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi User!

Monday 14, at 02:42:54 PM you wrote:

> 
> В пн, 14/04/2008 в 13:09 +0500, Sergey пишет:
> 
> > On Monday 14 April 2008, User Dima wrote:
> > 
> > > Мне почему-то кажется, что вы именно пытаетесь осадить крепость. Подумайте
> > > над изменением алгоритма фильтарции. 40000 правил фильтрации - такое даже 
> > > в голове не укладывается.  
> > 
> > Например, 4000 пользователей, по 10 персональных правил...
> > 
> 
> А нельзя ли это превратить в 4000 цепочек по 10 правил?
> А еще было бы неплохо посмотреть на это: http://www.hipac.org/
патчи hipac уже давно вошли в ядро. А для вышеозначенной проблемы
прекрасно подойдет ipset.

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написав(ла):
> патчи hipac уже давно вошли в ядро. А для вышеозначенной проблемы
> прекрасно подойдет ipset.

Спасибо, посмотрю.

-- 
Если борьба с опечатками -- единственное, для чего заведены знаки
препинания -- то я однозначно за то, чтобы их изъять.
		-- kirill in #8173

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написал:
> патчи hipac уже давно вошли в ядро. А для вышеозначенной проблемы
> прекрасно подойдет ipset.

Я правильно понял, что user-level utilities как для hipac так и для 
ipset в сизифе отсутствуют?


-- 
 > Выражение "невозможно спарсировать" мало кому понятно, и не слишком
 > благозвучно. [...] Варианты на вскидку: [разобрать, прочитать,
 > обработать] файл.
Я видел еще лучше, как-то при запуске какой-то drak-утилиты окно с
сообщением: "Парсится файл". Может написать "колбаситься", веселее
будет :)
		-- zerg in #1979

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Monday 14, at 11:16:03 PM you wrote:

> Konstantin A. Lepikhov написал:
>> патчи hipac уже давно вошли в ядро. А для вышеозначенной проблемы
>> прекрасно подойдет ipset.
> 
> Я правильно понял, что user-level utilities как для hipac так и для ipset в 
> сизифе отсутствуют?
ipset периодически ломается в сизифе из-за взрывов в ядерных заголовках. А
мне ее чинить лень %) Можете взять ipset с сайта, где лежит wks-smp
ядро(*), там же есть и соответствующие модули.

PS http://www.unsafe.ru/lakostis/RPMS/ALTLinux/kernel-2.6.24/

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написал:
> Monday 14, at 11:16:03 PM you wrote:
> 
>> Konstantin A. Lepikhov написал:
>>> патчи hipac уже давно вошли в ядро. А для вышеозначенной проблемы
>>> прекрасно подойдет ipset.
>> Я правильно понял, что user-level utilities как для hipac так и для ipset в 
>> сизифе отсутствуют?
> ipset периодически ломается в сизифе из-за взрывов в ядерных заголовках. А
> мне ее чинить лень %) Можете взять ipset с сайта, где лежит wks-smp
> ядро(*), там же есть и соответствующие модули.
> 
> PS http://www.unsafe.ru/lakostis/RPMS/ALTLinux/kernel-2.6.24/

А где-то пакеты или git с feat-ipset и feat-hipac есть?

-- 
Sincerely,

Andrey Khavryuchenko            http://a.khavr.com/
KDS Software Group              http://www.kds.com.ua/
Software Solutions Company

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написал:
> Monday 14, at 02:42:54 PM you wrote:
> патчи hipac уже давно вошли в ядро.

В vanilla ядро?

-- 
Стас, вот тебе фичреквест, Если Будет Нефиг Делать
		-- mike in #1202

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Thursday 17, at 04:59:51 PM you wrote:

> Konstantin A. Lepikhov написал:
>> Monday 14, at 02:42:54 PM you wrote:
>> патчи hipac уже давно вошли в ядро.
> 
> В vanilla ядро?
sorry, поискал по git, не нашел. Так что похоже я дезинформировал.

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написав(ла):
> Hi Andriy!
> 
> Thursday 17, at 04:59:51 PM you wrote:
> 
>> Konstantin A. Lepikhov написал:
>>> Monday 14, at 02:42:54 PM you wrote:
>>> патчи hipac уже давно вошли в ядро.
>> В vanilla ядро?
> sorry, поискал по git, не нашел. Так что похоже я дезинформировал.

А какое состояние 
git.altlinux.org/people/lakostis/packages/kernel-source-ipset.git ?
Оно где-то работало или это work-in-progress?


-- 
А та кнопка внизу - изврат натуральный.
Для таких вещей есть щелчок и двойной щелчок.
И даже называется она неправльно.

P.S.
Я общелкался, пока эту кнопку заметил :-)
		-- zerg in #7289

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Thursday 17, at 05:36:28 PM you wrote:

> Konstantin A. Lepikhov написав(ла):
>> Hi Andriy!
>> 
>> Thursday 17, at 04:59:51 PM you wrote:
>> 
>>> Konstantin A. Lepikhov написал:
>>>> Monday 14, at 02:42:54 PM you wrote:
>>>> патчи hipac уже давно вошли в ядро.
>>> В vanilla ядро?
>> sorry, поискал по git, не нашел. Так что похоже я дезинформировал.
> 
> А какое состояние 
> git.altlinux.org/people/lakostis/packages/kernel-source-ipset.git ?
> Оно где-то работало или это work-in-progress?
Работало, и даже неплохо.

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написал:
> Thursday 17, at 05:36:28 PM you wrote:
>> А какое состояние 
>> git.altlinux.org/people/lakostis/packages/kernel-source-ipset.git ?
>> Оно где-то работало или это work-in-progress?
> Работало, и даже неплохо.

А можно написать мемуары по сборке ядра с этим дополнением?  Собиралось 
из git или "по-старому"?

-- 
Ёлки-палки, я и забыл, что man уже давно не мой пакет. :)
		-- ldv in #6988

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Thursday 17, at 06:01:32 PM you wrote:

> Konstantin A. Lepikhov написал:
>> Thursday 17, at 05:36:28 PM you wrote:
>>> А какое состояние 
>>> git.altlinux.org/people/lakostis/packages/kernel-source-ipset.git ?
>>> Оно где-то работало или это work-in-progress?
>> Работало, и даже неплохо.
> 
> А можно написать мемуары по сборке ядра с этим дополнением?  Собиралось из 
> git или "по-старому"?
собираете с помощью gear kernel-source-ipset, потом скачиваете у меня из
git kernel-modules (ipset там уже есть). У vsu из git берете
kernel-build-scripts, выставляете симлинки как написано в поcтавляемом с
ним README, потом собираете ipset для ядра командой buildmodules:

./buildmodules -d sisyphus --hasher --hsh-workdir=$TMPDIR --target=i586
<kflavour> ipset

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Konstantin A. Lepikhov написал:
> Thursday 17, at 06:01:32 PM you wrote:
>> А можно написать мемуары по сборке ядра с этим дополнением?  Собиралось из 
>> git или "по-старому"?
> собираете с помощью gear kernel-source-ipset, потом скачиваете у меня из
> git kernel-modules (ipset там уже есть). У vsu из git берете
> kernel-build-scripts, выставляете симлинки как написано в поcтавляемом с
> ним README, потом собираете ipset для ядра командой buildmodules:
> 
> ./buildmodules -d sisyphus --hasher --hsh-workdir=$TMPDIR --target=i586
> <kflavour> ipset

Ага.  Тупые вопросы по сборке (когда такие появятся) задавать тут, лично 
или в каком devel*@ ?

-- 
В этом тысячелетии реально интегрировать этот патч? ;)
		-- mithraen in #6288

Re: [Sysadmins] iptables performance

[Konstantin A. Lepikhov]

Hi Andriy!

Thursday 17, at 07:09:27 PM you wrote:

> Konstantin A. Lepikhov написал:
>> Thursday 17, at 06:01:32 PM you wrote:
>>> А можно написать мемуары по сборке ядра с этим дополнением?  Собиралось 
>>> из git или "по-старому"?
>> собираете с помощью gear kernel-source-ipset, потом скачиваете у меня из
>> git kernel-modules (ipset там уже есть). У vsu из git берете
>> kernel-build-scripts, выставляете симлинки как написано в поcтавляемом с
>> ним README, потом собираете ipset для ядра командой buildmodules:
>> 
>> ./buildmodules -d sisyphus --hasher --hsh-workdir=$TMPDIR --target=i586
>> <kflavour> ipset
> 
> Ага.  Тупые вопросы по сборке (когда такие появятся) задавать тут, лично 
> или в каком devel*@ ?
В devel-kernel@

-- 
WBR et al.

Re: [Sysadmins] iptables performance

[Sergey]

On Monday 14 April 2008, User Dima wrote:

> > Например, 4000 пользователей, по 10 персональных правил...
> 
> А нельзя ли это превратить в 4000 цепочек по 10 правил?

А чем это принципиально отличается ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

User Dima написав(ла):
> Подумайте над изменением алгоритма фильтарции. 40000 правил фильтрации -
> такое даже в голове не укладывается.

Вводная.  У вас ресурс со средней посещаемостью.  Его ddos-ят http get 
flood-ом.

Задача.  Нужно обеспечить баланс между скоростью ответа сервера и 
доступностью его для пользователей.

Граничные условия.  Ставить 100 серверов или банить сразу AS недопустимо.

Предложите решение лучше чем фильтрация по атакующему ip.

-- 
Sincerely,

Andrey Khavryuchenko            http://a.khavr.com/
KDS Software Group              http://www.kds.com.ua/
Software Solutions Company

Re: [Sysadmins] iptables performance

[Andrew Avramenko]

В этом случае имхо эффективнее не просто блочить, а, например,
использовать TARPIT из PoM.


14.04.08, Andriy Khavryuchenko<akhavr@khavr.com> написал(а):
> User Dima написав(ла):
>
> > Подумайте над изменением алгоритма фильтарции. 40000 правил фильтрации -
> > такое даже в голове не укладывается.
> >
>
>  Вводная.  У вас ресурс со средней посещаемостью.  Его ddos-ят http get
> flood-ом.
>
>  Задача.  Нужно обеспечить баланс между скоростью ответа сервера и
> доступностью его для пользователей.
>
>  Граничные условия.  Ставить 100 серверов или банить сразу AS недопустимо.
>
>  Предложите решение лучше чем фильтрация по атакующему ip.
>
>  --
>  Sincerely,
>
>  Andrey Khavryuchenko            http://a.khavr.com/
>  KDS Software Group              http://www.kds.com.ua/
>  Software Solutions Company
>
>  _______________________________________________
>  Sysadmins mailing list
>  Sysadmins@lists.altlinux.org
>  https://lists.altlinux.org/mailman/listinfo/sysadmins
>


-- 
With best regards,
Andrew

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Andrew Avramenko написав:
> В этом случае имхо эффективнее не просто блочить, а, например,
> использовать TARPIT из PoM.

Разница несущественная, т.к. *размер* атакующего ботнета больше, чем 
"просто так" переваривает iptables.  Вне зависимости от того, куда этот 
ботнет -j

-- 
Тестировать мне это негде, но поскольку сломать нерабочий код нельзя,
будем считать что хуже не стало.
		-- ldv in #7399

Re: [Sysadmins] iptables performance

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 693 bytes --]

On Mon, Apr 14, 2008 at 02:39:16PM +0300, Andriy Khavryuchenko wrote:
>> В этом случае имхо эффективнее не просто блочить, а, например,
>> использовать TARPIT из PoM.
AK> Разница несущественная, т.к. *размер* атакующего ботнета больше, чем 
AK> "просто так" переваривает iptables.  Вне зависимости от того, куда этот 
AK> ботнет -j

Можно написать свой генератор правил для iptables, который будет помнить
про такую замечательную вещь как "двоичное деление". За счет этого можно
даже при очень больших таблицах обойтись ну никак не тысячами сравнений.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] iptables performance

[Andriy Khavryuchenko]

Денис Смирнов написав(ла):
> On Mon, Apr 14, 2008 at 02:39:16PM +0300, Andriy Khavryuchenko wrote:
>>> В этом случае имхо эффективнее не просто блочить, а, например,
>>> использовать TARPIT из PoM.
> AK> Разница несущественная, т.к. *размер* атакующего ботнета больше, чем 
> AK> "просто так" переваривает iptables.  Вне зависимости от того, куда этот 
> AK> ботнет -j
> 
> Можно написать свой генератор правил для iptables, который будет помнить
> про такую замечательную вещь как "двоичное деление". За счет этого можно
> даже при очень больших таблицах обойтись ну никак не тысячами сравнений.

Ммм..  Не понял.  Разложить этот (достаточно случайный) набор ip адресов 
в binary tree правил iptables?  Это ж сколько цепочек будет :)

-- 
 > > We have System/XFree86 group but not XFree86 itself.  A bug?
 > еще какой. должно быть System/X
заменить нельзя добавить?
		-- ldv in #5372

Re: [Sysadmins] iptables performance

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 432 bytes --]

On Mon, Apr 14, 2008 at 02:57:10PM +0300, Andriy Khavryuchenko wrote:

AK> Ммм..  Не понял.  Разложить этот (достаточно случайный) набор ip адресов в 
AK> binary tree правил iptables?  Это ж сколько цепочек будет :)

Раза в два больше чем сейчас правил. Но работать будет, _возможно_,
быстрее.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]