[Sysadmins] Борьба с synflood

[Sysadmins] Борьба с synflood

[Michael A. Kangin]

Добрый день.

хочется запинать систему, которая бы выдерживала как можно большее PPS 
синфлуда без вреда для предоставляемых сервисов.

Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel Corporation 
82580 Gigabit Network Connection (драйвер igb).

Запускаем на нём в качестве жертвы апача с тестовым cgi, который 
рассказывает текущее время - так проверяем отзывчивость сервиса.

атакуем так с другого сервера:
hping3 <ip> -p 80 -S --rand-source --flood
Это даёт нам порядка 380K pps исходящего.

А атакуемый сервер (p6, std-def) принимает только порядка 75K, остальное 
дропает. Ну и сервис отвечает более-менее уверенно только до 150K.

Если поставить 3.4.21-un-def-alt0.M60P.1, число принимаемых пакетов 
немного увеличивается, до 110К. Причём, количество принимаемых пакетов 
снижается с ростом нагрузки - так, при атаке под 500К принимается уже 
только 90K.

Немного лучше себя ведёт Centos6 - она вполне принимает до 140K, и 
сохраняет отзывчивость сервиса до 200К с атакующей стороны.

На атакуемой машинке в htop'е светятся красным все ядра, отданные под 
прерывания сетевухи и довольно высокий LA.


Интриги добавляет тот факт, что Линупс сосёт.

Если на этот сервер поставить FreeBSD9, то она принимает под 450К без 
всякого ухудшения сервиса. И живёт со скрипом вплоть до 750К с атакующей 
машины, больше я с неё не смог выжать.

Собственно, что сделать можно под Линуксом?
Все настройки в целом по умолчанию (кроме раскидывания прерываний по 
ядрам процессора). Я пробовал много шаманств - и всякие там sysсtl 
крутить, и длины очередей в ifconfig и ethtool, и параметры igb. Все 
бесполезно (да и раскидывание прерываний, подозреваю, тоже).

Была идея, что 2-4 сетевухи в бондинге будут лучше справляться. Авотфиг. 
Хуже.

-- 
Michael A. Kangin

Re: [Sysadmins] Борьба с synflood

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 1016 bytes --]

Ф12.12.2012 00:33, Michael A. Kangin пишет:
> Интриги добавляет тот факт, что Линупс сосёт.
>
> Если на этот сервер поставить FreeBSD9, то она принимает под 450К без
> всякого ухудшения сервиса. И живёт со скрипом вплоть до 750К с
> атакующей машины, больше я с неё не смог выжать.
>
> Собственно, что сделать можно под Линуксом?
> Все настройки в целом по умолчанию (кроме раскидывания прерываний по
> ядрам процессора). Я пробовал много шаманств - и всякие там sysсtl
> крутить, и длины очередей в ifconfig и ethtool, и параметры igb. Все
> бесполезно (да и раскидывание прерываний, подозреваю, тоже).
Модули iptables загружены? С выгруженными модулями проверяли?

>
> Была идея, что 2-4 сетевухи в бондинге будут лучше справляться.
> Авотфиг. Хуже.
Да, хуже. Проверяли. Лучше на каждую отдельно роутить. И вообще, каждая
новая сетевуха добавленная в бондинг теряет +~30% пропускной
способности. Т.е. если мы сделаем в бондинге 3 сетевухи по 1G то получим
примерно 1+0,7+0,4=2,1G


-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Anton Gorlov]

12.12.2012 11:20, Viacheslav Dubrovskyi пишет:
> Да, хуже. Проверяли. Лучше на каждую отдельно роутить. И вообще, каждая
> новая сетевуха добавленная в бондинг теряет +~30% пропускной
> способности. Т.е. если мы сделаем в бондинге 3 сетевухи по 1G то получим
> примерно 1+0,7+0,4=2,1G
Не поверю. Вот перед глазами тазик  HP с 2 4 портовыми сетевыми.. 
скорость  отдачи  до 7.2 прыгает вполне себе.

Re: [Sysadmins] Борьба с synflood

[Anton Gorlov]

12.12.2012 02:33, Michael A. Kangin пишет:
> Добрый день.
>
> хочется запинать систему, которая бы выдерживала как можно большее PPS 
> синфлуда без вреда для предоставляемых сервисов.
>
> Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel 
> Corporation 82580 Gigabit Network Connection (драйвер igb). 
попробуй ещё для сетевой карты дёрнуть
ethtool -G eth0 rx 4096 tx 4096

ну и ралди интереса посмотри поведение тазика при
net.ipv4.tcp_tw_recycle = 1
# Disable TCP selective acknowledgements
net.ipv4.tcp_sack=0
net.ipv4.tcp_dsack=0

ещё покрути net.core.somaxconn

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 11:20, Viacheslav Dubrovskyi wrote:

>>  Все настройки в целом по умолчанию (кроме раскидывания прерываний по
>>  ядрам процессора). Я пробовал много шаманств - и всякие там sysсtl
>>  крутить, и длины очередей в ifconfig и ethtool, и параметры igb. Все
>>  бесполезно (да и раскидывание прерываний, подозреваю, тоже).
> Модули iptables загружены? С выгруженными модулями проверяли?


Проверял, ни на что не влияет.

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 12:39, Anton Gorlov wrote:

>>  Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
>>  Corporation 82580 Gigabit Network Connection (драйвер igb).
> попробуй ещё для сетевой карты дёрнуть
> ethtool -G eth0 rx 4096 tx 4096


Это всё пробовал.

  
> ну и ралди интереса посмотри поведение тазика при
> net.ipv4.tcp_tw_recycle = 1

И это.
не влияет.

> # Disable TCP selective acknowledgements
> net.ipv4.tcp_sack=0
> net.ipv4.tcp_dsack=0

Это проверю

> ещё покрути net.core.somaxconn


не влияет.


хехе, я ж даже ради интереса убивал создание MD5 хешей для синкуков. 
производительность вырастает очень незначительно.

Что-то у линукса с обработкой прерываний похоже не то...

Re: [Sysadmins] Борьба с synflood

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 503 bytes --]

12.12.2012 10:31, Anton Gorlov пишет:
> 12.12.2012 11:20, Viacheslav Dubrovskyi пишет:
>> Да, хуже. Проверяли. Лучше на каждую отдельно роутить. И вообще, каждая
>> новая сетевуха добавленная в бондинг теряет +~30% пропускной
>> способности. Т.е. если мы сделаем в бондинге 3 сетевухи по 1G то получим
>> примерно 1+0,7+0,4=2,1G
> Не поверю. Вот перед глазами тазик  HP с 2 4 портовыми сетевыми..
> скорость  отдачи  до 7.2 прыгает вполне себе.
Все 8 портов в бондинге?

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 358 bytes --]

12.12.2012 11:42, Michael A. Kangin пишет:
> On 12.12.2012 12:39, Anton Gorlov wrote:
>
>>>  Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
>>>  Corporation 82580 Gigabit Network Connection (драйвер igb).
А какая версия igb? Та что в ядре?
Может попробовать с новой 4.0.17 http://sourceforge.net/projects/e1000/

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Anton Gorlov]

12.12.2012 13:54, Viacheslav Dubrovskyi пишет:
> 12.12.2012 10:31, Anton Gorlov пишет:
>> 12.12.2012 11:20, Viacheslav Dubrovskyi пишет:
>>> Да, хуже. Проверяли. Лучше на каждую отдельно роутить. И вообще, каждая
>>> новая сетевуха добавленная в бондинг теряет +~30% пропускной
>>> способности. Т.е. если мы сделаем в бондинге 3 сетевухи по 1G то получим
>>> примерно 1+0,7+0,4=2,1G
>> Не поверю. Вот перед глазами тазик  HP с 2 4 портовыми сетевыми..
>> скорость  отдачи  до 7.2 прыгает вполне себе.
> Все 8 портов в бондинге?
>
>
да. чуть попозже модельку сетевых закину. как доберусь до сервера

Re: [Sysadmins] Борьба с synflood

[Alexei Takaseev]

----- Исходное сообщение -----
> От: "Viacheslav Dubrovskyi" <slava@tangramltd.com>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Среда, 12 Декабрь 2012 г 18:58:03
> Тема: Re: [Sysadmins] Борьба с synflood
> 
> 12.12.2012 11:42, Michael A. Kangin пишет:
> > On 12.12.2012 12:39, Anton Gorlov wrote:
> >
> >>>  Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
> >>>  Corporation 82580 Gigabit Network Connection (драйвер igb).
> А какая версия igb? Та что в ядре?
> Может попробовать с новой 4.0.17
> http://sourceforge.net/projects/e1000/

Вообще очень не хватает igb 4.x в бранче P6 и Сизифе

Вот еще параметр для тюнинга, влияющий на pps:

/usr/sbin/ethtool -K ethX gro off

Re: [Sysadmins] Борьба с synflood

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 305 bytes --]

12.12.2012 12:20, Alexei Takaseev пишет:
>> А какая версия igb? Та что в ядре?
>> Может попробовать с новой 4.0.17
>> http://sourceforge.net/projects/e1000/
> Вообще очень не хватает igb 4.x в бранче P6 и Сизифе
Да, я наверно соберу отдельный пакет. Мне тоже не помешает.

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 12:39, Anton Gorlov wrote:

> попробуй ещё для сетевой карты дёрнуть
> ethtool -G eth0 rx 4096 tx 4096


Так кстати еще хуже даже. На маленьких значениях сервер принимает 
большее количество пакетов.

  


> net.ipv4.tcp_sack=0
> net.ipv4.tcp_dsack=0


не влияет.

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 13:58, Viacheslav Dubrovskyi wrote:

>>>>   Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
>>>>   Corporation 82580 Gigabit Network Connection (драйвер igb).
> А какая версия igb? Та что в ядре?
> Может попробовать с новой 4.0.17 http://sourceforge.net/projects/e1000/


Я пробовал её на Centos5, установив из elrepo.
то ли там она скомпилирована загадочно, то ли еще что, но мне не удалось 
параметрами попросить 8 TxRx очередей сделать, как сейчас. Всё время 
подсовывалось 8 Rx и одна Tx очередь.
Но с другой стороны это и не влияло особенно - тот же порядок цифр (чуть 
получше, чем в нативной Centos5, и не дотягивающе до Centos6).

Боюсь собака где-то в ядре зарылась.

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 12:39, Anton Gorlov wrote:

да, отключение синкуков делает циферки лучше где-то в двое. То есть на 
Альтлинуксе сервер принимает где-то 200К пакетов.
Но это абсолютно бессмысленно, сервис давно недоступный.

и до Фри опять же не дотягивает.

>>  хочется запинать систему, которая бы выдерживала как можно большее PPS
>>  синфлуда без вреда для предоставляемых сервисов.
>>
>>  Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
>>  Corporation 82580 Gigabit Network Connection (драйвер igb).
> попробуй ещё для сетевой карты дёрнуть
> ethtool -G eth0 rx 4096 tx 4096
>
> ну и ралди интереса посмотри поведение тазика при
> net.ipv4.tcp_tw_recycle = 1
> # Disable TCP selective acknowledgements
> net.ipv4.tcp_sack=0
> net.ipv4.tcp_dsack=0
>
> ещё покрути net.core.somaxconn

Re: [Sysadmins] Борьба с synflood

[Viacheslav Dubrovskyi]

[-- Attachment #1: Type: text/plain, Size: 410 bytes --]

12.12.2012 00:33, Michael A. Kangin пишет:
>
> атакуем так с другого сервера:
> hping3 <ip> -p 80 -S --rand-source --flood
> Это даёт нам порядка 380K pps исходящего.
>
> А атакуемый сервер (p6, std-def) принимает только порядка 75K,
> остальное дропает. Ну и сервис отвечает более-менее уверенно только до
> 150K.

А еще интересно как и чем вы считаете сколько сервер принял?

-- 
WBR,
Viacheslav Dubrovskyi


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

On 12.12.2012 14:51, Viacheslav Dubrovskyi wrote:

>>  атакуем так с другого сервера:
>>  hping3<ip>  -p 80 -S --rand-source --flood
>>  Это даёт нам порядка 380K pps исходящего.
>>
>>  А атакуемый сервер (p6, std-def) принимает только порядка 75K,
>>  остальное дропает. Ну и сервис отвечает более-менее уверенно только до
>>  150K.
>
> А еще интересно как и чем вы считаете сколько сервер принял?


по двум методикам:
- число пакетов в ethtool -S (или netstat -i)
теоретически оно наверное достоверней, но по крайней мере ethtool не 
применим к бондингу, и на больших нагрузках эти методы начинают безбожно 
тормозить и врать.
- каунтеры на правилах iptables.

при спокойной нагрузке цыфры совпадают.

Re: [Sysadmins] Борьба с synflood

[Sergey]

On Wednesday 12 December 2012, Anton Gorlov wrote:

> Не поверю. Вот перед глазами тазик  HP с 2 4 портовыми
> сетевыми.. скорость  отдачи  до 7.2 прыгает вполне себе.
 
Так скорость отдачи в нормальном режиме, или под synflood ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] Борьба с synflood

[Sergey Alembekov]

12.12.2012 11:20, Viacheslav Dubrovskyi пишет:
> Ф12.12.2012 00:33, Michael A. Kangin пишет:
>> Интриги добавляет тот факт, что Линупс сосёт.
>>
>> Если на этот сервер поставить FreeBSD9, то она принимает под 450К без
>> всякого ухудшения сервиса. И живёт со скрипом вплоть до 750К с
>> атакующей машины, больше я с неё не смог выжать.
>>
>> Собственно, что сделать можно под Линуксом?
>> Все настройки в целом по умолчанию (кроме раскидывания прерываний по
>> ядрам процессора). Я пробовал много шаманств - и всякие там sysсtl
>> крутить, и длины очередей в ifconfig и ethtool, и параметры igb. Все
>> бесполезно (да и раскидывание прерываний, подозреваю, тоже).
> Модули iptables загружены? С выгруженными модулями проверяли?
>
>>
>> Была идея, что 2-4 сетевухи в бондинге будут лучше справляться.
>> Авотфиг. Хуже.
> Да, хуже. Проверяли. Лучше на каждую отдельно роутить. И вообще, каждая
> новая сетевуха добавленная в бондинг теряет +~30% пропускной
> способности. Т.е. если мы сделаем в бондинге 3 сетевухи по 1G то получим
> примерно 1+0,7+0,4=2,1G

Не правда. Я получал 4 гигабита на 4-x Intel 82576(если не ошибаюсь) 
сетевухах в режиме 802.3ad. Предположу, что производительность бондинга 
сильно зависит от его типа, типа сетевухи и оборудования "на той стороне"

Re: [Sysadmins] Борьба с synflood

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 3568 bytes --]

12.12.2012 00:33, Michael A. Kangin пишет:
> Добрый день.
>
> хочется запинать систему, которая бы выдерживала как можно большее PPS
> синфлуда без вреда для предоставляемых сервисов.
>
> Есть тестовый сервер с двумя ксеончиками, и сетевухой Intel
> Corporation 82580 Gigabit Network Connection (драйвер igb).
>
> Запускаем на нём в качестве жертвы апача с тестовым cgi, который
> рассказывает текущее время - так проверяем отзывчивость сервиса.
>
> атакуем так с другого сервера:
> hping3 <ip> -p 80 -S --rand-source --flood
> Это даёт нам порядка 380K pps исходящего.
>
> А атакуемый сервер (p6, std-def) принимает только порядка 75K,
> остальное дропает. Ну и сервис отвечает более-менее уверенно только до
> 150K.
>
> Если поставить 3.4.21-un-def-alt0.M60P.1, число принимаемых пакетов
> немного увеличивается, до 110К. Причём, количество принимаемых пакетов
> снижается с ростом нагрузки - так, при атаке под 500К принимается уже
> только 90K.
>
> Немного лучше себя ведёт Centos6 - она вполне принимает до 140K, и
> сохраняет отзывчивость сервиса до 200К с атакующей стороны.
>
> На атакуемой машинке в htop'е светятся красным все ядра, отданные под
> прерывания сетевухи и довольно высокий LA.
>
>
> Интриги добавляет тот факт, что Линупс сосёт.
>
> Если на этот сервер поставить FreeBSD9, то она принимает под 450К без
> всякого ухудшения сервиса. И живёт со скрипом вплоть до 750К с
> атакующей машины, больше я с неё не смог выжать.
>
> Собственно, что сделать можно под Линуксом?
> Все настройки в целом по умолчанию (кроме раскидывания прерываний по
> ядрам процессора). Я пробовал много шаманств - и всякие там sysсtl
> крутить, и длины очередей в ifconfig и ethtool, и параметры igb. Все
> бесполезно (да и раскидывание прерываний, подозреваю, тоже).
Еще идея. А пробовали менять TCP congestion avoidance algorithm?
Во фре по умолчанию используется NewReno.
http://en.wikipedia.org/wiki/TCP_congestion_avoidance_algorithm
TCP New Reno is the most commonly implemented algorithm, SACK support is
very common and is an extension to Reno/New Reno. Most others are
competing proposals which still need evaluation. Starting with 2.6.8 the
Linux kernel switched the default implementation from Reno to BIC. The
default implementation was again changed to CUBIC in the 2.6.19 version.
FreeBSD uses NewReno as the default algorithm.

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]

Re: [Sysadmins] Борьба с synflood

[Michael A. Kangin]

20.12.2012 10:20, Dubrovskiy Viacheslav пишет:

> Еще идея. А пробовали менять TCP congestion avoidance algorithm?

Спасибо, попробую при случае. К сожалению лаб уже разобран, прям щас 
протестировать не смогу.

-- 
Michael A. Kangin

Re: [Sysadmins] Борьба с synflood

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 440 bytes --]

20.12.2012 20:15, Michael A. Kangin пишет:
> 20.12.2012 10:20, Dubrovskiy Viacheslav пишет:
>
>> Еще идея. А пробовали менять TCP congestion avoidance algorithm?
И еще. Возможно стоит попробовать netmap
http://info.iet.unipi.it/~luigi/netmap/
Вот в 9 версии BSD этот фреймворк по умолчанию используют.

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 3746 bytes --]