[Sysadmins] Зеркалирование трафика на соседний хост

[Sysadmins] Зеркалирование трафика на соседний хост

[Караваев Павел]

День добрый.
Стоит задача зеркалировать трафик, проходящий через шлюз для фильтрации на соседнем сервере. На этом "соседе" прибывшие пакеты через

iptables -t mangle -A PREROUTING -s x.x.x.x/32 -p tcp -m tcp --dport 80 -j NFQUEUE --queue-num 0 --queue-bypass

попадают в фильтр  https://github.com/ircop/nfq_filter.

Зеркалирую трафик со шлюза таким образом:

iptables -t mangle -A PREROUTING -s x.x.x.x/32 -i eth0 -p tcp --dport 80 -j TEE --gateway 192.168.0.2

Все выглядит нормальным, пакеты до соседа ходят, запрещенные страницы блокируются. В течение нескольких дней все отлично. Но стоит только вместо одного ip сделать зеркалирование _всего_ трафика:

iptables -t mangle -A PREROUTING -s a.a.a.0/22 -i eth0 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s a.a.a.0/22 -i eth2 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s a.a.a.0/22 -i eth5 -p tcp --dport 80 -j TEE --gateway 192.168.0.2

iptables -t mangle -A PREROUTING -s b.b.b.0/22 -i eth0 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s b.b.b.0/22 -i eth2 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s b.b.b.0/22 -i eth5 -p tcp --dport 80 -j TEE --gateway 192.168.0.2

iptables -t mangle -A PREROUTING -s c.c.c.0/21 -i eth0 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s c.c.c.0/21 -i eth2 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s c.c.c.0/21 -i eth5 -p tcp --dport 80 -j TEE --gateway 192.168.0.2

iptables -t mangle -A PREROUTING -s d.d.d.0/22 -i eth0 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s d.d.d.0/22 -i eth2 -p tcp --dport 80 -j TEE --gateway 192.168.0.2
iptables -t mangle -A PREROUTING -s d.d.d.0/22 -i eth5 -p tcp --dport 80 -j TEE --gateway 192.168.0.2

через несколько минут получаю на соседе глухой зависон. Только reset. После загрузки - в логах все чисто, нигде никакого намека, что была проблема. Трафик получается небольшой, порядка 20-30 МБит. Если зеркалировать не все сети (уменьшить трафик), работает дольше.
Ломаю голову, как диагностировать проблему... 

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Anton Farygin]

On 20.06.2014 13:28, Караваев Павел wrote:
> День добрый.
> Стоит задача зеркалировать трафик, проходящий через шлюз для фильтрации на соседнем сервере. На этом "соседе" прибывшие пакеты через
<skip>
> через несколько минут получаю на соседе глухой зависон. Только reset. После загрузки - в логах все чисто, нигде никакого намека, что была проблема. Трафик получается небольшой, порядка 20-30 МБит. Если зеркалировать не все сети (уменьшить трафик), работает дольше.
> Ломаю голову, как диагностировать проблему...

ядро какое на соседе ? и вообще на какой системе это всё построено ?

у меня зеркалируется без проблем, трафик около гигабита.

правда обработка идёт не nfq, а snort.

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Павел Караваев]

20.06.2014 13:33, Anton Farygin пишет:
>
> ядро какое на соседе ? и вообще на какой системе это всё построено ?
> у меня зеркалируется без проблем, трафик около гигабита.
> правда обработка идёт не nfq, а snort.
[root@zapret ~]# uname -a
Linux zapret 3.8.13.4-std-def-alt1.M70P.2 #1 SMP Tue Jul 16 11:08:06 UTC 
2013 x86_64 GNU/Linux
[root@zapret ~]#
Сетевые:
01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network 
Connection (rev 01)
01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network 
Connection (rev 01)

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Павел Караваев]

20.06.2014 15:24, Павел Караваев пишет:
> [root@zapret ~]# uname -a
> Linux zapret 3.8.13.4-std-def-alt1.M70P.2 #1 SMP Tue Jul 16 11:08:06 
> UTC 2013 x86_64 GNU/Linux
> [root@zapret ~]#
> Сетевые:
> 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network 
> Connection (rev 01)
> 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network 
> Connection (rev 01)
В догонку по сетевым:
            *-network:0
                 description: Ethernet interface
                 product: 82576 Gigabit Network Connection
                 vendor: Intel Corporation
                 physical id: 0
                 bus info: pci@0000:01:00.0
                 logical name: enp1s0f0
                 version: 01
                 serial: 90:e2:ba:35:8d:be
                 size: 1Gbit/s
                 capacity: 1Gbit/s
                 width: 32 bits
                 clock: 33MHz
                 capabilities: pm msi msix pciexpress bus_master 
cap_list rom ethernet physical tp 10bt 10bt-fd 100bt 100bt-fd 1000bt-fd 
autonegotiation
                 configuration: autonegotiation=on broadcast=yes 
driver=igb driverversion=4.1.2-k duplex=full firmware=1.32, 0xc8220000 
ip=192.168.0.2 latency=0 link=yes multicast=yes port=twisted pair 
speed=1Gbit/s
                 resources: irq:16 memory:f7c20000-f7c3ffff 
memory:f7800000-f7bfffff ioport:e020(size=32) memory:f7c44000-f7c47fff 
memory:f7400000-f77fffff memory:f7c48000-f7c67fff memory:f7c68000-f7c87fff

Это "двухголовая" сетевуха.

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Anton Farygin]

On 20.06.2014 15:24, Павел Караваев wrote:
>
> 20.06.2014 13:33, Anton Farygin пишет:
>>
>> ядро какое на соседе ? и вообще на какой системе это всё построено ?
>> у меня зеркалируется без проблем, трафик около гигабита.
>> правда обработка идёт не nfq, а snort.
> [root@zapret ~]# uname -a
> Linux zapret 3.8.13.4-std-def-alt1.M70P.2 #1 SMP Tue Jul 16 11:08:06 UTC
> 2013 x86_64 GNU/Linux
> [root@zapret ~]#
> Сетевые:
> 01:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network
> Connection (rev 01)
> 01:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network
> Connection (rev 01)

первым делом обновить ядро.
поставить что-то вроде collectd, в котором можно будет вести логи 
состояния машины (память, CPU, диск, сеть, температура и т.д.)

если есть возможность - включить отладку в nfq

и смотреть дальше, когда зависает. Есть ощущение, что виноват как раз 
nfq, ибо остальное оттестировано в production на гораздо более серьёзной 
нагрузке.

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Anton Farygin]

On 26.06.2014 13:03, Павел Караваев wrote:
>  >/20.06.2014 13:33, Anton Farygin пишет:/
>
>> первым делом обновить ядро.
>> поставить что-то вроде collectd, в котором можно будет вести логи
>> состояния машины (память, CPU, диск, сеть, температура и т.д.)
>>
>> если есть возможность - включить отладку в nfq
>>
>> и смотреть дальше, когда зависает. Есть ощущение, что виноват как раз
>> nfq, ибо остальное оттестировано в production на гораздо более серьёзной
>> нагрузке.
>
> Спасибо, обновление ядра помогло.
> А можно поподробнее насчет отладки nfq? Гугление на эту тему результата не дало...


гугление и не даст, надо исходники смотреть и у автора спрашивать.

Re: [Sysadmins] Зеркалирование трафика на соседний хост

[Anton Gorlov]

20.06.2014 13:28, Караваев Павел пишет:
> через несколько минут получаю на соседе глухой зависон. Только reset. После загрузки - в логах все чисто, нигде никакого намека, что была проблема. Трафик получается небольшой, порядка 20-30 МБит. Если зеркалировать не все сети (уменьшить трафик), работает дольше.
> Ломаю голову, как диагностировать проблему... 
А сетевые какие на том сервере, который виснет?