[Comm] сгенерировать netflow

[Comm] сгенерировать netflow

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 496 bytes --]

На циске настроен порт зеркалирующий трафик. На этот порт нужно повесить
линукс-сервер, который бы анализировал трафик и генерировал netflow для
биллинга.

Как я понимаю нужно нечто, что будет держать интерфейс в promiscuous mode,
брать трафик и генерировать уже netflow.

Есть в Сизифе софт пригодный для этого? В какую сторону вообще копать с
этой задачей?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Comm] сгенерировать netflow

[Dubrovskiy Viacheslav]

30.11.2011 11:23, Денис Смирнов пишет:
> На циске настроен порт зеркалирующий трафик. На этот порт нужно повесить
> линукс-сервер, который бы анализировал трафик и генерировал netflow для
> биллинга.
>
> Как я понимаю нужно нечто, что будет держать интерфейс в promiscuous mode,
> брать трафик и генерировать уже netflow.
>
> Есть в Сизифе софт пригодный для этого? В какую сторону вообще копать с
> этой задачей?
ipcad

-- 
WBR,
Dubrovskiy Viacheslav

Re: [Comm] сгенерировать netflow

[Алексей Синицын]

30 ноября 2011 г. 20:34 пользователь Dubrovskiy Viacheslav
<slava@tangramltd.com> написал:
> 30.11.2011 11:23, Денис Смирнов пишет:
>>
>> На циске настроен порт зеркалирующий трафик. На этот порт нужно повесить
>> линукс-сервер, который бы анализировал трафик и генерировал netflow для
>> биллинга.
>>
>> Как я понимаю нужно нечто, что будет держать интерфейс в promiscuous mode,
>> брать трафик и генерировать уже netflow.
>>
>> Есть в Сизифе софт пригодный для этого? В какую сторону вообще копать с
>> этой задачей?
>
> ipcad
>

 Если не ошибаюсь, у ipcad были какие то проблемы с vlan'ами. Кроме
него можно посмотреть на fprobe-ulog.

Re: [Comm] сгенерировать netflow

[Dubrovskiy Viacheslav]

30.11.2011 12:03, Алексей Синицын пишет:
>>> На циске настроен порт зеркалирующий трафик. На этот порт нужно повесить
>>> линукс-сервер, который бы анализировал трафик и генерировал netflow для
>>> биллинга.
>>>
>>> Как я понимаю нужно нечто, что будет держать интерфейс в promiscuous mode,
>>> брать трафик и генерировать уже netflow.
>>>
>>> Есть в Сизифе софт пригодный для этого? В какую сторону вообще копать с
>>> этой задачей?
>> ipcad
> Если не ошибаюсь, у ipcad были какие то проблемы с vlan'ами. Кроме
> него можно посмотреть на fprobe-ulog.
Ну конечно, pmacct не могу не порекомендовать как его мантейнер.

-- 
WBR,
Dubrovskiy Viacheslav

Re: [Comm] сгенерировать netflow

[Sergey]

On Wednesday, November 30, 2011, Dubrovskiy Viacheslav wrote:
 
>  Разве он умеет генерить для "мимоидущего трафика" ?
>  Когда порт в мирроре и интерфейс в promiscuous mode.

ipt-netflow/README.promisc

Но там надо патч прикладывать. Не знаю, у нас оно с патчем собрано,
или без (патч там прямо в git лежит, в виде отдельного файла):

 This simple hack will allow to see promisc traffic in raw table of
 iptables. Of course you will need to enable promisc on the interface.
 Refer to README.promisc for details.

 Example how to catch desired traffic:
   iptables -A PREROUTING -t raw -i eth2 -j NETFLOW


--- linux-2.6.26/net/ipv4/ip_input.old.c        2008-07-14 01:51:29.000000000 +0400
+++ linux-2.6.26/net/ipv4/ip_input.c        2008-08-06 14:02:16.000000000 +0400
@@ -378,12 +378,6 @@
        struct iphdr *iph;
        u32 len;

-       /* When the interface is in promisc. mode, drop all the crap
-        * that it receives, do not try to analyse it.
-        */
-       if (skb->pkt_type == PACKET_OTHERHOST)
-               goto drop;
-
        IP_INC_STATS_BH(IPSTATS_MIB_INRECEIVES);

        if ((skb = skb_share_check(skb, GFP_ATOMIC)) == NULL) {


-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] сгенерировать netflow

[Sergey]

On Thursday, December 01, 2011, Sergey wrote:

> --- linux-2.6.26/net/ipv4/ip_input.old.c        2008-07-14 01:51:29.000000000 +0400
> +++ linux-2.6.26/net/ipv4/ip_input.c        2008-08-06 14:02:16.000000000 +0400
 
Блин, куда я смотрел... Это же к ядру патч.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] сгенерировать netflow

[Anton Farygin]

30.11.2011 20:23, Денис Смирнов пишет:
> На циске настроен порт зеркалирующий трафик. На этот порт нужно повесить
> линукс-сервер, который бы анализировал трафик и генерировал netflow для
> биллинга.
>
> Как я понимаю нужно нечто, что будет держать интерфейс в promiscuous mode,
> брать трафик и генерировать уже netflow.
>
> Есть в Сизифе софт пригодный для этого? В какую сторону вообще копать с
> этой задачей?

# cat /etc/net/ifaces/default/fw/iptables/filter/FORWARD
-j NETFLOW

# cat /etc/net/ifaces/manag/sysctl.conf
net.netflow.destination = 10.10.1.99:2004

Ну, в какой цепочке брать и куда отправлять думаю сам придумаешь.

Могу сказать, что всё остальное не работает. тут при 400 мегабитах CPU 
Load выше 5% не поднимается.

Re: [Comm] сгенерировать netflow

[Sergey]

On Friday 02 December 2011, Anton Farygin wrote:

> # cat /etc/net/ifaces/manag/sysctl.conf
> net.netflow.destination = 10.10.1.99:2004
> 
> Ну, в какой цепочке брать и куда отправлять думаю сам придумаешь.
> 
> Могу сказать, что всё остальное не работает. тут при 400 мегабитах
> CPU Load выше 5% не поднимается.
 
Кстати, о птичках. А какой-нибудь тюнинг IP-стека делался ? А то,
что-то, кое-что теряется. У ipt_netflow ошибки не фиксируются, а
вот nfcapd, висящий на 127.0.0.1, фиксирует "Sequence Errors" по
чуть-чуть:

Flows: 179520, Packets: 1784377, Bytes: 1251651233, Sequence Errors: 1, Bad Packets: 0

Причём местами: есть несколько однотипных инсталляций, где-то есть,
где-то нет. Можно бы подумать на загрузку, но есть и более наргуженная
система, где теряется на много реже. Вот разница за сегодня:

# cat /var/log/messages |grep "nfcapd.*Sequence Errors. [1-9]"|wc -l
28

# cat /var/log/messages |grep "nfcapd.*Sequence Errors. [1-9]"|wc -l
0

Железки почти одинаковые - отличаются только процессором. На второй 
чуть мощнее, но и загрузка трафиком там повыше, LA часто выше, чем на
первой. Ядра были одинаковые, 2.6.32-el-smp-alt27. В настоящий момент
там, где теряется, std-def-3.0.8-alt0.M60P.1, ситуацию это не поменяло.

Вот думаю, кто тут крайний...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] сгенерировать netflow

[Anton Gorlov]

04.12.2011 13:06, Sergey пишет:

> Кстати, о птичках. А какой-нибудь тюнинг IP-стека делался ? А то,
> что-то, кое-что теряется. У ipt_netflow ошибки не фиксируются, а
> вот nfcapd, висящий на 127.0.0.1, фиксирует "Sequence Errors" по
> чуть-чуть:
> Flows: 179520, Packets: 1784377, Bytes: 1251651233, Sequence Errors: 1, Bad Packets: 0
Это если не ошибаюсь - означает что нарушен порядок пакетов
У нас с некоторых кошек и не только бывает в логах вот такое вот

New exporter: time=1313497123 src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25 
d_version=5
ftpdu_seq_check(): src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25 d_version=5 
expecting=44192069 received=44192099 lost=30
ftpdu_seq_check(): src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25 d_version=5 
expecting=44192129 received=44192069 lost=429
ftpdu_seq_check(): src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25 d_version=5 
expecting=44192099 received=44192129 lost=30

но при этом на тестовых проверках трафик не потерялся.

Re: [Comm] сгенерировать netflow

[Sergey]

On Sunday, December 04, 2011, Anton Gorlov wrote:

> > Flows: 179520, Packets: 1784377, Bytes: 1251651233, Sequence Errors: 1, Bad Packets: 0

> Это если не ошибаюсь - означает что нарушен порядок пакетов

Да. И не факт, что пропущенные долетели. Скорее, даже, факт: иначе
бы было 3 ошибки: пропущенный фрагмент, плюс сдвиги в начале и конце
фрагмента при его "долёте".

> ftpdu_seq_check(): src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25 d_version=5 
> expecting=44192099 received=44192129 lost=30
> 
> но при этом на тестовых проверках трафик не потерялся.

У меня, поже, теряется: есть вторая считалка, которая чераз libpcap считает
то же самое. Надо попробовать в nfcapd отладочный код раскомментировать,
который количество пропущенного выводит...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] сгенерировать netflow

[Alexei Takaseev]

----- Исходное сообщение -----
> On Sunday, December 04, 2011, Anton Gorlov wrote:
> 
> > > Flows: 179520, Packets: 1784377, Bytes: 1251651233, Sequence
> > > Errors: 1, Bad Packets: 0
> 
> > Это если не ошибаюсь - означает что нарушен порядок пакетов
> 
> Да. И не факт, что пропущенные долетели. Скорее, даже, факт: иначе
> бы было 3 ошибки: пропущенный фрагмент, плюс сдвиги в начале и конце
> фрагмента при его "долёте".
> 
> > ftpdu_seq_check(): src_ip=zz.xx.yy.36 dst_ip=zz.xx.yy.25
> > d_version=5
> > expecting=44192099 received=44192129 lost=30
> > 
> > но при этом на тестовых проверках трафик не потерялся.
> 
> У меня, поже, теряется: есть вторая считалка, которая чераз libpcap
> считает
> то же самое. Надо попробовать в nfcapd отладочный код
> раскомментировать,
> который количество пропущенного выводит...

Вот засада. Я все посматривал в сторону ядерной генерации Netflow, а тут такие косяки. Сейчас налажен заворот нужных пакетов в -j QUEUE и потом ipcad из интерфейса ipq. Потерь и ошибок Netflow не регистрируется.

Re: [Comm] сгенерировать netflow

[Sergey]

On Sunday 04 December 2011, Alexei Takaseev wrote:

> > У меня, похоже, теряется: есть вторая считалка, которая чераз libpcap
> > считает то же самое. Надо попробовать в nfcapd отладочный код
> > раскомментировать, который количество пропущенного выводит...
> 
> Вот засада. Я все посматривал в сторону ядерной генерации Netflow, а 
> тут такие косяки. Сейчас налажен заворот нужных пакетов в -j QUEUE и
> потом ipcad из интерфейса ipq. Потерь и ошибок Netflow не регистрируется.  

Я, всё же, подозреваю не ядерную генерацию, а именно udp. Так как при
указании локального и удалённого коллекторов одновременно бывает так,
что данные долетают до удалённого коллектора, а на localhost теряются.

flowtools пробовал тоже - тоже потери есть. Так что nfdump тоже не на
первом месте по подозрениям.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] сгенерировать netflow

[Anton Farygin]

04.12.2011 13:06, Sergey пишет:
> On Friday 02 December 2011, Anton Farygin wrote:
>
>> # cat /etc/net/ifaces/manag/sysctl.conf
>> net.netflow.destination = 10.10.1.99:2004
>>
>> Ну, в какой цепочке брать и куда отправлять думаю сам придумаешь.
>>
>> Могу сказать, что всё остальное не работает. тут при 400 мегабитах
>> CPU Load выше 5% не поднимается.
>
> Кстати, о птичках. А какой-нибудь тюнинг IP-стека делался ? А то,
> что-то, кое-что теряется. У ipt_netflow ошибки не фиксируются, а
> вот nfcapd, висящий на 127.0.0.1, фиксирует "Sequence Errors" по
> чуть-чуть:
>
> Flows: 179520, Packets: 1784377, Bytes: 1251651233, Sequence Errors: 1, Bad Packets: 0
>
> Причём местами: есть несколько однотипных инсталляций, где-то есть,
> где-то нет. Можно бы подумать на загрузку, но есть и более наргуженная
> система, где теряется на много реже. Вот разница за сегодня:
>
> # cat /var/log/messages |grep "nfcapd.*Sequence Errors. [1-9]"|wc -l
> 28
>
> # cat /var/log/messages |grep "nfcapd.*Sequence Errors. [1-9]"|wc -l
> 0
>
> Железки почти одинаковые - отличаются только процессором. На второй
> чуть мощнее, но и загрузка трафиком там повыше, LA часто выше, чем на
> первой. Ядра были одинаковые, 2.6.32-el-smp-alt27. В настоящий момент
> там, где теряется, std-def-3.0.8-alt0.M60P.1, ситуацию это не поменяло.
>
> Вот думаю, кто тут крайний...
>

У меня трафик уходит туда, где его берут без проблем - на потери никто 
не жаловался.

Здесь похоже проблема всё-таки с nfcapd или локальной конфигурацией. 
Тюнинг IP стека конечно же сделан, но всё, в основном, расширено для 
переваривания нагрузки - ничего там критичного для UDP нет.

Re: [Comm] сгенерировать netflow

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 648 bytes --]

On Fri, Dec 02, 2011 at 10:22:37AM +0400, Anton Farygin wrote:

AF> # cat /etc/net/ifaces/default/fw/iptables/filter/FORWARD
AF> -j NETFLOW
AF> # cat /etc/net/ifaces/manag/sysctl.conf
AF> net.netflow.destination = 10.10.1.99:2004

Э... Все так просто? 

AF> Ну, в какой цепочке брать и куда отправлять думаю сам придумаешь.

Разумеется.

AF> Могу сказать, что всё остальное не работает. тут при 400 мегабитах CPU 
AF> Load выше 5% не поднимается.

В принципе логично -- никаких лишних context switches.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Comm] сгенерировать netflow

[Anton Farygin]

06.12.2011 09:26, Денис Смирнов пишет:
> On Fri, Dec 02, 2011 at 10:22:37AM +0400, Anton Farygin wrote:
>
> AF>  # cat /etc/net/ifaces/default/fw/iptables/filter/FORWARD
> AF>  -j NETFLOW
> AF>  # cat /etc/net/ifaces/manag/sysctl.conf
> AF>  net.netflow.destination = 10.10.1.99:2004
>
> Э... Все так просто?
>

Да.


> AF>  Ну, в какой цепочке брать и куда отправлять думаю сам придумаешь.
>
> Разумеется.
>
> AF>  Могу сказать, что всё остальное не работает. тут при 400 мегабитах CPU
> AF>  Load выше 5% не поднимается.
>
> В принципе логично -- никаких лишних context switches.

да.