[Sysadmins] Чем и как считать траффик

[Sysadmins] Чем и как считать траффик

[Alexey Sidorov]

Здравствуйте.
Вот такая проблема - никак не врублюсь в сабж.

Имеем - небольшая сетка (компов 20)
шлюз -сизиф, NAT
нужно считать траффик на каждый комп, причём не только суммарный, но и по каждому порту отдельно. Т.е. отдельно http (условно 80-83 порты), отдельно почту (25,110), icq (5190) ну и т.д.
Следует уточнить, что это - не биллинг, т.е. особая точность тут не важна.

сначала было просто у каждого компа - свой ip, по нему и считал через ulog-acctd -> мускул, из мускула собственный скрипт отображал всё как надо.
банально на внешнем интерфейсе считался внешний траффик, на внутреннем - считался по внутреннему ip и соответственно разница суммы внутренних и внешнего траффиков считалась собственным траффиком шлюза.

Потом появился прозрачный squid для http.
Задача усложнилась. теперь не все пакеты, "пойманные" на внутреннем интерфейсе  доходили до внешнего, а так-же часть пакетов внутрь приходило не с внешнего интерфейса, а из кеша сквида. стал обрабатывать информацию ulog-acctd с учётом  сквидовских логов (что он берёт из кеша, а что - из интернета)
Разброд увеличился, но кое-как общая картина-таки отображается.

Теперь ещё усложнилась задачка.
Появился виндовый терминал-сервер, и несколько клиентов, работающих на нём, имеют один IP на всех. как дальше считать -вообще не пойму.
со сквидом ещё кое-как понятно. можно сделать авторизацию. А с остальным?

-- 
С уважением,	Алексей Сидоров
 	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225

Re: [Sysadmins] Чем и как считать траффик

[Kaydannik Alex]

Задавался много раз таким вопросом.
Но сообщество молчит.
Сделал на iptables сбор данных  и дальнейшие танцы с его обработкой.

> Здравствуйте.
> Вот такая проблема - никак не врублюсь в сабж.
>
> Имеем - небольшая сетка (компов 20)
> шлюз -сизиф, NAT
> нужно считать траффик на каждый комп, причём не только суммарный, но и по каждому порту отдельно. Т.е. отдельно http (условно 80-83 порты), отдельно почту (25,110), icq (5190) ну и т.д.
> Следует уточнить, что это - не биллинг, т.е. особая точность тут не важна.
>
> сначала было просто у каждого компа - свой ip, по нему и считал через ulog-acctd -> мускул, из мускула собственный скрипт отображал всё как надо.
> банально на внешнем интерфейсе считался внешний траффик, на внутреннем - считался по внутреннему ip и соответственно разница суммы внутренних и внешнего траффиков считалась собственным траффиком шлюза.
>
> Потом появился прозрачный squid для http.
> Задача усложнилась. теперь не все пакеты, "пойманные" на внутреннем интерфейсе  доходили до внешнего, а так-же часть пакетов внутрь приходило не с внешнего интерфейса, а из кеша сквида. стал обрабатывать информацию ulog-acctd с учётом  сквидовских логов (что он берёт из кеша, а что - из интернета)
> Разброд увеличился, но кое-как общая картина-таки отображается.
>
> Теперь ещё усложнилась задачка.
> Появился виндовый терминал-сервер, и несколько клиентов, работающих на нём, имеют один IP на всех. как дальше считать -вообще не пойму.
> со сквидом ещё кое-как понятно. можно сделать авторизацию. А с остальным?
>
>   

Re: [Sysadmins] Чем и как считать траффик

[Alexey Sidorov]

Kaydannik Alex пишет:
> Задавался много раз таким вопросом.
> Но сообщество молчит.
> Сделал на iptables сбор данных  и дальнейшие танцы с его обработкой.
> 
>> Здравствуйте.
>> Вот такая проблема - никак не врублюсь в сабж.
>>
>> Имеем - небольшая сетка (компов 20)
>> шлюз -сизиф, NAT
>> нужно считать траффик на каждый комп, причём не только суммарный, но и по каждому порту отдельно. Т.е. отдельно http (условно 80-83 порты), отдельно почту (25,110), icq (5190) ну и т.д.
>> Следует уточнить, что это - не биллинг, т.е. особая точность тут не важна.
>>
>> сначала было просто у каждого компа - свой ip, по нему и считал через ulog-acctd -> мускул, из мускула собственный скрипт отображал всё как надо.
>> банально на внешнем интерфейсе считался внешний траффик, на внутреннем - считался по внутреннему ip и соответственно разница суммы внутренних и внешнего траффиков считалась собственным траффиком шлюза.
>>
>> Потом появился прозрачный squid для http.
>> Задача усложнилась. теперь не все пакеты, "пойманные" на внутреннем интерфейсе  доходили до внешнего, а так-же часть пакетов внутрь приходило не с внешнего интерфейса, а из кеша сквида. стал обрабатывать информацию ulog-acctd с учётом  сквидовских логов (что он берёт из кеша, а что - из интернета)
>> Разброд увеличился, но кое-как общая картина-таки отображается.
>>

Вообще конечно интересная картина. Неужели вообще нету софта, выполняющего подобные функции по
подсчёту траффика? Под винду такие есть (Правда они объединяют в себе и "iptables" и "squid" и
подсчёт). Например Winroute Firewall и т.п.

P/S: Как хотя-бы считать размер запросов, уходящих со сквида во внешний мир, причём по клиентам?

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225

Re: [Sysadmins] Чем и как считать траффик

[Мерзляков Евгений Анатольевич]

В сообщении от Среда 28 февраля 2007 Alexey Sidorov написал(a):
> Как хотя-бы считать размер запросов, уходящих со сквида во внешний мир,
> причём по клиентам?

sarg строит статистику сквида используя его логи

-- 
Мерзляков Е.А.
ПКБ Акустика

Re: [Sysadmins] Чем и как считать траффик

[Alexey Sidorov]

Мерзляков Евгений Анатольевич пишет:
> В сообщении от Среда 28 февраля 2007 Alexey Sidorov написал(a):
>> Как хотя-бы считать размер запросов, уходящих со сквида во внешний мир,
>> причём по клиентам?
> 
> sarg строит статистику сквида используя его логи
> 
А в логах сквида есть размер исходящих запросов?

-- 
Alexey Sidorov
	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225

Re: [Sysadmins] Чем и как считать траффик

[Мерзляков Евгений Анатольевич]

В сообщении от Среда 28 февраля 2007 Alexey Sidorov написал(a):
> А в логах сквида есть размер исходящих запросов?

извините, не заметил, что нужен размер исходящих запросов, обычно все входящие 
запросы считают :)
на счет подсчета исходящих запросов ничего подсказать не могу :(

-- 
Мерзляков Е.А.
ПКБ Акустика

Re: [Sysadmins] Чем и как считать траффик

[Мерзляков Евгений Анатольевич]

В сообщении от Среда 28 февраля 2007 Alexey Sidorov написал(a):
> А в логах сквида есть размер исходящих запросов?

как раз по вашему вопросу, с опеннет приехало:

В новой версии squid-2.6.STABLE10 исправлено несколько ошибок в коде 
подсистемы ввода/вывода diskd, реализована примитивная поддержка HTTP/1.1 
chunked encoding, в лог файле теперь отображается размер HTTP-запроса.
http://www.opennet.ru/opennews/art.shtml?num=10018

-- 
Мерзляков Е.А.
ПКБ Акустика

Re: [Sysadmins] Чем и как считать траффик

[Алексей Сидоров]

Мерзляков Евгений Анатольевич пишет:
> В сообщении от Среда 28 февраля 2007 Alexey Sidorov написал(a):
>> А в логах сквида есть размер исходящих запросов?
> 
> как раз по вашему вопросу, с опеннет приехало:
> 
> В новой версии squid-2.6.STABLE10 исправлено несколько ошибок в коде 
> подсистемы ввода/вывода diskd, реализована примитивная поддержка HTTP/1.1 
> chunked encoding, в лог файле теперь отображается размер HTTP-запроса.
> http://www.opennet.ru/opennews/art.shtml?num=10018
> 
круто.
посмотрим....

-- 
С уважением,	Алексей Сидоров
 	mailto:alex@reutman.ru
	JID: alex@reutman.ru
	ICQ: 5052225

Re: [Sysadmins] Чем и как считать траффик

[Nikolay Hvan]

Здравствуйте, Alexey.

Вы писали 18 декабря 2006 г., 13:13:17:

> Теперь ещё усложнилась задачка.
> Появился виндовый терминал-сервер, и несколько клиентов,
> работающих на нём, имеют один IP на всех. как дальше считать -вообще
> не пойму.
> со сквидом ещё кое-как понятно. можно сделать авторизацию. А с остальным?

В свое время озадачился точно такой же проблемой. Долго думал,
ковырялся. Сразу скажу, что так и не решил, проблема сама отпала, но
на стадии ковыряния выходов я
видел два - авторизация на прокси или что-то вроде Traffic Inspeсtor,
клиентская часть которого считает трафик и отдает инфу на сервер.

-- 
С уважением,
 Nikolay                          mailto:nikolay.hvan@gmail.com