[Sysadmins] Чем считать траффик?

[Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Есть несколько локалок, ходят в инет через НАТ
На шлюзе стоит squid
Посоветуйте пожалуйста, чем можно считать траффик по 
компам/протоколам/сетям?
сквидовский траффик я считаю по логам
юзал pmacct с последующей обработкой PHP (единственный язык, который 
знаю. скрипты делал сам), но может есть более простое решение...

Re: [Sysadmins] Чем считать траффик?

[Шенцев Алексей Владимирович]

В сообщении от 6 октября 2006 12:40 Alexey Sidorov написал(a):
> Есть несколько локалок, ходят в инет через НАТ
> На шлюзе стоит squid
> Посоветуйте пожалуйста, чем можно считать траффик по
> компам/протоколам/сетям?
> сквидовский траффик я считаю по логам
> юзал pmacct с последующей обработкой PHP (единственный язык, который
> знаю. скрипты делал сам), но может есть более простое решение...
Если для squid'а, то SARG, lightsquid, sams.
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
ICQ: 271053845

Re: [Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Шенцев Алексей Владимирович пишет:
> В сообщении от 6 октября 2006 12:40 Alexey Sidorov написал(a):
>   
>> Есть несколько локалок, ходят в инет через НАТ
>> На шлюзе стоит squid
>> Посоветуйте пожалуйста, чем можно считать траффик по
>> компам/протоколам/сетям?
>> сквидовский траффик я считаю по логам
>> юзал pmacct с последующей обработкой PHP (единственный язык, который
>> знаю. скрипты делал сам), но может есть более простое решение...
>>     
> Если для squid'а, то SARG, lightsquid, sams.
>   
Нет, для squid'а то я нормально считаю.
Нужен именно весь траффик (и сквидовский в том числе)

Re: [Sysadmins] Чем считать траффик?

[Шенцев Алексей Владимирович]

В сообщении от 6 октября 2006 12:46 Alexey Sidorov написал(a):
> Нет, для squid'а то я нормально считаю.
> Нужен именно весь траффик (и сквидовский в том числе)
netams ?
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
ICQ: 271053845

Re: [Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Шенцев Алексей Владимирович пишет:
> В сообщении от 6 октября 2006 12:46 Alexey Sidorov написал(a):
>   
>> Нет, для squid'а то я нормально считаю.
>> Нужен именно весь траффик (и сквидовский в том числе)
>>     
> netams ?
>   
А насколько он стабилен?
Применительно к sisyphus

Re: [Sysadmins] Чем считать траффик?

[Olaf Portvineson]

> В сообщении от 6 октября 2006 12:46 Alexey Sidorov написал(a):
> > Нет, для squid'а то я нормально считаю.
> > Нужен именно весь траффик (и сквидовский в том числе)
> netams ?

А альтернатива netams'у есть? Что-то больно он мне не понравился.

-- 
WBR,
   CyberSkunk aka dRuNk Ph!ZiK

Re: [Sysadmins] Чем считать траффик?

[Шенцев Алексей Владимирович]

В сообщении от 6 октября 2006 14:08 Olaf Portvineson написал(a):
> А альтернатива netams'у есть? Что-то больно он мне не понравился.
Кто бы мне самому подсказал про альтернативу netams'у, так что бы и БД ложил 
сведения и отчёты генерил в html, страницах ...
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
ICQ: 271053845

Re: [Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Шенцев Алексей Владимирович пишет:
> В сообщении от 6 октября 2006 14:08 Olaf Portvineson написал(a):
>   
>> А альтернатива netams'у есть? Что-то больно он мне не понравился.
>>     
> Кто бы мне самому подсказал про альтернативу netams'у, так что бы и БД ложил 
> сведения и отчёты генерил в html, страницах ...
>   
Мне например лишь-бы ложил в базу
Генерилку отчетов я уж сам лучше напишу....

Re: [Sysadmins] Чем считать траффик?

[Eugene Prokopiev]

> Мне например лишь-бы ложил в базу
> Генерилку отчетов я уж сам лучше напишу....

ulog-acctd

как вариант, более функциональный ulogd, но, по словам автора, "not 
optimized in any way" ;)

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Чем считать траффик?

[Алексей Сидоров]

Eugene Prokopiev пишет:
>> Мне например лишь-бы ложил в базу
>> Генерилку отчетов я уж сам лучше напишу....
>>     
>
> ulog-acctd
>
> как вариант, более функциональный ulogd, но, по словам автора, "not 
> optimized in any way" ;
Мне кажется буду всё-таки колдовать с pmacct...

Re: [Sysadmins] Чем считать траффик?

[Eugene Prokopiev]

Алексей Сидоров пишет:
> Eugene Prokopiev пишет:
> 
>>>Мне например лишь-бы ложил в базу
>>>Генерилку отчетов я уж сам лучше напишу....
>>>    
>>
>>ulog-acctd
>>
>>как вариант, более функциональный ulogd, но, по словам автора, "not 
>>optimized in any way" ;
> 
> Мне кажется буду всё-таки колдовать с pmacct...

гляньте на примеры использования ulog-acctd из Cизифа или бэкпортов к 
ALM24, я там уже поколдовал слегка :)

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Чем считать траффик?

[Evgenii Terechkov]

Eugene Prokopiev пишет:

>>>>Мне например лишь-бы ложил в базу
>>>>Генерилку отчетов я уж сам лучше напишу....
>>>ulog-acctd

Он же вроде только в текстовом виде логи пишет, я не ошибаюсь?

>>>как вариант, более функциональный ulogd, но, по словам автора, "not 
>>>optimized in any way" ;
>> Мне кажется буду всё-таки колдовать с pmacct...
> гляньте на примеры использования ulog-acctd из Cизифа или бэкпортов к 
> ALM24, я там уже поколдовал слегка :)

Раз уж на то пошло, скажу и я: NetFlow. Всё что нужно, есть в Сизифе и в
портах для M24. Если конечно не отпугивает перспектива писать генерилку с
использованием стандартных текстовых утилит (flow-tools сюда же).

-- 
Терешков Евгений, ALT Linux team.

Re: [Sysadmins] Чем считать траффик?

[Eugene Prokopiev]

Evgenii Terechkov пишет:
> Eugene Prokopiev пишет:
> 
> 
>>>>>Мне например лишь-бы ложил в базу
>>>>>Генерилку отчетов я уж сам лучше напишу....
>>>>
>>>>ulog-acctd
> 
> 
> Он же вроде только в текстовом виде логи пишет, я не ошибаюсь?

да, и это хорошо :)

есть много причин, по которым писать сразу в БД не стоит ;)

>>>>как вариант, более функциональный ulogd, но, по словам автора, "not 
>>>>optimized in any way" ;
>>>
>>>Мне кажется буду всё-таки колдовать с pmacct...
>>
>>гляньте на примеры использования ulog-acctd из Cизифа или бэкпортов к 
>>ALM24, я там уже поколдовал слегка :)
> 
> 
> Раз уж на то пошло, скажу и я: NetFlow. Всё что нужно, есть в Сизифе и в
> портах для M24. Если конечно не отпугивает перспектива писать генерилку с
> использованием стандартных текстовых утилит (flow-tools сюда же).

"Любая проблема дизайна может быть решена введением дополнительного 
абстрактного слоя, за исключением проблемы слишком большого количества 
дополнительных абстрактных слоев" (c) :)

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Чем считать траффик?

[Evgenii Terechkov]

Eugene Prokopiev пишет:

>>>>>>Генерилку отчетов я уж сам лучше напишу....
>>>>>ulog-acctd
>> Он же вроде только в текстовом виде логи пишет, я не ошибаюсь?
> да, и это хорошо :)
> есть много причин, по которым писать сразу в БД не стоит ;)

Нет, это я к тому, что то что опакечено сейчас позволяет без проблем писать
данные в виде бинарных файлов NetFlow. Преобразовать их хоть в текст
(flow-print, flow-stat , flow-export...) хоть в БД можно, но это отдельная
задача. С коллекторами NetFlow, пишущими прямо в БД туго - один вроде в
orphaned и один недопиленный у меня на диске. Коллекторов же NetFlow,
пишущих в текстовые файлы, я просто не знаю.

>> Раз уж на то пошло, скажу и я: NetFlow. Всё что нужно, есть в Сизифе и в
>> портах для M24. Если конечно не отпугивает перспектива писать генерилку с
>> использованием стандартных текстовых утилит (flow-tools сюда же).
> "Любая проблема дизайна может быть решена введением дополнительного 
> абстрактного слоя, за исключением проблемы слишком большого количества 
> дополнительных абстрактных слоев" (c) :)

Верно, но тут не так уж много слоёв. Разумный минимум.

-- 
Терешков Евгений, ALT Linux team.

Re: [Sysadmins] Чем считать траффик?

[Dmytro O. Redchuk]

On Sat, Oct 07, 2006 at 06:55:04PM +0800, Evgenii Terechkov wrote:
> >> Раз уж на то пошло, скажу и я: NetFlow. Всё что нужно, есть в Сизифе и в
> >> портах для M24. Если конечно не отпугивает перспектива писать генерилку с
> >> использованием стандартных текстовых утилит (flow-tools сюда же).
> > "Любая проблема дизайна может быть решена введением дополнительного 
> > абстрактного слоя, за исключением проблемы слишком большого количества 
> > дополнительных абстрактных слоев" (c) :)
> 
> Верно, но тут не так уж много слоёв. Разумный минимум.
Как по мне, наоборот :-)

NetFlow -- это, собссно, _трафик_. Почти в чистом виде.

Есть немножко проблема в том, что между ним и "пользователем" этой
информации лежит печальная необходимость писать генерилки... Но и она уже
(необходимость), кажется, обойдена -- уже есть написанные генерилки.

> 
> -- 
> Терешков Евгений, ALT Linux team.

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Eugene Prokopiev пишет:
>> Мне например лишь-бы ложил в базу
>> Генерилку отчетов я уж сам лучше напишу....
>>     
>
> ulog-acctd
>
> как вариант, более функциональный ulogd, но, по словам автора, "not 
> optimized in any way" ;)
>   
Посмотрел.....
Вопрос возник, можно ли его заставить писать в лог по возрастанию 
таймстампа? и желательно таймстамп в формате %.3f ?

Re: [Sysadmins] Чем считать траффик?

[Eugene Prokopiev]

Alexey Sidorov пишет:
> Eugene Prokopiev пишет:
> 
>>>Мне например лишь-бы ложил в базу
>>>Генерилку отчетов я уж сам лучше напишу....
>>>    
>>
>>ulog-acctd
>>
>>как вариант, более функциональный ulogd, но, по словам автора, "not 
>>optimized in any way" ;)
>>  
> 
> Посмотрел.....
> Вопрос возник, можно ли его заставить писать в лог по возрастанию 
> таймстампа? и желательно таймстамп в формате %.3f ?

А зачем, если все равно предполагается постобработка для загрузки в БД? 
Или нужен real-time billing? Тогда ulog-acctd, наверное, не годится :(

Не совсем понял, что такое %.3f. Если не найдете в оригинальной 
документации, как это сделать, загляните в config.c в районе строки 122 
и далее по константам вроде OUT_TIMESTAMP - я оттуда выудил 
недокументированный %Z, который мне оказался полезен ;)

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Чем считать траффик?

[Alexey Sidorov]

Eugene Prokopiev пишет:
> А зачем, если все равно предполагается постобработка для загрузки в БД? 
>   
ну собственно за эти и надо. причем грузить не раз в день, а раз в 15 минут
надо ведь как-то помнить, до какой строки account.log был загружен в 
прошлый раз....
я сквидовский лог так гружу - запоминаю до какого таймстампа дошёл в 
прошлый раз

> Не совсем понял, что такое %.3f.
float с тремя знаками после запятой

Re: [Sysadmins] Чем считать траффик?

[Eugene Prokopiev]

Alexey Sidorov пишет:
> Eugene Prokopiev пишет:
> 
>>А зачем, если все равно предполагается постобработка для загрузки в БД? 
>>  
> 
> ну собственно за эти и надо. причем грузить не раз в день, а раз в 15 минут
> надо ведь как-то помнить, до какой строки account.log был загружен в 
> прошлый раз....
> я сквидовский лог так гружу - запоминаю до какого таймстампа дошёл в 
> прошлый раз

У меня это делает logrotate (см. его скрипт), но ничто не мешает делать 
это кому-то другому. Алогоритм:

1) говорим ulog-acctd: не пиши пока в файл, мы с ним хотим работать
2) загружаем содержимое файла куда-нибудь, очищаем файл
3) говорим ulog-acctd: теперь пиши в файл

пока ulog-acctd не пишет в файл account.log, он пишет в dump, т.е. в 
случае чего потерь быть не должно.

Еще вариант (и для сквида тоже): писать не в файл, а в pipe (где-то на 
opennet был пример) - будет почти realtime ;)

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Чем считать траффик?

[Мерзляков Евгений Анатольевич]

On Tue, 10 Oct 2006 09:44:13 +0400
Alexey Sidorov <alex@reutman.ru> wrote:

> ну собственно за эти и надо. причем грузить не раз в день, а раз в 15 минут
> надо ведь как-то помнить, до какой строки account.log был загружен в 
> прошлый раз....
> я сквидовский лог так гружу - запоминаю до какого таймстампа дошёл в 
> прошлый раз

так вы просто обработали лог за прдыдущие 15 мин, удалите его

-- 
Мерзляков Е.А.                                           icq: #115657846
ПКБ Акустика

Re: [Sysadmins] Чем считать траффик?

[Алексей Сидоров]

Мерзляков Евгений Анатольевич пишет:
> On Tue, 10 Oct 2006 09:44:13 +0400
> Alexey Sidorov <alex@reutman.ru> wrote:
>
>   
>> ну собственно за эти и надо. причем грузить не раз в день, а раз в 15 минут
>> надо ведь как-то помнить, до какой строки account.log был загружен в 
>> прошлый раз....
>> я сквидовский лог так гружу - запоминаю до какого таймстампа дошёл в 
>> прошлый раз
>>     
>
> так вы просто обработали лог за прдыдущие 15 мин, удалите его
>
>   
Так и сделал. Посмотрим :)

Re: [Sysadmins] Чем считать траффик?

[Алексей Сидоров]

У меня тут возник ещё вопрос, не знаю, есть ли на него решение....
из iptables в ulog попадает например пакет
xxx.xxx.xxx.xxx : 5190 -> yyy.yyy.yyy.yyy : 5222 - столько-то байт
как-то понять, это xxx.xxx.xxx.xxx лезет на джаббер-сервер 
yyy.yyy.yyy.yyy или
асечный сервер ххх.ххх.ххх.ххх отвечает клиенту yyy.yyy.yyy.yyy ?