[Sysadmins] ulogd + mysql

[Sysadmins] ulogd + mysql

[Andrey V. Samopal]

Здравствуйте, sysadmins.

Решил написать сюдаже
подскажите, кто нибудь считал трафик юзеров которые ходят в инет через
сквид при помощи ulogd?


-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua

Re: [Sysadmins] ulogd + mysql

[Eugene Prokopiev]

>  Решил написать сюдаже
>  подскажите, кто нибудь считал трафик юзеров которые ходят в инет через
>  сквид при помощи ulogd?

а зачем?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] ulogd + mysql

[Andrey V. Samopal]

Здравствуйте, Eugene.

Вы писали 5 мая 2008 г., 14:23:09:

>>  Решил написать сюдаже
>>  подскажите, кто нибудь считал трафик юзеров которые ходят в инет через
>>  сквид при помощи ulogd?

> а зачем?


в access.log пишется инфа о скачаном после того как она скачалась.
тоесть если одной сессией качается 1 гиг, то в access.log попадут
данные после того как этот гиг скачают.
а я посредством ulogd хочу считать, чтоб пользователь превысивший
лимит рубанулся правилом в iptables и не продолжил качать.
я натыкался на подобное в инете, но никто не расписывал решение.
на текущий момент у меня в iptables
-A OUTPUT -p tcp -m tcp --sport 3128 -j ULOG --ulog-prefix "SQUID_OUT" --ulog-cprange 48 --ulog-qthreshold 50
ulogd пишет в мускуль.
но проблема в том, что если просто суммировать байты по IP
SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
у меня не сходятся цифры, сравнивая полученный результат с
обработанным сквидовым access.log

-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua

Re: [Sysadmins] ulogd + mysql

[Хихин Руслан]

[-- Attachment #1: Type: text/plain, Size: 583 bytes --]

Здравствуйте Andrey V. Samopal
  В сообщении от 5 мая 2008 Andrey V. Samopal написал(a):
> но проблема в том, что если просто суммировать байты по IP
> SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
> у меня не сходятся цифры, сравнивая полученный результат с
> обработанным сквидовым access.log

Они вроде и теоретически не должны сходится 

-- 
  А ещё говорят так  (fortune):
 
Ask yourself whether you are happy and you cease to be so. -- John Stuart Mill 
________________________________________________________________________
С уважением Хихин Руслан

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] ulogd + mysql

[Andrey V. Samopal]

Здравствуйте, Хихин.

Вы писали 5 мая 2008 г., 21:38:02:

> Здравствуйте Andrey V. Samopal
>   В сообщении от 5 мая 2008 Andrey V. Samopal написал(a):
>> но проблема в том, что если просто суммировать байты по IP
>> SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
>> у меня не сходятся цифры, сравнивая полученный результат с
>> обработанным сквидовым access.log

> Они вроде и теоретически не должны сходится 

Тогда почему большая разница в 2 раза
по access.log 50 М, по ulogd 126 М


-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua

Re: [Sysadmins] ulogd + mysql

[Хихин Руслан]

[-- Attachment #1: Type: text/plain, Size: 1123 bytes --]

Здравствуйте Andrey V. Samopal
  В сообщении от 6 мая 2008 Andrey V. Samopal написал(a):
> Здравствуйте, Хихин.
>
> Вы писали 5 мая 2008 г., 21:38:02:
> > Здравствуйте Andrey V. Samopal
> >
> >   В сообщении от 5 мая 2008 Andrey V. Samopal написал(a):
> >> но проблема в том, что если просто суммировать байты по IP
> >> SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
> >> у меня не сходятся цифры, сравнивая полученный результат с
> >> обработанным сквидовым access.log
> >
> > Они вроде и теоретически не должны сходится
>
> Тогда почему большая разница в 2 раза
> по access.log 50 М, по ulogd 126 М

Мне трудно судить почему такая большая разница, но через iptables проходит 
весь трафик, а через squid только часть (например, не проходит почта). Но, 
возможен вариант, что вы не там вставили цепочку подсчёта трафика, и помимо 
трафика пользователей squid считается и трафик самого сервера.

-- 
  А ещё говорят так  (fortune):
 
sim как jabber-клиент - то еще извращение. -- wrar in smoke-room@ 
________________________________________________________________________
С уважением Хихин Руслан

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] ulogd + mysql

[Andrey V. Samopal]

Здравствуйте, Хихин.

Вы писали 6 мая 2008 г., 7:41:24:

> Здравствуйте Andrey V. Samopal
>   В сообщении от 6 мая 2008 Andrey V. Samopal написал(a):
>> Здравствуйте, Хихин.
>>
>> Вы писали 5 мая 2008 г., 21:38:02:
>> > Здравствуйте Andrey V. Samopal
>> >
>> >   В сообщении от 5 мая 2008 Andrey V. Samopal написал(a):
>> >> но проблема в том, что если просто суммировать байты по IP
>> >> SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
>> >> у меня не сходятся цифры, сравнивая полученный результат с
>> >> обработанным сквидовым access.log
>> >
>> > Они вроде и теоретически не должны сходится
>>
>> Тогда почему большая разница в 2 раза
>> по access.log 50 М, по ulogd 126 М

> Мне трудно судить почему такая большая разница, но через iptables проходит
> весь трафик, а через squid только часть (например, не проходит почта). Но,
> возможен вариант, что вы не там вставили цепочку подсчёта трафика, и помимо
> трафика пользователей squid считается и трафик самого сервера.

У меня только одно правило в iptables
-A OUTPUT -p tcp -m tcp --sport 3128 -j ULOG --ulog-prefix "SQUID_OUT" --ulog-cprange 48 --ulog-qthreshold 50
Все остальное стандарт дефолтного конфига


-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua

Re: [Sysadmins] ulogd + mysql

[Andrey V. Samopal]

Здравствуйте,

Вы писали 6 мая 2008 г., 8:09:15:

> Здравствуйте, Хихин.

> Вы писали 6 мая 2008 г., 7:41:24:

>> Здравствуйте Andrey V. Samopal
>>   В сообщении от 6 мая 2008 Andrey V. Samopal написал(a):
>>> Здравствуйте, Хихин.
>>>
>>> Вы писали 5 мая 2008 г., 21:38:02:
>>> > Здравствуйте Andrey V. Samopal
>>> >
>>> >   В сообщении от 5 мая 2008 Andrey V. Samopal написал(a):
>>> >> но проблема в том, что если просто суммировать байты по IP
>>> >> SELECT INET_NTOA(ip_daddr), sum(ip_totlen) FROM ulog GROUP BY ip_daddr
>>> >> у меня не сходятся цифры, сравнивая полученный результат с
>>> >> обработанным сквидовым access.log
>>> >
>>> > Они вроде и теоретически не должны сходится
>>>
>>> Тогда почему большая разница в 2 раза
>>> по access.log 50 М, по ulogd 126 М

>> Мне трудно судить почему такая большая разница, но через iptables проходит
>> весь трафик, а через squid только часть (например, не проходит почта). Но,
>> возможен вариант, что вы не там вставили цепочку подсчёта трафика, и помимо
>> трафика пользователей squid считается и трафик самого сервера.

> У меня только одно правило в iptables
> -A OUTPUT -p tcp -m tcp --sport 3128 -j ULOG --ulog-prefix
> "SQUID_OUT" --ulog-cprange 48 --ulog-qthreshold 50
> Все остальное стандарт дефолтного конфига

Я поэксперементировал немного, оказывается.
1.  через squid некешированная(squidом) информация проходит 2 раза,
соответственно через ulogd она проходит 2 раза
2.  от кажного пакета нада минусовать 40 байт(как я понимаю типа
"спец информация пакета, незнаю как назвать правильно")
3.  выбрасывать все пакеты весом 48 байт (кликнул 3 раза, они появятся от 3х
до 6 раз, также зависит от куда взял инфу.)
после этих дейсвий я получил идентичное количество байтов что и
посчитал сквидовый access.log

Может у кого есть соображения, как отбросить вторичное прохождение пакета!?

P.S. Грохнуть кеш squidа и работать без него, не совсем подходящий вариант!

-- 
С уважением,
 Andrey                          mailto:coma@admin.dn.ua