[Sysadmins] учет трафика для Squid

[Sysadmins] учет трафика для Squid

[Timur Batyrshin]

Посоветуйте считалку трафика для Squid наподобие SAMS.
Пользователю задается месячный лимит по достижении которого он тем или
иным способом блокируется, ну и разнообразные возможности вокруг этого
не помешают.

Непосредственно SAMS не устраивает тем, что он не hackable, по крайней
мере, для меня -- написан на C++ (это парсер логов то).

Re: [Sysadmins] учет трафика для Squid

[Igor Golovichev]

Использую SAMS, но давно ищу альтернативу.
SAMS из исходников в АЛТ начиная с 3-го нормально не компелируется, и 
приходится модуль samsd тащить аж со второго АЛТ. К тому же только 
анализатора логов, все-таки не достаточно для полного учета трафика. 


-- 
С уважением, Головичев Игорь

Re: [Sysadmins] учет трафика для Squid

[Denis Klimov]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 19.05.2009 09:33, Igor Golovichev wrote:
> 
> Использую SAMS, но давно ищу альтернативу.
> SAMS из исходников в АЛТ начиная с 3-го нормально не компелируется, и 
> приходится модуль samsd тащить аж со второго АЛТ. К тому же только 
> анализатора логов, все-таки не достаточно для полного учета трафика. 
> 
> 
Посмотрите в сторону katrin :)

Могу проконсультировать по настройке.

- -- 
Климов Денис
zver
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.9 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iEYEARECAAYFAkoSVKIACgkQ/2RPAjBLeBo6HACfeg7JucimksZ6NOzfrag2W5nv
yS0An18/WTbAKqxCk7YJB48+dRYYEe6/
=KP/Q
-----END PGP SIGNATURE-----

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

On Tue, 19 May 2009 12:41:38 +0600
Denis Klimov wrote:

> > Использую SAMS, но давно ищу альтернативу.
> > SAMS из исходников в АЛТ начиная с 3-го нормально не компелируется,
> > и приходится модуль samsd тащить аж со второго АЛТ. К тому же
> > только анализатора логов, все-таки не достаточно для полного учета
> > трафика. 
> > 
> Посмотрите в сторону katrin :)

Он же для учета IP-трафика, а не squid, разве нет?

Re: [Sysadmins] учет трафика для Squid

[Denis Klimov]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 19.05.2009 13:15, Timur Batyrshin wrote:
> Он же для учета IP-трафика, а не squid, разве нет?
Можно использовать совместно squid для кеширования и katrin для статистики.

- -- 
Климов Денис
zver
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.9 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iEYEARECAAYFAkoSkp0ACgkQ/2RPAjBLeBobxACgofDnyjlp6jxO7hc4mh+JX5BR
WwYAnj2TPxeEOfkLLVLV9Q+DhbtNTcKG
=JzOE
-----END PGP SIGNATURE-----

Re: [Sysadmins] учет трафика для Squid

[v.n.belyaev]

Здравствуйте, Timur.

Вы писали 19 мая 2009 г., 6:31:03:

TB> Посоветуйте считалку трафика для Squid наподобие SAMS.
TB> Пользователю задается месячный лимит по достижении которого он тем или
TB> иным способом блокируется, ну и разнообразные возможности вокруг этого
TB> не помешают.

Lightsquid + немного скриптов , искать где-то тут:

http://forum.ru-board.com/topic.cgi?forum=8&topic=13976&start=280#2



TB> Непосредственно SAMS не устраивает тем, что он не hackable, по крайней
TB> мере, для меня -- написан на C++ (это парсер логов то).
TB> _______________________________________________
TB> Sysadmins mailing list
TB> Sysadmins@lists.altlinux.org
TB> https://lists.altlinux.org/mailman/listinfo/sysadmins



-- 
С уважением,
 v                          mailto:v.n.belyaev@gmail.com

Re: [Sysadmins] учет трафика для Squid

[Jurij Bogaevs'kyj]

Timur Batyrshin написав(ла):
> Посоветуйте считалку трафика для Squid наподобие SAMS.
> Пользователю задается месячный лимит по достижении которого он тем или
> иным способом блокируется, ну и разнообразные возможности вокруг этого
> не помешают.
Биллинг. Например stargazer.

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 538 bytes --]

On Sun, 31 May 2009 23:42:18 +0300
Jurij Bogaevs'kyj wrote:

> > Посоветуйте считалку трафика для Squid наподобие SAMS.
> > Пользователю задается месячный лимит по достижении которого он тем
> > или иным способом блокируется, ну и разнообразные возможности
> > вокруг этого не помешают.
> Биллинг. Например stargazer.

Он не для Squid.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] учет трафика для Squid

[Motsyo Gennadi aka Drool]

Timur Batyrshin пишет:
>>> Пользователю задается месячный лимит по достижении которого он тем
>>> или иным способом блокируется...
>> Биллинг. Например stargazer.
> 
> Он не для Squid.

	Он для всего.

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 773 bytes --]

On Mon, 01 Jun 2009 08:51:51 +0300
Motsyo Gennadi aka Drool wrote:

> >>> Посоветуйте считалку трафика для Squid наподобие SAMS.
> >>> Пользователю задается месячный лимит по достижении которого он тем
> >>> или иным способом блокируется...
> >> Биллинг. Например stargazer.
> > Он не для Squid.
> 	Он для всего.

Когда я его смотрел, я не увидел в нем поддержки Squid.
Да, я знаю, что трафик можно считать по IP-адресам и т.п., но вопрос от
этого не меняется: считалка нужна для Squid.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Motsyo Gennadi aka Drool]

Timur Batyrshin пишет:
> Когда я его смотрел, я не увидел в нем поддержки Squid.

	stargazer-doc

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 969 bytes --]

On Mon, 01 Jun 2009 09:45:41 +0300
Motsyo Gennadi aka Drool wrote:

> > Когда я его смотрел, я не увидел в нем поддержки Squid.
> > Да, я знаю, что трафик можно считать по IP-адресам и т.п., но вопрос
> > от этого не меняется: считалка нужна для Squid.
> 	stargazer-doc

И?

erthad@batyrshin ~ $ grep -ir squid /usr/share/doc/stargazer-doc-2.404.9.7
/usr/share/doc/stargazer-doc-2.404.9.7/stargazer-examples/utf/fw:#В моем примере еще используется прозрачный прокси сервер squid если он не нужен закоментируйте эти 2 строки


Еще раз:
> > Да, я знаю, что трафик можно считать по IP-адресам и т.п., но вопрос
> > от этого не меняется: считалка нужна для Squid.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Motsyo Gennadi aka Drool]

Timur Batyrshin пишет:
> И?
> 
> erthad@batyrshin ~ $ grep -ir squid /usr/share/doc/stargazer-doc-2.404.9.7
> /usr/share/doc/stargazer-doc-2.404.9.7/stargazer-examples/utf/fw:#В моем примере еще используется прозрачный прокси сервер squid если он не нужен закоментируйте эти 2 строки
> 
> 
> Еще раз:

	Еще раз - старгайзер умеет обрабатывать траффик, пущенный через сквид...

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 864 bytes --]

On Mon, 01 Jun 2009 11:47:52 +0300
Motsyo Gennadi aka Drool wrote:

> > erthad@batyrshin ~ $ grep -ir
> > squid /usr/share/doc/stargazer-doc-2.404.9.7 /usr/share/doc/stargazer-doc-2.404.9.7/stargazer-examples/utf/fw:#В
> > моем примере еще используется прозрачный прокси сервер squid если
> > он не нужен закоментируйте эти 2 строки
> > 
> > 
> > Еще раз:
> 
> 	Еще раз - старгайзер умеет обрабатывать траффик, пущенный
> через сквид...

Не спорю, но мне нужна считалка для сквида (в общем случае читай --
парсер логов), а не считалка рядом со сквидом, как я уже неоднократно
отмечал.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Motsyo Gennadi aka Drool]

Timur Batyrshin пишет:
> Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> парсер логов), а не считалка рядом со сквидом, как я уже неоднократно
> отмечал.

	Минутку. Прозвучало, что необходимо рубать клиента по достижению 
определенного выделенного лимита траффика. О парсе логов речи не шло.

P.S. А что делать с клиентом, если он помимо сквида насосет? Или все, 
кроме 80-го порта, порезано?

Re: [Sysadmins] учет трафика для Squid

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1489 bytes --]

On 19.05.2009 06:33, Igor Golovichev wrote:
> Использую SAMS, но давно ищу альтернативу.
> SAMS из исходников в АЛТ начиная с 3-го нормально не компелируется, и
> приходится модуль samsd тащить аж со второго АЛТ. К тому же только
> анализатора логов, все-таки не достаточно для полного учета трафика.
>    
Самому SAMS не нравится.
Я бы эту задачу решал так.
Есть парсер лога lightsquid. Он складывает статистику. Думаю доделать 
его так, чтобы эту статистику он складывал в базу труда не представляет. 
Даже в базу того же SAMS

А дальше уже все решено: Нстраиваете в сквиде через внешний хелпер чтобы 
получать данные из базы и ограничиваете пользователей.

Есть только один недостаток: Медленная реакция. Т.е. если пользователь в 
данный момент активно качает и вышел за лимит, то скорее всего он 
докачает то что начал до момента работы парсера.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 1120 bytes --]

On Mon, 01 Jun 2009 12:09:43 +0300
Motsyo Gennadi aka Drool wrote:

> > Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> > парсер логов), а не считалка рядом со сквидом, как я уже
> > неоднократно отмечал.
> 	Минутку. Прозвучало, что необходимо рубать клиента по
> достижению определенного выделенного лимита траффика. О парсе логов
> речи не шло.

Ну это как бы подразумевается, раз считалка для Squid, т.к. насколько я
знаю, по другому сквид информацию отдавать не умеет.
Если бы я спрашивал о биллинге -- я бы так и спросил.

> P.S. А что делать с клиентом, если он помимо сквида насосет? Или все, 
> кроме 80-го порта, порезано?

Порезано.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] учет трафика для Squid

[AShen]

On 01.06.2009 13:20, Slava Dubrovskiy wrote:
> Есть только один недостаток: Медленная реакция. Т.е. если пользователь в
> данный момент активно качает и вышел за лимит, то скорее всего он
> докачает то что начал до момента работы парсера.
Сначала пользователь завершит/разоровёт сесию, потом сквид отразит это в 
своём логе, потом тот же lightsquid, посомтрит изменения в логе squid'а, 
сделает свои записи  и уж потом ... да врямя рекации порядочное ...

Re: [Sysadmins] [JT] учет трафика для Squid

[AShen]

On 01.06.2009 13:05, Timur Batyrshin wrote:
> Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> парсер логов), а не считалка рядом со сквидом, как я уже неоднократно
> отмечал.
Чистая считалка трафика lightsquid, SARG.

Re: [Sysadmins] учет трафика для Squid

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1175 bytes --]

On 01.06.2009 13:05, AShen wrote:
> On 01.06.2009 13:20, Slava Dubrovskiy wrote:
>> Есть только один недостаток: Медленная реакция. Т.е. если пользователь в
>> данный момент активно качает и вышел за лимит, то скорее всего он
>> докачает то что начал до момента работы парсера.
> Сначала пользователь завершит/разоровёт сесию, потом сквид отразит это 
> в своём логе, потом тот же lightsquid, посомтрит изменения в логе 
> squid'а, сделает свои записи  и уж потом ... да врямя рекации 
> порядочное ...
>
Я уже лет 5 как не ограничиваю трафик, т.к. платить 90грн за 2MBit/s 
unlim зарубеж + 100MBit/s UA-IX unlim проще, чем заморачиваться с такими 
делами.

А для отчетов руководству с головой хватает lightsquid.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 546 bytes --]

On Mon, 01 Jun 2009 14:05:47 +0400
AShen wrote:

> On 01.06.2009 13:05, Timur Batyrshin wrote:
> > Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> > парсер логов), а не считалка рядом со сквидом, как я уже
> > неоднократно отмечал.
> Чистая считалка трафика lightsquid, SARG.

+ нужна блокировка пользователей по превышении лимита =)

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[AShen]

On 01.06.2009 15:17, Timur Batyrshin wrote:
> + нужна блокировка пользователей по превышении лимита =)
А это уже отдельно надо делать. Кроме SAMS'а, но он то как раз вам и не 
нужен, как вы написали.
Если у вас разрешён только 80 порт, то по чему бы не считать трафик по 
пользователям на внутреннем интерфейсе с помощью тех же stargazer'а, 
katrin, temams'а, а на внешнем общей трафик? Подсчёт будет оперативней 
вестись, чем подсчёт через squid.

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 2851 bytes --]

On Tue, 19 May 2009 21:37:32 +0600
v.n.belyaev@gmail.com wrote:

> TB> Посоветуйте считалку трафика для Squid наподобие SAMS.
> TB> Пользователю задается месячный лимит по достижении которого он
> TB> тем или иным способом блокируется, ну и разнообразные возможности
> TB> вокруг этого не помешают.
> 
> Lightsquid + немного скриптов , искать где-то тут:

В итоге так и поступил.

Моя версия берет список пользователей из LDAP, парсит
отчеты LightSquid и генерирует несколько списков:
 - список всех пользователей (для блокировки всех, кто в него не входит)
 - список пользователей, у которых истек лимит трафика
 - список пользователей, забаненных администратором
 - список пользователей с истекшим сроком действия учетной записи
 - список "принудительно открытых" пользователей

"Принудительно открытые" -- для них админ задает индивидуальный срок, до
истечения которого блокировка по трафику для этого пользователя не
срабатывает. Это бывает нужно, когда пользователь просидел весь трафик,
но тем не менее у него "жутко важная работа" для которой в ближайший
день-два ему нужен интернет. Список этих пользователей предназначен не
для ACL, а для проглядывания глазами/генерирования отчетов/"мягкой"
резки при помощи delay_pools.


Работает ТОЛЬКО в варианте LDAP+отчеты LightSquid+пачка текстовых файлов
на выходе. Если надо, чтобы умело работать с другими источниками данных
-- патчи приветствуются, как и прочие отзывы.

RPM собрать можно отсюда:
http://git.altlinux.org/people/erthad/packages/userblocker.git
Скоро будет в сизифе.

Выкладывать еще куда-то/собирать для бранчей мне прямо сейчас влом,
наверное сделаю, когда следующая версия будет.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 2851 bytes --]

On Tue, 19 May 2009 21:37:32 +0600
v.n.belyaev@gmail.com wrote:

> TB> Посоветуйте считалку трафика для Squid наподобие SAMS.
> TB> Пользователю задается месячный лимит по достижении которого он
> TB> тем или иным способом блокируется, ну и разнообразные возможности
> TB> вокруг этого не помешают.
> 
> Lightsquid + немного скриптов , искать где-то тут:

В итоге так и поступил.

Моя версия берет список пользователей из LDAP, парсит
отчеты LightSquid и генерирует несколько списков:
 - список всех пользователей (для блокировки всех, кто в него не входит)
 - список пользователей, у которых истек лимит трафика
 - список пользователей, забаненных администратором
 - список пользователей с истекшим сроком действия учетной записи
 - список "принудительно открытых" пользователей

"Принудительно открытые" -- для них админ задает индивидуальный срок, до
истечения которого блокировка по трафику для этого пользователя не
срабатывает. Это бывает нужно, когда пользователь просидел весь трафик,
но тем не менее у него "жутко важная работа" для которой в ближайший
день-два ему нужен интернет. Список этих пользователей предназначен не
для ACL, а для проглядывания глазами/генерирования отчетов/"мягкой"
резки при помощи delay_pools.


Работает ТОЛЬКО в варианте LDAP+отчеты LightSquid+пачка текстовых файлов
на выходе. Если надо, чтобы умело работать с другими источниками данных
-- патчи приветствуются, как и прочие отзывы.

RPM собрать можно отсюда:
http://git.altlinux.org/people/erthad/packages/userblocker.git
Скоро будет в сизифе.

Выкладывать еще куда-то/собирать для бранчей мне прямо сейчас влом,
наверное сделаю, когда следующая версия будет.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 546 bytes --]

On Mon, 01 Jun 2009 14:05:47 +0400
AShen wrote:

> On 01.06.2009 13:05, Timur Batyrshin wrote:
> > Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> > парсер логов), а не считалка рядом со сквидом, как я уже
> > неоднократно отмечал.
> Чистая считалка трафика lightsquid, SARG.

+ нужна блокировка пользователей по превышении лимита =)

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 773 bytes --]

On Mon, 01 Jun 2009 08:51:51 +0300
Motsyo Gennadi aka Drool wrote:

> >>> Посоветуйте считалку трафика для Squid наподобие SAMS.
> >>> Пользователю задается месячный лимит по достижении которого он тем
> >>> или иным способом блокируется...
> >> Биллинг. Например stargazer.
> > Он не для Squid.
> 	Он для всего.

Когда я его смотрел, я не увидел в нем поддержки Squid.
Да, я знаю, что трафик можно считать по IP-адресам и т.п., но вопрос от
этого не меняется: считалка нужна для Squid.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] [JT] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 1120 bytes --]

On Mon, 01 Jun 2009 12:09:43 +0300
Motsyo Gennadi aka Drool wrote:

> > Не спорю, но мне нужна считалка для сквида (в общем случае читай --
> > парсер логов), а не считалка рядом со сквидом, как я уже
> > неоднократно отмечал.
> 	Минутку. Прозвучало, что необходимо рубать клиента по
> достижению определенного выделенного лимита траффика. О парсе логов
> речи не шло.

Ну это как бы подразумевается, раз считалка для Squid, т.к. насколько я
знаю, по другому сквид информацию отдавать не умеет.
Если бы я спрашивал о биллинге -- я бы так и спросил.

> P.S. А что делать с клиентом, если он помимо сквида насосет? Или все, 
> кроме 80-го порта, порезано?

Порезано.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] учет трафика для Squid

[Timur Batyrshin]

[-- Attachment #1: Type: text/plain, Size: 538 bytes --]

On Sun, 31 May 2009 23:42:18 +0300
Jurij Bogaevs'kyj wrote:

> > Посоветуйте считалку трафика для Squid наподобие SAMS.
> > Пользователю задается месячный лимит по достижении которого он тем
> > или иным способом блокируется, ну и разнообразные возможности
> > вокруг этого не помешают.
> Биллинг. Например stargazer.

Он не для Squid.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 197 bytes --]