[Comm] фильтр/редиректор для squid ?

[Comm] фильтр/редиректор для squid ?

[support]

Доброго времени суток всем!
Подскажите  фильтр/редиректор для squid, который в Mastere2.2 есть.

Задача в целом такая, отрезать например по ip доступ через squid к:
1. mp3 и другим нехорошим файлам.
2. порнушным сайтам
3. для определенных ip(или групп ip)  разрешить только определенные сайты
4. для определенных ip(или групп ip) запретить только определенные сайты

Нашел что это может squidGuard, но в Мастере его нет, почемуто ;-((

Re: [Comm] фильтр/редиректор для squid ?

[Alexey Morsov]

support@planetashop.ru wrote:
> Доброго времени суток всем!
> Подскажите  фильтр/редиректор для squid, который в Mastere2.2 есть.
> 
> Задача в целом такая, отрезать например по ip доступ через squid к:
> 1. mp3 и другим нехорошим файлам.
> 2. порнушным сайтам
> 3. для определенных ip(или групп ip)  разрешить только определенные сайты
> 4. для определенных ip(или групп ip) запретить только определенные сайты
> 
> Нашел что это может squidGuard, но в Мастере его нет, почемуто ;-((
Для того чтобы отрезать - нужен только squid с набором acl - у 
меня он все нормально режет (трафик упал даже) - а вот вместо 
порезанных банеров вытаскивать gif 1x1 прозрачный - тут конечна 
да... могу тока посоветовать использовать для этого тот 
redirect.pl который со squid-ом идет (хотя сам ими не пользуюсь 
-вырезано и все)

Re: [Comm] фильтр/редиректор для squid ?

[Alexey Borovskoy]

* 28 Ноябрь 2003 01:47 <support@planetashop.ru>

Добрый вечер.

> Задача в целом такая, отрезать например по ip доступ через
> squid к: 1. mp3 и другим нехорошим файлам.
> 2. порнушным сайтам
> 3. для определенных ip(или групп ip)  разрешить только
> определенные сайты 4. для определенных ip(или групп ip)
> запретить только определенные сайты

Посмотрите на www.rejik.ru.

-- 
Алексей.
GPG key fingerprint
949B BC0E 2C44 7528 4F63  2753 E37A 9E3F 11F3 BDE1

Re: [Comm] фильтр/редиректор для squid ?

[Alexey Morsov]

Alexey Borovskoy wrote:

> * 28 Ноябрь 2003 01:47 <support@planetashop.ru>
> 
> Добрый вечер.
> 
> 
>>Задача в целом такая, отрезать например по ip доступ через
>>squid к: 1. mp3 и другим нехорошим файлам.
>>2. порнушным сайтам
>>3. для определенных ip(или групп ip)  разрешить только
>>определенные сайты 4. для определенных ip(или групп ip)
>>запретить только определенные сайты
> 
> 
> Посмотрите на www.rejik.ru.
> 
Пробовал я этот rejik - не хочу ничего сказать но после двух 
суток его использования у меня накрлась вся файлова система...
Может это и не он (железо конечно старое но все же scsi)...
И вообще - лучше ACL ничего работать не будет.... а любые 
посредники это только замедляет работу

Re: [Comm] фильтр/редиректор для squid ?

[Maxim Tyurin]

[-- Attachment #1: Type: text/plain, Size: 568 bytes --]

On Mon, Dec 01, 2003 at 10:49:09AM +0300, Alexey Morsov wrote:
> Пробовал я этот rejik - не хочу ничего сказать но после двух 
> суток его использования у меня накрлась вся файлова система...
> Может это и не он (железо конечно старое но все же scsi)...
> И вообще - лучше ACL ничего работать не будет.... а любые 
> посредники это только замедляет работу

Ну rejik тут ИМХО не причем.

А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
Т.к. хранит списки в базе в виде дерева.

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] фильтр/редиректор для squid ?

[Alexey Morsov]

Maxim Tyurin wrote:

> On Mon, Dec 01, 2003 at 10:49:09AM +0300, Alexey Morsov wrote:
> 
>>Пробовал я этот rejik - не хочу ничего сказать но после двух 
>>суток его использования у меня накрлась вся файлова система...
>>Может это и не он (железо конечно старое но все же scsi)...
>>И вообще - лучше ACL ничего работать не будет.... а любые 
>>посредники это только замедляет работу
> 
> 
> Ну rejik тут ИМХО не причем.
> 
> А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
> Т.к. хранит списки в базе в виде дерева.
Т.е. советуете squidguard -я сейчас просто ACL режу (там у меня 
всего-то 5-6 правил) - но вот режет он непрозрачно а хотелось бы 
облагородить....
> 
> 
> 
> ------------------------------------------------------------------------
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> http://www.altlinux.ru/mailman/listinfo/community

Re: [Comm] фильтр/редиректор для squid ?

[Maxim Tyurin]

[-- Attachment #1: Type: text/plain, Size: 513 bytes --]

On Mon, Dec 01, 2003 at 06:43:26PM +0300, Alexey Morsov wrote:
<scip>
> >А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
> >Т.к. хранит списки в базе в виде дерева.
> Т.е. советуете squidguard -я сейчас просто ACL режу (там у меня 
> всего-то 5-6 правил) - но вот режет он непрозрачно а хотелось бы 
> облагородить....

За 5-6 правил связываться с squidguard не вижу никакого смысла.
Если правил 500-600 тогда смысл есть.
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] фильтр/редиректор для squid ?

[support]

----- Original Message -----
From: "Alexey Morsov" <samurai@ricom.ru>
To: <community@altlinux.ru>
Sent: Monday, December 01, 2003 6:43 PM
Subject: Re: [Comm] фильтр/редиректор для squid ?


> Maxim Tyurin wrote:
>
> > On Mon, Dec 01, 2003 at 10:49:09AM +0300, Alexey Morsov wrote:
> >
> >>Пробовал я этот rejik - не хочу ничего сказать но после двух
> >>суток его использования у меня накрлась вся файлова система...
> >>Может это и не он (железо конечно старое но все же scsi)...
> >>И вообще - лучше ACL ничего работать не будет.... а любые
> >>посредники это только замедляет работу
> >
> >
> > Ну rejik тут ИМХО не причем.
> >
> > А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
> > Т.к. хранит списки в базе в виде дерева.
> Т.е. советуете squidguard -я сейчас просто ACL режу (там у меня
> всего-то 5-6 правил) - но вот режет он непрозрачно а хотелось бы
> облагородить....
Поставил rejik на комп с firewall, там у меня все порты закрыты, по
умолчанию,
и вот проблема, перестал запускаться squid. Тоесть squid запускается, в
логах все ок.
Но rejik не стартует и интернета никакого. Убираю команду запуска refik из
squid.conf и также интернет появляется. Открываю все порты, все запускается
и работает без запинки.
Отсюда вопрос какие нужно открыть порты для того чтобы rejik запустился?

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 1 Декабрь 2003 19:08 support@planetashop.ru написал:
> ----- Original Message -----
> From: "Alexey Morsov" <samurai@ricom.ru>
> To: <community@altlinux.ru>
> Sent: Monday, December 01, 2003 6:43 PM
> Subject: Re: [Comm] фильтр/редиректор для squid ?
>
> > Maxim Tyurin wrote:
> > > On Mon, Dec 01, 2003 at 10:49:09AM +0300, Alexey Morsov wrote:
> > >>Пробовал я этот rejik - не хочу ничего сказать но после двух
> > >>суток его использования у меня накрлась вся файлова система...
> > >>Может это и не он (железо конечно старое но все же scsi)...
> > >>И вообще - лучше ACL ничего работать не будет.... а любые
> > >>посредники это только замедляет работу

> > > А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
> > > Т.к. хранит списки в базе в виде дерева.
> >
> > Т.е. советуете squidguard -я сейчас просто ACL режу (там у меня
> > всего-то 5-6 правил) - но вот режет он непрозрачно а хотелось бы
> > облагородить....

Сразу такой вопрос в тему: кто-нибудь сталкивался с установкой ограничения 
трафика через squid по объему, учитывая, что это ограничение возможно 
поставить только в где-то в самом сквиде? Пару решений я нашел:

1) по крону парсить лог-файл и рубить тех пользователей, которые превысили 
объем. Плюсы: легко реализовать. Проблемы: не run-time-система, информация 
о файле приходит только после получения всего файла пользователем.
2) использовать редиректор. Плюсы: ближе к run-time, чем 1). Проблемы: 
тоже, что и 1).
3) править сам сквид. Плюсы: всё, что хочешь, получить можно. Проблемы: 
пересборка сквида, трудности при настройке, при обновлении начинай всё с 
начала.

Может, кто еще что может предложить, чтобы не надо было бы править squid и 
не было возможности превысить трафик?

-- 
С уважением, Епифанов Сергей

Re[2]: [Comm] Квота для squid ?

[Alexey Dmitriev]

Hello Epiphanov,

Tuesday, December 2, 2003, 1:15:02 PM, you wrote:

ES> В сообщении от 1 Декабрь 2003 19:08 support@planetashop.ru написал:
>> ----- Original Message -----
>> From: "Alexey Morsov" <samurai@ricom.ru>
>> To: <community@altlinux.ru>
>> Sent: Monday, December 01, 2003 6:43 PM
>> Subject: Re: [Comm] фильтр/редиректор для squid ?
>>
>> > Maxim Tyurin wrote:
>> > > On Mon, Dec 01, 2003 at 10:49:09AM +0300, Alexey Morsov wrote:
>> > >>Пробовал я этот rejik - не хочу ничего сказать но после двух
>> > >>суток его использования у меня накрлась вся файлова система...
>> > >>Может это и не он (железо конечно старое но все же scsi)...
>> > >>И вообще - лучше ACL ничего работать не будет.... а любые
>> > >>посредники это только замедляет работу

>> > > А насчет скорости - при больших списках SquidGuard быстрее Squid ACL
>> > > Т.к. хранит списки в базе в виде дерева.
>> >
>> > Т.е. советуете squidguard -я сейчас просто ACL режу (там у меня
>> > всего-то 5-6 правил) - но вот режет он непрозрачно а хотелось бы
>> > облагородить....

ES> Сразу такой вопрос в тему: кто-нибудь сталкивался с установкой ограничения
ES> трафика через squid по объему, учитывая, что это ограничение возможно
ES> поставить только в где-то в самом сквиде? Пару решений я нашел:

ES> 1) по крону парсить лог-файл и рубить тех пользователей, которые превысили
ES> объем. Плюсы: легко реализовать. Проблемы: не run-time-система, информация
ES> о файле приходит только после получения всего файла пользователем.
ES> 2) использовать редиректор. Плюсы: ближе к run-time, чем 1). Проблемы:
ES> тоже, что и 1).
ES> 3) править сам сквид. Плюсы: всё, что хочешь, получить можно. Проблемы:
ES> пересборка сквида, трудности при настройке, при обновлении начинай всё с
ES> начала.

ES> Может, кто еще что может предложить, чтобы не надо было бы править squid и
ES> не было возможности превысить трафик?

www.netams.com (ИМХО хороший биллинг и фришный) и squid не причем


-- 
Best regards,
 Alexey                            mailto:dalex@mail.ru

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 2 Декабрь 2003 13:24 Alexey Dmitriev написал:

> ES> Может, кто еще что может предложить, чтобы не надо было бы править
> squid и ES> не было возможности превысить трафик?
>
> www.netams.com (ИМХО хороший биллинг и фришный) и squid не причем

Не то, так как пользователи могут свободно менять IP-адреса, а заставить 
использовать один и тот же я не могу.

-- 
С уважением, Епифанов Сергей

Re[2]: [Comm] Квота для squid ?

[Alexey Dmitriev]

Hello Epiphanov,

Tuesday, December 2, 2003, 1:49:44 PM, you wrote:

ES> В сообщении от 2 Декабрь 2003 13:24 Alexey Dmitriev написал:

>> ES> Может, кто еще что может предложить, чтобы не надо было бы править
>> squid и ES> не было возможности превысить трафик?
>>
>> www.netams.com (ИМХО хороший биллинг и фришный) и squid не причем

ES> Не то, так как пользователи могут свободно менять IP-адреса, а заставить
ES> использовать один и тот же я не могу.

А VPN поднять и сделать им логины?


-- 
Best regards,
 Alexey                            mailto:dalex@mail.ru

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 2 Декабрь 2003 13:24 Alexey Dmitriev написал:
>
> ES> Может, кто еще что может предложить, чтобы не надо было бы править
> squid и ES> не было возможности превысить трафик?
>
> www.netams.com (ИМХО хороший биллинг и фришный) и squid не причем

Необходимо ограничить только http-запросы внуть сети, http наружу и все 
остальные - без ограничений. Дело в том еще, что с одного IP могут быть 
несколько людей.

-- 
С уважением, Епифанов Сергей

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 2 Декабрь 2003 13:24 Alexey Dmitriev написал:

>
> ES> Может, кто еще что может предложить, чтобы не надо было бы править
> squid и ES> не было возможности превысить трафик?
>
> www.netams.com (ИМХО хороший биллинг и фришный) и squid не причем

Попробую, посмотрю.

Кто-нибудь подскажет, какой трафик регистрирует squid в access.log?

Пример: 
1100000000.000 13 192.168.1.10 TCP_MISS/200 13344 GET http://host/file.html 
user DIRECT/host text/html

Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?

-- 
С уважением, Епифанов Сергей

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 2 Декабрь 2003 18:06 Epiphanov Sergei написал:

> Кто-нибудь подскажет, какой трафик регистрирует squid в access.log?
>
> Пример:
> 1100000000.000 13 192.168.1.10 TCP_MISS/200 13344 GET
> http://host/file.html user DIRECT/host text/html
>
> Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?

Просто необходимо узнать сколько скачал Squid из инета для того или иного 
пользователя, а откуда вытащить - непонятно.

-- 
С уважением, Епифанов Сергей

Re: [Comm] Квота для squid ?

[Mike Lykov]

В сообщении от Вторник 02 Декабрь 2003 19:31 Epiphanov Sergei написал:
> > Пример:
> > 1100000000.000 13 192.168.1.10 TCP_MISS/200 13344 GET
> > http://host/file.html user DIRECT/host text/html
> > Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?
> Просто необходимо узнать сколько скачал Squid из инета для того или иного
> пользователя, а откуда вытащить - непонятно.

Отсюда и вытащить. ваше "около 9 Кб" вполне в байтах может быть и 13444.

-- 
Mike

Re: [Comm] Квота для squid ?

[Dmytro O. Redchuk]

On Wed, Dec 03, 2003 at 09:14:26AM +0400, Mike Lykov wrote:
> В сообщении от Вторник 02 Декабрь 2003 19:31 Epiphanov Sergei написал:
> > > Пример:
> > > 1100000000.000 13 192.168.1.10 TCP_MISS/200 13344 GET
> > > http://host/file.html user DIRECT/host text/html
> > > Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?
> > Просто необходимо узнать сколько скачал Squid из инета для того или иного
> > пользователя, а откуда вытащить - непонятно.
> 
> Отсюда и вытащить. ваше "около 9 Кб" вполне в байтах может быть и 13444.
Думаю, что если (если -- я не помню:-) для запросов HEAD сквид пишет
что-то ненулевое, то сюда могут включаться и заголовки.

Я бы сказал, что они *должны* включаться, но не помню.

> 
> -- 
> Mike

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk


Objects are lost only because people look where they are not rather than
where they are.

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 3 Декабрь 2003 12:05 Dmytro O. Redchuk написал:

> Думаю, что если (если -- я не помню:-) для запросов HEAD сквид пишет
> что-то ненулевое, то сюда могут включаться и заголовки.
>
> Я бы сказал, что они *должны* включаться, но не помню.

Похоже на то.

-- 
С уважением, Епифанов Сергей

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 3 Декабрь 2003 08:14 Mike Lykov написал:
> В сообщении от Вторник 02 Декабрь 2003 19:31 Epiphanov Sergei написал:
> > > Пример:
> > > 1100000000.000 13 192.168.1.10 TCP_MISS/200 13344 GET
> > > http://host/file.html user DIRECT/host text/html
> > > Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?
> >
> > Просто необходимо узнать сколько скачал Squid из инета для того или
> > иного пользователя, а откуда вытащить - непонятно.
>
> Отсюда и вытащить. ваше "около 9 Кб" вполне в байтах может быть и 13444.

Полез в документацию squid, там написано, что в данном поле squid пишет 
количество байт, отданных клиенту. А вот как узнать сколько байт он 
вытащил от внешнего прокси или из интернета? Не совсем понятно, как 
ставить билинговую систему, которая бы учитывала именно этот трафик, ведь 
сквид принял запросот клиента, а затем уже от свего имени лезет за 
информацией и разделить, что для кого получено, может только он. Неужели 
придется править сам сквид? Или есть другие прокси-сервера, которые могут 
авторизовать пользователя и зарегистрировать: кто, сколько ему передано и 
от него получено, сколько для него скачано из инета, сколько передано 
вовне байт (разные запросы)? А-ля Wingate для Linux?

P.S. около 9Кб=9387б

-- 
С уважением, Епифанов Сергей

Re: [Comm] Квота для squid ?

[Mike Lykov]

В сообщении от Среда 03 Декабрь 2003 15:07 Epiphanov Sergei написал:

> > > > Реальный размер файла около 9Кб, в логах 13344. Что сюда включается?
> > > Просто необходимо узнать сколько скачал Squid из инета для того или
> > > иного пользователя, а откуда вытащить - непонятно.
> > Отсюда и вытащить. ваше "около 9 Кб" вполне в байтах может быть и 13444.

> Полез в документацию squid, там написано, что в данном поле squid пишет
> количество байт, отданных клиенту. А вот как узнать сколько байт он
> вытащил от внешнего прокси или из интернета?

А в каких случаях будет одно не равно другому (если считать, что некий обьект 
- страница, файл) вытащен из интернета и передан пользователю? по пути его 
размер вряд ли меняется.

 Не совсем понятно, как
> ставить билинговую систему, которая бы учитывала именно этот трафик,

этот - из интернета? Я написал скрипт на перле, который берет размеры из лога, 
но только не в том случае, если в результате - HIT

-- 
Mike

Re: [Comm] Квота для squid ?

[Dmytro O. Redchuk]

On Wed, Dec 03, 2003 at 03:46:54PM +0400, Mike Lykov wrote:
> А в каких случаях будет одно не равно другому (если считать, что некий обьект 
> - страница, файл) вытащен из интернета и передан пользователю? по пути его 
> размер вряд ли меняется.
> 
>  Не совсем понятно, как
> > ставить билинговую систему, которая бы учитывала именно этот трафик,
> 
> этот - из интернета? Я написал скрипт на перле, который берет размеры из лога, 
> но только не в том случае, если в результате - HIT
Заголовки могут меняться. Не значительно, но меняться.

Думаю, что можно подсчитывать _достаточно точно_, если надо "обсчитать"
пользователя. Который, к тому же, не виноват, что (если вообще "да"....)
сквид тянет для него больше, чем ему нужно.

А провайдера "обсчитать" всё равно не получится.
ip accounting, типа...

> 
> -- 
> Mike
-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk


"Our reruns are better than theirs."
-- Nick at Nite

Re: [Comm] Квота для squid ?

[Shawkat Nizamov]

>> Не совсем понятно, как
>>
>>>ставить билинговую систему, которая бы учитывала именно этот трафик,
>>
>>этот - из интернета? Я написал скрипт на перле, который берет размеры из лога, 
>>но только не в том случае, если в результате - HIT
> 
> Заголовки могут меняться. Не значительно, но меняться.
> 
> Думаю, что можно подсчитывать _достаточно точно_, если надо "обсчитать"
> пользователя. Который, к тому же, не виноват, что (если вообще "да"....)
> сквид тянет для него больше, чем ему нужно.
> 
> А провайдера "обсчитать" всё равно не получится.
> ip accounting, типа...

я не совсем понял что нужно считать - траффик который идет к 
пользователю ? или траффик который вытягивает сквид для него ?

если первое - то sarg самое милое дело.

Re: [Comm] Квота для squid ?

[Epiphanov Sergei]

В сообщении от 3 Декабрь 2003 15:08 Shawkat Nizamov написал:
> >> Не совсем понятно, как
> >>
> >>>ставить билинговую систему, которая бы учитывала именно этот трафик,
> >>
> >>этот - из интернета? Я написал скрипт на перле, который берет размеры
> >> из лога, но только не в том случае, если в результате - HIT
> >
> > Заголовки могут меняться. Не значительно, но меняться