[mdk-re] [JT] download from http

[mdk-re] [JT] download from http

[Gosha]

Hi All!

Хотелось бы средствами ipchains отследить загрузку файлов
с http, с целью ограничения трафика. С ftp проблем нет, а
вот как определить, что пользователь качает именно файло
с http-сервера, а не просто гуляет по web-у?
По ftp зажал, но ведь пытливый юзер норовит теперь
искать всякое добро на http. И находит.
Это вообще, каким либо образом возможно определить?
Пусть даже не средствами фильтрации пакетов.

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] [JT] download from http

[Artem K. Jouravsky]

On Thu, Nov 22, 2001 at 11:19:45PM +0500, Gosha wrote:
> Hi All!
> 
> Хотелось бы средствами ipchains отследить загрузку файлов
> с http, с целью ограничения трафика. С ftp проблем нет, а
> вот как определить, что пользователь качает именно файло
> с http-сервера, а не просто гуляет по web-у?
> По ftp зажал, но ведь пытливый юзер норовит теперь
> искать всякое добро на http. И находит.
> Это вообще, каким либо образом возможно определить?
> Пусть даже не средствами фильтрации пакетов.
squid?
ограничение на разрешенные расширения+ограничение по размеру
файла - прорвать можно только имея на другом конце хорошего друга
который положит на свой сервер 50 файлов *.jpg которые при
переименовании окажутся кусками mp3. Но с этим имхо уже вообще
никак не поборешься :)

Best wishes,
+----------------------+--------------------------+
|  ."-.                |  Work: +7-(095)-229-4278 |
| /X  | _o.----.    _  |  ICQ:  103399444         |
|/\_  \/ /  __  \_// ) |  Artem K. Jouravsky      |
|\__)-/_/\_____)____/  |  http://www.ifirst.ru/   |
+----------------------+--------------------------+		      

[mdk-re] Re: download from http

[Vyt]

On Thu, 22 Nov 2001 23:19:45 +0500
Gosha <gosha@sendmail.ru> wrote:

> Hi All!
> 
> Хотелось бы средствами ipchains отследить загрузку файлов
> с http, с целью ограничения трафика. С ftp проблем нет, а
> вот как определить, что пользователь качает именно файло
> с http-сервера, а не просто гуляет по web-у?

delay pools в Squid позволяют зажимать закачку после
определенного объема. Помогает. Правда, особо пытливые ставят в
reget "рестартовать при маленькой скорости".

http://www.bog.pp.ru/work/squid.html#delaypool
http://linuxnews.ru/docs/showdoc.php?id=4668&thread=4668

<skipped>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

Re: [mdk-re] [JT] download from http

[Gosha]

On Thu, 22 Nov 2001 21:57:56 +0300
"Artem K. Jouravsky" <ujo@ifirst.ru> wrote:

> squid?
> ограничение на разрешенные расширения+ограничение по размеру
> файла - прорвать можно только имея на другом конце хорошего друга
> который положит на свой сервер 50 файлов *.jpg которые при
> переименовании окажутся кусками mp3. Но с этим имхо уже вообще
> никак не поборешься :)

Thnks. Но этот вариант для меня не реален. Тот рутер, на котором
это нужно бы сделать, всего 16 метров памяти имеет. :-(((
Для рутера больше и не надо, а вот сквиду явно мало будет.

А как-нибудь по используемым портам этого не определить?
Или может быть какой-то характерный заголовок ip-пакета
существует? Или это не реально?

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] [JT] download from http

[Vyt]

On Fri, 23 Nov 2001 15:39:43 +0500
Gosha <gosha@sendmail.ru> wrote:

<skipped>

> А как-нибудь по используемым портам этого не определить?
> Или может быть какой-то характерный заголовок ip-пакета
> существует? Или это не реально?

Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
ссылки, правда, на http://www.tis.com его больше нет (точно был).

<skipped>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

Re: [mdk-re] [JT] download from http

[Igor Homyakov]

On Fri, Nov 23, 2001 at 01:50:00PM +0300, Vyt wrote:
> On Fri, 23 Nov 2001 15:39:43 +0500
> Gosha <gosha@sendmail.ru> wrote:
> 
> <skipped>
> 
> > А как-нибудь по используемым портам этого не определить?
> > Или может быть какой-то характерный заголовок ip-пакета
> > существует? Или это не реально?
> 
> Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
> ссылки, правда, на http://www.tis.com его больше нет (точно был).
> 
он живет на www.fwtk.org
-- 
Igor Homyakov
<homyakov(at)ramax.spb.ru>

Re: [mdk-re] [JT] download from http

[Gosha]

On Fri, 23 Nov 2001 13:50:00 +0300
Vyt <vyt@vzljot.ru> wrote:

> > А как-нибудь по используемым портам этого не определить?
> > Или может быть какой-то характерный заголовок ip-пакета
> > существует? Или это не реально?
> 
> Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
> ссылки, правда, на http://www.tis.com его больше нет (точно был).

Thnks. Буду искать. Похоже это что-то интересное.

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] [JT] download from http

[Gosha]

On Fri, 23 Nov 2001 15:23:40 +0300
Igor Homyakov <homyakov@ramax.spb.ru> wrote:

> > Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
> > ссылки, правда, на http://www.tis.com его больше нет (точно был).
> > 
> он живет на www.fwtk.org

Thnks. Вот и искать не надо стало. :-)
Кстати, там ссылка на российский ресурс:

http://fwtk.cdu.elektra.ru/main.html

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

[mdk-re] TIS ftwk (was: [JT] download from http)

[Vyt]

On Fri, 23 Nov 2001 17:09:26 +0500
Gosha <gosha@sendmail.ru> wrote:

> On Fri, 23 Nov 2001 15:23:40 +0300
> Igor Homyakov <homyakov@ramax.spb.ru> wrote:
> 
> > > Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
> > > ссылки, правда, на http://www.tis.com его больше нет (точно был).
> > > 
> > он живет на www.fwtk.org
> 
> Thnks. Вот и искать не надо стало. :-)
> Кстати, там ссылка на российский ресурс:
> 
> http://fwtk.cdu.elektra.ru/main.html

В инете есть переводы док на русский, не найдете - вышлю.

<skipped>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

Re: [mdk-re] TIS ftwk (was: [JT] download from http)

[Igor Homyakov]

On Fri, Nov 23, 2001 at 03:30:14PM +0300, Vyt wrote:
> On Fri, 23 Nov 2001 17:09:26 +0500
> Gosha <gosha@sendmail.ru> wrote:
> 
> > On Fri, 23 Nov 2001 15:23:40 +0300
> > Igor Homyakov <homyakov@ramax.spb.ru> wrote:
> > 
> > > > Посмотрите TIS Firewall Toolkit, на http://www.opennet.ru есть
> > > > ссылки, правда, на http://www.tis.com его больше нет (точно был).
> > > > 
> > > он живет на www.fwtk.org
> > 
> > Thnks. Вот и искать не надо стало. :-)
> > Кстати, там ссылка на российский ресурс:
> > 
> > http://fwtk.cdu.elektra.ru/main.html
> 
> В инете есть переводы док на русский, не найдете - вышлю.
> 

у него лицензия "гнилая", есть GPL - FK но по возможностям
не лотягивает до TIS. FK я скореевсего скоро залью в Сизиф.

-- 
Igor Homyakov
<homyakov(at)ramax.spb.ru>

Re: [mdk-re] [JT] download from http

[Michael Shigorin]

On Fri, Nov 23, 2001 at 03:39:43PM +0500, Gosha wrote:
> Thnks. Но этот вариант для меня не реален. Тот рутер, на котором
> это нужно бы сделать, всего 16 метров памяти имеет. :-(((
> Для рутера больше и не надо, а вот сквиду явно мало будет.
Ну, метра 4 ему дать (и сто на диске)? Или на oops посмотрите.
Хвалили вроде.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ http://visa.chem.univ.kiev.ua/~mike/

Re: [mdk-re] [JT] download from http

[Gosha]

On Fri, 23 Nov 2001 14:58:50 +0200
Michael Shigorin <mike@lic145.kiev.ua> wrote:

> On Fri, Nov 23, 2001 at 03:39:43PM +0500, Gosha wrote:
> > Thnks. Но этот вариант для меня не реален. Тот рутер, на котором
> > это нужно бы сделать, всего 16 метров памяти имеет. :-(((
> > Для рутера больше и не надо, а вот сквиду явно мало будет.
> Ну, метра 4 ему дать (и сто на диске)?

На диске я могу и гиг дать, а вот 4 метра ему наверное
все же слишком мало будет. Кто-нибудь пробовал сквид на
малой памяти использовать?

> Или на oops посмотрите.
> Хвалили вроде.

Thnks. Посмотрю. 

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] TIS ftwk (was: [JT] download from http)

[Gosha]

On Fri, 23 Nov 2001 15:30:14 +0300
Vyt <vyt@vzljot.ru> wrote:

> > http://fwtk.cdu.elektra.ru/main.html
> 
> В инете есть переводы док на русский, не найдете - вышлю.

Спасибо. Нашел. Кому еще интересно, можно взять на
http://www.opennet.ru/soft/TIS.ZIP

Только учтите, на попытку взять файл с помощью какой-либо 
качалки (например X-downloader), получите вместо него
файлик stop.txt, такого содержания:
==============================================================
Зарегистрирована попытка несанкционированного открытия большого
количества соединений.

При срабатывании данной защиты 3 раза доступ к opennet.ru для 
Вашего IP будет автоматически заблокирован фаерволом.
Пожалуйста НЕ копируте документы сайта автоматическими программами
отзеркаливающими группу документов, это приводит к слишком большим
для некоммерческого проекта расходам. Пожалуйста проявите уважение
к авторам проекта. В противном случае доступ для Вашего хоста будет
заблокирован пакетным фильтром.

Большинство offline программ скачивания сайтов написаны безграмотно
(в отличии от роботов поисковых систем), это приводит к огромной 
нагрузке на сервер и забиванию канала. 80% трафика приходится на
выкачивание этими программами, если я не буду блокироватьзеркалирование,
скорость прокачки может быть зажата провайдором и тогда все будут качать
со скоростью 300 байт/сек.
================================================================

Так, что X-downloader попал в число "безграмотно" написанных. :-(((
Хотя он даже и не пытался открывать более одного соединения.
В общем качайте с помощью wget, и будет Вам счастье. :-)

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

[mdk-re] Re:[JT] download from http

[Peter V. Saveliev]

Gosha wrote:

<skip>

> На диске я могу и гиг дать, а вот 4 метра ему наверное
> все же слишком мало будет. Кто-нибудь пробовал сквид на
> малой памяти использовать?

<skip>

У меня сквид живет в апокалептической спарке в драйверами тарелки на 24
метрах памяти, 300 метрах свободного диска и на 166 пне. У читывая, что
драйвера отъедают ~12 метров (что автор никак не комментирует - даже на
письмо не ответил), да система тоже не сбоку, получается немного. Но он
тем не менее работает. Хотя нагрузка у нас небольшая - тарелка допускает
не больше 8 каналов, как я понял.

Петр.

wget vs X-Downloader (was: Re: [mdk-re] TIS ftwk)

["Баталов Григорий"]

Fri, 23 Nov 2001 18:25:03 +0500
Gosha <gosha@sendmail.ru> писал:

> Так, что X-downloader попал в число "безграмотно" написанных. :-(((
> Хотя он даже и не пытался открывать более одного соединения.
> В общем качайте с помощью wget, и будет Вам счастье. :-)

    Мною недавно замечено, что X-Downloader и Reget качают
  гораздо "хитрее", чем wget. Мне по роду деятельности надо
  автоматически раз в день забирать обновления для разных
  программ. Пытаясь это сделать при помощи wget через прокси
  EuropeOnline, я получал регулярный отлуп (Gateway time-out).
    Пока не проверил это дело Reget-ом и затем X-Downloader-ом.
  (Вот конкретная ссылка: ftp://ftp.alta.ru/download/reg_ved.cab)
  По земле качается нормально и теми и другими. Видимо, эта
  закономерность проявляется только у wget и только через
  EuropeOnline.
    Кстати, на многие другие (но не все!) сервера wget через
  ту же тарелку ходит нормально. Так что не знаю, что и думать.

-- 
 Баталов Григорий.
---------------------------------------------------------------------------
 I am the "ILOVEGNU" signature virus. Just copy me to your signature.
 This email was infected under the terms of the GNU General Public License.

Re: [mdk-re] TIS ftwk (was: [JT] download from http)

[Gosha]

On Fri, 23 Nov 2001 16:35:58 +0300
Igor Homyakov <homyakov@ramax.spb.ru> wrote:

> > > http://fwtk.cdu.elektra.ru/main.html
> > 
> > В инете есть переводы док на русский, не найдете - вышлю.
> > 
> 
> у него лицензия "гнилая", есть GPL - FK но по возможностям
> не лотягивает до TIS. FK я скореевсего скоро залью в Сизиф.

В общем посмотрел я на это чудо. Доки почитал. Так ничего и не понял.
Во всяком случае, как решить задачу отлова загрузки файлов с http с его
помощью, я из документации не увидел. :-((
Может я и не очень внимательно читал, но кроме как запретить/разрешить
вообще весь доступ к http я там не увидел. 
Особенно, понравилось предложение, с которого начинается раздел
docs на сайте:

"... If you need good documentation, please read the source code.
If you are not familiar with C or do not feel comfortable with 
performing the configuration and security verification yourself,
then I would suggest that you purchase a commercial firewall from
a vendor (such as TIS, Checkpoint, Raptor, etc.)."

Поскольку я как раз "not familiar with C", наверное, я и не понял
как решить мою задачку. :-)

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] Re:[JT] download from http

[Gosha]

On Fri, 23 Nov 2001 17:05:25 +0300
"Peter V. Saveliev" <peet@infosite.ru> wrote:

> > На диске я могу и гиг дать, а вот 4 метра ему наверное
> > все же слишком мало будет. Кто-нибудь пробовал сквид на
> > малой памяти использовать?
> 
> У меня сквид живет в апокалептической спарке в драйверами тарелки на 24
> метрах памяти, 300 метрах свободного диска и на 166 пне. У читывая, что
> драйвера отъедают ~12 метров (что автор никак не комментирует - даже на
> письмо не ответил), да система тоже не сбоку, получается немного. Но он
> тем не менее работает. Хотя нагрузка у нас небольшая - тарелка допускает
> не больше 8 каналов, как я понял.

Похоже я все же буду пробовать сквид поставить. Машинка P100/16/10G,
сетевая нагрузка не большая. Может все нормально будет.

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] Re:[JT] download from http

[Igor Homyakov]

On Fri, Nov 23, 2001 at 07:23:03PM +0500, Gosha wrote:
> On Fri, 23 Nov 2001 17:05:25 +0300
> "Peter V. Saveliev" <peet@infosite.ru> wrote:
> 
> > > На диске я могу и гиг дать, а вот 4 метра ему наверное
> > > все же слишком мало будет. Кто-нибудь пробовал сквид на
> > > малой памяти использовать?
> > 
> > У меня сквид живет в апокалептической спарке в драйверами тарелки на 24
> > метрах памяти, 300 метрах свободного диска и на 166 пне. У читывая, что
> > драйвера отъедают ~12 метров (что автор никак не комментирует - даже на
> > письмо не ответил), да система тоже не сбоку, получается немного. Но он
> > тем не менее работает. Хотя нагрузка у нас небольшая - тарелка допускает
> > не больше 8 каналов, как я понял.
> 
> Похоже я все же буду пробовать сквид поставить. Машинка P100/16/10G,
> сетевая нагрузка не большая. Может все нормально будет.
Попробуй oops, он пошустрее будет и до памяти не столь жаден.ю
http://zipper.pico.net/~igor/oops/index.html
-- 
Igor Homyakov
<homyakov(at)ramax.spb.ru>

Re: [mdk-re] Re:[JT] download from http

[Gosha]

On Fri, 23 Nov 2001 18:40:18 +0300
Igor Homyakov <homyakov@ramax.spb.ru> wrote:

> Попробуй oops, он пошустрее будет и до памяти не столь жаден.ю
> http://zipper.pico.net/~igor/oops/index.html

Thnks. Но ссылка нерабочая.
На фрешмите поиск oops находит даже какую-то приблуду к oops proxy
серверу, но сам oops, не находится. :-(((
Засекреченный он какой-то. :-)

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] Re:[JT] download from http

[Dimitri Schlecht]

On Fri, 23 Nov 2001 20:40:50 +0500
Gosha <gosha@sendmail.ru> wrote:

> On Fri, 23 Nov 2001 18:40:18 +0300
> Igor Homyakov <homyakov@ramax.spb.ru> wrote:
> 
> > Попробуй oops, он пошустрее будет и до памяти не столь жаден.ю
> > http://zipper.pico.net/~igor/oops/index.html

http://zipper.paco.net/~igor/oops/index.html

В одну буковку ошиблись ;)
 
--ALT Linux (2.4.12) 				mailto:dim.schlecht@gmx.net
WBR,
Schlecht					http://www.germany.ru

*I am the "ILOVEGNU" signature virus. Just copy me to your signature.
This email was infected under the terms of the GNU General Public
License.*
	 

Re: [mdk-re] Re:[JT] download from http

[Gosha]

On Fri, 23 Nov 2001 16:57:33 +0100
Dimitri Schlecht <dim.schlecht@gmx.net> wrote:

> On Fri, 23 Nov 2001 20:40:50 +0500
> Gosha <gosha@sendmail.ru> wrote:
> 
> > On Fri, 23 Nov 2001 18:40:18 +0300
> > Igor Homyakov <homyakov@ramax.spb.ru> wrote:
> > 
> > > Попробуй oops, он пошустрее будет и до памяти не столь жаден.ю
> > > http://zipper.pico.net/~igor/oops/index.html
> 
> http://zipper.paco.net/~igor/oops/index.html
> 
> В одну буковку ошиблись ;)

Точно. Я уже и сам на мясе нашел. Оказалось надо было искать
не как oops, а как Oops. Сразу нашлось. Уже взял. Смотрю пока.

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] [JT] download from http

[Sergei]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Чт 22 Ноябрь 2001 21:57, Вы написали:
> On Thu, Nov 22, 2001 at 11:19:45PM +0500, Gosha wrote:
> > Hi All!
> >
> > Хотелось бы средствами ipchains отследить загрузку файлов
> > с http, с целью ограничения трафика. С ftp проблем нет, а
> > вот как определить, что пользователь качает именно файло
> > с http-сервера, а не просто гуляет по web-у?
> > По ftp зажал, но ведь пытливый юзер норовит теперь
> > искать всякое добро на http. И находит.
> > Это вообще, каким либо образом возможно определить?
> > Пусть даже не средствами фильтрации пакетов.
>
> squid?

А что по поводу средства ограничения скорости cbq через ipchains?

- -- 
С уважением, Епифанов Сергей.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.0.6 (GNU/Linux)
Comment: For info see http://www.gnupg.org

iD8DBQE7/pik4ZpgWiwK7D8RAgaTAJ426B17xOYJxF9ZVD+16Ic8yo7fZQCghx7P
Dwl75TekWAFBIg9WeSWlH5s=
=qHUF
-----END PGP SIGNATURE-----

Re: [mdk-re] TIS ftwk (was: [JT] download from http)

[Sergey S. Skulachenko]

On Fri, 23 Nov 2001 18:25:03 +0500
Gosha <gosha@sendmail.ru> wrote:

> Так, что X-downloader попал в число "безграмотно" написанных.
> :-(((
> Хотя он даже и не пытался открывать более одного соединения.
> В общем качайте с помощью wget, и будет Вам счастье. :-)

Странно это. Я в настройках X-downloader ставлю всегда только
_одно_ активное соединение. Из уважения к другим. Да и глупо иное
на dial-up'е. Даже, если в очереди стоят закачки с разных сайтов.
____________
С уважением,
С.С.Скулаченко

Re: [mdk-re] [JT] download from http

[Gosha]

On Fri, 23 Nov 2001 21:42:44 +0300
Sergei <serpiph@pochtamt.ru> wrote:

> > > Хотелось бы средствами ipchains отследить загрузку файлов
> > > с http, с целью ограничения трафика. С ftp проблем нет, а
> > > вот как определить, что пользователь качает именно файло
> > > с http-сервера, а не просто гуляет по web-у?
> > > По ftp зажал, но ведь пытливый юзер норовит теперь
> > > искать всякое добро на http. И находит.
> > > Это вообще, каким либо образом возможно определить?
> > > Пусть даже не средствами фильтрации пакетов.
> >
> > squid?
> 
> А что по поводу средства ограничения скорости cbq через ipchains?

Хм. Пожалуй тоже попробую. Вот только сейчас со сквидом разберусь.

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re: [mdk-re] TIS ftwk (was: [JT] download from http)

[Gosha]

On Fri, 23 Nov 2001 22:37:50 +0300
"Sergey S. Skulachenko" <sssku@online.ru> wrote:

> > Так, что X-downloader попал в число "безграмотно" написанных.
> > :-(((
> > Хотя он даже и не пытался открывать более одного соединения.
> > В общем качайте с помощью wget, и будет Вам счастье. :-)
> 
> Странно это. Я в настройках X-downloader ставлю всегда только
> _одно_ активное соединение. Из уважения к другим. Да и глупо иное
> на dial-up'е. Даже, если в очереди стоят закачки с разных сайтов.

И я всегда аналогично ставлю, но тем не менее факт остается фактом.
:-(

-- 
Best regards!
Igor Solovyov
Zlatoust, Russia

Re[2]: [mdk-re] TIS ftwk (was: [JT] download from http)

[Maksim Otstavnov]

Hello Sergey,

Friday, November 23, 2001, 10:37:50 PM, you wrote:

SSS> On Fri, 23 Nov 2001 18:25:03 +0500
SSS> Gosha <gosha@sendmail.ru> wrote:

>> Так, что X-downloader попал в число "безграмотно" написанных.
>> :-(((
>> Хотя он даже и не пытался открывать более одного соединения.
>> В общем качайте с помощью wget, и будет Вам счастье. :-)

SSS> Странно это. Я в настройках X-downloader ставлю всегда только
SSS> _одно_ активное соединение. Из уважения к другим. Да и глупо иное
SSS> на dial-up'е. Даже, если в очереди стоят закачки с разных сайтов.

Зависит от ситуации. Сильно загруженный или неудачно
сконфигурированный сервер/шлюз могут резать скорость сильнее, чем
дайлап, и одновременная закачка с разных сайтов может дать заметный
выигрыш.

-- 
-- Maksim