[devel] Q: "умный" cache proxy server

[devel] Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1274 bytes --]

Hi!

А существует ли в природе cache proxy сервер, который позволяет делать
следующее:
1) делает все GET с Accept-Encoding: gzip, bzip2 ... и по HTTP/1.1,
поддерживать всякие pipelinening etc.
2) сохраняет его (расжатым/сжатым?) в кеше.
3) если клиент запрашивает прокси по HTTP/1.0 и/или в строке у него нет
Accept-Encoding: gzip, ..., то кеширующий сервер отдает ответ _расжатым_.
4) если клиент запрашивает прокси по HTTP/1.1 и строке у него установлен
нужный Accept-Encoding: то, отдаем объект из кеша as is.

Для чего это нужно - у меня не очень шустрый dialup, поэтому хочется
получать ответы максимально сжатыми (например bzip2 ;), но при этом
парсить контент по-полной через privoxy, который сильно тупит на сжатом
контенте + даунгрейдит любой запрос до HTTP/1.0, что увеличивает время на
ожидание запроса и объем получаемого трафика (например, если оборудование
пройвайдера не умеет сжимать трафик, как это часто бывает с цисками).

Быстрый поиск по squid/privoxy/oops/polipo ничего путного не нашел.

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1595 bytes --]

Hi Konstantin!

Sunday 06, at 10:55:29 PM you wrote:

> Hi!
> 
> А существует ли в природе cache proxy сервер, который позволяет делать
> следующее:
> 1) делает все GET с Accept-Encoding: gzip, bzip2 ... и по HTTP/1.1,
> поддерживать всякие pipelinening etc.
> 2) сохраняет его (расжатым/сжатым?) в кеше.
> 3) если клиент запрашивает прокси по HTTP/1.0 и/или в строке у него нет
> Accept-Encoding: gzip, ..., то кеширующий сервер отдает ответ _расжатым_.
> 4) если клиент запрашивает прокси по HTTP/1.1 и строке у него установлен
> нужный Accept-Encoding: то, отдаем объект из кеша as is.
> 
> Для чего это нужно - у меня не очень шустрый dialup, поэтому хочется
> получать ответы максимально сжатыми (например bzip2 ;), но при этом
> парсить контент по-полной через privoxy, который сильно тупит на сжатом
> контенте + даунгрейдит любой запрос до HTTP/1.0, что увеличивает время на
> ожидание запроса и объем получаемого трафика (например, если оборудование
> пройвайдера не умеет сжимать трафик, как это часто бывает с цисками).
> 
> Быстрый поиск по squid/privoxy/oops/polipo ничего путного не нашел.
кажется, oops это все-таки умеет. Правда, поддержку pid/chuid/chgid и
daemonize ему придется писать самостоятельно. + Непонятна его лицензия - в
исходниках лежит что-по похожее на BSD, а на packages.debian.org - GPL :-/

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Q: "умный" cache proxy server

[Sviataslau Svirydau]

Konstantin A. Lepikhov wrote:
> Hi!
>
> А существует ли в природе cache proxy сервер, который позволяет делать
> следующее:
> 1) делает все GET с Accept-Encoding: gzip, bzip2 ... и по HTTP/1.1,
> поддерживать всякие pipelinening etc.
> 2) сохраняет его (расжатым/сжатым?) в кеше.
> 3) если клиент запрашивает прокси по HTTP/1.0 и/или в строке у него нет
> Accept-Encoding: gzip, ..., то кеширующий сервер отдает ответ _расжатым_.
> 4) если клиент запрашивает прокси по HTTP/1.1 и строке у него установлен
> нужный Accept-Encoding: то, отдаем объект из кеша as is.
>
> Для чего это нужно - у меня не очень шустрый dialup, поэтому хочется
> получать ответы максимально сжатыми (например bzip2 ;), но при этом
> парсить контент по-полной через privoxy, который сильно тупит на сжатом
> контенте + даунгрейдит любой запрос до HTTP/1.0, что увеличивает время на
> ожидание запроса и объем получаемого трафика (например, если оборудование
> пройвайдера не умеет сжимать трафик, как это часто бывает с цисками).
>
> Быстрый поиск по squid/privoxy/oops/polipo ничего путного не нашел.
>   
Вроде бы как wwwoffle такое умел, но взгляд по диагонали навел на мысль, 
что это в прошлом.
Отрывки:

When online:
...Requests compressed pages from web servers (compile time option).
-- здесь, похоже все выливается только в опцию --with-zlib, которая 
используется в сизифовских сборках.

Version 2.5d...Bug Fixes:...Disallow the Accept-Encoding header on 
outgoing requests.
-- похоже, вот здесь и оторван запрос на Accept-Encoding

-- в README.compress автор немало написал про проблемы которые у него 
есть со сжатым контентом (ну а в кеше он умеет хранить сжатый контент). 
Я не вникал в детали всех описанных проблем, поэтому пока что кажется, 
что "Disallow the Accept-Encoding header on outgoing requests" был все 
же лишним :)

Если будете разбираться - опубликуйте результат, интересно :)

-- 
Best regards,
Sviatoslav Sviridov
--
"I hate the itching.  But I don't mind the swelling."
-- new buzz phrase, like "Where's the Beef?" that David Letterman's trying
   to get everyone to start saying

[devel] Re: Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1600 bytes --]

Hi Sviataslau!

Sunday 06, at 11:34:29 PM you wrote:

> Вроде бы как wwwoffle такое умел, но взгляд по диагонали навел на мысль, 
> что это в прошлом.
> Отрывки:
> 
> When online:
> ...Requests compressed pages from web servers (compile time option).
> -- здесь, похоже все выливается только в опцию --with-zlib, которая 
> используется в сизифовских сборках.
> 
> Version 2.5d...Bug Fixes:...Disallow the Accept-Encoding header on 
> outgoing requests.
> -- похоже, вот здесь и оторван запрос на Accept-Encoding
ага. кстати, polipo сейчас как раз является заменой wwwoffline, но умеет
только _обрабатывать_ Accept-Encoding и не более, т.к. gzip там нигде не
используется. И Сысоев был прав - контент расжимает при ответе
только oops, squid пропускает его as is, т.е. работа nginx в этом
контексте совершенно адекватна.

> 
> -- в README.compress автор немало написал про проблемы которые у него 
> есть со сжатым контентом (ну а в кеше он умеет хранить сжатый контент). 
> Я не вникал в детали всех описанных проблем, поэтому пока что кажется, 
> что "Disallow the Accept-Encoding header on outgoing requests" был все 
> же лишним :)
в oops, судя по коду, тоже проблем немало + никто не умеет обрабатывать
bz2 (может, туда и 7z запихать ;)

> 
> Если будете разбираться - опубликуйте результат, интересно :)
обязательно!

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Q: "умный" cache proxy server

[Денис Смирнов]

On Mon, Nov 07, 2005 at 12:49:07AM +0300, Konstantin A. Lepikhov wrote:

KAL> в oops, судя по коду, тоже проблем немало + никто не умеет обрабатывать
KAL> bz2 (может, туда и 7z запихать ;)

Напиши к nging патч для bzip2/7z :)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
ЗАКОН ЛИНЧА
 Когда события принимают крутой оборот, все смываются.

[devel] Re: Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

Hi Денис!

Monday 07, at 01:15:14 AM you wrote:

> On Mon, Nov 07, 2005 at 12:49:07AM +0300, Konstantin A. Lepikhov wrote:
> 
> KAL> в oops, судя по коду, тоже проблем немало + никто не умеет обрабатывать
> KAL> bz2 (может, туда и 7z запихать ;)
> 
> Напиши к nging патч для bzip2/7z :)
нет, лучше для bz2/ppmd ;) Забыл - мы же текст сжимаем.

PPS а картинки/pdf/ps отдавать в djvu ;)))

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

Re: [devel] Re: Q: "умный" cache proxy server

[Денис Смирнов]

On Mon, Nov 07, 2005 at 01:23:28AM +0300, Konstantin A. Lepikhov wrote:

KAL> PPS а картинки/pdf/ps отдавать в djvu ;)))

jpg пережимать в progressive jpeg это уже интересно. Но за такую идею на
стороне сервера буду ругаться :)

А pdf/ps таки bzip2/ppmd жать. Это полезно.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Ценность программы прямо пропорциональна весу ее "выдачи".

Re: [devel] Re: Q: "умный" cache proxy server

[Sergey Pinaev]

On Mon, 7 Nov 2005 00:49:07 +0300
"Konstantin A. Lepikhov" <lakostis@altlinux.org> wrote:

> в oops, судя по коду, тоже проблем немало + никто не умеет
> обрабатывать bz2 (может, туда и 7z запихать ;)

у уупса главная проблема (была, at least), что он на каждый
запрос форкает ребенка, соответственно при большом количестве
пользователей будет плохо...

-- 
mail="Sergey Pinaev <dfo@antex.ru>"
url="http://`echo $mail | sed 's/.* <\(.*\)@\(.*\)>/\1.\2/'`"

[devel] Re: Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 754 bytes --]

Hi Sergey!

Monday 07, at 11:13:31 AM you wrote:

> On Mon, 7 Nov 2005 00:49:07 +0300
> "Konstantin A. Lepikhov" <lakostis@altlinux.org> wrote:
> 
> > в oops, судя по коду, тоже проблем немало + никто не умеет
> > обрабатывать bz2 (может, туда и 7z запихать ;)
> 
> у уупса главная проблема (была, at least), что он на каждый
> запрос форкает ребенка, соответственно при большом количестве
> пользователей будет плохо...
типа fork bomb получится? %) Но в 2.6 не должно быть так плохо с тридами. 

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Q: "умный" cache proxy server

[Sergey Pinaev]

On Mon, 7 Nov 2005 12:38:49 +0300
"Konstantin A. Lepikhov" <lakostis@altlinux.org> wrote:

> > у уупса главная проблема (была, at least), что он на каждый
> > запрос форкает ребенка, соответственно при большом количестве
> > пользователей будет плохо...
> типа fork bomb получится? %) Но в 2.6 не должно быть так плохо с
> тридами. 

Угу.
Я, честно говоря, отстал от жизни и не знаю, чего у нас
в 2.6 с тредами сейчас...

-- 
mail="Sergey Pinaev <dfo@antex.ru>"
url="http://`echo $mail | sed 's/.* <\(.*\)@\(.*\)>/\1.\2/'`"

Re: [devel] Re: Q: "умный" cache proxy server

[Alexander Bokovoy]

[-- Attachment #1: Type: text/plain, Size: 778 bytes --]

On Mon, Nov 07, 2005 at 12:40:43PM +0300, Sergey Pinaev wrote:
> On Mon, 7 Nov 2005 12:38:49 +0300
> "Konstantin A. Lepikhov" <lakostis@altlinux.org> wrote:
> 
> > > у уупса главная проблема (была, at least), что он на каждый
> > > запрос форкает ребенка, соответственно при большом количестве
> > > пользователей будет плохо...
> > типа fork bomb получится? %) Но в 2.6 не должно быть так плохо с
> > тридами. 
> 
> Угу.
> Я, честно говоря, отстал от жизни и не знаю, чего у нас
> в 2.6 с тредами сейчас...
Увы, пока glibc не соберем с nptl, ничего хорошего.
-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Q: "умный" cache proxy server

[Igor Zubkov]

В сообщении от Понедельник, 07-Ноя-2005 18:22 Alexander Bokovoy написал(a):
> > Я, честно говоря, отстал от жизни и не знаю, чего у нас
> > в 2.6 с тредами сейчас...
>
> Увы, пока glibc не соберем с nptl, ничего хорошего.

... и linux-libc-headers.

Вот только после такого отвалятся 2.4 ядра. Их придётся или патчить, или 
выкинуть.

-- 

Re: [devel] Re: Q: "умный" cache proxy server

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 501 bytes --]

* Igor Zubkov <icesik@> [051109 02:21]:
> > > Я, честно говоря, отстал от жизни и не знаю, чего у нас
> > > в 2.6 с тредами сейчас...
> > Увы, пока glibc не соберем с nptl, ничего хорошего.
> ... и linux-libc-headers.
Их уже есть.  Но kernel-headers-common их не умеет.

-- 
Regards, Alexey I. Froloff
AIF5-RIPN, AIF5-RIPE
-------------------------------------------
  Inform-Mobil, Ltd. System Administrator
       http://www.inform-mobil.ru/
Tel: +7(095)504-4709, Fax: +7(095)513-1006

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] nptl vs linuxthreads

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 742 bytes --]

On Mon, Nov 07, 2005 at 11:22:25AM -0500, Alexander Bokovoy wrote:
> On Mon, Nov 07, 2005 at 12:40:43PM +0300, Sergey Pinaev wrote:
> > On Mon, 7 Nov 2005 12:38:49 +0300, Konstantin A. Lepikhov wrote:
> > 
> > > > у уупса главная проблема (была, at least), что он на каждый
> > > > запрос форкает ребенка, соответственно при большом количестве
> > > > пользователей будет плохо...
> > > типа fork bomb получится? %) Но в 2.6 не должно быть так плохо с
> > > тридами. 
> > 
> > Угу.
> > Я, честно говоря, отстал от жизни и не знаю, чего у нас
> > в 2.6 с тредами сейчас...
> Увы, пока glibc не соберем с nptl, ничего хорошего.

Я пока с трудом представляю себе, как nptl будет работать на наших ядрах
серии 2.4.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] tls or not tls

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1047 bytes --]

On Wed, Nov 09, 2005 at 02:46:50AM +0300, Dmitry V. Levin wrote:
> On Mon, Nov 07, 2005 at 11:22:25AM -0500, Alexander Bokovoy wrote:
> > On Mon, Nov 07, 2005 at 12:40:43PM +0300, Sergey Pinaev wrote:
> > > On Mon, 7 Nov 2005 12:38:49 +0300, Konstantin A. Lepikhov wrote:
> > > 
> > > > > у уупса главная проблема (была, at least), что он на каждый
> > > > > запрос форкает ребенка, соответственно при большом количестве
> > > > > пользователей будет плохо...
> > > > типа fork bomb получится? %) Но в 2.6 не должно быть так плохо с
> > > > тридами. 
> > > 
> > > Угу.
> > > Я, честно говоря, отстал от жизни и не знаю, чего у нас
> > > в 2.6 с тредами сейчас...
> > Увы, пока glibc не соберем с nptl, ничего хорошего.
> 
> Я пока с трудом представляю себе, как nptl будет работать на наших ядрах
> серии 2.4.

Вопрос из близкой темы: включать ли tls (#8402)?  Вроде должно работать,
но я не проверял.  Кому-нибудь нужно?  Есть ли противопоказания?
Или отложить до лучших времён и включить потом заодно с nptl?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] tls or not tls

[Victor Forsyuk]

On Wed, Nov 09, 2005 at 04:38:04AM +0300, Dmitry V. Levin wrote:
> 
> Вопрос из близкой темы: включать ли tls (#8402)?  Вроде должно работать,
> но я не проверял.  Кому-нибудь нужно?  Есть ли противопоказания?
> Или отложить до лучших времён и включить потом заодно с nptl?

С точки зрения банальной эрудиции лучше включить раньше, чем позже.
Больше времени останется на тестирование.

[devel] Re: Q: "умный" cache proxy server

[Michael Shigorin]

On Sun, Nov 06, 2005 at 10:55:29PM +0300, Konstantin A. Lepikhov wrote:
> Для чего это нужно - у меня не очень шустрый dialup, поэтому
> хочется получать ответы максимально сжатыми (например bzip2 ;),

Если бы кое-кто пасся с подобными вопросами и ответами
в community@, то уже знал бы про ziproxy.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[devel] Re: Q: "умный" cache proxy server

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 791 bytes --]

Hi Michael!

Monday 07, at 12:09:48 PM you wrote:

> On Sun, Nov 06, 2005 at 10:55:29PM +0300, Konstantin A. Lepikhov wrote:
> > Для чего это нужно - у меня не очень шустрый dialup, поэтому
> > хочется получать ответы максимально сжатыми (например bzip2 ;),
> 
> Если бы кое-кто пасся с подобными вопросами и ответами
> в community@, то уже знал бы про ziproxy.
все равно не годится - Ziproxy is forwarding, non-caching ...
					      ^^^^^^^^^^^ - эдак я могу и
exntension для fx написать без всяких костылей. + нет поддержки bz2 ;)

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: Q: "умный" cache proxy server

[Michael Shigorin]

On Mon, Nov 07, 2005 at 02:07:40PM +0300, Konstantin A. Lepikhov wrote:
> > > Для чего это нужно - у меня не очень шустрый dialup, поэтому
> > > хочется получать ответы максимально сжатыми (например bzip2 ;),
> > Если бы кое-кто пасся с подобными вопросами и ответами
> > в community@, то уже знал бы про ziproxy.
> все равно не годится - Ziproxy is forwarding, non-caching ...
> 					      ^^^^^^^^^^^ - эдак я могу и
> exntension для fx написать без всяких костылей. + нет поддержки bz2 ;)

Зато картинки пережимает.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/