[Comm] Локальная копия сайта

[Comm] Локальная копия сайта

[Тутов Роман Викторович]

Здравствуйте, Community.

Есть задача сделать локальную копию городского сайта. Что-бы юзеры не
в инет лазили а на сервер внутри сети . Чем собственно далают копии ?
Я попробовал wget -l -r имясайта . Сайт он вытянул а вот как теперь
заставить wget скачивать только обновления ? не пойму .

-- 
Тутов Роман Викторович 
Системный администратор
ASTON Agro Industrial Company Group 
mailto:tutov@aston.ru

[Comm] Re: Локальная копия сайта

[Michael Shigorin]

On Tue, Apr 27, 2004 at 04:44:31PM +0400, Тутов Роман Викторович wrote:
> Есть задача сделать локальную копию городского сайта. Что-бы
> юзеры не в инет лазили а на сервер внутри сети . Чем собственно
> далают копии ?  Я попробовал wget -l -r имясайта . Сайт он
> вытянул а вот как теперь заставить wget скачивать только
> обновления ? не пойму .

А никак.  HTTP mirroring -- вообще редкая безнадега.

Проще и естественнее использовать хорошо кэширующий прокси, если
есть точка, через которую проходят эти запросы.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Локальная копия сайта

[Andrey Orlov]

On Tuesday 27 April 2004 16:45, Michael Shigorin wrote:
> > вытянул а вот как теперь заставить wget скачивать только
> > обновления ? не пойму .
> 
> А никак.  HTTP mirroring -- вообще редкая безнадега.

Вообще-то wget можно указать заголовки, передаваемые в запросе, насколько я помню 
ключик такой есть. А раз так - то можно попробовать установить заголовок If-Modified-Since.
В теории, если пошаманить в этом направлении, то можно добится желаемого результата.

-- 
WthBstRgrds -- Андрей Орлов --  
 --- http: www.neural.ru, mail: cray@neural.ru, jid: cray@altlinux.org ---
----------------------------------------

[Comm] Re: Локальная копия сайта

[Michael Shigorin]

On Tue, Apr 27, 2004 at 05:38:59PM +0400, Andrey Orlov wrote:
> > > вытянул а вот как теперь заставить wget скачивать только
> > > обновления ? не пойму .
> > А никак.  HTTP mirroring -- вообще редкая безнадега.
> Вообще-то wget можно указать заголовки, передаваемые в запросе,
> насколько я помню ключик такой есть. А раз так - то можно
> попробовать установить заголовок If-Modified-Since.  В теории,
> если пошаманить в этом направлении, то можно добится желаемого
> результата.

Угу.  Если пресловутый городской сервер отдает статику или
эквивалент и крайне интеллигентен, бишь не крив...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Локальная копия сайта

[Alexander Leschinsky]

[-- Attachment #1: Type: text/plain, Size: 375 bytes --]

Hello Michael,

   On Tue, 27 Apr 2004 15:45:27 +0300 (27.04.2004 18:45 my local time),
   you wrote, at least in part:

> А никак.  HTTP mirroring -- вообще редкая безнадега.
Неправда Ваша, Вашбродь... man wget на предмет -N (или лучше -m aka
--mirror)
Как работает - это отдельная тема, но что работает в принципе - факт
-- 
Best regards,
 Alexander Leschinsky

[-- Attachment #2: Type: application/pgp-signature, Size: 201 bytes --]

[Comm] Re: Локальная копия сайта

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 374 bytes --]

On Tue, Apr 27, 2004 at 08:43:04PM +0600, Alexander Leschinsky wrote:
> > А никак.  HTTP mirroring -- вообще редкая безнадега.
> Неправда Ваша, Вашбродь...

Мойбродь перекопал его от и до в свое время, этот wget(1),
пытаясь решить эту самую задачу приемлемым образом.

Забил.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: Локальная копия сайта

[Maksim Otstavnov]

Tuesday, April 27, 2004, 4:45:27 PM, Michael Shigorin  wrote:

>> вытянул а вот как теперь заставить wget скачивать только
>> обновления ? не пойму .

MS> А никак.

Отчего же, "-lrN". Или даже "-m".

MS> HTTP mirroring -- вообще редкая безнадега.

В общем случае --- да, но в каждом конкретном обычно удается
выкрутиться.

MS> Проще и естественнее использовать хорошо кэширующий прокси,

Это точно.

-м.

Re: [Comm] Re: Локальная копия сайта

[Nizamov Shavkat]

> MS> Проще и естественнее использовать хорошо кэширующий прокси,
>
> Это точно.

кстати, специально для такого случая у wget есть специальный ключик.
то есть как-бы обновляется кэш того прокси, к которому подключен wget

Re: [Comm] Re: Локальная копия сайта

[ig]

> Отчего же, "-lrN". Или даже "-m".

К сожалению, как говорилось выше, устаревшие файлы не стираются...

P.S. Сорри за дубль.

Re: [Comm] Локальная копия сайта

[Sergey S. Skulachenko]

On Tue, 27 Apr 2004 16:44:31 +0400
Тутов Роман Викторович <tutov.roman@rostov.aston.ru> wrote:

> Есть задача сделать локальную копию городского сайта. Что-бы
> юзеры не в инет лазили а на сервер внутри сети . Чем собственно
> далают копии ? Я попробовал wget -l -r имясайта . Сайт он
> вытянул а вот как теперь заставить wget скачивать только
> обновления ? не пойму .

Когда-то я записал для памяти такую строку 
wget -v -c -m -l0 -t0 http://имясайта/
и не далее, чем в воскресенье обновил так два больших сайта. К
сожалению, это не зеркало, т.е. устаревшие файлы wget не
затирает.

-- 
С уважением,
С.С.Скулаченко