[mdk-re] ëÁË ÓÄÅÌÁÔØ ÌÏËÁÌØÎÏÅ ÚÅÒËÁÌÏ ÓÁÊÔÁ?

[mdk-re] ëÁË ÓÄÅÌÁÔØ ÌÏËÁÌØÎÏÅ ÚÅÒËÁÌÏ ÓÁÊÔÁ?

[Ivan Kudryashov]

Здравствуйте!

Проблема такая:

Мне  нужно  иметь  на локальной машине зеркало некоего сайта (на самом
деле,  не  одного,  а  многих, но это уже лирика). Зеркало должно быть
корректно  локализовано,  т.е.  в  нём  должны быть перекодированы все
внутренние html - ссылки. Вроде бы, всё это делается с помощью:

wget -c -k -L -l <глубина> -N <адрес>

НО!

При  использовании  ключа  -k  изменяется размер закачанных страниц, в
результате чего при последующих обновлениях на них не распространяется
-N (у меня, во всяком случае явное впечатление, основанное на опыте) -
файлы перезакачиваются снова. Сделать -nc нельзя, потому что некоторые
страницы  меняются со временем. Очевидный выход - всосать сайт без -k,
но тогда его невозможно смотреть обычными средствами.

Под  виндами  есть  такой  OfflineExplorer,  падучий,  но решающий эту
проблему   примитивнейшим   образом   -  он  хранит  закачанные  файлы
неизменными  (добавляя  к  имени файла '.primary'), а конверсию ссылок
делает на копии, доступной для просмотра.

Вижу варианты:

1. Найти  способ  закачивать  файлы  с проверкой времени создания, но
   отключенной проверкой совпадения размеров. Кто-нибудь знает, как?

2. Выкачивать  оригиналы,  делать локальную копию и конвертить ссылки
   прямо в ней. Кто-нибудь знает готовую программу для конверсии
   ссылок?

3. (Шаманский). Подсунуть выкачанный сайт прокси-серверу в кэш, так,
   чтобы обращение к сайту автоматом (и без попыток обратиться наружу,
   при отключенном момеде, например) обрабатывалось и я получал ранее
   выкачанные страницы. Но это требует спецобработки этого куска кэша
   (чтобы он не сбрасывался и не делались попытки проверить обновление
   страниц при обращении к нему). Никто не пробовал?

-------------------------------------------
С уважением, 
Ivan Kudryashov <jony@chat.ru> ICQ 1547081

[mdk-re] Re: [mdk-re] Как сделать локальное зеркало сайта?

[Maxim Savrilov]

Ivan Kudryashov wrote:

> Здравствуйте!
>
> Проблема такая:
>
> Мне  нужно  иметь  на локальной машине зеркало некоего сайта (на самом
> деле,  не  одного,  а  многих, но это уже лирика). Зеркало должно быть
> корректно  локализовано,  т.е.  в  нём  должны быть перекодированы все
> внутренние html - ссылки. Вроде бы, всё это делается с помощью:
>
> wget -c -k -L -l <глубина> -N <адрес>
>
> НО!
>
> При  использовании  ключа  -k  изменяется размер закачанных страниц, в
> результате чего при последующих обновлениях на них не распространяется
> -N (у меня, во всяком случае явное впечатление, основанное на опыте) -
> файлы перезакачиваются снова. Сделать -nc нельзя, потому что некоторые
> страницы  меняются со временем. Очевидный выход - всосать сайт без -k,
> но тогда его невозможно смотреть обычными средствами.
>
> Под  виндами  есть  такой  OfflineExplorer,  падучий,  но решающий эту
> проблему   примитивнейшим   образом   -  он  хранит  закачанные  файлы
> неизменными  (добавляя  к  имени файла '.primary'), а конверсию ссылок
> делает на копии, доступной для просмотра.
>
> Вижу варианты:
>
> 1. Найти  способ  закачивать  файлы  с проверкой времени создания, но
>    отключенной проверкой совпадения размеров. Кто-нибудь знает, как?
>
> 2. Выкачивать  оригиналы,  делать локальную копию и конвертить ссылки
>    прямо в ней. Кто-нибудь знает готовую программу для конверсии
>    ссылок?

ну если вы готовы делать локальную копию, то ничего не мешает прогнать
wget 2 раза
один раз с оригинального сервера - без конвертации, второй раз - со
своего - с конвертацией

p.s. сам я никогда не миррорил сервера, это так, в порядке дружеского
совета ;)

Re: [mdk-re] Re: [mdk-re] ëÁË ÓÄÅÌÁÔØ ÌÏËÁÌØÎÏÅ ÚÅÒËÁÌÏ ÓÁÊÔÁ?

[Ivan Kudryashov]

Hello, Maxim Savrilov!

29.03.2001 14:56:19, you wrote:

>>
>> Вижу варианты:
>>
>> 1. Найти  способ  закачивать  файлы  с проверкой времени создания, но
>>    отключенной проверкой совпадения размеров. Кто-нибудь знает, как?
>>
>> 2. Выкачивать  оригиналы,  делать локальную копию и конвертить ссылки
>>    прямо в ней. Кто-нибудь знает готовую программу для конверсии
>>    ссылок?

MS> ну если вы готовы делать локальную копию, то ничего не мешает прогнать
MS> wget 2 раза
MS> один раз с оригинального сервера - без конвертации, второй раз - со
MS> своего - с конвертацией

Честно  говоря,  как  раз  этого  бы и не хотелось. Просто потому, что
поднимать  сервер  -  лишний  геморрой. И потом - там опять проблема с
адресами.   Исходный   выкачанный   сайт  имеет  адрес,  что-то  вроде
www.chto-to.ru,  значит, мне надо на моём сервере его дублировать, как
это  делать,  я,  честно  говоря, не знаю. Прямым обращением? Подменой
адресов  в  DNS?  Ещё  как-нибудь?  Если  wget начнёт качать с другого
адреса  -  он  просто  примет  ссылки за внешние и ковертировать их не
станет...  Потом,  если уж поднимать свой сервер-имитатор, тогда зачем
делать локализованную копию - просто читать с него, и все дела...

Кстати,  а  SQUID  нельзя  настроить на пре-кеширование? Заставить его
принудительно  закешировать  сайт  и  пусть  в кэше валяется... Только
опять  же  проблемы с запретом произвольного сброса этой части кэша...
Хотя для такого случая можно накатать скрипт, который будет выставлять
на эти файлы 444, на всё время, кроме времени обновления...

-------------------------------------------
С уважением, 
Ivan Kudryashov <jony@chat.ru> ICQ 1547081

[mdk-re] Re: [mdk-re] Как сделать локальное зеркало сайта?

[cornet]

Ivan Kudryashov wrote:
> 
> Здравствуйте!
> 
> Проблема такая:
> 
> Мне  нужно  иметь  на локальной машине зеркало некоего сайта (на самом
> деле,  не  одного,  а  многих, но это уже лирика). Зеркало должно быть
> корректно  локализовано,  т.е.  в  нём  должны быть перекодированы все
> внутренние html - ссылки. Вроде бы, всё это делается с помощью:
> 
> wget -c -k -L -l <глубина> -N <адрес>
> 
> НО!
> 
> При  использовании  ключа  -k  изменяется размер закачанных страниц, в
> результате чего при последующих обновлениях на них не распространяется
> -N (у меня, во всяком случае явное впечатление, основанное на опыте) -
> файлы перезакачиваются снова. Сделать -nc нельзя, потому что некоторые
> страницы  меняются со временем. Очевидный выход - всосать сайт без -k,
> но тогда его невозможно смотреть обычными средствами.
> 
> Под  виндами  есть  такой  OfflineExplorer,  падучий,  но решающий эту
> проблему   примитивнейшим   образом   -  он  хранит  закачанные  файлы
> неизменными  (добавляя  к  имени файла '.primary'), а конверсию ссылок
> делает на копии, доступной для просмотра.
> 
> Вижу варианты:
> 
> 1. Найти  способ  закачивать  файлы  с проверкой времени создания, но
>    отключенной проверкой совпадения размеров. Кто-нибудь знает, как?
> 
> 2. Выкачивать  оригиналы,  делать локальную копию и конвертить ссылки
>    прямо в ней. Кто-нибудь знает готовую программу для конверсии
>    ссылок?
> 
> 3. (Шаманский). Подсунуть выкачанный сайт прокси-серверу в кэш, так,
>    чтобы обращение к сайту автоматом (и без попыток обратиться наружу,
>    при отключенном момеде, например) обрабатывалось и я получал ранее
>    выкачанные страницы. Но это требует спецобработки этого куска кэша
>    (чтобы он не сбрасывался и не делались попытки проверить обновление
>    страниц при обращении к нему). Никто не пробовал?
> 
> -------------------------------------------
> С уважением,
> Ivan Kudryashov <jony@chat.ru> ICQ 1547081
> 

я зеркалю так:

wget -b -r -m -N --convert-links --level=30 http://www.XXXXXXXXXXX.ru/

и все нормально зеркалится, кроме cgi и php разумеется, а при
дозеркаливании апдейтиться корректно и повторных закачек не происходит.


-- 
******** FIRE & STEEL ********