[mdk-re] Re: [mdk-re] Как сделать локальное зеркало сайта?

[cornet <cornet@zmail.ru>]

Ivan Kudryashov wrote:
> 
> Здравствуйте!
> 
> Проблема такая:
> 
> Мне  нужно  иметь  на локальной машине зеркало некоего сайта (на самом
> деле,  не  одного,  а  многих, но это уже лирика). Зеркало должно быть
> корректно  локализовано,  т.е.  в  нём  должны быть перекодированы все
> внутренние html - ссылки. Вроде бы, всё это делается с помощью:
> 
> wget -c -k -L -l <глубина> -N <адрес>
> 
> НО!
> 
> При  использовании  ключа  -k  изменяется размер закачанных страниц, в
> результате чего при последующих обновлениях на них не распространяется
> -N (у меня, во всяком случае явное впечатление, основанное на опыте) -
> файлы перезакачиваются снова. Сделать -nc нельзя, потому что некоторые
> страницы  меняются со временем. Очевидный выход - всосать сайт без -k,
> но тогда его невозможно смотреть обычными средствами.
> 
> Под  виндами  есть  такой  OfflineExplorer,  падучий,  но решающий эту
> проблему   примитивнейшим   образом   -  он  хранит  закачанные  файлы
> неизменными  (добавляя  к  имени файла '.primary'), а конверсию ссылок
> делает на копии, доступной для просмотра.
> 
> Вижу варианты:
> 
> 1. Найти  способ  закачивать  файлы  с проверкой времени создания, но
>    отключенной проверкой совпадения размеров. Кто-нибудь знает, как?
> 
> 2. Выкачивать  оригиналы,  делать локальную копию и конвертить ссылки
>    прямо в ней. Кто-нибудь знает готовую программу для конверсии
>    ссылок?
> 
> 3. (Шаманский). Подсунуть выкачанный сайт прокси-серверу в кэш, так,
>    чтобы обращение к сайту автоматом (и без попыток обратиться наружу,
>    при отключенном момеде, например) обрабатывалось и я получал ранее
>    выкачанные страницы. Но это требует спецобработки этого куска кэша
>    (чтобы он не сбрасывался и не делались попытки проверить обновление
>    страниц при обращении к нему). Никто не пробовал?
> 
> -------------------------------------------
> С уважением,
> Ivan Kudryashov <jony@chat.ru> ICQ 1547081
> 

я зеркалю так:

wget -b -r -m -N --convert-links --level=30 http://www.XXXXXXXXXXX.ru/

и все нормально зеркалится, кроме cgi и php разумеется, а при
дозеркаливании апдейтиться корректно и повторных закачек не происходит.


-- 
******** FIRE & STEEL ********