[Comm] Зеркалирование ftp-сайта

[Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
В общем, мне нужно с некоего ftp'шника слить содержимое определённой 
директории вместе со всеми файлами, подкаталогами, их содержимым и т.п. 
Главная проблема заключается в том, что машина, на которой я сижу, 
находится за http proxy, что понимают далеко не все ftp-клиенты. В 
частности, gftp и mc либо сразу отваливаются, либо тихо виснут, как ни 
пробовал я их настроить (ибо на переменную окружения "ftp_proxy" они не 
обращают внимания). Следующей кандидатурой был lftp, который мне сразу 
сходу понравился, но у него сразу обнаружился серьёзные недостаток: 
почему-то он отказывается скачивать файлы (ходить по дереву директорий 
можно), ругается на "ошибку доступа". wgetc тоже оказался хорош гусь: по 
одному он файлы скачивает, а когда дело доходит до массового скачивания 
с помощью шаблонов, говорит, типа что "в HTTP шаблоны не поддерживаются" 
(и откуда он слов-то таких понабрался? Сайт-то ftp'шный!) и работать 
отказывается.

Вот такие пироги :(

С рабостью приму любые советы.
Юрий.

Re: [Comm] Зеркалирование ftp-сайта

[Mikhail Pokidko]

В сообщении от 28 Октябрь 2004 17:28 Yury Aliaev написал(a):
> Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
> В общем, мне нужно с некоего ftp'шника слить содержимое определённой
> директории вместе со всеми файлами, подкаталогами, их содержимым и т.п.
> Главная проблема заключается в том, что машина, на которой я сижу,
> находится за http proxy, что понимают далеко не все ftp-клиенты. В
> частности, gftp и mc либо сразу отваливаются, либо тихо виснут, как ни
> пробовал я их настроить (ибо на переменную окружения "ftp_proxy" они не
> обращают внимания). Следующей кандидатурой был lftp, который мне сразу
> сходу понравился, но у него сразу обнаружился серьёзные недостаток:
> почему-то он отказывается скачивать файлы (ходить по дереву директорий
> можно), ругается на "ошибку доступа". wgetc тоже оказался хорош гусь: по
> одному он файлы скачивает, а когда дело доходит до массового скачивания
> с помощью шаблонов, говорит, типа что "в HTTP шаблоны не поддерживаются"
> (и откуда он слов-то таких понабрался? Сайт-то ftp'шный!) и работать
> отказывается.

а mirror что говорит?

Re: [Comm] Зеркалирование ftp-сайта

[Maxim Tyurin]

Yury Aliaev <mutab0r@rambler.ru> writes:

> Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
> В общем, мне нужно с некоего ftp'шника слить содержимое определённой
> директории вместе со всеми файлами, подкаталогами, их содержимым и
> т.п. Главная проблема заключается в том, что машина, на которой я
> сижу, находится за http proxy, что понимают далеко не все
> ftp-клиенты. В частности, gftp и mc либо сразу отваливаются, либо тихо
> виснут, как ни пробовал я их настроить (ибо на переменную окружения
> "ftp_proxy" они не обращают внимания). Следующей кандидатурой был
> lftp, который мне сразу сходу понравился, но у него сразу обнаружился
> серьёзные недостаток: почему-то он отказывается скачивать файлы
> (ходить по дереву директорий можно), ругается на "ошибку
> доступа". 

Proxy в настройках указан как?
Должно быть типа:
set ftp:proxy http://my_proxy:3128

\scip
-- 

With Best Regards, Maxim Tyurin aka Bungarus
JID:	MrKooll@jabber.pibhe.com

Re: [Comm] Зеркалирование ftp-сайта

[Sergey A. Kolesnitchenko]

Hello Yury,

Thursday, October 28, 2004, 5:28:09 PM, you wrote:

YA> Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
См. в сторону rsync

-- 
Best regards,
 Sergey                            mailto:sergey.ak@mtu-net.ru

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Mikhail Pokidko пишет:

>>Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
>>В общем, мне нужно с некоего ftp'шника слить содержимое определённой
>>директории вместе со всеми файлами, подкаталогами, их содержимым и т.п.
>>Главная проблема заключается в том, что машина, на которой я сижу,
>>находится за http proxy, что понимают далеко не все ftp-клиенты. В

...

> 
> 
> а mirror что говорит?

Он-то как раз ни сном, ни духом не ведает о том, что есть http-proxy

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Maxim Tyurin пишет:

>>Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
>>В общем, мне нужно с некоего ftp'шника слить содержимое определённой
>>директории вместе со всеми файлами, подкаталогами, их содержимым и
>>т.п. Главная проблема заключается в том, что машина, на которой я
>>сижу, находится за http proxy, что понимают далеко не все

...

> 
> 
> Proxy в настройках указан как?
> Должно быть типа:
> set ftp:proxy http://my_proxy:3128
> 

Естественно:

[mutabor@nort SOURCES]$ set | grep proxy
ftp_proxy=http://192.168.1.1:3128
http_proxy=http://192.168.1.1:3128
https_proxy=http://192.168.1.1:3128

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Sergey A. Kolesnitchenko пишет:
> Hello Yury,
> 
> Thursday, October 28, 2004, 5:28:09 PM, you wrote:
> 
> YA> Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
> См. в сторону rsync
> 

Спасибо, про него-то я и забыл.

Re: [Comm] Зеркалирование ftp-сайта

[Maxim Tyurin]

Yury Aliaev <mutab0r@rambler.ru> writes:

> Maxim Tyurin пишет:
>
>>>Здравствуйте, это опять я, опять со своими нестандартными ситуациями...
>>>В общем, мне нужно с некоего ftp'шника слить содержимое определённой
>>>директории вместе со всеми файлами, подкаталогами, их содержимым и
>>>т.п. Главная проблема заключается в том, что машина, на которой я
>>>сижу, находится за http proxy, что понимают далеко не все
>
> ...
>
>> Proxy в настройках указан как?
>> Должно быть типа:
>> set ftp:proxy http://my_proxy:3128
>>
>
> Естественно:
>
> [mutabor@nort SOURCES]$ set | grep proxy
> ftp_proxy=http://192.168.1.1:3128
> http_proxy=http://192.168.1.1:3128
> https_proxy=http://192.168.1.1:3128

Тогда просто не знаю. У меня работает как из пушки.
Какая версия lftp?
-- 

With Best Regards, Maxim Tyurin aka Bungarus
JID:	MrKooll@jabber.pibhe.com

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Maxim Tyurin пишет:
>>
>>>Proxy в настройках указан как?
>>>Должно быть типа:
>>>set ftp:proxy http://my_proxy:3128
>>>
>>
>>Естественно:
>>
>>[mutabor@nort SOURCES]$ set | grep proxy
>>ftp_proxy=http://192.168.1.1:3128
>>http_proxy=http://192.168.1.1:3128
>>https_proxy=http://192.168.1.1:3128
> 
> Тогда просто не знаю. У меня работает как из пушки.
> Какая версия lftp?


 > [mutabor@nort SOURCES]$ lftp --version
Lftp | Version 3.0.6 | Copyright (c) 1996-2004 Alexander V. Lukyanov
Это свободное программное обеспечение, распространяемое без каких-либо
гарантий. Смотрите файл COPYING для получения дополнительной информации.
Сообщения об ошибках и вопросы посылайте по адресу <lftp@uniyar.ac.ru>.

P.S. А в proxy не может быть дело? Хотя, с другой стороны, wget 
скачивает файлы (по одному) нормально...

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Yury Aliaev пишет:
>>
>> YA> Здравствуйте, это опять я, опять со своими нестандартными 
>> ситуациями...
>> См. в сторону rsync
>>
> 
> Спасибо, про него-то я и забыл.

Посмотрел... И возникли у меня сильные подозрения, что работать по ftp 
протоколу он не умеет. По крайней мере, man молчит как партизан по этому 
вопросу.

Re: [Comm] Зеркалирование ftp-сайта

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 416 bytes --]

Yury Aliaev пишет:

>>> YA> Здравствуйте, это опять я, опять со своими нестандартными
>>> ситуациями...
>>> См. в сторону rsync
>>>
>>
>> Спасибо, про него-то я и забыл.
> 
> 
> Посмотрел... И возникли у меня сильные подозрения, что работать по ftp
> протоколу он не умеет. По крайней мере, man молчит как партизан по этому
> вопросу.
Однозначно не умеет - у него свой протокол... зато он умеет работать
поверх ssh.

[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Ivan Fedorov пишет:

>>>>YA> Здравствуйте, это опять я, опять со своими нестандартными
>>>>ситуациями...
>>>>См. в сторону rsync
>>>>
>>>
>>>Спасибо, про него-то я и забыл.
>>
>>
>>Посмотрел... И возникли у меня сильные подозрения, что работать по ftp
>>протоколу он не умеет. По крайней мере, man молчит как партизан по этому
>>вопросу.
> 
> Однозначно не умеет - у него свой протокол... зато он умеет работать
> поверх ssh.

В данном случае меня это, увы, не греет :(

Re: [Comm] Зеркалирование ftp-сайта

[Dmytro O. Redchuk]

On Fri, Oct 29, 2004 at 02:19:20PM +0400, Yury Aliaev wrote:
> В данном случае меня это, увы, не греет :(
так я это... не понял... :-)
а чем wget не угодил?

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Dmytro O. Redchuk пишет:

>>В данном случае меня это, увы, не греет :(
> 
> так я это... не понял... :-)
> а чем wget не угодил?

[mutabor@nort try]$ wget 
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
Предупреждение: в HTTP шаблоны не поддерживаются.
--15:19:29-- 
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
            => `*'
Установка соединения с 192.168.1.1:3128... соединились.
Запрос Proxy послан, ожидание ответа... 400 Got error during ftp load
15:19:32 ОШИБКА 400: Got error during ftp load.

т.е. скачать всё содержимое каталога не получается. Почему-то wget не 
раскрывает шаблон "*", хотя его man клятвенно это обещал.

Re: [Comm] Зеркалирование ftp-сайта

[Dmytro O. Redchuk]

On Fri, Oct 29, 2004 at 03:21:54PM +0400, Yury Aliaev wrote:
> Dmytro O. Redchuk пишет:
> 
> >>В данном случае меня это, увы, не греет :(
> >
> >так я это... не понял... :-)
> >а чем wget не угодил?
> 
> [mutabor@nort try]$ wget 
> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
> Предупреждение: в HTTP шаблоны не поддерживаются.
> --15:19:29-- 
> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
>            => `*'
> Установка соединения с 192.168.1.1:3128... соединились.
> Запрос Proxy послан, ожидание ответа... 400 Got error during ftp load
> 15:19:32 ОШИБКА 400: Got error during ftp load.
> 
> т.е. скачать всё содержимое каталога не получается. Почему-то wget не 
> раскрывает шаблон "*", хотя его man клятвенно это обещал.
так а это... -r ?

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] Зеркалирование ftp-сайта

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 669 bytes --]

On Fri, Oct 29, 2004 at 03:21:54PM +0400, Yury Aliaev wrote:
> раскрывает шаблон "*", хотя его man клятвенно это обещал.
Где?

  ·   Загрузить из каталога GIF-файлы на HTTP сервере. Команда wget
      http://www.server.com/dir/*.gif не будет работать, так как
      маскировочные символы не поддерживаются при загрузке по протоколу
      HTTP.  Используйте:
              wget -r -l1 --no-parent -A.gif http://www.server.com/dir/


-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Извините за грубость, а на фига козе баян?
Извините за прямоту, коза сама интересовалась, что из малого
оркестра съедобно.
		-- mike in community@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Зеркалирование ftp-сайта

[scor]

Yury Aliaev пишет:
> обращают внимания). Следующей кандидатурой был lftp, который мне сразу 
> сходу понравился, но у него сразу обнаружился серьёзные недостаток: 
> почему-то он отказывается скачивать файлы (ходить по дереву директорий 
> можно), ругается на "ошибку доступа". 

в lftp есть функция - mirror, которая скачивает все! Проверено и не раз 
(последний раз - сегодня)


-- 
С уважением: scor_at_mf.volsu.ru
------- ICQ UIN 346283813 -------
------ JID scor2k@jabber.ru -----

Писать патч на перегретую голову опасно для вашего здоровья. :)
Для моего тоже не полезно такие патчи читать.
		-- ldv in devel@

Re: [Comm] Зеркалирование ftp-сайта

[scor]

Yury Aliaev пишет:
> обращают внимания). Следующей кандидатурой был lftp, который мне сразу 
> сходу понравился, но у него сразу обнаружился серьёзные недостаток: 
> почему-то он отказывается скачивать файлы (ходить по дереву директорий 
> можно), ругается на "ошибку доступа". 

У lftp есть замечательная функция - mirror. Она скачивает дикерторию со 
всеми ее детьми.

-- 
С уважением: scor_at_mf.volsu.ru
------- ICQ UIN 346283813 -------
------ JID scor2k@jabber.ru -----

 > Серьезный повод задуматься о доверии мэйнтейнерам АльтЛинукса
Думайте об этом в Talk-room, пожалуйста. :)
		-- lav in community@

Re: [Comm] Зеркалирование ftp-сайта

[Alexey Borovskoy]

[-- Attachment #1: Type: text/plain, Size: 1280 bytes --]

* Пятница 29 Октябрь 2004 02:28 Yury Aliaev <mutab0r@rambler.ru>

Добрый вечер.

> Здравствуйте, это опять я, опять со своими нестандартными
> ситуациями... В общем, мне нужно с некоего ftp'шника слить
> содержимое определённой директории вместе со всеми файлами,
> подкаталогами, их содержимым и т.п. Главная проблема
> заключается в том, что машина, на которой я сижу, находится за
> http proxy, что понимают далеко не все ftp-клиенты. В
> частности, gftp и mc либо сразу отваливаются, либо тихо
> виснут, как ни пробовал я их настроить (ибо на переменную
> окружения "ftp_proxy" они не обращают внимания). Следующей
> кандидатурой был lftp, который мне сразу сходу понравился, но
> у него сразу обнаружился серьёзные недостаток: почему-то он
> отказывается скачивать файлы (ходить по дереву директорий
> можно), ругается на "ошибку доступа". wgetc тоже оказался
> хорош гусь: по одному он файлы скачивает, а когда дело доходит
> до массового скачивания с помощью шаблонов, говорит, типа что
> "в HTTP шаблоны не поддерживаются" (и откуда он слов-то таких
> понабрался? Сайт-то ftp'шный!) и работать отказывается.

Попробуйте lftp. Зеркалировать ftp он точно умеет. Сам когда-то 
пользовался.

-- 
Алексей.
GPG key fingerprint
949B BC0E 2C44 7528 4F63  2753 E37A 9E3F 11F3 BDE1

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Зеркалирование ftp-сайта

[Денис Смирнов]

On Fri, Oct 29, 2004 at 03:21:54PM +0400, Yury Aliaev wrote:
 YA> [mutabor@nort try]$ wget 
 YA> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*

rsync rsync.altlinux.ru:: 

:-)
 
-- 
С уважением, Денис

http://freesource.info

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Dmytro O. Redchuk пишет:

>>>>В данном случае меня это, увы, не греет :(
>>>
>>>так я это... не понял... :-)
>>>а чем wget не угодил?
>>
>>[mutabor@nort try]$ wget 
>>ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
>>Предупреждение: в HTTP шаблоны не поддерживаются.
>>--15:19:29-- 
>>ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
>>           => `*'
>>Установка соединения с 192.168.1.1:3128... соединились.
>>Запрос Proxy послан, ожидание ответа... 400 Got error during ftp load
>>15:19:32 ОШИБКА 400: Got error during ftp load.
>>
>>т.е. скачать всё содержимое каталога не получается. Почему-то wget не 
>>раскрывает шаблон "*", хотя его man клятвенно это обещал.
> 
> так а это... -r ?

Пробовал и это... Та же фигня, даже не в профиль :(

Без "ёжика" скачивает только index.html (т.е. листинг директории 
завёрнутый в html), с ёжиком -- см. выше, всё абсолютно идентично.

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Andrey Rahmatullin пишет:
> On Fri, Oct 29, 2004 at 03:21:54PM +0400, Yury Aliaev wrote:
> 
>>раскрывает шаблон "*", хотя его man клятвенно это обещал.
> 
> Где?

--glob=on/off
            Turn FTP globbing on or off.  Globbing means you may use the 
shell-
            like special characters (wildcards), like *, ?, [ and ] to 
retrieve
            more than one file from the same directory at once, like:

                    wget ftp://gnjilux.srk.fer.hr/*.msg

            By default, globbing will be turned on if the URL contains a 
glob-
            bing character.  This option may be used to turn globbing on 
or off
            permanently.
 

            You may have to quote the URL to protect it from being 
expanded by
            your shell.  Globbing makes Wget look for a directory listing,
            which is system-specific.  This is why it currently works 
only with
            Unix FTP servers (and the ones emulating Unix "ls" output).



> 
>   ·   Загрузить из каталога GIF-файлы на HTTP сервере. Команда wget
>       http://www.server.com/dir/*.gif не будет работать, так как
>       маскировочные символы не поддерживаются при загрузке по протоколу
>       HTTP.  Используйте:

У МЕНЯ ЖЕ FTP!!!!! (Мария-Бартоломео-Франческа-Медичи...)

>               wget -r -l1 --no-parent -A.gif http://www.server.com/dir/

Забавно, только что обнаружил, что у меня не стоят man-pages-ru. 
Интересно, выходит, что содержание манов в русском и английском 
вариантах различаются?

Кстати, вот результат применения Вашего примера к моей конкретике:

[mutabor@nort try]$ wget -r -l1 --no-parent -A.bz2 
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/
--13:59:14-- 
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/
            => 
`ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/index.html'
Установка соединения с 192.168.1.1:3128... соединились.
Запрос Proxy послан, ожидание ответа... 200 Ftp Gateway
Длина: нет информации [text/html]

     [ <=>                                 ] 2,169         --.--K/s

13:59:14 (20,69 MB/s) - 
`ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/index.html' 
сохранен [2169]


ЗАВЕРШЕНО --13:59:14--
Принято: 2,169 байт в 1 файлax

т.е. wget упрямо скачивает index.html, несмотря на то, что в указанной 
директории лежат два .bz2 файла: pkglust.daedalus.bz2 и srclist.daedalus.bz2

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Денис Смирнов пишет:
> On Fri, Oct 29, 2004 at 03:21:54PM +0400, Yury Aliaev wrote:
>  YA> [mutabor@nort try]$ wget 
>  YA> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/*
> 
> rsync rsync.altlinux.ru:: 
> 
> :-)
>  

С altlinux.ru был просто иллюстративный пример. Мне же нужно делать то 
же самое с другим сайтом, который умеет только ftp

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

scor пишет:
> Yury Aliaev пишет:
> 
>> обращают внимания). Следующей кандидатурой был lftp, который мне сразу 
>> сходу понравился, но у него сразу обнаружился серьёзные недостаток: 
>> почему-то он отказывается скачивать файлы (ходить по дереву директорий 
>> можно), ругается на "ошибку доступа". 
> 
> 
> в lftp есть функция - mirror, которая скачивает все! Проверено и не раз 
> (последний раз - сегодня)
> 

Знаю, пробовал, обломался :( Вылетает всё с той же "Ошибкой доступа"

P.S. У Вас тоже http-proxy?

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Здравствуйте, Alexey!

> 
>>Здравствуйте, это опять я, опять со своими нестандартными
>>ситуациями... В общем, мне нужно с некоего ftp'шника слить
>>содержимое определённой директории вместе со всеми файлами,
>>подкаталогами, их содержимым и т.п. Главная проблема

...

> 
> 
> Попробуйте lftp. Зеркалировать ftp он точно умеет. Сам когда-то 
> пользовался.

В том-то и вся проблема, что при любой попытке скачать файл lftp 
вылетает с "Ошибкой доступа". Я даже на него баг повесил (#5397), но 
похоже, это -- "глухарь"

Re: [Comm] Зеркалирование ftp-сайта

[Vladimir Lettiev]

Yury Aliaev wrote:
>>   ·   Команда wget
>>       http://www.server.com/dir/*.gif не будет работать, так как
>>       маскировочные символы не поддерживаются при загрузке по протоколу
>>       HTTP.  Используйте:
> 
> У МЕНЯ ЖЕ FTP!!!!! (Мария-Бартоломео-Франческа-Медичи...)
> 

Но вы работаете через _HTTP_ proxy, т.е. по протоколу http.

> 
> 13:59:14 (20,69 MB/s) - 
> `ftp.altlinux.ru/pub/distributions/ALTLinux/Daedalus/i586/base/index.html' 
> сохранен [2169]
> 
> 
> ЗАВЕРШЕНО --13:59:14--
> Принято: 2,169 байт в 1 файлax
> 
> т.е. wget упрямо скачивает index.html, несмотря на то, что в указанной 
> директории лежат два .bz2 файла: pkglust.daedalus.bz2 и 
> srclist.daedalus.bz2

index.html - это файл с листингом файлов в каталоге ftp. Его генерирует 
ваш прокси-сервер. Если вы заглянете в конец index.html, то по идее 
увидите его опозновательные данные, типа:

Generated Mon, 01 Nov 2004 11:28:15 GMT by proxyserver (squid/2.5.STABLE7)

-- 
С уважением, Владимир Леттиев aka crux <crux@syktsu.ru>

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Vladimir Lettiev пишет:

>>>   ·   Команда wget
>>>       http://www.server.com/dir/*.gif не будет работать, так как
>>>       маскировочные символы не поддерживаются при загрузке по протоколу
>>>       HTTP.  Используйте:
>>
>>
>> У МЕНЯ ЖЕ FTP!!!!! (Мария-Бартоломео-Франческа-Медичи...)
>>
> 
> Но вы работаете через _HTTP_ proxy, т.е. по протоколу http.

А-а-а. Теперь понятно. Что ж, спасибо за разъяснение.

> index.html - это файл с листингом файлов в каталоге ftp. Его генерирует 
> ваш прокси-сервер. Если вы заглянете в конец index.html, то по идее 
> увидите его опозновательные данные, типа:
> 
> Generated Mon, 01 Nov 2004 11:28:15 GMT by proxyserver (squid/2.5.STABLE7)
> 

В моём случае там ничего такого не было...

Re: [Comm] Зеркалирование ftp-сайта

[Юрий]

В сообщении от 1 Ноябрь 2004 13:31 Vladimir Lettiev написал(a):
> > т.е. wget упрямо скачивает index.html, несмотря на то, что в указанной
> > директории лежат два .bz2 файла: pkglust.daedalus.bz2 и
> > srclist.daedalus.bz2
>
> index.html - это файл с листингом файлов в каталоге ftp. Его генерирует
> ваш прокси-сервер. Если вы заглянете в конец index.html, то по идее
> увидите его опозновательные данные, типа:
>
> Generated Mon, 01 Nov 2004 11:28:15 GMT by proxyserver (squid/2.5.STABLE7)

это, я например, видел а дальше? Можно ли wget - ом скачать несколько 
каталогов с дочками через htttp proxy?

Если надо скачать один каталог со множеством файлов то можно 
wget -B index.html

а вот именно wget -r ftp.altlinux.ru/*  ???

-- 
С уважением,
Юрий Рудько.

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Юрий пишет:
>>
>>index.html - это файл с листингом файлов в каталоге ftp. Его генерирует
>>ваш прокси-сервер. Если вы заглянете в конец index.html, то по идее
>>увидите его опозновательные данные, типа:
>>
>>Generated Mon, 01 Nov 2004 11:28:15 GMT by proxyserver (squid/2.5.STABLE7)
> 
> 
> это, я например, видел а дальше? Можно ли wget - ом скачать несколько 
> каталогов с дочками через htttp proxy?
> 
> Если надо скачать один каталог со множеством файлов то можно 
> wget -B index.html

А кстати, это -- идея, для меня вполне приемлимая. Спасибо за мысль :)

> 
> а вот именно wget -r ftp.altlinux.ru/*  ???
> 

У меня не получилось, хотя я многократно пытался. Может, написать 
скрипт, который вытягивает index.html из поддиректорий, а затем на него 
напускает wget?

Re: [Comm] Зеркалирование ftp-сайта

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 466 bytes --]

On Mon, Nov 01, 2004 at 02:07:43PM +0300, Yury Aliaev wrote:
> Интересно, выходит, что содержание манов в русском и английском 
> вариантах различаются?
Да, это нормально.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

> Вот я пользуюсь pine, причём каждый день.
Я вам сочувствую.
Несколько лет назад одного письма "специального вида" мне было достаточно,
чтобы навсегда распрощаться с этим почтовым клиентом.
		-- ldv in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Зеркалирование ftp-сайта

[Eugene Ostapets]

Yury Aliaev wrote:

> Здравствуйте, Alexey!
>
>>
>> Попробуйте lftp. Зеркалировать ftp он точно умеет. Сам когда-то 
>> пользовался.
>
>
> В том-то и вся проблема, что при любой попытке скачать файл lftp 
> вылетает с "Ошибкой доступа". Я даже на него баг повесил (#5397), но 
> похоже, это -- "глухарь"

А что за прокси? У меня была проблема с выходом через MS ISA, пришлось 
себе поставить локально squid и через него уже все нормально мирорится...

-- 
С уважением,
Евгений Остапец

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Eugene Ostapets пишет:

>>
>> В том-то и вся проблема, что при любой попытке скачать файл lftp 
>> вылетает с "Ошибкой доступа". Я даже на него баг повесил (#5397), но 
>> похоже, это -- "глухарь"
> 
> 
> А что за прокси? У меня была проблема с выходом через MS ISA, пришлось 
> себе поставить локально squid и через него уже все нормально мирорится...

oops какой-то древний...

Re: [Comm] Зеркалирование ftp-сайта

[Eugene Ostapets]

Yury Aliaev wrote:

> Eugene Ostapets пишет:
>
>>>
>>> В том-то и вся проблема, что при любой попытке скачать файл lftp 
>>> вылетает с "Ошибкой доступа". Я даже на него баг повесил (#5397), но 
>>> похоже, это -- "глухарь"
>>
>>
>>
>> А что за прокси? У меня была проблема с выходом через MS ISA, 
>> пришлось себе поставить локально squid и через него уже все нормально 
>> мирорится...
>
>
> oops какой-то древний...
>
Хм... А он подконтролен? Если нет - попробуй поднять локальный сквид, 
упс происать в качестве парента и попробовать еще раз замирорить фтп...

-- 
С уважением,
Евгений Остапец

Re: [Comm] Зеркалирование ftp-сайта

[Yury Aliaev]

Eugene Ostapets пишет:
>>>
>>> А что за прокси? У меня была проблема с выходом через MS ISA, 
>>> пришлось себе поставить локально squid и через него уже все нормально 
>>> мирорится...
>>
>>
>>
>> oops какой-то древний...
>>
> Хм... А он подконтролен? Если нет - попробуй поднять локальный сквид, 

Да, подконтролен. Правда, экспериментировать с ним мне пока не хочется, 
т.к. этот сервак обслуживает всю лабораторию, а я не уверен, что мне 
удастся быстро его починить, если испорчу что-нибудь. Может, попробую 
после Нового года, когда все будут пребывать в состоянии тихой 
рефлексии, а пока живу по принципу "работает -- не трогай" :)

> упс происать в качестве парента и попробовать еще раз замирорить фтп...

Вот этим-то я и попробую заняться. Спасибо.

Re: [Comm] Зеркалирование ftp-сайта

[Eugene Ostapets]

Yury Aliaev wrote:

> Eugene Ostapets пишет:
>
>> Хм... А он подконтролен? Если нет - попробуй поднять локальный сквид, 
>
>
> Да, подконтролен. Правда, экспериментировать с ним мне пока не 
> хочется, т.к. этот сервак обслуживает всю лабораторию, а я не уверен, 
> что мне удастся быстро его починить, если испорчу что-нибудь. Может, 
> попробую после Нового года, когда все будут пребывать в состоянии 
> тихой рефлексии, а пока живу по принципу "работает -- не трогай" :)
>
Хм... Верный подход :) Но рекомендую делать бэкапы конфигов и тогда при 
первом же подозрении можно откатиться...

-- 
С уважением,
Евгений Остапец