[Comm] Проблемы с wget

[Comm] Проблемы с wget

[Александр Никольников]

	Привет !

Что у нас творится с wget`ом ?

1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с файлами:
	wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается только
	index.html со списком файлов.

2. Берём старый wget-1.5.1 - всё стягивается нормально.

Доступ в инет у меня через проксю (squid).

--
Саша

Re: [Comm] Проблемы с wget

[Leonid Sysoletin]

Пятница, 27 Сентябрь 2002 13:39, Александр Никольников написал:
> Что у нас творится с wget`ом ?
> 1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с файлами:
> 	wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается только
> 	index.html со списком файлов.

	man wget

Нужная вам опция называется -r

-- 
Л. Сысолетин,
webmaster@unicon-ms.ru
[Team Ёжики-рулез!]  [Team Котёнки на солярке] [Team Берегите букву "ё"!]

"While not obviously a business-friendly license there are certain aspects of 
 the GNU license which are attractive, believe it or not, for commercial 
 purposes."
        -- Brian Behlendorf on OSS (Open Sources, 1999 O'Reilly and 
Associates)

Re: [Comm] Проблемы с wget

[Александр Никольников]

On Fri, Sep 27, 2002 at 01:40:51PM +0400, Leonid Sysoletin wrote:
> Пятница, 27 Сентябрь 2002 13:39, Александр Никольников написал:
> > Что у нас творится с wget`ом ?
> > 1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с файлами:
> > 	wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается только
> > 	index.html со списком файлов.
> 
> 	man wget
> 
> Нужная вам опция называется -r

Тоже самое.
Не тянет :(
Через прокси не тянет.
А напрямую очень даже.
Сломали хорошую программу :((

--
Саша

Re: [Comm] Проблемы с wget

[Leonid Sysoletin]

Пятница, 27 Сентябрь 2002 13:54, Александр Никольников написал:
> > > Что у нас творится с wget`ом ?
> > > 1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с
> > > файлами: wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается
> > > только index.html со списком файлов.
> > Нужная вам опция называется -r
> Тоже самое.
> Не тянет :(
> Через прокси не тянет.

А не попадают ли нужные страницы в список отлупливаемых прокси?

> А напрямую очень даже.

...очень на то похоже.

> Сломали хорошую программу :((

Это вы зря.

-- 
Л. Сысолетин,
webmaster@unicon-ms.ru
[Team Ёжики-рулез!]  [Team Котёнки на солярке] [Team Берегите букву "ё"!]

Смакуя азиатский наш кулич, 
мы густо над евреями хохочем; 
в России прогрессивней паралич, 
светлей Варфоломеевские ночи. 

[Comm] Re[2]: [Comm] Проблемы с wget

[Alexey Pristavkin]

Hello Александр,

Посмотрите нет ли среди вытянутых файлов, файла robots или что-то
в этом духе. Я сам долго с этим бодался, оказалось что на сервере
можно прописать в этот файл список директорий которые не должны
обрабатываться всякими роботами, посиковиками, и, в том числе,
wget-ом. Где то в дебрях info wget есть описание ключика
отключающего проверку этого файла, но я узнал об этом поздно -
просто запретил его скачивание на проксе.

Friday, September 27, 2002, 1:54:02 PM, you wrote:

АН> On Fri, Sep 27, 2002 at 01:40:51PM +0400, Leonid Sysoletin wrote:
>> Пятница, 27 Сентябрь 2002 13:39, Александр Никольников написал:
>> > Что у нас творится с wget`ом ?
>> > 1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с файлами:
>> >     wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается только
>> >     index.html со списком файлов.
>> 
>>       man wget
>> 
>> Нужная вам опция называется -r

АН> Тоже самое.
АН> Не тянет :(
АН> Через прокси не тянет.
АН> А напрямую очень даже.
АН> Сломали хорошую программу :((
-- 
Best regards,
 Alexey                            mailto:pristavkin_a@r-and-k.com

Re: [Comm] Проблемы с wget

[Александр Никольников]

On Fri, Sep 27, 2002 at 01:57:03PM +0400, Leonid Sysoletin wrote:
> Пятница, 27 Сентябрь 2002 13:54, Александр Никольников написал:
> > > > Что у нас творится с wget`ом ?
> > > > 1. Берём wget-1.8.2, пытаемся рекурсивно стянуть с ftp каталог с
> > > > файлами: wget -c -m -l 2 ftp://xxx.yyy.zzz/dir/ - облом: вытягивается
> > > > только index.html со списком файлов.
> > > Нужная вам опция называется -r
> > Тоже самое.
> > Не тянет :(
> > Через прокси не тянет.
> 
> А не попадают ли нужные страницы в список отлупливаемых прокси?
Нет. wget-1.5.1 нормально всё тянет.

> 
> > А напрямую очень даже.
> 
> ...очень на то похоже.
> 
> > Сломали хорошую программу :((
> 
> Это вы зря.

Надеюсь ;)

--
Саша

Re: [Comm] Re[2]: [Comm] Проблемы с wget

[Александр Никольников]

On Fri, Sep 27, 2002 at 02:23:45PM +0400, Alexey Pristavkin wrote:
> Hello Александр,
> 
> Посмотрите нет ли среди вытянутых файлов, файла robots или что-то
> в этом духе. Я сам долго с этим бодался, оказалось что на сервере
> можно прописать в этот файл список директорий которые не должны
> обрабатываться всякими роботами, посиковиками, и, в том числе,
> wget-ом. Где то в дебрях info wget есть описание ключика
> отключающего проверку этого файла, но я узнал об этом поздно -
> просто запретил его скачивание на проксе.
> 

robots похоже непричём.
Хотя надо по-внимательнее проверить.

--
Саша