[Comm] OffLine Brouser

[Comm] OffLine Brouser

[aek]

Hello community,

      Хочется завести у себя зеркала нескольких наиболее
      юзаемых сайтов. Хотелось бы чтоб программка по крону каждую
      ночь ходила на сайт и скачивала добавившиеся/изменившиеся
      странички и ложила бы в каталог-ветку локального веб-сервера.
      100% такое в линухе есть, не может не быть.
      Кто использует у себя подобные вещи? Присоветуйте чегоньть плз...

-- 
Всех благ!
Анатолий

Re: [Comm] OffLine Brouser

[Leonid B. Sysoletin]

20 Январь 2003 13:21, aek написал:
>       Хочется завести у себя зеркала нескольких наиболее
>       юзаемых сайтов. Хотелось бы чтоб программка по крону каждую
>       ночь ходила на сайт и скачивала добавившиеся/изменившиеся
>       странички и ложила бы в каталог-ветку локального веб-сервера.

wget

-- 
Л. Сысолетин,
webmaster@unicon-ms.ru
[Team Ёжики-рулез!] [Team Котёнки на солярке] [Team Берегите букву "ё"!]

Потому что нельзя... Потому что нельзя быть на свете массивной такой.

Re: [Comm] OffLine Brouser

[Dmitry E. Oboukhov]

Leonid B. Sysoletin wrote:

>20 Январь 2003 13:21, aek написал:
>  
>
>>      Хочется завести у себя зеркала нескольких наиболее
>>      юзаемых сайтов. Хотелось бы чтоб программка по крону каждую
>>      ночь ходила на сайт и скачивала добавившиеся/изменившиеся
>>      странички и ложила бы в каталог-ветку локального веб-сервера.
>>    
>>
>
>wget
>
>  
>
и еще rsync наверно
смотря что конечно...

Re: [Comm] OffLine Brouser

[Andrew Vorobey]

On Mon, 20 Jan 2003 13:32:56 +0300
"Dmitry E. Oboukhov" <node@avanto.mpei.ac.ru> wrote:

> >>      Хочется завести у себя зеркала нескольких наиболее
> >>      юзаемых сайтов. Хотелось бы чтоб программка по крону каждую
> >>      ночь ходила на сайт и скачивала добавившиеся/изменившиеся
> >>      странички и ложила бы в каталог-ветку локального веб-сервера.
> >
> >wget
> и еще rsync наверно
и еще pavuk , я думаю 

> смотря что конечно...
ну, время бесконечно, хотя и это не факт...

Re: [Comm] OffLine Brouser

[CityHawk]

On Mon, 20 Jan 2003 17:21:13 +0700
aek <aek@taxpol.krasnoyarsk.su> wrote:

>       Хочется завести у себя зеркала нескольких наиболее
>       юзаемых сайтов. Хотелось бы чтоб программка по крону каждую
>       ночь ходила на сайт и скачивала добавившиеся/изменившиеся
>       странички и ложила бы в каталог-ветку локального веб-сервера.
>       100% такое в линухе есть, не может не быть.
>       Кто использует у себя подобные вещи? Присоветуйте чегоньть плз...

WWW Offline Exlporer.

пакет wwwoffle
Есть в сизифе...

-- 
Best regards...
SuchkovEA (a.k.a. CityHawk)
--- ICQ UIN #177787156 ---

Re[2]: [Comm] OffLine Brouser

[aek]

Hello Leonid,

Monday, January 20, 2003, 5:28:20 PM, you wrote:

LBS> wget

По функциональности мне подходит, тока вот работать не хочет...
Где могут быть грабли?


[aek@server tmp]$ wget -P /www/library/10.1.1.1 http://10.1.1.1
--10:44:40--  http://10.1.1.1/
           => `/www/library/10.1.1.1/index.html'
Усановка соединения с 10.1.1.1:80... failed: Connection timed out.
Продолжение попыток.
  . . . . . . . . . . . .
И так далее...

Хотя сервер пингуется
и с соседней (в сетке) раб. станции этот сервер в браузере видно.

[aek@server tmp]$ ping 10.1.1.1
PING 10.1.1.1 (10.1.1.1) from 10.2.1.1 : 56(84) bytes of data.
64 bytes from 10.1.1.1: icmp_seq=1 ttl=124 time=5110 ms
64 bytes from 10.1.1.1: icmp_seq=2 ttl=124 time=4153 ms
64 bytes from 10.1.1.1: icmp_seq=3 ttl=124 time=5712 ms
64 bytes from 10.1.1.1: icmp_seq=4 ttl=124 time=5430 ms
64 bytes from 10.1.1.1: icmp_seq=5 ttl=124 time=5209 ms

Я гдето не докрутил... В чем может быть дело?


-- 
Всех благ!
Анатолий

[Comm] Re: OffLine Brouser

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 457 bytes --]

On Tue, Jan 21, 2003 at 11:01:45AM +0700, aek wrote:
> [aek@server tmp]$ wget -P /www/library/10.1.1.1 http://10.1.1.1
> --10:44:40--  http://10.1.1.1/
>            => `/www/library/10.1.1.1/index.html'
> Усановка соединения с 10.1.1.1:80... failed: Connection timed out.
> Продолжение попыток.
>   . . . . . . . . . . . .

> Я гдето не докрутил... В чем может быть дело?

$ telnet 10.1.1.1 80
GET / HTTP/1.0

?

-- 
WBR, Alexey Tourbin
BIOZAK Ltd., Russia

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: OffLine Brouser

[aek]

Hello Alexey,

Tuesday, January 21, 2003, 11:13:16 AM, you wrote:

AT> On Tue, Jan 21, 2003 at 11:01:45AM +0700, aek wrote:
>> [aek@server tmp]$ wget -P /www/library/10.1.1.1 http://10.1.1.1
>> --10:44:40--  http://10.1.1.1/
>>            => `/www/library/10.1.1.1/index.html'
>> Усановка соединения с 10.1.1.1:80... failed: Connection timed out.
>> Продолжение попыток.
>>   . . . . . . . . . . . .

>> Я гдето не докрутил... В чем может быть дело?

AT> $ telnet 10.1.1.1 80
AT> GET / HTTP/1.0

AT> ?

[root@server /root]# telnet 10.1.1.1 80
Trying 10.1.1.1...
Connected to 10.1.1.1.
Escape character is '^]'.

И через некоторое время:

Connection closed by foreign host.



-- 
Всех благ!
Анатолий

Re: [Comm] Re: OffLine Brouser

[Илья Брызгалов]

On Tue, 21 Jan 2003 13:18:56 +0700
aek <aek@taxpol.krasnoyarsk.su> wrote:

> Hello Alexey,
> 
> Tuesday, January 21, 2003, 11:13:16 AM, you wrote:
> 
> AT> On Tue, Jan 21, 2003 at 11:01:45AM +0700, aek wrote:
> >> [aek@server tmp]$ wget -P /www/library/10.1.1.1 http://10.1.1.1
> >> --10:44:40--  http://10.1.1.1/
> >>            => `/www/library/10.1.1.1/index.html'
> >> Усановка соединения с 10.1.1.1:80... failed: Connection timed out.
> >> Продолжение попыток.
> >>   . . . . . . . . . . . .
> 
> >> Я гдето не докрутил... В чем может быть дело?
> 
> AT> $ telnet 10.1.1.1 80
> AT> GET / HTTP/1.0
> 
> AT> ?
> 
> [root@server /root]# telnet 10.1.1.1 80
> Trying 10.1.1.1...
> Connected to 10.1.1.1.
> Escape character is '^]'.
> 
> И через некоторое время:
> 
> Connection closed by foreign host.
Ну вот и ответ на вопрос, на 80 порту вас не ждут.
> 
> 
> 
> -- 
> Всех благ!
> Анатолий

-- 
===================-iLL-======================+
Илья Брызгалов ака iLL - Краснодарское РУМН
    _ I don't smoke, so wish to you!
   (_)  ___    ___   http://illinux.boom.ru/
  /  / /  /   /  /   mailto:ill@krumn.oilnet.ru
 /  / /  /__ /  /__  JID:illinux@jabber.ru    
/__/ /_____//_____/  ICQ:43835329
ALT Linux Sisyphus (20030117)
============-Linux User #301257-==============+

[Comm] Re: OffLine Brouser

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 638 bytes --]

On Tue, Jan 21, 2003 at 06:12:22PM +0300, Илья Брызгалов wrote:
> > AT> $ telnet 10.1.1.1 80
> > AT> GET / HTTP/1.0
> > 
> > AT> ?
> > 
> > [root@server /root]# telnet 10.1.1.1 80
> > Trying 10.1.1.1...
> > Connected to 10.1.1.1.
> > Escape character is '^]'.
> > 
> > И через некоторое время:
> > 
> > Connection closed by foreign host.

Так было ли введено?
GET / HTTP/1.0\n
\n

(две строчки, вторая пустая)

> Ну вот и ответ на вопрос, на 80 порту вас не ждут.

Нет, ждут.  Написано же:
> > Connected to 10.1.1.1.
> > Escape character is '^]'.

Короче, лучше не делать локальных зеркал. :)

-- 
WBR, Alexey Tourbin
BIOZAK Ltd., Russia

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: OffLine Brouser

[aek]

Hello Alexey,

Tuesday, January 21, 2003, 11:48:57 PM, you wrote:

AT> Так было ли введено?
AT> GET / HTTP/1.0\n
AT> \n

AT> (две строчки, вторая пустая)

>> Ну вот и ответ на вопрос, на 80 порту вас не ждут.

AT> Нет, ждут.  Написано же:
>> > Connected to 10.1.1.1.
>> > Escape character is '^]'.

AT> Короче, лучше не делать локальных зеркал. :)

Разобрался.
Все в порядке, все заработало.
Как и в большинстве случаев, мы сами себе злобные буратины...
Использую    wget -t 3 -r -l 7 -m    в кроне еженочно.
При повторных запусках качает только обновившиеся страницы.


-- 
Всех благ!
Анатолий