From: Eugene Ostapets <eostapets@gmail.com>
To: smoke-room@altlinux.ru
Subject: Re: [room] robots.txt
Date: Sun, 17 Jul 2005 11:46:53 +0300
Message-ID: <e12fd2db0507170146332a843b@mail.gmail.com> (raw)
In-Reply-To: <dbcq10$pgd$1@sea.gmane.org>
17.07.05, Nick S. Grechukh<nick.grechukh bigmir.net> написал(а):
> Eugene Ostapets wrote:
> >> > На сколько я помню - это требование к системам индексирования не
> >> Так вот "требование" или совет?
> > То, что читал я - звучало как требование...
> на самом деле, все равно это не может рассматриваться как средство защиты и
> соответственно его обхода не было (а если агент не поддерживает robot
> exclusion standart? в протоколе http robots.txt не описан :-)
Я думаю что юристы будут не так однозначны в трактовании этого файла...
>
> вот когда baida.ru не отдает wget'у 403, и я делаю wget -u Mozilla - это
> "взлом" для dmca. потому что server side ограничение.
Хорошо что напомнили:
man wget:
------- skip ------
Wget can follow links in HTML and XHTML pages and create local versions
of remote web sites, fully recreating the directory structure of the
original site. This is sometimes referred to as ``recursive download-
ing.'' While doing that, Wget respects the Robot Exclusion Standard
(/robots.txt). Wget can be instructed to convert the links in down-
loaded HTML files to the local files for offline viewing.
------- skip ------
--
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru
next prev parent reply other threads:[~2005-07-17 8:46 UTC|newest]
Thread overview: 13+ messages / expand[flat|nested] mbox.gz Atom feed top
2005-07-16 10:35 Nick Grechukh
2005-07-16 12:20 ` Eugene Ostapets
2005-07-16 13:12 ` Andrey Rahmatullin
2005-07-16 14:25 ` Eugene Ostapets
2005-07-17 5:23 ` Nick S. Grechukh
2005-07-17 8:46 ` Eugene Ostapets [this message]
2005-07-17 9:51 ` Nick S. Grechukh
2005-07-17 19:49 ` Aleksey Korotkov
2005-07-18 4:23 ` Eugene Ostapets
2005-07-18 14:25 ` Andrey Rahmatullin
2005-07-18 14:42 ` Eugene Ostapets
2005-07-18 15:42 ` Michael Shigorin
2005-07-18 15:50 ` Nick S. Grechukh
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=e12fd2db0507170146332a843b@mail.gmail.com \
--to=eostapets@gmail.com \
--cc=smoke-room@altlinux.ru \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
Культурный офтопик
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/smoke-room/0 smoke-room/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 smoke-room smoke-room/ http://lore.altlinux.org/smoke-room \
smoke-room@lists.altlinux.org smoke-room@lists.altlinux.ru smoke-room@lists.altlinux.com smoke-room@altlinux.ru smoke-room@altlinux.org smoke-room@altlinux.com
public-inbox-index smoke-room
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.smoke-room
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git