From mboxrd@z Thu Jan  1 00:00:00 1970
Return-Path: <ziga@udm.net>
X-Envelope-To: <smoke-room@altlinux.ru>
X-Envelope-From: ziga@udm.net
Date: Mon, 18 Jul 2005 00:49:36 +0500
From: Aleksey Korotkov <ziga@udm.net>
To: =?KOI8-R?Q?=CB=D5=CC=D8=D4=D5=D2=CE=D9=CA_=CF=C6=D4=CF=D0=C9=CB?=
	<smoke-room@altlinux.ru>
Subject: Re: [room] robots.txt
Message-Id: <20050718004936.1e128d28.ziga@udm.net>
In-Reply-To: <dbd9mg$ifh$1@sea.gmane.org>
References: <20050716103554.1B8D1B03E@pechkin.sputnikmedia.net>
	<e12fd2db0507160520b1a4f8e@mail.gmail.com>
	<20050716131248.GE6186@wrars-comp.wrarsdomain>
	<e12fd2db05071607256147ec2c@mail.gmail.com>
	<dbcq10$pgd$1@sea.gmane.org>
	<e12fd2db0507170146332a843b@mail.gmail.com>
	<dbd9mg$ifh$1@sea.gmane.org>
X-Mailer: Sylpheed version 1.9.7 (GTK+ 2.4.9; i686-pc-linux-gnu)
Mime-Version: 1.0
Content-Type: text/plain; charset=KOI8-R
Content-Transfer-Encoding: 8bit
X-BeenThere: smoke-room@altlinux.ru
X-Mailman-Version: 2.1.5
Precedence: list
Reply-To: =?koi8-r?b?y9XM2NTV0s7ZyiDPxtTP0MnL?= <smoke-room@altlinux.ru>
List-Id: =?koi8-r?b?y9XM2NTV0s7ZyiDPxtTP0MnL?= <smoke-room.altlinux.ru>
List-Unsubscribe: <https://lists.altlinux.ru/mailman/listinfo/smoke-room>,
	<mailto:smoke-room-request@altlinux.ru?subject=unsubscribe>
List-Archive: <http://lists.altlinux.ru/pipermail/smoke-room>
List-Post: <mailto:smoke-room@altlinux.ru>
List-Help: <mailto:smoke-room-request@altlinux.ru?subject=help>
List-Subscribe: <https://lists.altlinux.ru/mailman/listinfo/smoke-room>,
	<mailto:smoke-room-request@altlinux.ru?subject=subscribe>
X-List-Received-Date: Sun, 17 Jul 2005 21:26:23 -0000
Archived-At: <http://lore.altlinux.org/smoke-room/20050718004936.1e128d28.ziga@udm.net/>
List-Archive: <http://lore.altlinux.org/smoke-room/>
List-Post: <mailto:smoke-room@lists.altlinux.org>

On Sun, 17 Jul 2005 12:51:12 +0300
Nick S. Grechukh wrote:

NSG> дык я ж схему защиты предлагаю :) нужно доказать что их паук НЕ
NSG> скачал этот файл (а качать не обязан). vs. скачал но не послушался.

wget'у, например, легко сказать -- качать robots.txt или нет:

[ziga@localhost etc]$ cat wgetrc |grep -A 2 robots.txt
# Setting this to off makes Wget not download /robots.txt.  Be sure to
# know *exactly* what /robots.txt is and how it is used before changing
# the default!
#robots = on

-- 
С уважением,
Алексей Коротков

mailto:ziga@uni.udm.ru