ALT Linux Community general discussions
 help / color / mirror / Atom feed
From: ABATAPA <altlinux-community@yandex.ru>
To: ALT Linux Community <community@lists.altlinux.org>
Subject: [Comm] Метод однократного выкачивания одинаковых файлов из разных FTP.
Date: Wed, 28 Jun 2006 19:47:31 +0400
Message-ID: <200606281947.31940.altlinux-community@yandex.ru> (raw)

Доброго дня!

Даже не знаю - сюда ли писАть, изи в курилку. :)
Всем нам приходилось качать, скажем,  рекурсивные FTP-каталоги с помощью
wget -r. Иногда - довольно большие. 
Представим ситуацию, что у нас есть уже выкачанный каталог, и мы хотим скачать 
из _другого_ источника с _другой_ структурой только те файлы, которые у нас 
отсутствуют в любой "точке" первого каталога. FTP, как правило, 
команду 'SITE' не поддерживают, да и работают в chroot-окружении, так 
что  'SITE md5sum' на каждый файл не сделать.
Как качать только отсутствующие файлы, _при этом сохраняя структуру_?
На вскидку на ум приходят варианты:
1. Скрипт, который будет получать листинг, проверять каждое имя в локальном 
листинге, при нахождении - сверять размер (других-то данных нет), если 
совпадение и по имени, и по размеру не найдено - выкачивать с сохранением 
пути папок и занисением в локальный листинг.
2. Сделать жесткие ссылки _всех_ файлов имеющегося каталога в некий каталог, 
далее качать wget-ом, скажем, с ключами '-nd -nc', после из лога "вытаскивать" 
путь, создавать его в локальной папке, и переносить файл. По окончании линки 
удалить. 
Недостаток - не смогут быть обработаны файлы с одинаковым именем, но с разным 
размером.

А как бы поступили вы? 
-- 
ABATAPA


             reply	other threads:[~2006-06-28 15:47 UTC|newest]

Thread overview: 3+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2006-06-28 15:47 ABATAPA [this message]
2006-06-29  7:19 ` Michael Shigorin
2006-06-29 15:04   ` ABATAPA

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=200606281947.31940.altlinux-community@yandex.ru \
    --to=altlinux-community@yandex.ru \
    --cc=community@lists.altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Community general discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
		mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
	public-inbox-index community

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.community


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git