From: ABATAPA <altlinux-community@yandex.ru> To: ALT Linux Community <community@lists.altlinux.org> Subject: [Comm] Метод однократного выкачивания одинаковых файлов из разных FTP. Date: Wed, 28 Jun 2006 19:47:31 +0400 Message-ID: <200606281947.31940.altlinux-community@yandex.ru> (raw) Доброго дня! Даже не знаю - сюда ли писАть, изи в курилку. :) Всем нам приходилось качать, скажем, рекурсивные FTP-каталоги с помощью wget -r. Иногда - довольно большие. Представим ситуацию, что у нас есть уже выкачанный каталог, и мы хотим скачать из _другого_ источника с _другой_ структурой только те файлы, которые у нас отсутствуют в любой "точке" первого каталога. FTP, как правило, команду 'SITE' не поддерживают, да и работают в chroot-окружении, так что 'SITE md5sum' на каждый файл не сделать. Как качать только отсутствующие файлы, _при этом сохраняя структуру_? На вскидку на ум приходят варианты: 1. Скрипт, который будет получать листинг, проверять каждое имя в локальном листинге, при нахождении - сверять размер (других-то данных нет), если совпадение и по имени, и по размеру не найдено - выкачивать с сохранением пути папок и занисением в локальный листинг. 2. Сделать жесткие ссылки _всех_ файлов имеющегося каталога в некий каталог, далее качать wget-ом, скажем, с ключами '-nd -nc', после из лога "вытаскивать" путь, создавать его в локальной папке, и переносить файл. По окончании линки удалить. Недостаток - не смогут быть обработаны файлы с одинаковым именем, но с разным размером. А как бы поступили вы? -- ABATAPA
next reply other threads:[~2006-06-28 15:47 UTC|newest] Thread overview: 3+ messages / expand[flat|nested] mbox.gz Atom feed top 2006-06-28 15:47 ABATAPA [this message] 2006-06-29 7:19 ` Michael Shigorin 2006-06-29 15:04 ` ABATAPA
Reply instructions: You may reply publicly to this message via plain-text email using any one of the following methods: * Save the following mbox file, import it into your mail client, and reply-to-all from there: mbox Avoid top-posting and favor interleaved quoting: https://en.wikipedia.org/wiki/Posting_style#Interleaved_style * Reply using the --to, --cc, and --in-reply-to switches of git-send-email(1): git send-email \ --in-reply-to=200606281947.31940.altlinux-community@yandex.ru \ --to=altlinux-community@yandex.ru \ --cc=community@lists.altlinux.org \ /path/to/YOUR_REPLY https://kernel.org/pub/software/scm/git/docs/git-send-email.html * If your mail client supports setting the In-Reply-To header via mailto: links, try the mailto: link
ALT Linux Community general discussions This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 community community/ http://lore.altlinux.org/community \ mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com public-inbox-index community Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.community AGPL code for this site: git clone https://public-inbox.org/public-inbox.git