From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: Date: Sat, 29 Aug 2020 23:38:01 +0300 From: Vitaly Chikunov To: ALT Linux Team development discussions Message-ID: <20200829203801.jjkoy4k63qezuhdv@altlinux.org> References: <5aa3cdd8-b3b0-a227-ed40-885636deab29@basealt.ru> <20200827120918.GA1072@altlinux.org> <20200827122039.GB1072@altlinux.org> <068a17d6-e7d8-c66e-6dc8-c83155ae87e8@gmail.com> <20200829192818.c2chicrqrqie7i7w@altlinux.org> <43e355d6-3e9b-5c4a-af9e-847180db09fc@basealt.ru> MIME-Version: 1.0 Content-Type: text/plain; charset=koi8-r Content-Disposition: inline Content-Transfer-Encoding: 8bit In-Reply-To: <43e355d6-3e9b-5c4a-af9e-847180db09fc@basealt.ru> User-Agent: NeoMutt/20171215-106-ac61c7 Subject: Re: [devel] =?koi8-r?b?emZzIFJlOiDB0sjJ18nSz9fBzsnFINLF0M/aydTP0snF?= =?koi8-r?b?1w==?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Sat, 29 Aug 2020 20:38:02 -0000 Archived-At: List-Archive: List-Post: On Sat, Aug 29, 2020 at 11:11:56PM +0300, Anton Farygin wrote: > On 29.08.2020 22:28, Vitaly Chikunov wrote: > > On Sat, Aug 29, 2020 at 07:58:55AM +0300, Anton Farygin wrote: > > > с zfs вообще проблем нет. > > ZFS сейчас используется для локального бакапа и бакапа архива в > > московском офисе. Единственная проблема, что даже с большим кол-вом > > памяти и cache и jil на быстром SSD, не удалось получить большую > > скорость работы. > > > А как оценивается скорость работы ? Может быть оно у нас тоже тормозит, > просто я этого не замечаю. При копировании задания сначала скриптом делается хардлинкование с уже существующими локально файлами, а потом rsync всего нового поверх этого. Так вот, это иногда может занимать до 5 минут (для репозитория одного задания). Пример из лога: 2020-08-07 19:34:18 :: Fetch task 255891 (p8) 2020-08-07 19:34:18 :: Sync /archive/tasks/done/_249/255891 = pre-linking... 0 links created (in 0.0 seconds) + exec rsync -aSHz --delete --no-inc-recursive archive:/archive/tasks/done/_249/255891/ /home/archive/tasks/done/_249/255891/ rsynced in 0.5 seconds 2020-08-07 19:34:18 :: Sync /archive//repo/p8/task/_249/255891 = pre-linking... 118812 links created (in 234.0 seconds) + exec rsync -aSHz --delete --no-inc-recursive archive:/archive/repo/p8/task/_249/255891/ /home/archive/repo/p8/task/_249/255891/ rsynced in 26.5 seconds 2020-08-07 19:38:39 :: Fetch task 255900 (p9) [66%] В среднем конечно бывает быстрее: = pre-linking... 200614 links created (in 29.6 seconds) = pre-linking... 190803 links created (in 36.0 seconds) = pre-linking... 200533 links created (in 32.2 seconds) = pre-linking... 118858 links created (in 241.8 seconds) = pre-linking... 200511 links created (in 32.1 seconds) = pre-linking... 190932 links created (in 28.6 seconds) = pre-linking... 200526 links created (in 34.9 seconds) = pre-linking... 118816 links created (in 18.2 seconds) = pre-linking... 190883 links created (in 47.6 seconds) = pre-linking... 191003 links created (in 27.2 seconds) = pre-linking... 190984 links created (in 27.2 seconds) = pre-linking... 190988 links created (in 29.2 seconds) = pre-linking... 190993 links created (in 28.5 seconds) = pre-linking... 190990 links created (in 32.0 seconds) = pre-linking... 190799 links created (in 57.2 seconds) = pre-linking... 190946 links created (in 42.2 seconds) = pre-linking... 190885 links created (in 29.1 seconds) = pre-linking... 190913 links created (in 27.8 seconds) = pre-linking... 190900 links created (in 35.4 seconds) = pre-linking... 190989 links created (in 27.3 seconds) = pre-linking... 190907 links created (in 31.6 seconds) = pre-linking... 190980 links created (in 32.8 seconds) Даже пол минуты-минута для 200К файлов это как-то много. Хотелось бы в 10 раз быстрее. (В это время включено использование ssh find для определения номеров inode на удаленной стороне и локально их преобразование в имена файлов через rocksdb. Как я помню, при тестировании в основном время занимает 2 вызова stat() на zfs).