From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: To: devel@lists.altlinux.org References: <20190319203121.GA8755@dad.imath.kiev.ua> <20190325011409.GA11792@altlinux.org> <20190402214048.GB12597@dad.imath.kiev.ua> From: Anton Farygin Organization: BaseALT Message-ID: Date: Wed, 3 Apr 2019 07:50:59 +0300 User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Thunderbird/60.6.1 MIME-Version: 1.0 In-Reply-To: <20190402214048.GB12597@dad.imath.kiev.ua> Content-Type: text/plain; charset=utf-8 Content-Transfer-Encoding: 8bit Content-Language: ru Subject: Re: [devel] overoptimizing hasher X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Wed, 03 Apr 2019 04:50:59 -0000 Archived-At: List-Archive: List-Post: 03.04.2019 0:40, Igor Vlasenko пишет: > On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote: >> Тестовая пересборка проводится на снапшоте репозитория, >> что создаёт предпосылки для оптимизации. >> >> Первый hsh --initroot (без кэша) занимает там около 21 сек, >> повторные (с кэшом) -- около 10.5 сек. >> >> Если кэшировать aptbox после initroot, то >> повторные hsh --initroot занимают там около 2.3 сек. >> >> Суммарное время пересборки Сизифа при таком кэшировании получается >> примерно на 40 часов меньше, что в теории на нынешнем оборудовании >> могло бы сократить время тестовой пересборки примерно на 15 минут. > Для меня основное ускорение пересборки получается не из-за > этой экономии в 20 сек. с каждой пересборки, > а из-за того, что схардлинковав эти кеши, > я снижаю потребление hasherом памяти в tmpfs > что позволяет запускать больше пересборок параллельно. > > Было: altair с 32 cores, но мог запустить параллельно только > 16-24 параллельно работающих hasherов. > Теперь запускаю все 32 hasherа, и еще памяти хватает. > ускорился в 32/24=1.5 - 32/16=2 раза, > в полтора-два раза! > Для beehive такое тоже не помешало бы. > А можно просто перейти в hasher root на Optane SSD с петабайтным ресурсом. Разницы с tmpfs вы не заметите. https://www.hardwareluxx.ru/index.php/artikel/hardware/storage/44163-intel-optane-ssd-900p-280-gb-3d-xpoint.html?start=2