From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.4.1 (2015-04-28) on sa.local.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-3.4 required=5.0 tests=BAYES_00,DKIM_SIGNED, DKIM_VALID,DKIM_VALID_AU,RP_MATCHES_RCVD,UNPARSEABLE_RELAY autolearn=ham autolearn_force=no version=3.4.1 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1554241249; bh=FfB3uyv/IaugTrkGkn6V4r1vLyPcDbpQbjL88XswMQU=; h=Date:From:To:Subject:References:In-Reply-To; b=kBzSezKzGtbWKJwjYkG0tSpWMeUbOdqvb4NIjUfWkWMG/zdvXf5kjPfqiTH2bKLAa Xgh7Nr7U0qinkmMwNc8WHrdYO3Td1YEIGX3hSv8eIfddwC6KB86NcGRuC5NpFYfPZP EzZTmtkQ/wrLEl7jvYsftJWLvWwGd3hfnYUfq0qk= Date: Wed, 3 Apr 2019 00:40:48 +0300 From: Igor Vlasenko To: ALT Linux Team development discussions Message-ID: <20190402214048.GB12597@dad.imath.kiev.ua> References: <20190319203121.GA8755@dad.imath.kiev.ua> <20190325011409.GA11792@altlinux.org> MIME-Version: 1.0 Content-Type: text/plain; charset=utf-8 Content-Disposition: inline Content-Transfer-Encoding: 8bit In-Reply-To: <20190325011409.GA11792@altlinux.org> User-Agent: Mutt/1.9.1 (2017-09-22) Subject: Re: [devel] overoptimizing hasher X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Tue, 02 Apr 2019 21:40:51 -0000 Archived-At: List-Archive: List-Post: On Mon, Mar 25, 2019 at 04:14:09AM +0300, Dmitry V. Levin wrote: > Тестовая пересборка проводится на снапшоте репозитория, > что создаёт предпосылки для оптимизации. > > Первый hsh --initroot (без кэша) занимает там около 21 сек, > повторные (с кэшом) -- около 10.5 сек. > > Если кэшировать aptbox после initroot, то > повторные hsh --initroot занимают там около 2.3 сек. > > Суммарное время пересборки Сизифа при таком кэшировании получается > примерно на 40 часов меньше, что в теории на нынешнем оборудовании > могло бы сократить время тестовой пересборки примерно на 15 минут. Для меня основное ускорение пересборки получается не из-за этой экономии в 20 сек. с каждой пересборки, а из-за того, что схардлинковав эти кеши, я снижаю потребление hasherом памяти в tmpfs что позволяет запускать больше пересборок параллельно. Было: altair с 32 cores, но мог запустить параллельно только 16-24 параллельно работающих hasherов. Теперь запускаю все 32 hasherа, и еще памяти хватает. ускорился в 32/24=1.5 - 32/16=2 раза, в полтора-два раза! Для beehive такое тоже не помешало бы. -- I V