From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.5 (2008-06-10) on sa.int.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-2.1 required=5.0 tests=AWL,BAYES_00,SPF_PASS autolearn=ham version=3.2.5 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1401734420; bh=N1jC6Ej8aXFVpvueWSioETNVqakkQJEQY7E4UaEFjRE=; h=Date:From:To:Subject; b=UhlJ3Kwc9y/IT7m/a5DqEnd6aevVtvg9AwZTphDKIE/hY+5v87Bd19oSyQ+Ue6/LW zlwR3xntZd1NFi4pxAT7p15B+xOJ9FJVnko7TX9XyZ/AD4+e+rB4oNTXT11OFEl/cw zWUDpGrKhnLG5iYJLBA+QUGUb8XgSq1RzwjQMohU= X-Virus-Scanned: amavisd-new at imath.kiev.ua DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=imath.kiev.ua; s=hydra; t=1401734414; bh=N1jC6Ej8aXFVpvueWSioETNVqakkQJEQY7E4UaEFjRE=; h=Date:From:To:Subject; b=eYL10yMHd5ng08yyX2RVzZ4qhDEJ2/xjMcvrgpmaBaLUlXwvwKUSBLweIP9HJe/0i SwUkiZlr1wCiVCLmZeFMSiGnP/8ait+y9ZoFkjAonBPQpA33v63y5R4KhJaOUqX3Nr cu3B3EzSjqw/nhx9458C3F1e9Fk/DvQrnWZF6AWY= Date: Mon, 2 Jun 2014 21:40:16 +0300 From: Igor Vlasenko To: devel@lists.altlinux.org Message-ID: <20140602184015.GA16185@dad.imath.kiev.ua> MIME-Version: 1.0 Content-Type: text/plain; charset=utf-8 Content-Disposition: inline Content-Transfer-Encoding: 8bit User-Agent: Mutt/1.5.21 (2010-09-15) Subject: [devel] =?utf-8?b?dml5IC0g0LjRgtC+0LPQuCDQstC10YHQvdGLINC4INC/?= =?utf-8?b?0LvQsNC90Ysu?= X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Mon, 02 Jun 2014 18:40:30 -0000 Archived-At: List-Archive: List-Post: Господа, хотел бы отчитаться перед сообществом за апрель-май, а также поделиться планами на будущее. Напомню, пол года у меня была большая нагрузка IRL, которая частично сошла где-то к концу марта, так что я с апреля вновь включился в разработку. Стратегическая задача --- продолжить развертывание кластера автоматизации сборки пакетов. К полноценно работающему fedoraimport нужно доделать mageiaimport, rosaimport, pldimport, suseimport -- там сейчас все упирается в дальнейшую разработку distrodb-utils - для качественного импорта нужны базы distromap-*, соответствий пакетов дистрибутивов. Для fedoraimport такую базу я собрал вручную, но вручную собрать базу и слишком трудоемко, и проблема в том, что она быстро устаревает. Поэтому нужно дожимать distrodb-utils для автоматической генерации баз distromap-*. Аналогично, есть полноценный работающий cpanimport, наработана кодовая база, и можно было бы добавлять к нему друге импортеры исходников, для node.js, ruby, pypy, cabal и т.д. К сожалению, сейчас у меня перегруз уже и с теми пакетами, что есть. В зоне ответственности около 28 тысяч пакетов, это 3-х кратная перегрузка, если считать 10 тыс. пакетов за норму. Это не считая других сервисов, таких как cronbuild, croncopy, cronport, repocop, watch (опять заглючил, сейчас чиню и заодно обновляю), синхронизаторы t6-p6 и t7-p7. Соответственно, фокус при разработке за эти два месяца был направлен на улучшение сопровождаемости пакетов, чтобы уменьшить перегруз. Из тех изменений в инфраструктуре сопровождения пакетов, которые могут быть полезны и другим, можно отметить волшебную команду hsh-install-rich-chroot (устанавливет mc, less, vim, rpm-utils, elf-utils, заполняет .bash_history, и т.д.) набор утилит sourceimport, которые создают готовый пакет из оригинального архива с исходниками, и прототип экспертной системы разбора логов сборки и починки пакетов, который у меня сейчас используется для perl в cpanbuilder. Это и сама по себе удобная вещь, которая позволила значительно снизить нагрузку по сопровождению пакетов perl. За эти 2 месяца, которые я потратил на его обучение, с его помощью удалось дособрать в cpanbuilder (autoimports) более 4 тыс. новых пакетов perl. Но наиболее важным в этой возне с прототипом то, что я на нем прототипировал будущую более универсальную экспертную систему разбора логов пересборки и починки пакетов, которую я хочу потом применить не только к пакетам perl, но и ко всем другим пакетам. Это особенно актуально применительно к java. java репозиторий протух, но, после того, как я обновлю базовые пакеты, мне нужно будет взяться за более существенные обновления. И там, по горькому опыту, сломать репозиторий я сломаю, но починить руками при текущей нагрузке не смогу. Но могу написать робота, который починит этот репозиторий за меня. И он будет основан на разрабатываемой экспертной системе разбора логов пересборки и починки пакетов. Подробнее о разрабатываемой архитектуре напишу отдельным письмом. -- Igor Vlasenko - viy@altlinux.org