[devel] viy - итоги весны и планы.

[devel] viy - итоги весны и планы.

[Igor Vlasenko]

Господа,

хотел бы отчитаться перед сообществом за апрель-май, 
а также поделиться планами на будущее.

Напомню, пол года у меня была большая нагрузка IRL, 
которая частично сошла где-то к концу марта,
так что я с апреля вновь включился в разработку.

Стратегическая задача --- продолжить развертывание кластера
автоматизации сборки пакетов.

К полноценно работающему fedoraimport нужно доделать
mageiaimport, rosaimport, pldimport, suseimport --
там сейчас все упирается в дальнейшую разработку 
distrodb-utils - для качественного импорта нужны базы distromap-*,
соответствий пакетов дистрибутивов. Для fedoraimport
такую базу я собрал вручную, но вручную собрать базу и слишком
трудоемко, и проблема в том, что она быстро устаревает.
Поэтому нужно дожимать distrodb-utils для автоматической генерации
баз distromap-*.

Аналогично, есть полноценный работающий cpanimport, наработана 
кодовая база, и можно было бы добавлять к нему друге импортеры
исходников, для node.js, ruby, pypy, cabal и т.д.

К сожалению, сейчас у меня перегруз уже и с теми пакетами, что есть.
В зоне ответственности около 28 тысяч пакетов, это 3-х кратная 
перегрузка, если считать 10 тыс. пакетов за норму.
Это не считая других сервисов, таких как cronbuild, croncopy,
cronport, repocop, watch (опять заглючил, сейчас чиню и заодно
обновляю), синхронизаторы t6-p6 и t7-p7.

Соответственно, фокус при разработке за эти два месяца был направлен
на улучшение сопровождаемости пакетов, чтобы уменьшить перегруз.
Из тех изменений в инфраструктуре сопровождения пакетов, которые 
могут быть полезны и другим, можно отметить волшебную команду 
hsh-install-rich-chroot (устанавливет mc, less, vim, rpm-utils,
elf-utils, заполняет .bash_history, и т.д.)
набор утилит sourceimport, которые создают готовый пакет из 
оригинального архива с исходниками,
и прототип экспертной системы разбора логов сборки и починки пакетов,
который у меня сейчас используется для perl в cpanbuilder.

Это и сама по себе удобная вещь, которая позволила значительно
снизить нагрузку по сопровождению пакетов perl.
За эти 2 месяца, которые я потратил на его обучение, с его 
помощью удалось дособрать в cpanbuilder (autoimports)
более 4 тыс. новых пакетов perl.

Но наиболее важным в этой возне с прототипом то, что 
я на нем прототипировал будущую более универсальную
экспертную систему разбора логов пересборки и починки пакетов,
которую я хочу потом применить не только к пакетам perl,
но и ко всем другим пакетам.

Это особенно актуально применительно к java. java репозиторий
протух, но, после того, как я обновлю базовые пакеты,
мне нужно будет взяться за более существенные обновления.
И там, по горькому опыту, сломать репозиторий я сломаю,
но починить руками при текущей нагрузке не смогу.
Но могу написать робота, который починит этот репозиторий за
меня. И он будет основан на разрабатываемой экспертной системе разбора
логов пересборки и починки пакетов.

Подробнее о разрабатываемой архитектуре напишу отдельным письмом.


-- 

Igor Vlasenko - viy@altlinux.org

Re: [devel] viy - итоги весны и планы.

[Андрей Черепанов]

02.06.2014 22:40, Igor Vlasenko пишет:
> Господа,
> 
> хотел бы отчитаться перед сообществом за апрель-май, 
> а также поделиться планами на будущее.
> 
> Напомню, пол года у меня была большая нагрузка IRL, 
> которая частично сошла где-то к концу марта,
> так что я с апреля вновь включился в разработку.
> 
> Стратегическая задача --- продолжить развертывание кластера
> автоматизации сборки пакетов.
Игорь, я бы и о людях посоветовал не забывать. Пересобираемые роботами
пакеты - неплохо, но вот с локальной оснасткой для мейнтейнеров у нас
нерадужно. Особенно для начинающих.

Хорошо бы заиметь аналог http://upstream-tracker.org/updates/rosa/2012/
и локальные проверялки (без тормознутого rpm-uscan у ужасных watch-файлов).

Чтобы add_changelog/vim-plugin-spec_alt-ftplugin вставлял версию без
портянки с сообщением об отсуствующих макросах.

Чтобы cronbuild работал и с src.rpm, а не только git. Чтобы srpmbackport
элементарно сообщал об отсутствующем файле спека, а не вываливался с
портянкой невменяемого сообщения.

Может, обсудить предложения оп локальной и инфраструктурной оснастке,
которая могла бы быть полезна?

-- 
Андрей Черепанов
ALT Linux
cas@altlinux.ru

Re: [devel] viy - итоги весны и планы.

[Igor Vlasenko]

On Tue, Jun 03, 2014 at 11:23:12AM +0400, Андрей Черепанов wrote:
> Игорь, я бы и о людях посоветовал не забывать. Пересобираемые роботами
> пакеты - неплохо, но вот с локальной оснасткой для мейнтейнеров у нас
> нерадужно. Особенно для начинающих.

> Может, обсудить предложения оп локальной и инфраструктурной оснастке,
> которая могла бы быть полезна?

Да, предложения стоит обсудить.
 
> Хорошо бы заиметь аналог http://upstream-tracker.org/updates/rosa/2012/
> и локальные проверялки (без тормознутого rpm-uscan у ужасных watch-файлов).

Это почти автоматом появится, когда дожму distromap-utils.
Собственно, поскольку будет база distromap для соответствий
alt<->rosa, то upstream-tracker можно будет прикрутить к 
watch.altlinux.org.
Без базы distromap получилось бы что-то вроде mib-report,
с несрабатываниями где имена пакетов различаются и с ложными срабатываниями,
где разные пакеты названы одинаково.

С точки зрения watch.altlinux.org стоит, наверное, 
с distromap-utils поднапрячься, чтобы уже доделать сервис.

> Чтобы add_changelog/vim-plugin-spec_alt-ftplugin вставлял версию без
> портянки с сообщением об отсуствующих макросах.

портянку можно убрать 2>/dev/null, а вот бывают
ситуации, когда add_changelog просто не отрабатывает.

для такого могу добавить опцию к srpmtool
srpmtool --add-ch(angelog) --ch '- changes' some.spec

Еще напомню, для случаев, когда rpmbuild -bs --nodeps 
не отрабатывает, у меня есть утилита hashertarbuild.

Если вызвать ее как
hashertarbuild -bs some.spec
то утилита сначала пытается выполнить rpmbuild -bs --nodeps.
если получилось, создался src.rpm.
если же rpmbuild -bs --nodeps упал, то
hashertarbuild пишет hasher tar, т.е. специальный tar,
на который можно запустить hsh вместо src.rpm и он
пересоберется.


> Чтобы srpmbackport
> элементарно сообщал об отсутствующем файле спека, а не вываливался с
> портянкой невменяемого сообщения.

У меня уже глаз замылен, присылайте образцы, буду чинить.

> Чтобы cronbuild работал и с src.rpm, а не только git. 

Руки не доходят :( работы много, а пользователей
и пакетов там скорее всего будет мало.
на том же cronbuild есть 5 активных пользователей.
к примеру, руби кажется гораздо более нужным.

-- 

I.V.

Re: [devel] viy - итоги весны и планы.

[Андрей Черепанов]

03.06.2014 21:53, Igor Vlasenko пишет:
>> Чтобы srpmbackport
>> элементарно сообщал об отсутствующем файле спека, а не вываливался с
>> портянкой невменяемого сообщения.
> 
> У меня уже глаз замылен, присылайте образцы, буду чинить.
Прошу прощения, старая версия оказалась. В новой всё нормально.

-- 
Андрей Черепанов
ALT Linux
cas@altlinux.ru