Re: [devel] I: usrmerge

[Arseny Maslennikov <arseny@altlinux.org>]

[-- Attachment #1: Type: text/plain, Size: 8408 bytes --]

On Sat, Feb 03, 2024 at 12:38:44AM +0300, Arseny Maslennikov wrote:
> === Сначала о пакетах ===
> 
> Во-первых, не хотелось бы обновлять сотню пакетов в одной
> транзакции с пакетом filesystem, содержащим вместо /bin, /sbin,
> ... симлинки. Чтобы этого избежать, надо добиться, чтобы пакеты,
> кладущие что-либо в эти каталоги (вне %_prefix),
> устанавливались и на merged, и на unmerged, и на split[1].
> Для этого планируется ввести brp-модуль, который при сборке
> пакета, если в %buildroot лежит что-то в соотв. каталогах вне
> префикса, создаст копию этого файла в аналогичном месте под
> префиксом.
> Можно было бы вместо копии делать ссылку, но оказалось, что нет:
> * (упакованные в cpio) симлинк поверх файла или файл поверх симлинка нельзя
>   установить на merged-usr, т. е. поверх друг друга;
> * (упакованные в cpio) хардлинки нельзя установить на
>   split-usr-иерархию, потому что они придутся на разные ФС, и
>   rpm не сможет их расщепить (изготовить одинаковые inode).
> Это позволило снизить количество пакетов с файлами в /bin и
> /sbin, для которых потребуются ручные изменения, с 90 до ~20.
> 
> [1] https://www.altlinux.org/Usrmerge#%D0%93%D0%BB%D0%BE%D1%81%D1%81%D0%B0%D1%80%D0%B8%D0%B9

Почти реализовано (ждём install checks).
https://git.altlinux.org/tasks/327286
Можно коммитить задание, как только будет готово к коммиту и при
отсутствии иных возражений.

Прошу одобрений от:
girar-check-perms: access to rpm-build DENIED for arseny: approved builders list: @core imz at vt
girar-check-perms: access to rpm DENIED for arseny: approved builders list: @core at imz vt
girar-check-perms: access to gzip DENIED for arseny: approved builders list: @core 
girar-check-perms: access to coreutils DENIED for arseny: approved builders list: @core 
girar-check-perms: access to gawk DENIED for arseny: approved builders list: @core 
girar-check-perms: access to util-linux DENIED for arseny: approved builders list: legion boyarsh @core
girar-check-perms: access to findutils DENIED for arseny: approved builders list: @core 
girar-check-perms: access to bzip2 DENIED for arseny: approved builders list: @core 
girar-check-perms: access to iputils DENIED for arseny: approved builders list: sem ender
girar-check-perms: access to acct DENIED for arseny: approved builders list: @core @qa
girar-check-perms: access to chrooted DENIED for arseny: approved builders list: @core 
girar-check-perms: access to genromfs DENIED for arseny: approved builders list: @core 
girar-check-perms: access to kbd DENIED for arseny: approved builders list: legion @core

glebfm@ помог провести тестовую пересборку репозитория, получающегося из
этого задания, которая помогла выявить и исправить 2 ошибки. 5 новых
пакетов не пересобрались по каким-то своим причинам; в окружении задания
выше они пересобрались.

> Мы ожидаем, что после появления rpm-build с новым brp-модулем в
> репозитории немногочисленные исправленные пакеты будут собраны в
> Sisyphus в своих индивидуальных заданиях (транзакциях), не
> создавая на сборочнице заторов на CI-проверках каждого
> подзадания.
> 
> === Теперь о миграции ===

Как только закоммитим задание выше, можно будет приступать к тому, что
ниже.
Думаю, понадобится тестовая пересборка с filesystem 3, чтобы узнать про
будущие вероятные проблемы, которые ещё не выскочили.

> После того, как все (допускаю, что за ничтожными исключениями)
> пересобираемые пакеты в Sisyphus станут устанавливаться и на
> старые иерархии, и на новые, настанет время собрать в
> репозиторий пакет filesystem (версией > 3) уже с симлинками
> вместо каталогов.
> 
> Это самая сложная часть процесса:
> * пакеты должны будут пересобираться в merged-иерархии, сейчас
>   мы это проверяем вручную;
> * чтобы он мог установиться на уже заполненный корень,
>   например, в установленную unmerged-систему, симлинки уже
>   должны быть расставлены на месте каким-то иным инструментом
>   перед тем, как rpm распакует пакет.
> 
> Мне известно два метода решения этой задачи: один реализуем точно,
> а другой умозрительно.
> * Переносить файлы и создать симлинки специальным инструментом[2]
>   прямо перед распаковкой пакета filesystem: либо в %pre этого
>   пакета, либо в %pretrans. В качестве дополнительной меры
>   предохранения попробовать добиться, чтобы filesystem
>   в rpm-транзакции стоял позже, чем другие затронутые пакеты.
> * (умозрительный способ) Добиться того, чтобы на системах с
>   unmerged-иерархией filesystem > 3 не попадал в rpm-транзакцию, а
>   специальный инструмент запускать в filetrigger после
>   транзакции, когда выяснится (каков критерий?), что все пакеты
>   обновлены до версий, подготовленных как описано в предыдущей
>   секции, и конфликтов при копировании больше не будет.
> Инструмент для слияния сводится к cp -Tal, мерам обеспечения
> атомичности замен каталогов на симлинки (файлы по своим путям
> должны быть доступны в любой момент времени), вариантам обхода
> многочисленных особых случаев в старых пакетах, с которыми сама
> команда cp -Tal не справится. При втором методе (в posttrans)
> он, в теории, может быть устроен проще, и проще доказать, что
> перенос не может сломаться ни при каком состоянии релевантного
> поддерева ФС.
> 
> [2] https://packages.altlinux.org/en/sisyphus/srpms/usrmerge/
> 
> Я пока что предполагаю, что нам придётся пользоваться первым
> методом, но не исключаю, что удастся придумать реализацию
> второго.
> 
> Предлагаю обсуждать процесс тут, если есть что обсуждать.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]