[devel] I: usrmerge

* [devel] I: usrmerge
@ 2024-02-02 21:38 Arseny Maslennikov
  2024-02-03  7:46 ` Anton Farygin
  2024-03-16 13:24 ` Arseny Maslennikov
  0 siblings, 2 replies; 28+ messages in thread
From: Arseny Maslennikov @ 2024-02-02 21:38 UTC (permalink / raw)
  To: devel

[-- Attachment #1: Type: text/plain, Size: 8552 bytes --]

Предыдущее обсуждение — в треде:
https://lore.altlinux.org/devel/ZKQaFPEN0qnNWGnz@cello/

Приблизительно 1.5 месяца назад наконец-то появилась возможность
продолжить подготовку. Так как в этой рассылке долго не было
новостей по поводу usrmerge, наверное, уже стоит более подробно
рассказать, каким образом мы собираемся получить пакеты в
Sisyphus, совместимые с новой иерархией корня, и обеспечить
миграцию уже установленных систем.

=== Сначала о пакетах ===
Во-первых, не хотелось бы обновлять сотню пакетов в одной
транзакции с пакетом filesystem, содержащим вместо /bin, /sbin,
... симлинки. Чтобы этого избежать, надо добиться, чтобы пакеты,
кладущие что-либо в эти каталоги (вне %_prefix),
устанавливались и на merged, и на unmerged, и на split[1].
Для этого планируется ввести brp-модуль, который при сборке
пакета, если в %buildroot лежит что-то в соотв. каталогах вне
префикса, создаст копию этого файла в аналогичном месте под
префиксом.
Можно было бы вместо копии делать ссылку, но оказалось, что нет:
* (упакованные в cpio) симлинк поверх файла или файл поверх симлинка нельзя
  установить на merged-usr, т. е. поверх друг друга;
* (упакованные в cpio) хардлинки нельзя установить на
  split-usr-иерархию, потому что они придутся на разные ФС, и
  rpm не сможет их расщепить (изготовить одинаковые inode).
Это позволило снизить количество пакетов с файлами в /bin и
/sbin, для которых потребуются ручные изменения, с 90 до ~20.

[1] https://www.altlinux.org/Usrmerge#%D0%93%D0%BB%D0%BE%D1%81%D1%81%D0%B0%D1%80%D0%B8%D0%B9

Осталось ещё выяснить, требуется ли менять пакеты с разделяемыми
библиотеками и сколько таких пакетов. Поначалу у меня было
впечатление, что из-за проверки duplicate provides на сборочнице
у нас просто нет разных пар файлов вида /lib64/x и /usr/lib64/x,
но оно оказалось ошибочным. В основном это библиотеки или
симлинки на них без .x.x.x-суффикса; часто такие файлы попали
под /%_lib в составе -devel-пакета по ошибке.

Мы ожидаем, что после появления rpm-build с новым brp-модулем в
репозитории немногочисленные исправленные пакеты будут собраны в
Sisyphus в своих индивидуальных заданиях (транзакциях), не
создавая на сборочнице заторов на CI-проверках каждого
подзадания.

Помимо прочего, это означает, что мы не будем убирать из спеков
костыли для переноса файлов в %buildroot из %_bindir в /bin и т.
п., потому что этот код всё ещё не будет мёртвым.

Отключить логику brp-модуля и убрать костыли из скриптов в
спеках станет можно после того, как в среднесрочном будущем мы
прекратим поддержку апгрейда с unmerged-usr-систем (видимо,
через несколько лет). Как минимум стоит поддерживать индуктивное
обновление с pN на pN+1 по мере выхода этих репозиториев.

=== Теперь о миграции ===

После того, как все (допускаю, что за ничтожными исключениями)
пересобираемые пакеты в Sisyphus станут устанавливаться и на
старые иерархии, и на новые, настанет время собрать в
репозиторий пакет filesystem (версией > 3) уже с симлинками
вместо каталогов.

Это самая сложная часть процесса:
* пакеты должны будут пересобираться в merged-иерархии, сейчас
  мы это проверяем вручную;
* чтобы он мог установиться на уже заполненный корень,
  например, в установленную unmerged-систему, симлинки уже
  должны быть расставлены на месте каким-то иным инструментом
  перед тем, как rpm распакует пакет.

Мне известно два метода решения этой задачи: один реализуем точно,
а другой умозрительно.
* Переносить файлы и создать симлинки специальным инструментом[2]
  прямо перед распаковкой пакета filesystem: либо в %pre этого
  пакета, либо в %pretrans. В качестве дополнительной меры
  предохранения попробовать добиться, чтобы filesystem
  в rpm-транзакции стоял позже, чем другие затронутые пакеты.
* (умозрительный способ) Добиться того, чтобы на системах с
  unmerged-иерархией filesystem > 3 не попадал в rpm-транзакцию, а
  специальный инструмент запускать в filetrigger после
  транзакции, когда выяснится (каков критерий?), что все пакеты
  обновлены до версий, подготовленных как описано в предыдущей
  секции, и конфликтов при копировании больше не будет.
Инструмент для слияния сводится к cp -Tal, мерам обеспечения
атомичности замен каталогов на симлинки (файлы по своим путям
должны быть доступны в любой момент времени), вариантам обхода
многочисленных особых случаев в старых пакетах, с которыми сама
команда cp -Tal не справится. При втором методе (в posttrans)
он, в теории, может быть устроен проще, и проще доказать, что
перенос не может сломаться ни при каком состоянии релевантного
поддерева ФС.

[2] https://packages.altlinux.org/en/sisyphus/srpms/usrmerge/

Я пока что предполагаю, что нам придётся пользоваться первым
методом, но не исключаю, что удастся придумать реализацию
второго.

Вот такие пока новости. :)
Страницу на вики я собираюсь обновлять по мере превращения планируемых
действий в уже совершённые, т. е. лучше, чтобы она отражала уже принятые
решения и факты.
Предлагаю обсуждать процесс тут, если есть что обсуждать.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

^ permalink raw reply	[flat|nested] 28+ messages in thread