ALT Linux Team development discussions
 help / color / mirror / Atom feed
* [devel] I: usrmerge
@ 2024-02-02 21:38 Arseny Maslennikov
  2024-02-03  7:46 ` Anton Farygin
  2024-03-16 13:24 ` Arseny Maslennikov
  0 siblings, 2 replies; 34+ messages in thread
From: Arseny Maslennikov @ 2024-02-02 21:38 UTC (permalink / raw)
  To: devel

[-- Attachment #1: Type: text/plain, Size: 8552 bytes --]

Предыдущее обсуждение — в треде:
https://lore.altlinux.org/devel/ZKQaFPEN0qnNWGnz@cello/

Приблизительно 1.5 месяца назад наконец-то появилась возможность
продолжить подготовку. Так как в этой рассылке долго не было
новостей по поводу usrmerge, наверное, уже стоит более подробно
рассказать, каким образом мы собираемся получить пакеты в
Sisyphus, совместимые с новой иерархией корня, и обеспечить
миграцию уже установленных систем.

=== Сначала о пакетах ===
Во-первых, не хотелось бы обновлять сотню пакетов в одной
транзакции с пакетом filesystem, содержащим вместо /bin, /sbin,
... симлинки. Чтобы этого избежать, надо добиться, чтобы пакеты,
кладущие что-либо в эти каталоги (вне %_prefix),
устанавливались и на merged, и на unmerged, и на split[1].
Для этого планируется ввести brp-модуль, который при сборке
пакета, если в %buildroot лежит что-то в соотв. каталогах вне
префикса, создаст копию этого файла в аналогичном месте под
префиксом.
Можно было бы вместо копии делать ссылку, но оказалось, что нет:
* (упакованные в cpio) симлинк поверх файла или файл поверх симлинка нельзя
  установить на merged-usr, т. е. поверх друг друга;
* (упакованные в cpio) хардлинки нельзя установить на
  split-usr-иерархию, потому что они придутся на разные ФС, и
  rpm не сможет их расщепить (изготовить одинаковые inode).
Это позволило снизить количество пакетов с файлами в /bin и
/sbin, для которых потребуются ручные изменения, с 90 до ~20.

[1] https://www.altlinux.org/Usrmerge#%D0%93%D0%BB%D0%BE%D1%81%D1%81%D0%B0%D1%80%D0%B8%D0%B9

Осталось ещё выяснить, требуется ли менять пакеты с разделяемыми
библиотеками и сколько таких пакетов. Поначалу у меня было
впечатление, что из-за проверки duplicate provides на сборочнице
у нас просто нет разных пар файлов вида /lib64/x и /usr/lib64/x,
но оно оказалось ошибочным. В основном это библиотеки или
симлинки на них без .x.x.x-суффикса; часто такие файлы попали
под /%_lib в составе -devel-пакета по ошибке.

Мы ожидаем, что после появления rpm-build с новым brp-модулем в
репозитории немногочисленные исправленные пакеты будут собраны в
Sisyphus в своих индивидуальных заданиях (транзакциях), не
создавая на сборочнице заторов на CI-проверках каждого
подзадания.

Помимо прочего, это означает, что мы не будем убирать из спеков
костыли для переноса файлов в %buildroot из %_bindir в /bin и т.
п., потому что этот код всё ещё не будет мёртвым.

Отключить логику brp-модуля и убрать костыли из скриптов в
спеках станет можно после того, как в среднесрочном будущем мы
прекратим поддержку апгрейда с unmerged-usr-систем (видимо,
через несколько лет). Как минимум стоит поддерживать индуктивное
обновление с pN на pN+1 по мере выхода этих репозиториев.

=== Теперь о миграции ===

После того, как все (допускаю, что за ничтожными исключениями)
пересобираемые пакеты в Sisyphus станут устанавливаться и на
старые иерархии, и на новые, настанет время собрать в
репозиторий пакет filesystem (версией > 3) уже с симлинками
вместо каталогов.

Это самая сложная часть процесса:
* пакеты должны будут пересобираться в merged-иерархии, сейчас
  мы это проверяем вручную;
* чтобы он мог установиться на уже заполненный корень,
  например, в установленную unmerged-систему, симлинки уже
  должны быть расставлены на месте каким-то иным инструментом
  перед тем, как rpm распакует пакет.

Мне известно два метода решения этой задачи: один реализуем точно,
а другой умозрительно.
* Переносить файлы и создать симлинки специальным инструментом[2]
  прямо перед распаковкой пакета filesystem: либо в %pre этого
  пакета, либо в %pretrans. В качестве дополнительной меры
  предохранения попробовать добиться, чтобы filesystem
  в rpm-транзакции стоял позже, чем другие затронутые пакеты.
* (умозрительный способ) Добиться того, чтобы на системах с
  unmerged-иерархией filesystem > 3 не попадал в rpm-транзакцию, а
  специальный инструмент запускать в filetrigger после
  транзакции, когда выяснится (каков критерий?), что все пакеты
  обновлены до версий, подготовленных как описано в предыдущей
  секции, и конфликтов при копировании больше не будет.
Инструмент для слияния сводится к cp -Tal, мерам обеспечения
атомичности замен каталогов на симлинки (файлы по своим путям
должны быть доступны в любой момент времени), вариантам обхода
многочисленных особых случаев в старых пакетах, с которыми сама
команда cp -Tal не справится. При втором методе (в posttrans)
он, в теории, может быть устроен проще, и проще доказать, что
перенос не может сломаться ни при каком состоянии релевантного
поддерева ФС.

[2] https://packages.altlinux.org/en/sisyphus/srpms/usrmerge/

Я пока что предполагаю, что нам придётся пользоваться первым
методом, но не исключаю, что удастся придумать реализацию
второго.

Вот такие пока новости. :)
Страницу на вики я собираюсь обновлять по мере превращения планируемых
действий в уже совершённые, т. е. лучше, чтобы она отражала уже принятые
решения и факты.
Предлагаю обсуждать процесс тут, если есть что обсуждать.

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

^ permalink raw reply	[flat|nested] 34+ messages in thread

end of thread, other threads:[~2024-06-03 12:58 UTC | newest]

Thread overview: 34+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2024-02-02 21:38 [devel] I: usrmerge Arseny Maslennikov
2024-02-03  7:46 ` Anton Farygin
2024-02-03  9:46   ` Arseny Maslennikov
2024-02-03 10:05     ` Anton Farygin
2024-02-03 10:21       ` Антон Мидюков
2024-02-03 10:57         ` Arseny Maslennikov
2024-02-03 14:44           ` Alexey Gladkov
2024-02-03 11:12       ` [devel] possible incompatibilities (was: I: usrmerge) Arseny Maslennikov
2024-02-03 15:58         ` Aleksey Novodvorsky
2024-02-04  7:46         ` [devel] possible incompatibilities Антон Мидюков
2024-02-04 10:30           ` Arseny Maslennikov
2024-02-04 10:45             ` Антон Мидюков
2024-02-04 12:20               ` Arseny Maslennikov
2024-02-04 13:28                 ` Антон Мидюков
2024-02-05  4:42             ` Ildar Mulyukov
2024-02-05  5:10               ` Alexey V. Vissarionov
2024-02-05 13:38               ` Arseny Maslennikov
2024-02-06  7:56                 ` Ildar Mulyukov
2024-02-06  9:36                   ` Arseny Maslennikov
2024-02-16  7:04       ` [devel] I: usrmerge Sergey Afonin
2024-02-16  7:08         ` Антон Мидюков
2024-02-03 10:31   ` Arseny Maslennikov
2024-02-05  5:48     ` Anton Farygin
2024-02-07 15:57     ` [devel] usrmerge: future conflicts in /lib* Arseny Maslennikov
2024-02-03 14:41   ` [devel] I: usrmerge Alexey Gladkov
2024-02-05  5:47     ` Anton Farygin
2024-03-16 13:24 ` Arseny Maslennikov
2024-03-27 12:54   ` Arseny Maslennikov
2024-06-02 21:32     ` Leonid Krivoshein
2024-06-02 22:02       ` Arseny Maslennikov
2024-06-02 22:20         ` Leonid Krivoshein
2024-06-03  3:41           ` Антон Мидюков
2024-06-03  7:54           ` Dmitry V. Levin
2024-06-03 12:58             ` Leonid Krivoshein

ALT Linux Team development discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
		devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
	public-inbox-index devel

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.devel


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git