On Sat, Feb 03, 2024 at 12:38:44AM +0300, Arseny Maslennikov wrote: > === Сначала о пакетах === > > Во-первых, не хотелось бы обновлять сотню пакетов в одной > транзакции с пакетом filesystem, содержащим вместо /bin, /sbin, > ... симлинки. Чтобы этого избежать, надо добиться, чтобы пакеты, > кладущие что-либо в эти каталоги (вне %_prefix), > устанавливались и на merged, и на unmerged, и на split[1]. > Для этого планируется ввести brp-модуль, который при сборке > пакета, если в %buildroot лежит что-то в соотв. каталогах вне > префикса, создаст копию этого файла в аналогичном месте под > префиксом. > Можно было бы вместо копии делать ссылку, но оказалось, что нет: > * (упакованные в cpio) симлинк поверх файла или файл поверх симлинка нельзя > установить на merged-usr, т. е. поверх друг друга; > * (упакованные в cpio) хардлинки нельзя установить на > split-usr-иерархию, потому что они придутся на разные ФС, и > rpm не сможет их расщепить (изготовить одинаковые inode). > Это позволило снизить количество пакетов с файлами в /bin и > /sbin, для которых потребуются ручные изменения, с 90 до ~20. > > [1] https://www.altlinux.org/Usrmerge#%D0%93%D0%BB%D0%BE%D1%81%D1%81%D0%B0%D1%80%D0%B8%D0%B9 Почти реализовано (ждём install checks). https://git.altlinux.org/tasks/327286 Можно коммитить задание, как только будет готово к коммиту и при отсутствии иных возражений. Прошу одобрений от: girar-check-perms: access to rpm-build DENIED for arseny: approved builders list: @core imz at vt girar-check-perms: access to rpm DENIED for arseny: approved builders list: @core at imz vt girar-check-perms: access to gzip DENIED for arseny: approved builders list: @core girar-check-perms: access to coreutils DENIED for arseny: approved builders list: @core girar-check-perms: access to gawk DENIED for arseny: approved builders list: @core girar-check-perms: access to util-linux DENIED for arseny: approved builders list: legion boyarsh @core girar-check-perms: access to findutils DENIED for arseny: approved builders list: @core girar-check-perms: access to bzip2 DENIED for arseny: approved builders list: @core girar-check-perms: access to iputils DENIED for arseny: approved builders list: sem ender girar-check-perms: access to acct DENIED for arseny: approved builders list: @core @qa girar-check-perms: access to chrooted DENIED for arseny: approved builders list: @core girar-check-perms: access to genromfs DENIED for arseny: approved builders list: @core girar-check-perms: access to kbd DENIED for arseny: approved builders list: legion @core glebfm@ помог провести тестовую пересборку репозитория, получающегося из этого задания, которая помогла выявить и исправить 2 ошибки. 5 новых пакетов не пересобрались по каким-то своим причинам; в окружении задания выше они пересобрались. > Мы ожидаем, что после появления rpm-build с новым brp-модулем в > репозитории немногочисленные исправленные пакеты будут собраны в > Sisyphus в своих индивидуальных заданиях (транзакциях), не > создавая на сборочнице заторов на CI-проверках каждого > подзадания. > > === Теперь о миграции === Как только закоммитим задание выше, можно будет приступать к тому, что ниже. Думаю, понадобится тестовая пересборка с filesystem 3, чтобы узнать про будущие вероятные проблемы, которые ещё не выскочили. > После того, как все (допускаю, что за ничтожными исключениями) > пересобираемые пакеты в Sisyphus станут устанавливаться и на > старые иерархии, и на новые, настанет время собрать в > репозиторий пакет filesystem (версией > 3) уже с симлинками > вместо каталогов. > > Это самая сложная часть процесса: > * пакеты должны будут пересобираться в merged-иерархии, сейчас > мы это проверяем вручную; > * чтобы он мог установиться на уже заполненный корень, > например, в установленную unmerged-систему, симлинки уже > должны быть расставлены на месте каким-то иным инструментом > перед тем, как rpm распакует пакет. > > Мне известно два метода решения этой задачи: один реализуем точно, > а другой умозрительно. > * Переносить файлы и создать симлинки специальным инструментом[2] > прямо перед распаковкой пакета filesystem: либо в %pre этого > пакета, либо в %pretrans. В качестве дополнительной меры > предохранения попробовать добиться, чтобы filesystem > в rpm-транзакции стоял позже, чем другие затронутые пакеты. > * (умозрительный способ) Добиться того, чтобы на системах с > unmerged-иерархией filesystem > 3 не попадал в rpm-транзакцию, а > специальный инструмент запускать в filetrigger после > транзакции, когда выяснится (каков критерий?), что все пакеты > обновлены до версий, подготовленных как описано в предыдущей > секции, и конфликтов при копировании больше не будет. > Инструмент для слияния сводится к cp -Tal, мерам обеспечения > атомичности замен каталогов на симлинки (файлы по своим путям > должны быть доступны в любой момент времени), вариантам обхода > многочисленных особых случаев в старых пакетах, с которыми сама > команда cp -Tal не справится. При втором методе (в posttrans) > он, в теории, может быть устроен проще, и проще доказать, что > перенос не может сломаться ни при каком состоянии релевантного > поддерева ФС. > > [2] https://packages.altlinux.org/en/sisyphus/srpms/usrmerge/ > > Я пока что предполагаю, что нам придётся пользоваться первым > методом, но не исключаю, что удастся придумать реализацию > второго. > > Предлагаю обсуждать процесс тут, если есть что обсуждать.