[devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Дмитрий]

Здравствуйте, хотел бы вернуться к теме обсуждения атомарного образа и 
базы пакетов ALT.

Для начала хотел бы рассказать о проделанной работе для атомарного образа:

1. Мы сделали простой сборщик который полностью собирает live ISO с 
помощью mkimage-profiles на github, итоговый файл отправляется в облако 
yandex и остаётся как артефакт внутри github, полная автоматизация, 
сборщик запускается каждую неделю или по требованию

https://github.com/alt-atomic/atomic-distro-builder

https://storage.yandexcloud.net/atomic-iso/regular-gnome-atomic-20250401-x86_64.iso


2.  GUI Установщик который запускается внутри live-образа, умеет 
устанавливать любые атомарные образы на базе ALT, в качестве источника 
он вытягивает образ из облака по ссылке.

https://github.com/alt-atomic/atomic-installer


3. Cам образ на базе GNOME, есть так же для KDE но пока не довели его до 
ума.

https://github.com/alt-gnome/alt-atomic


4. APM (Atomic Package Manager) пакетный менеджер который умеет работать 
с атомарным дистрибутивом на базе bootc (в обычной системе тоже работает)

Основная идея заключается в том, что APM берет на себя всю специфичную 
работу с образами и пакетами, предоставляя удобные внешние команды для 
взаимодействия. Он поддерживает работу с пакетами из различных 
источников: репозитории ALT (взаимодействие через 
apt-get/rpm/apt-cache), distrobox, alr, а также умеет извлекать иконки 
из директории swcat.

APM использует собственную базу данных, которую синхронизирует из разных 
источников, благодаря чему поиск и фильтрация пакетов осуществляются 
очень быстро. Все методы доступны как через консоль, так и через D-Bus. 
Вся служебная информация и ошибки скрыты за внутренними абстракциями; в 
выводе отсутствует лишняя информация, предоставляется только json или 
форматированный текст (формат вывода опционален).

Изначально APM спроектирован как сервис для взаимодействия через D-Bus, 
а консольный интерфейс является дополнительным бонусов. В настоящий 
момент один из разработчиков занимается созданием интерфейса к 
приложению на языке Vala.

https://github.com/alt-atomic/apm


Предложение относительно улучшения пакетной базы ALT Sisyphus.

В настоящее время в спеках редко используются декларативные подходы, 
такие как systemd-tmpfiles и systemd-sysusers (я знаю что с ним особые 
проблемы), хотя именно они необходимы для полноценной поддержки 
атомарных образов. Отсутствие этих декларативов вынуждает нас применять 
очень страшные хаки для поддержания синхронизации, что усложняет процесс 
и снижает надёжность.

Я думал над тем как я могу в этом помочь и меня посетила следующая идея:

Что если сделать приложение/сайт которое будут анализировать все спек 
файлы в репозитории, находить там старые/давно не обновляемые пакеты или 
пакеты которые например не применяют подход systemd-tmpfiles помечать их 
и в удобной форме отображать списком? Я думаю что можно придумать 
множество разных фильтров которые потенциально помогут привести базу 
пакетов к единому виду/формату. Как Вы смотрите на эту идею? Может быть 
уже есть аналогичное решение? Это было бы полезно или в этом нет смысла ?

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Leonid Krivoshein]

Добрый день!


On 4/1/25 23:22, Дмитрий wrote:
> Что если сделать приложение/сайт которое будут анализировать все спек 
> файлы в репозитории, находить там старые/давно не обновляемые пакеты 
> или пакеты которые например не применяют подход systemd-tmpfiles 
> помечать их и в удобной форме отображать списком?

Все спеки во всех репозиториях: https://github.com/altlinux/specs/

Сайт https://packages.altlinux.org/en/sisyphus/ берёт данные с бэкенда 
https://rdb.altlinux.org/api/, который тесно интегрирован со 
сборочницей, данные в формате JSON с него можно тянуть через 
самоописываемый API swagger.


-- 
WBR, Leonid Krivoshein.

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Leonid Krivoshein]

On 4/2/25 01:39, Leonid Krivoshein wrote:
> Добрый день!
>
>
> On 4/1/25 23:22, Дмитрий wrote:
>> Что если сделать приложение/сайт которое будут анализировать все спек 
>> файлы в репозитории, находить там старые/давно не обновляемые пакеты 
>> или пакеты которые например не применяют подход systemd-tmpfiles 
>> помечать их и в удобной форме отображать списком?
>
> Все спеки во всех репозиториях: https://github.com/altlinux/specs/
>
> Сайт https://packages.altlinux.org/en/sisyphus/ берёт данные с бэкенда 
> https://rdb.altlinux.org/api/, который тесно интегрирован со 
> сборочницей, данные в формате JSON с него можно тянуть через 
> самоописываемый API swagger.
>

Пример использования (p10/systemd):

curl -X GET -H 'accept: application/json' \
'https://rdb.altlinux.org/api/package/specfile_by_name?branch=p10&name=systemd' 
|
   jq -r .specfile_content |base64 -d |highlight -S spec -O xterm256 
|less -r

(должны быть установлены curl, jq и highlight).


-- 
WBR, Leonid Krivoshein.

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Anton Farygin]

On 4/1/25 23:22, Дмитрий wrote:
> Что если сделать приложение/сайт которое будут анализировать все спек 
> файлы в репозитории, находить там старые/давно не обновляемые пакеты 
> или пакеты которые например не применяют подход systemd-tmpfiles 
> помечать их и в удобной форме отображать списком? Я думаю что можно 
> придумать множество разных фильтров которые потенциально помогут 
> привести базу пакетов к единому виду/формату. Как Вы смотрите на эту 
> идею? Может быть уже есть аналогичное решение? Это было бы полезно или 
> в этом нет смысла ? 

Отличная идея.

сам сайт уже есть, нужно сделать анализатор спек-файлов и добавлять их в 
список для исправлений.

Исходники сайта и движка открыты, можно присоединиться к разработке.

https://packages.altlinux.org/ru/sisyphus/

сами спеки лучше брать из github, а результаты анализа добавлять в СУБД 
clickhouse

Но вообще конечно эту тему лучше обсудить в рассылке devel@

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Alexey Shabalin]

вт, 1 апр. 2025 г. в 23:22, Дмитрий <dmitry@udalov.online>:
>
> Здравствуйте, хотел бы вернуться к теме обсуждения атомарного образа и
> базы пакетов ALT.
>
> Для начала хотел бы рассказать о проделанной работе для атомарного образа:
>
> 1. Мы сделали простой сборщик который полностью собирает live ISO с
> помощью mkimage-profiles на github, итоговый файл отправляется в облако
> yandex и остаётся как артефакт внутри github, полная автоматизация,
> сборщик запускается каждую неделю или по требованию
>
> https://github.com/alt-atomic/atomic-distro-builder
>
> https://storage.yandexcloud.net/atomic-iso/regular-gnome-atomic-20250401-x86_64.iso
>
>
> 2.  GUI Установщик который запускается внутри live-образа, умеет
> устанавливать любые атомарные образы на базе ALT, в качестве источника
> он вытягивает образ из облака по ссылке.
>
> https://github.com/alt-atomic/atomic-installer
>
>
> 3. Cам образ на базе GNOME, есть так же для KDE но пока не довели его до
> ума.
>
> https://github.com/alt-gnome/alt-atomic
>
>
> 4. APM (Atomic Package Manager) пакетный менеджер который умеет работать
> с атомарным дистрибутивом на базе bootc (в обычной системе тоже работает)
>
> Основная идея заключается в том, что APM берет на себя всю специфичную
> работу с образами и пакетами, предоставляя удобные внешние команды для
> взаимодействия. Он поддерживает работу с пакетами из различных
> источников: репозитории ALT (взаимодействие через
> apt-get/rpm/apt-cache), distrobox, alr, а также умеет извлекать иконки
> из директории swcat.
>
> APM использует собственную базу данных, которую синхронизирует из разных
> источников, благодаря чему поиск и фильтрация пакетов осуществляются
> очень быстро. Все методы доступны как через консоль, так и через D-Bus.
> Вся служебная информация и ошибки скрыты за внутренними абстракциями; в
> выводе отсутствует лишняя информация, предоставляется только json или
> форматированный текст (формат вывода опционален).
>
> Изначально APM спроектирован как сервис для взаимодействия через D-Bus,
> а консольный интерфейс является дополнительным бонусов. В настоящий
> момент один из разработчиков занимается созданием интерфейса к
> приложению на языке Vala.
>
> https://github.com/alt-atomic/apm
>
>
> Предложение относительно улучшения пакетной базы ALT Sisyphus.
>
> В настоящее время в спеках редко используются декларативные подходы,
> такие как systemd-tmpfiles и systemd-sysusers (я знаю что с ним особые
> проблемы), хотя именно они необходимы для полноценной поддержки
> атомарных образов. Отсутствие этих декларативов вынуждает нас применять
> очень страшные хаки для поддержания синхронизации, что усложняет процесс
> и снижает надёжность.
>
> Я думал над тем как я могу в этом помочь и меня посетила следующая идея:
>
> Что если сделать приложение/сайт которое будут анализировать все спек
> файлы в репозитории, находить там старые/давно не обновляемые пакеты или
> пакеты которые например не применяют подход systemd-tmpfiles помечать их
> и в удобной форме отображать списком? Я думаю что можно придумать
> множество разных фильтров которые потенциально помогут привести базу
> пакетов к единому виду/формату. Как Вы смотрите на эту идею? Может быть
> уже есть аналогичное решение? Это было бы полезно или в этом нет смысла ?

Возможно поможет repocop.
Например есть таеой тест:
https://repocop.altlinux.org/pub/repocop/reports/txt/by-test/subdir-in-var-run.txt

-- 
Alexey Shabalin

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Дмитрий]

Да, repocop я думаю может делать очень много всего для анализа пакетов, 
изначально я не знал о его существования, а он ведь уже и с сайтом 
интегрирован. Я немного изучил разные решения и обнаружил например такой 
консольный софт: https://github.com/essentialkaos/perfecto

Тогда не буду дальше выдумывать костыли раз уже есть хорошее решение, 
дело осталось за тем что бы решить хочет ли ALT активно добавлять 
поддержку systemd-tmpfiles затем добавить нужный фильтр и попросить его 
соблюдать )

03.04.2025 16:27, Alexey Shabalin пишет:
> Возможно поможет repocop

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Anton Farygin]

Только в любом случае это лучше в devel@ перенести, многие ментейнеры не 
знаю о существовании рассылки devel-distro@

On 4/3/25 14:23, Дмитрий wrote:
> Да, repocop я думаю может делать очень много всего для анализа 
> пакетов, изначально я не знал о его существования, а он ведь уже и с 
> сайтом интегрирован. Я немного изучил разные решения и обнаружил 
> например такой консольный софт: https://github.com/essentialkaos/perfecto
>
> Тогда не буду дальше выдумывать костыли раз уже есть хорошее решение, 
> дело осталось за тем что бы решить хочет ли ALT активно добавлять 
> поддержку systemd-tmpfiles затем добавить нужный фильтр и попросить 
> его соблюдать )
>
> 03.04.2025 16:27, Alexey Shabalin пишет:
>> Возможно поможет repocop
> _______________________________________________
> devel-distro mailing list
> devel-distro@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel-distro

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Anton Midyukov]

03.04.2025 14:27, Anton Farygin пишет:
> Только в любом случае это лучше в devel@ перенести, многие ментейнеры не знаю о существовании рассылки devel-distro@
> 

Дмитрий не в ALT Linux Team, поэтому он не может туда написать.

> On 4/3/25 14:23, Дмитрий wrote:
>> Да, repocop я думаю может делать очень много всего для анализа пакетов, изначально я не знал о его существования, а он ведь уже и с сайтом интегрирован. Я немного изучил разные решения и обнаружил например такой консольный софт: https://github.com/essentialkaos/perfecto
>>
>> Тогда не буду дальше выдумывать костыли раз уже есть хорошее решение, дело осталось за тем что бы решить хочет ли ALT активно добавлять поддержку systemd-tmpfiles затем добавить нужный фильтр и попросить его соблюдать )
>>
>> 03.04.2025 16:27, Alexey Shabalin пишет:
>>> Возможно поможет repocop
>> _______________________________________________
>> devel-distro mailing list
>> devel-distro@lists.altlinux.org
>> https://lists.altlinux.org/mailman/listinfo/devel-distro
> 
> 
> _______________________________________________
> devel-distro mailing list
> devel-distro@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel-distro

-- 
best regards, Anton Midyukov <antohami@altlinux.org>

Re: [devel-distro] Отчёт об атомарном образе и предложение для улучшения пакетной базы

[Anton Farygin]

On 4/3/25 14:29, Anton Midyukov wrote:
> 03.04.2025 14:27, Anton Farygin пишет:
>> Только в любом случае это лучше в devel@ перенести, многие ментейнеры не знаю о существовании рассылки devel-distro@
>>
> Дмитрий не в ALT Linux Team, поэтому он не может туда написать.

Я готов быть ментором при вступлении.