[devel] Спасём python3 вместе! (действительно) - Stable ABI

[devel] Спасём python3 вместе! (действительно) - Stable ABI

[Anton Zhukharev]

[-- Attachment #1: Type: text/plain, Size: 3523 bytes --]

Всем привет!

Последние таски по обновлению Python выглядят пугающее: объем
пересобираемых пакетов невероятно огромный и постоянно растет из-за чего
обновление самого Python в Sisyphus происходит дольше, чем в апстриме...

Я прошу обратить внимание на эту проблему куда большую часть сообщества
и принять хоть какое-нибудь решение, которое не оставит все как есть.

А под "хоть какое-нибудь решение" я имею ввиду единственное, на данный
момент предложенное. Читать тут:
https://bugzilla.altlinux.org/show_bug.cgi?id=55340#c5
https://bugzilla.altlinux.org/56201

Сейчас чуть подробнее введу в курс (небольшая, но важная выжимка из
https://docs.python.org/3/c-api/stable.html).

* Stable ABI — это набор символов в CPython, которые остаются бинарно-
  совместимыми для различных минорных версий Python 3.X. Экстеншн,
  собранный под Stable ABI (и правильно использующий Limited API),
  должен работать без пересборки на всех минорных версиях Python,
  начиная с той, для которой он был скомпилирован.
  Такие модули часто имеют в имени файла тег abi3
  (например, mymodule.abi3.so)

* Limited C API — это подмножество C API Python, использование
  которого гарантирует совместимость с Stable ABI.

* Интерпретатор Python не проверяет, действительно ли модуль с тегом
  abi3 соответствует Stable ABI. Ответственность за обеспечение
  корректности лежит на мейнтейнере.

В Sisyphus сейчас есть модули с тэгом abi3 (будем надеятся, что они
соблюдают Stable ABI) и собранные для конкретной минорной версии
Python. Текущая идея сборки компилируемых модулей заключается в том,
чтобы везде ставить зависимость на %python3_ABI_dep. Естественно, это
приводит к тому, что у нас сейчас при обновлении Python мучается один
бедный grenka, а все сидят и смотрят на это в ожидании окончания
(кто-то даже успевает продлять ему муки).

В общем, идея решения заключается в том, чтобы для модулей, собираемых
под Stable ABI эту зависимость не генерировать и как-нибудь проверять,
что там действительно Stable ABI. Для этого есть инструмент abi3audit,
собираемый в этом задании: https://packages.altlinux.org/tasks/396283

-- 
Anton Zhukharev
ALT Linux Team

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] Спасём python3 вместе! (действительно) - Stable ABI

[Grigory Ustinov]

02.10.2025 16:44, Anton Zhukharev пишет:
> Всем привет!
>
> Последние таски по обновлению Python выглядят пугающее: объем
> пересобираемых пакетов невероятно огромный и постоянно растет из-за чего
> обновление самого Python в Sisyphus происходит дольше, чем в апстриме...
Меня объём пересобираемых пакетов не пугает. Обновление самого Python в 
Sisyphus происходит дольше по абсолютно другим причинам.
> Я прошу обратить внимание на эту проблему куда большую часть сообщества
> и принять хоть какое-нибудь решение, которое не оставит все как есть.
>
> А под "хоть какое-нибудь решение" я имею ввиду единственное, на данный
> момент предложенное.
Вот из-за таких "хоть каких-нибудь решений" обновление Python и затянулось.
> В Sisyphus сейчас есть модули с тэгом abi3 (будем надеятся, что они
> соблюдают Stable ABI) и собранные для конкретной минорной версии
> Python. Текущая идея сборки компилируемых модулей заключается в том,
> чтобы везде ставить зависимость на %python3_ABI_dep. Естественно, это
> приводит к тому, что у нас сейчас при обновлении Python мучается один
> бедный grenka, а все сидят и смотрят на это в ожидании окончания
> (кто-то даже успевает продлять ему муки).
>
> В общем, идея решения заключается в том, чтобы для модулей, собираемых
> под Stable ABI эту зависимость не генерировать и как-нибудь проверять,
> что там действительно Stable ABI. Для этого есть инструмент abi3audit,
> собираемый в этом задании: https://packages.altlinux.org/tasks/396283
Я правильно понимаю, что всё что выше написано касается всего 38 пакетов?

Re: [devel] Спасём python3 вместе! (действительно) - Stable ABI

[Anton Zhukharev]

[-- Attachment #1: Type: text/plain, Size: 3682 bytes --]

On Thu, Oct 02, 2025 at 10:45:34PM +0300, Grigory Ustinov wrote:
> 02.10.2025 16:44, Anton Zhukharev пишет:
> > Всем привет!
> >
> > Последние таски по обновлению Python выглядят пугающее: объем
> > пересобираемых пакетов невероятно огромный и постоянно растет из-за чего
> > обновление самого Python в Sisyphus происходит дольше, чем в апстриме...
> Меня объём пересобираемых пакетов не пугает. Обновление самого Python в 
> Sisyphus происходит дольше по абсолютно другим причинам.
Не всем нравится сидеть и ждать (уже) годами, пока вы обновите Python до
следующей минорной версии, поскольку текущему образу сборки обязательно
требуется фриз сборочницы.

Перечислите все причины, которые, по вашему утверждению, затягивают
обновление.
> > Я прошу обратить внимание на эту проблему куда большую часть сообщества
> > и принять хоть какое-нибудь решение, которое не оставит все как есть.
> >
> > А под "хоть какое-нибудь решение" я имею ввиду единственное, на данный
> > момент предложенное.
> Вот из-за таких "хоть каких-нибудь решений" обновление Python и затянулось.
Да, поэтому текущее подобное решение в Sisyphus и предлагается изменить.
> > В Sisyphus сейчас есть модули с тэгом abi3 (будем надеятся, что они
> > соблюдают Stable ABI) и собранные для конкретной минорной версии
> > Python. Текущая идея сборки компилируемых модулей заключается в том,
> > чтобы везде ставить зависимость на %python3_ABI_dep. Естественно, это
> > приводит к тому, что у нас сейчас при обновлении Python мучается один
> > бедный grenka, а все сидят и смотрят на это в ожидании окончания
> > (кто-то даже успевает продлять ему муки).
> >
> > В общем, идея решения заключается в том, чтобы для модулей, собираемых
> > под Stable ABI эту зависимость не генерировать и как-нибудь проверять,
> > что там действительно Stable ABI. Для этого есть инструмент abi3audit,
> > собираемый в этом задании: https://packages.altlinux.org/tasks/396283
> Я правильно понимаю, что всё что выше написано касается всего 38 пакетов?
38 пакетов в текущий момент собраны под Stable ABI.

Это количество можно попробовать увеличить, просто передав
-DPy_LIMITED_API=0x03000000 компилятору во время сборки экстеншена.

-- 
Anton Zhukharev
ALT Linux Team

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] Спасём python3 вместе! (действительно) - Stable ABI

[Anton Zhukharev]

[-- Attachment #1: Type: text/plain, Size: 4306 bytes --]

On Fri, Oct 03, 2025 at 09:18:39AM +0300, Anton Zhukharev wrote:
> On Thu, Oct 02, 2025 at 10:45:34PM +0300, Grigory Ustinov wrote:
> > 02.10.2025 16:44, Anton Zhukharev пишет:
> > > Всем привет!
> > >
> > > Последние таски по обновлению Python выглядят пугающее: объем
> > > пересобираемых пакетов невероятно огромный и постоянно растет из-за чего
> > > обновление самого Python в Sisyphus происходит дольше, чем в апстриме...
> > Меня объём пересобираемых пакетов не пугает. Обновление самого Python в 
> > Sisyphus происходит дольше по абсолютно другим причинам.
> Не всем нравится сидеть и ждать (уже) годами, пока вы обновите Python до
> следующей минорной версии, поскольку текущему образу сборки обязательно
> требуется фриз сборочницы.
Извиняюсь за такую формулировку: фриз происходит на последнем этапе
сборки таска, а не на протяжении всего существования таска с обновлением
Python. 
> Перечислите все причины, которые, по вашему утверждению, затягивают
> обновление.
> > > Я прошу обратить внимание на эту проблему куда большую часть сообщества
> > > и принять хоть какое-нибудь решение, которое не оставит все как есть.
> > >
> > > А под "хоть какое-нибудь решение" я имею ввиду единственное, на данный
> > > момент предложенное.
> > Вот из-за таких "хоть каких-нибудь решений" обновление Python и затянулось.
> Да, поэтому текущее подобное решение в Sisyphus и предлагается изменить.
> > > В Sisyphus сейчас есть модули с тэгом abi3 (будем надеятся, что они
> > > соблюдают Stable ABI) и собранные для конкретной минорной версии
> > > Python. Текущая идея сборки компилируемых модулей заключается в том,
> > > чтобы везде ставить зависимость на %python3_ABI_dep. Естественно, это
> > > приводит к тому, что у нас сейчас при обновлении Python мучается один
> > > бедный grenka, а все сидят и смотрят на это в ожидании окончания
> > > (кто-то даже успевает продлять ему муки).
> > >
> > > В общем, идея решения заключается в том, чтобы для модулей, собираемых
> > > под Stable ABI эту зависимость не генерировать и как-нибудь проверять,
> > > что там действительно Stable ABI. Для этого есть инструмент abi3audit,
> > > собираемый в этом задании: https://packages.altlinux.org/tasks/396283
> > Я правильно понимаю, что всё что выше написано касается всего 38 пакетов?
> 38 пакетов в текущий момент собраны под Stable ABI.
> 
> Это количество можно попробовать увеличить, просто передав
> -DPy_LIMITED_API=0x03000000 компилятору во время сборки экстеншена.
Здесь, если что, место, которое нужно обсуждать.
Просто воткнуть 0x0300000 (то есть версию 3.0) и радоваться не
получится.

-- 
Anton Zhukharev
ALT Linux Team

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 833 bytes --]