[devel] I: python 3 copycat robot

[devel] I: python 3 copycat robot

[Igor Vlasenko]

Господа,

у нас с модулями для 3-го питона ситуация плохая -
собрано около 10% модулей по сравнению с 2-м питоном,

да и порядок сборки важен - сходу собрать модуль 
для 3-го питона получится менее чем в 50% случаев - 
часто не дают unmets на еще не собранные пакеты.

Меня подтолкнул bug #28956 - 
"собрать python3-module-enchant".

Я тогда подумал, что это глубоко не правильно -
ручная сборка модулей для 3-го питона растянется
на год, а то и больше. Для такой задачи просится робот.

И вот вчера закончил первый прототип робота 
для сборки модулей для 3-го питона.
Робот называется "Python 3 copycat".

Робот берет пакет модуля для 2-го питона,
проверяет, нет ли уже в нем (отключенного)
модуля для 3-го питона, как это например есть в 
python-module-PyQt4, и если нет,
то трансформирует этот пакет в новый пакет, 
который уже соберет модуль для 3-го питона.

При обновлении модуля для 2-го питона
Python 3 copycat пересоберет из него новый модуль
для 3-го питона.

Не все модули имеет смысл пересобирать с Python 3,
для отпугивания Python 3 copycat'а
предусмотрена конструкция
%define python3_copycat_disable 1
которую нужно будет указать в спеке для 2-го питона.

Для пробы пера я вчера отправил в Сизиф выборку из 10 пакетов,
в Сизиф прошли
python3-module-amqp
python3-module-amqplib
python3-module-anyjson
python3-module-crank
остальные не прошли из-за unmets на еще не собранные python3 модули.
пройдут на какой-то из итераций, когда их зависимости будут собраны.

Всего для python3 не хватает пары тысяч модулей;
C помощью Python 3 copycat'а эту проблему можно
решить в реальные сроки.

Нет возражений для развертывания робота
Python 3 copycat в Сизиф?

-- 

Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Vitaly Kuznetsov]

Igor Vlasenko писал 23.05.2013 09:58:
>
> Нет возражений для развертывания робота
> Python 3 copycat в Сизиф?
>

Ну, возражение тут может быть следующее: чем больше модулей Python3 в 
Сизифе, тем сложнее будет собрать новую мажорную версию самого Python3 
т.к. это нужно делать одной транзакцией. А выгода не столь очевидна - из 
возможности сборки модуля никак не следует его востребованность 
(например пачка модулей собиралась для какой-то программы которая не 
собирается в обозримом будущем мигрировать на Python3).

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 11:20:35AM +0200, Vitaly Kuznetsov wrote:
> Igor Vlasenko писал 23.05.2013 09:58:
> >
> >Нет возражений для развертывания робота
> >Python 3 copycat в Сизиф?
> >
> 
> Ну, возражение тут может быть следующее: чем больше модулей Python3
> в Сизифе, тем сложнее будет собрать новую мажорную версию самого
> Python3 т.к. это нужно делать одной транзакцией. А выгода не столь
> очевидна - из возможности сборки модуля никак не следует его
> востребованность (например пачка модулей собиралась для какой-то
> программы которая не собирается в обозримом будущем мигрировать на
> Python3).

Сейчас вроде бы girar-nmu-utils доведены до ума,
они должны помочь с массовыми пересборками вроде python3.

Кроме того, уважение к труду робота значительно ниже,
чем к труду майнтайнера - отсюда следствие, что перед
обновлением Python3 python3 copycat модули можно будет
массово дропнуть - робот никуда не денется, зальет их
потом заново.

Конечно, некоторые модули не удастся просто дропнуть 
из-за зависимостей - но это и значит, что они востребованные.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 01:33:01PM +0400, Dmitry V. Levin wrote:
> Не очевидно, почему для модулей python3 имеет смысл делать схему opt-out,
> а не opt-in.  Вряд ли нам эти модули нужны ради их количества.  Например,
> за большое количество модулей для python2 приходится платить высокую цену
> при обновлении версии python2.

Потому что это был бы большая растрата времени на техническое общение.
Если бы это предлагал доброволец, который вызвался бы тратить на это свое 
время, я бы не возражал.
А с обновлением python3 помогу, мне как раз нужно протестировать
сортировку по зависимостям в girar-nmu на массовых
обновлениях.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1614 bytes --]

On Thu, May 23, 2013 at 10:58:51AM +0300, Igor Vlasenko wrote:
> Господа,
> 
> у нас с модулями для 3-го питона ситуация плохая -
> собрано около 10% модулей по сравнению с 2-м питоном,
> 
> да и порядок сборки важен - сходу собрать модуль 
> для 3-го питона получится менее чем в 50% случаев - 
> часто не дают unmets на еще не собранные пакеты.
> 
> Меня подтолкнул bug #28956 - 
> "собрать python3-module-enchant".
> 
> Я тогда подумал, что это глубоко не правильно -
> ручная сборка модулей для 3-го питона растянется
> на год, а то и больше. Для такой задачи просится робот.
> 
> И вот вчера закончил первый прототип робота 
> для сборки модулей для 3-го питона.
> Робот называется "Python 3 copycat".
> 
> Робот берет пакет модуля для 2-го питона,
> проверяет, нет ли уже в нем (отключенного)
> модуля для 3-го питона, как это например есть в 
> python-module-PyQt4, и если нет,
> то трансформирует этот пакет в новый пакет, 
> который уже соберет модуль для 3-го питона.
> 
> При обновлении модуля для 2-го питона
> Python 3 copycat пересоберет из него новый модуль
> для 3-го питона.
> 
> Не все модули имеет смысл пересобирать с Python 3,
> для отпугивания Python 3 copycat'а
> предусмотрена конструкция
> %define python3_copycat_disable 1
> которую нужно будет указать в спеке для 2-го питона.

Не очевидно, почему для модулей python3 имеет смысл делать схему opt-out,
а не opt-in.  Вряд ли нам эти модули нужны ради их количества.  Например,
за большое количество модулей для python2 приходится платить высокую цену
при обновлении версии python2.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] I: python 3 copycat robot

[George V. Kouryachy]

On Thu, May 23, 2013 at 10:58:51AM +0300, Igor Vlasenko wrote:
> Господа,
> у нас с модулями для 3-го питона ситуация плохая -
> собрано около 10% модулей по сравнению с 2-м питоном,
> 
> Робот берет пакет модуля для 2-го питона,
> проверяет, нет ли уже в нем (отключенного)
> модуля для 3-го питона, как это например есть в 
> python-module-PyQt4, и если нет,
> то трансформирует этот пакет в новый пакет, 
> который уже соберет модуль для 3-го питона.
...
> Нет возражений для развертывания робота
> Python 3 copycat в Сизиф?

Возражение ниже, сначала попробую описать ситуацию, как я её вижу.

Необходимо решить три задачи:

1. Унифицировать подмножества rpm-макросов. Сейчас макросы второго
   и третьего питона резко отличаются, в третьем многих не хватает.
2. Как-то обустроить ситуацию, при которой модуль для третьего питона
   получается из исходников не напрямую, а с помощью 2to3, мелкого
   ручного дохакивания по месту и т. п.
3. Как-то обустроить ситуацию, когда модули для второго и для третьего
   питона при этом ещё и принципиально различаются (например, составом).
   Это нас ожидает в полной мере, потому что (поправьте, если ошибаюсь)
   ни PyGTK, ни wxPython пока для Python3 не существуют, ну и другие.

Кстати, пресловутый python-module-enchant иллюстрирует две проблемы из трёх,
равно как и метод, которым мне хочется собирать двухпитоновые пакеты --
specsubst. Просьба на ужасающее использование %ifdef setup_python_module
не ругаться: это сделано намеренно, чтобы пакет сломался, когда макросы
починим :). См. сюда:
http://git.altlinux.org/people/george/packages/?p=python-module-enchant.git;a=blob;f=python-module-enchant.spec

Пока это выглядит мерзковато, но идея в том, чтобы вынести specsubst
в один базовый макрос, а все остальные будут раскрываться в python2
и python3 соответственно.

А теперь полтора возражения.

Вводная: за результат автосборки отвечает робот, а не майнтейнер, и,
следовательно, о неработоспособности пакета мы узнаем только тогда,
когда _другой_ пакет, его использующий, заглючит (повалится, испортит
данные и т. п.). В случае скриптовго языка вероятность этого существенно
выше, и опасность серьёзнее. Но это старое возражение против полных
роботов, на него есть старый ответ: хранилище с автосборками имеет более
низкий уровень ответственноси и качества, не хочешь -- не используй,
хочешь использовать -- забирай пакет оттуда, поправляй и сопровождай.

Но. До тех пор, пока не будут как-то решены три указанные проблемы,
полученный генератом спек будет или ужасен, или неполноценен.

И сопровождение python3-пакета наличием автосборки будет не упрощаться,
а (потенциально) усложняться, т. к. автосборка начнёт заджавать легаси.

И, кстати,
http://packages.altlinux.org/en/Sisyphus/srpms/python3-module-enchant/repocop

Что не так с __pycache__/*.pyo? Они действительно платформо-зависимые?
Или это баг репокопа?

-- 
				  Георгий Владимирович Курячий
				  Эксперт компании "Альт Линукс"
				  Mailto/JID: george@altlinux.org
				  Mobile: (8)9161738325

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 01:55:54PM +0400, George V. Kouryachy wrote:
> И, кстати,
> http://packages.altlinux.org/en/Sisyphus/srpms/python3-module-enchant/repocop
> 
> Что не так с __pycache__/*.pyo? Они действительно платформо-зависимые?
> Или это баг репокопа?

Баг.
".pyc and .pyo are Architecture-*in*dependent files"
это меня кто-то с толку сбил когда-то, надо убрать.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 01:55:54PM +0400, George V. Kouryachy wrote:
> 1. Унифицировать подмножества rpm-макросов. Сейчас макросы второго
>    и третьего питона резко отличаются, в третьем многих не хватает.
> 2. Как-то обустроить ситуацию, при которой модуль для третьего питона
>    получается из исходников не напрямую, а с помощью 2to3, мелкого
>    ручного дохакивания по месту и т. п.
> 3. Как-то обустроить ситуацию, когда модули для второго и для третьего
>    питона при этом ещё и принципиально различаются (например, составом).
>    Это нас ожидает в полной мере, потому что (поправьте, если ошибаюсь)
>    ни PyGTK, ни wxPython пока для Python3 не существуют, ну и другие.
> 
> Но. До тех пор, пока не будут как-то решены три указанные проблемы,
> полученный генератом спек будет или ужасен, или неполноценен.

Робот на основе RPM::Source::Editor как раз эти проблемы
может решить легко,
1 - если аналога макроса нет, то робот его разворачивает
2 - про 2to3 хорошо, что напомнили, там 2to3 можно вставить.
3 - он поддерживает т.н. хуки, которые позволяют кастомизировать пакеты.

Сомневаюсь, что робот или полуробот (скрипт) на основе specsubst
получится проще.

И, действительно, можно собирать не в Сизиф,
а в autoimports, раз в Сизиф есть возражения.


-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1583 bytes --]

On Thu, May 23, 2013 at 01:13:00PM +0300, Igor Vlasenko wrote:
> On Thu, May 23, 2013 at 01:55:54PM +0400, George V. Kouryachy wrote:
> > 1. Унифицировать подмножества rpm-макросов. Сейчас макросы второго
> >    и третьего питона резко отличаются, в третьем многих не хватает.
> > 2. Как-то обустроить ситуацию, при которой модуль для третьего питона
> >    получается из исходников не напрямую, а с помощью 2to3, мелкого
> >    ручного дохакивания по месту и т. п.
> > 3. Как-то обустроить ситуацию, когда модули для второго и для третьего
> >    питона при этом ещё и принципиально различаются (например, составом).
> >    Это нас ожидает в полной мере, потому что (поправьте, если ошибаюсь)
> >    ни PyGTK, ни wxPython пока для Python3 не существуют, ну и другие.
> > 
> > Но. До тех пор, пока не будут как-то решены три указанные проблемы,
> > полученный генератом спек будет или ужасен, или неполноценен.
> 
> Робот на основе RPM::Source::Editor как раз эти проблемы
> может решить легко,
> 1 - если аналога макроса нет, то робот его разворачивает
> 2 - про 2to3 хорошо, что напомнили, там 2to3 можно вставить.
> 3 - он поддерживает т.н. хуки, которые позволяют кастомизировать пакеты.
> 
> Сомневаюсь, что робот или полуробот (скрипт) на основе specsubst
> получится проще.

Я сейчас ужасную вещь скажу: бОльшую часть python-module-* лучше
собирать роботом, т.е. вообще не делать вид, что у этих тысяч пакетов
мейнтейнерами являются люди.  Возможно, собирать сразу для обоих
питонов, и с использованием specsubst это получится проще.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] I: python 3 copycat robot

[George V. Kouryachy]

On Thu, May 23, 2013 at 01:13:00PM +0300, Igor Vlasenko wrote:
>> Но. До тех пор, пока не будут как-то решены три указанные проблемы,
>> полученный генератом спек будет или ужасен, или неполноценен.
> 
> Робот на основе RPM::Source::Editor как раз эти проблемы
> может решить легко,
> 1 - если аналога макроса нет, то робот его разворачивает
> 2 - про 2to3 хорошо, что напомнили, там 2to3 можно вставить.
> 3 - он поддерживает т.н. хуки, которые позволяют кастомизировать пакеты.
Я, собственно, именно про это. В результате получаем пакет:
- отдельный по репозитарию от пакета-родителя
- неизвестно, рабочий ли
- со спеком-генратом
- (если с ним что-то собрано) с требованиями совместимости к будущему
  "нормальному" пакету.

> И, действительно, можно собирать не в Сизиф,
> а в autoimports, раз в Сизиф есть возражения.
В autoimports, думаю, в самый раз. И по уровню ответственности, и по
принципу раздельных репозиториев-генератов. Получится всеядное
хранилище, которое питается не только Федорой, но и Сизифом :)).

> Сомневаюсь, что робот или полуробот (скрипт) на основе specsubst
> получится проще.
Это совсем для другого же. Чтобы легко было самому собрать сразу два
пакета из одного спека без особого синтаксического шума, а в идеале --
и без особой переработки спека. Тут свои недостатки:
-- понадобится NMU
-- лидер пакета внезапно окажется майнтейнером и python3-пакета тоже

Другой вариант: совсем (или почти совсем, по возможности) отказаться от
ручной сборки python3-пакетов и совершенствовать copycat. Но я пока не
понимаю, как преодолеть "отчуждённость" получившегося генерата, кроме
как свалить все тяготы поддержки на автора copycat-а. Как будто ему мало
текущей нагрузки. Иными словами, как избежать single point of failure
в лице бесконечно уважаемого viy@?

-- 
				  Георгий Владимирович Курячий
				  Эксперт компании "Альт Линукс"
				  Mailto/JID: george@altlinux.org
				  Mobile: (8)9161738325

Re: [devel] I: python 3 copycat robot

[George V. Kouryachy]

>> On Thu, May 23, 2013 at 01:55:54PM +0400, George V. Kouryachy wrote:
> >> 1. Унифицировать подмножества rpm-макросов. Сейчас макросы второго
> >>    и третьего питона резко отличаются, в третьем многих не хватает.
> >> 2. Как-то обустроить ситуацию, при которой модуль для третьего питона
> >>    получается из исходников не напрямую, а с помощью 2to3, мелкого
> >>    ручного дохакивания по месту и т. п.
> >> 3. Как-то обустроить ситуацию, когда модули для второго и для третьего
> >>    питона при этом ещё и принципиально различаются (например, составом).
> >>    Это нас ожидает в полной мере, потому что (поправьте, если ошибаюсь)
> >>    ни PyGTK, ни wxPython пока для Python3 не существуют, ну и другие.
> >> 
> >> Но. До тех пор, пока не будут как-то решены три указанные проблемы,
> >> полученный генератом спек будет или ужасен, или неполноценен.

On Thu, May 23, 2013 at 02:56:10PM +0400, Dmitry V. Levin wrote:
> Я сейчас ужасную вещь скажу: бОльшую часть python-module-* лучше
> собирать роботом, т.е. вообще не делать вид, что у этих тысяч пакетов
> мейнтейнерами являются люди.  Возможно, собирать сразу для обоих
> питонов, и с использованием specsubst это получится проще.
То есть замутить эдакий PyPi-import? Идея заманчивая, ведь на самом деле
добрая треть пакетов мало чем отличается от
%setup_python_mudule / %python_setup / %python_install

Могу только повторить свои опасения относительно SPOF. Как бы нам
научиться _совместно_ сопровождать прототипы этих пакетов? Чтобы человек
из team, нашедший багу или несообразность, мог самостоятельно её
поправить. НО это совсем другая задача?

-- 
				  Георгий Владимирович Курячий
				  Эксперт компании "Альт Линукс"
				  Mailto/JID: george@altlinux.org
				  Mobile: (8)9161738325

Re: [devel] I: python 3 copycat robot

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 532 bytes --]

23.05.2013 14:13, Igor Vlasenko пишет:
...
> 
> Робот на основе RPM::Source::Editor как раз эти проблемы
> может решить легко,
> 1 - если аналога макроса нет, то робот его разворачивает
> 2 - про 2to3 хорошо, что напомнили, там 2to3 можно вставить.

  2to3 может сломать некоторые пакеты, уже адаптированные апстримом, для
сборки из одного трабла под разные pytho`ы. (Я на это нарвался в одном
из пакетов.)

> 3 - он поддерживает т.н. хуки, которые позволяют кастомизировать пакеты.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 901 bytes --]

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 04:51:51PM +0400, George V. Kouryachy wrote:
> В autoimports, думаю, в самый раз. И по уровню ответственности, и по
> принципу раздельных репозиториев-генератов. Получится всеядное
> хранилище, которое питается не только Федорой, но и Сизифом :)).

Ок, autoimports.

Я тогда дропаю из sisyphus пробные пакеты coptcat'а,
которые уже успел залить:
python3-module-crank-0.6.4-alt1.src.rpm
python3-module-anyjson-0.3.1-alt1.src.rpm
python3-module-amqplib-1.0.2-alt1.src.rpm
python3-module-amqp-1.0.11-alt1.src.rpm


> Другой вариант: совсем (или почти совсем, по возможности) отказаться от
> ручной сборки python3-пакетов и совершенствовать copycat. Но я пока не
> понимаю, как преодолеть "отчуждённость" получившегося генерата, кроме
> как свалить все тяготы поддержки на автора copycat-а. Как будто ему мало
> текущей нагрузки. Иными словами, как избежать single point of failure
> в лице бесконечно уважаемого viy@?

Здесь проблема в добровольцах и относительно высоком пороге вхождения
в RPM::Source::Editor.

Действительно, лучше не спешить, если будет доброволец,
который сделает любыми удобными ему методами, это будет замечательно.

Я возьму паузу, на пару недель, и если уже 
добровольцы не созреют, тогда уже по факту отсутствия
альтернатив, продвигать "python3 copycat".

А то я уже стал SPOF с eclipse, никак не могу освоить
его новую систему сборки.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Igor Vlasenko]

On Thu, May 23, 2013 at 05:49:46PM +0400, Aleksey Avdeev wrote:
> > Робот на основе RPM::Source::Editor как раз эти проблемы
> > может решить легко,
> > 2 - про 2to3 хорошо, что напомнили, там 2to3 можно вставить.
> 
>   2to3 может сломать некоторые пакеты, уже адаптированные апстримом, для
> сборки из одного трабла под разные pytho`ы. (Я на это нарвался в одном
> из пакетов.)

Я думаю включать 2to3 только для тех пакетов, которые без 
этого не соберутся.
у меня робот сгенерировал 1150 пакетов, без 2to3.
в первую итерацию собралось 349, из оставшихся
часть не собралась из-за нехватки зависимостей,
а часть сломалась под python3.

Для последних имеет смысл попробовать 2to3.

-- 

Dr. Igor Vlasenko
--------------------
Topology Department
Institute of Math
Kiev, Ukraine


-- 
This message has been scanned for viruses and
dangerous content by MailScanner, and is
believed to be clean.

Re: [devel] I: python 3 copycat robot

[Michael Shigorin]

On Thu, May 23, 2013 at 10:28:50PM +0300, Igor Vlasenko wrote:
> > Иными словами, как избежать single point of failure в лице
> > бесконечно уважаемого viy@?
> Здесь проблема в добровольцах и относительно высоком пороге
> вхождения в RPM::Source::Editor.

Мастер-класс в Калуге?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/