Re: [devel] [SCM] m/mathomatic/mathomatic.spec

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Vladimir D. Seleznev]

On Thu, Nov 07, 2019 at 03:56:12PM +0000, SpecBot wrote:
> commit dfd8a9c7e63ec45e2b5c529875a9b60c8de9d90d
> Author: Andrey Bychkov <mrdrew@altlinux.org>
> Date:   Thu Oct 31 15:00:00 2019 +0300
> 
>     240032: mathomatic-16.0.5-alt3
>     
>     - python2 -> python3
> 
> diff --git a/m/mathomatic/mathomatic.spec b/m/mathomatic/mathomatic.spec
> index 3d2c36d..50d144f 100644
> --- a/m/mathomatic/mathomatic.spec
> +++ b/m/mathomatic/mathomatic.spec
> @@ -1,6 +1,7 @@
>  Name: mathomatic
>  Version: 16.0.5
> -Release: alt2
> +Release: alt3
> +
>  Summary: Small, portable symbolic math program
>  License: LGPL
>  Group: Sciences/Mathematics
> @@ -9,8 +10,9 @@ Url: http://www.mathomatic.org/
>  Source: %name-%version.tar.bz2
>  Patch: %name-16.0.1-m4.patch
>  
> -# Automatically added by buildreq on Thu Jun 24 2010
>  BuildRequires: libncurses-devel libreadline-devel
> +BuildRequires: python-tools-2to3
> +
>  
>  %description
>  Mathomatic is a small, portable symbolic math program that can automatically
> @@ -21,10 +23,19 @@ Gesslein II and has been under development since 1986.
>  %prep
>  %setup
>  %patch -p1
> +
>  # Hack out 15.6.3 install -Cv
>  sed -i 's/-Cv//' makefile
>  sed -i 's/-Cv//' primes/makefile
>  
> +# py2 -> py3
> +find -type f \( -name 'matho-mult' -o -name 'matho-sum' -o -name 'primorial' \
> +             -o -name 'factorial' \) -exec 2to3 -w -n '{}' +
> +

^ Этот способ не работает.

george@ добавляет:
2to3 в большинстве случаев _не_ генерирует рабочий код. Это просто
вспомогательный инструмент для _ручного_ перевода, и после каждого
перевода их надо проверять.

Если хочется избавиться от проектов на Python2, лучше удалять пакеты, а
не делать их неработающими.

> +sed -i 's|#!/usr/bin/python|#!/usr/bin/python3|' \
> +    $(find ./ -type f \( -name 'matho-mult' -o -name 'matho-sum' \
> +                      -o -name 'primorial' -o -name 'factorial' \))
> +
>  %build
>  %make_build READLINE=1 mathdocdir=%_defaultdocdir/%name-%version
>  %make_build -C primes READLINE=1 mathdocdir=%_defaultdocdir/%name-%version
> @@ -48,7 +59,11 @@ make test
>  %_niconsdir/%name.png
>  %_desktopdir/%name.desktop
>  
> +
>  %changelog
> +* Thu Oct 31 2019 Andrey Bychkov <mrdrew@altlinux.org> 16.0.5-alt3
> +- python2 -> python3
> +
>  * Tue Feb 05 2019 Fr. Br. George <george@altlinux.ru> 16.0.5-alt2
>  - Rebuild with libreadline.so.7

-- 
   С уважением,
   Владимир Селезнев

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Stanislav Levin]

[-- Attachment #1.1: Type: text/plain, Size: 5703 bytes --]


07.11.2019 21:21, Vladimir D. Seleznev пишет:
> ^ Этот способ не работает.

Ниже перечислены изменения сделанные утилитой 2to3 в данном пакете.

--- ./mathomatic/primes/matho-sum       2019-11-07 22:34:48.543068658 +0300
+++ ./matho-sum 2019-11-07 22:42:52.909266580 +0300
@@ -1,4 +1,4 @@
-#!/usr/bin/python
+#!/usr/bin/python3
 
 # Python program to sum many large integers separated by spaces or
newlines.
 # The integers to sum may be entered on the command-line or into
standard input.
@@ -12,7 +12,7 @@
        # read stdin if no command line args
        while True:
                try:
-                       input_line = raw_input()
+                       input_line = input()
                except:
                        break;
                for s in string.split(input_line):
@@ -21,4 +21,4 @@
        # sum together the command-line args
        for arg in args:
                sum += int(arg)
-print sum
+print(sum)

--- ./mathomatic/primes/matho-mult      2019-11-07 22:34:48.543068658 +0300
+++ matho-mult  2019-11-07 22:42:35.634259521 +0300
@@ -1,4 +1,4 @@
-#!/usr/bin/python
+#!/usr/bin/python3
 
 # Python program to multiply many large integers separated by spaces or
newlines.
 # The integers to multiply may be entered on the command-line or into
standard input.
@@ -15,7 +15,7 @@
        # read stdin if no command line args
        while True:
                try:
-                       input_line = raw_input()
+                       input_line = input()
                except:
                        break;
                for s in string.split(input_line):
@@ -24,4 +24,4 @@
        # multiply together the command-line args
        for arg in args:
                prod *= int(arg)
-print prod
+print(prod)


--- ./mathomatic/primes/primorial       2019-11-07 22:34:48.544068659 +0300
+++ primorial   2019-11-07 22:42:58.551268884 +0300
@@ -1,4 +1,4 @@
-#!/usr/bin/python
+#!/usr/bin/python3
 
 # This is a Python program to display large primorials.
 # A primorial is the product of all primes up to the given number.
@@ -16,11 +16,11 @@
 import sys
 
 def usage(ev):
-       print "This program calculates large primorials."
-       print
-       print "Usage: %s integers" % os.path.basename(sys.argv[0])
-       print
-       print "A primorial is the product of all primes up to the given
number."
+       print("This program calculates large primorials.")
+       print()
+       print("Usage: %s integers" % os.path.basename(sys.argv[0]))
+       print()
+       print("A primorial is the product of all primes up to the given
number.")
        sys.exit(ev)
 
 def output_primorial(arg):
@@ -36,9 +36,9 @@
        for arg in args:
                try:
                        if (int(arg) < 1):
-                               print >>sys.stderr, "Number too small."
+                               print("Number too small.", file=sys.stderr)
                                sys.exit(1)
                except:
-                       print >>sys.stderr, "Positive integer required."
+                       print("Positive integer required.", file=sys.stderr)
                        usage(1)
                output_primorial(arg)


--- ./mathomatic/examples/factorial     2019-11-07 22:34:48.538068656 +0300
+++ factorial   2019-11-07 22:43:04.379271266 +0300
@@ -1,4 +1,4 @@
-#!/usr/bin/python
+#!/usr/bin/python3
 
 # This is a Python program to display large factorials and test "fact.py".
 
@@ -8,13 +8,13 @@
 import string
 
 def usage():
-       print "This program calculates large factorials."
-       print "Requires and tests \"fact.py\"."
-       print
-       print "Usage: %s integer_expressions" %
os.path.basename(sys.argv[0])
-       print
-       print "The integer expressions should be separated by spaces."
-       print "A factorial is the product of all positive integers <= a
given integer."
+       print("This program calculates large factorials.")
+       print("Requires and tests \"fact.py\".")
+       print()
+       print("Usage: %s integer_expressions" %
os.path.basename(sys.argv[0]))
+       print()
+       print("The integer expressions should be separated by spaces.")
+       print("A factorial is the product of all positive integers <= a
given integer.")
        sys.exit(2)
 
 args = sys.argv[1:]
@@ -23,8 +23,8 @@
 else:
        try:
                num = eval(string.join(args))
-               print "factorial(", num, ") =", factorial(num)
+               print("factorial(", num, ") =", factorial(num))
        except:
                for arg in args:
                        num = eval(arg)
-                       print "factorial(", num, ") =", factorial(num)
+                       print("factorial(", num, ") =", factorial(num))


Очевидно, что изменения верные.

Можете сравнить их, например, с Fedora:

https://src.fedoraproject.org/rpms/mathomatic/tree/master

Что именно в данном случае не работает?


> 2to3 в большинстве случаев _не_ генерирует рабочий код.

Это утверждение требующее каких-то доказательств.

Список всех багов по 2to3:

https://bugs.python.org/issue?%40search_text=&ignore=file%3Acontent&title=&%40columns=title&id=&%40columns=id&stage=&creation=&creator=&activity=&%40columns=activity&%40sort=activity&actor=&nosy=&type=&components=20&versions=&dependencies=&assignee=&keywords=&priority=&status=&%40columns=status&resolution=&nosy_count=&message_count=&%40group=&%40pagesize=50&%40startwith=0&%40sortdir=on&%40action=search

Да, бывают нюансы. Но бОльшую массу кода трансформирует и трансформирует
в рабочий Python3 код.

> после каждого
> перевода их надо проверять.
Безусловно (если есть понимание изменений), потому что утилита не
охватывает весь функциональный спектр.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Fr. Br. George]

Зайчики и белочки! Пожалуйста, после того, как применили 2to3,
тестируйте работоспособность всех исправленных файлов.

2to3 не делает из программы на python2 работающей программы на python3,
она только исправлает некоторые очевидные синтаксические различия.

Если вы запилили без теста модуль для python3 в параллель к модулю на
Python2, ок, вы просто немножко всех обманули, отправили в Сизиф
сгенерённый роботом код, который никто никогда не запускал. Можно хотя
бы воспользоваться пакетом для python2.

Но если вы таким путём хотите получить _вместо_ программы на python2
программу на python3, без теста это уже практически диверсия.

On Thu, Nov 07, 2019 at 11:17:39PM +0300, Stanislav Levin wrote:
> 
> 07.11.2019 21:21, Vladimir D. Seleznev пишет:
>> ^ Этот способ не работает.

> Ниже перечислены изменения сделанные утилитой 2to3 в данном пакете.
Ссылки на git было бы достаточно.

> Очевидно, что изменения верные.
Странно было бы пользоватсья инструментом, который делает заведомо
неверные изменения.

> Можете сравнить их, например, с Fedora:
> https://src.fedoraproject.org/rpms/mathomatic/tree/master
Скорее всего, там тоже потрудились роботы.

> Что именно в данном случае не работает?
Не рабтает ни одна из пропатченных утилит.

>> 2to3 в большинстве случаев _не_ генерирует рабочий код.
> 
> Это утверждение требующее каких-то доказательств.
Например, 2to3 не заменяет string.split(строка) на строка.split()
И не факт, что это всегда возможно, надо почитать.

> Список всех багов по 2to3:
По ссылке не ходил. Но если там есть ваши исправления относительно
подобных случаев, то огромное вам спасибо, жить станет легче!

> Да, бывают нюансы. Но бОльшую массу кода трансформирует и трансформирует
> в рабочий Python3 код.
Это утверждение, требующее каких-то доказательств.

>> после каждого
>> перевода их надо проверять.
> Безусловно (если есть понимание изменений), потому что утилита не
> охватывает весь функциональный спектр.
Собственно, именно и только это является предметом нашего разговора.

-- 
	Fr. Br. George

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Stanislav Levin]

[-- Attachment #1.1: Type: text/plain, Size: 347 bytes --]


08.11.2019 9:18, Fr. Br. George пишет:
> Зайчики и белочки! Пожалуйста, после того, как применили 2to3,
> тестируйте работоспособность всех исправленных файлов.

Не знал, что в рассылке присутствуют представители животного мира.

Пожалуйста, не употребляйте оскорбительные выражения к людям.


Надеюсь, автор изменений прокомментирует ситуацию.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Anton Farygin]

$ ./t

Testing mathomatic (Mathomatic version 16.0.5)
real 0.77
user 0.76
sys 0.01
All tests passed 100% correctly.

$ rpm -q  mathomatic
mathomatic-16.0.5-alt3.x86_64

Что я делаю не так ?



On 08.11.2019 9:18, Fr. Br. George wrote:
> Зайчики и белочки! Пожалуйста, после того, как применили 2to3,
> тестируйте работоспособность всех исправленных файлов.
>
> 2to3 не делает из программы на python2 работающей программы на python3,
> она только исправлает некоторые очевидные синтаксические различия.
>

[devel] [JT] Re: [SCM] m/mathomatic/mathomatic.spec

[Fr. Br. George]

On Fri, Nov 08, 2019 at 10:12:03AM +0300, Stanislav Levin wrote:
> 08.11.2019 9:18, Fr. Br. George пишет:
>> Зайчики и белочки! Пожалуйста, после того, как применили 2to3,
>> тестируйте работоспособность всех исправленных файлов.
> 
> Не знал, что в рассылке присутствуют представители животного мира.
> Пожалуйста, не употребляйте оскорбительные выражения к людям.
Не знал, что упоминание зайчиков и белочек является «оскорбительным
выражением к людям», сочувтствую таким людям и приношу им свои
извинения.

-- 
	Fr. Br. George

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Fr. Br. George]

On Fri, Nov 08, 2019 at 10:26:12AM +0300, Anton Farygin wrote:
> $ ./t
> All tests passed 100% correctly.
> $ rpm -q  mathomatic
> mathomatic-16.0.5-alt3.x86_64
> 
> Что я делаю не так ?
Не запускаешь ни одну из испорченых утилит.

-- 
	Fr. Br. George

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Fr. Br. George]

On Fri, Nov 08, 2019 at 10:53:29AM +0300, Andrey Bychkov wrote:
> http://git.altlinux.org/tasks/240453/
Там ещё пример на python2 не попал под раздачу.

Давайтие я сам, а? Автор уже больше ничего не напишет, так что все эти
патчи и 2to3 смысла не имеют ровно никакого.

-- 
	Fr. Br. George

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Anton Farygin]

On 08.11.2019 21:26, Fr. Br. George wrote:
> On Fri, Nov 08, 2019 at 10:26:12AM +0300, Anton Farygin wrote:
>> $ ./t
>> All tests passed 100% correctly.
>> $ rpm -q  mathomatic
>> mathomatic-16.0.5-alt3.x86_64
>>
>> Что я делаю не так ?
> Не запускаешь ни одну из испорченых утилит.
>
Да, нашёл уже. В тестах её не было.

Re: [devel] [SCM] m/mathomatic/mathomatic.spec

[Fr. Br. George]

On Mon, Nov 11, 2019 at 11:16:58AM +0300, Andrey Bychkov wrote:
> Переписывать рабочий код, который нуждается в минимальном исправлении 
> синтаксиса, я лично смысла не вижу.
Но ведь «минимальные исправления» спервоначалу не помогли, не так ли?
Врозможно, смысл был.

> Да и зачем стоило убирать обработку 
> исключений (она там была для KeyboardInterrupt)?
Из-за остальных исключений, объезд которых, как мне показалось, может
создать ложное ощущение правильности ввода. А тот факт, что вместо ^D
или ^C на выбор теперь надо жать именно ^D, меня не смутил.


-- 
	Fr. Br. George

Re: [devel] О переводе модулей на python3

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 875 bytes --]

On Fri, Nov 15, 2019 at 07:48:16PM +0300, Grigory Ustinov wrote:
> Примерно треть переведённых с помощью 2to3 питоновских модулей либо не 
> полностью импортируются, либо не импортируются полностью. Попробую ещё 
> раз попросить перестать использовать эту программу

2to3 - это не средство автоматического перевода программ и модулей
с python2 на python3, это инструмент разработчика кода на питоне.
Предполагается, что тот, кто использует 2to3, обязательно проанализирует
и доработает результат, прежде чем отправлять его в репозиторий.

Я думаю, что для прекращения массового злоупотребления 2to3 придётся
запретить его установку в сборочную среду на уровне sisyphus_check.

> и использовать один 
> из двух других вариантов решения задачи. Либо обновлять модули, либо 
> удалять если совсем старые/ненужные и вдобавок нерабочие.

Согласен.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 15.11.2019 19:48, Grigory Ustinov wrote:
> Хотелось бы обратить внимание отдела тестирования на такую утилиту, 
> как *check-python3-provs-importable*. С помощью неё можно проверить 
> импортируемость собранного модуля.

Отдел тестирования не занимается проверкой модулей в Sisyphus.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 16.11.2019 2:04, Dmitry V. Levin wrote:
> Я думаю, что для прекращения массового злоупотребления 2to3 придётся
> запретить его установку в сборочную среду на уровне sisyphus_check.

Поддерживаю.

Re: [devel] О переводе модулей на python3

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 671 bytes --]

On Sun, 17 Nov 2019 21:30:02 +0300 Anton Farygin wrote:
> On 15.11.2019 19:48, Grigory Ustinov wrote:
> > Хотелось бы обратить внимание отдела тестирования на такую утилиту, 
> > как *check-python3-provs-importable*. С помощью неё можно проверить 
> > импортируемость собранного модуля.
> 
> Отдел тестирования не занимается проверкой модулей в Sisyphus.

Ну так это вопросы к отделу тестирования. Кто же запрещает?

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 0:19, Andrey Savchenko wrote:
> On Sun, 17 Nov 2019 21:30:02 +0300 Anton Farygin wrote:
>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>> Хотелось бы обратить внимание отдела тестирования на такую утилиту,
>>> как *check-python3-provs-importable*. С помощью неё можно проверить
>>> импортируемость собранного модуля.
>> Отдел тестирования не занимается проверкой модулей в Sisyphus.
> Ну так это вопросы к отделу тестирования. Кто же запрещает?

  В данном случае действует мой прямой запрет тратить ресурсы отдела на 
тестирование всех пакетов в Sisyphus.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 15.11.2019 19:48, Grigory Ustinov wrote:
> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
> $line; echo $?; done 2>&1 | tee LOG

Кстати, может быть осмысленно эту проверку сделать на сборочнице ?

а 2to3 не трогать.

А есть ли результат работы этой команды для всех python3 пакетов ?

Re: [devel] О переводе модулей на python3

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 1112 bytes --]

On Mon, 18 Nov 2019 06:52:28 +0300 Anton Farygin wrote:
> On 18.11.2019 0:19, Andrey Savchenko wrote:
> > On Sun, 17 Nov 2019 21:30:02 +0300 Anton Farygin wrote:
> >> On 15.11.2019 19:48, Grigory Ustinov wrote:
> >>> Хотелось бы обратить внимание отдела тестирования на такую утилиту,
> >>> как *check-python3-provs-importable*. С помощью неё можно проверить
> >>> импортируемость собранного модуля.
> >> Отдел тестирования не занимается проверкой модулей в Sisyphus.
> > Ну так это вопросы к отделу тестирования. Кто же запрещает?
> 
>   В данном случае действует мой прямой запрет тратить ресурсы отдела на 
> тестирование всех пакетов в Sisyphus.

Ну раз сам виноват, то или исправляй свои ошибки, или не жалуйся.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] О переводе модулей на python3

[Антон Мидюков]

18.11.2019 11:09, Anton Farygin пишет:
> On 15.11.2019 19:48, Grigory Ustinov wrote:
>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
>> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
>> $line; echo $?; done 2>&1 | tee LOG
>
> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
Сломается сборка очень многих пакетов. Но было бы здорово их всех 
починить, хотя бы до выпуска следующего стабильного бранча.
> а 2to3 не трогать.
>
Мне кажется, что подобные изменения должны оформляться в виде патча. Это 
же наглядно. Чего сложного сделать 2to3 в исходниках, а затем патч 
полученного результата?

Это позволит гарантировать, что майнтейнер действительно видел 
результат, а не тупо обновил версию, не глядя на то, что получилось.

Главная опасность состоит в следующем. Майнтейнер делает преобразование 
текущей версии и проверяет, что работает (повезло и было достаточно 
такого преобразования). А потом кто-то обновляет на новую версию и 
получает нерабочий пакет (не повезло). А так патч не наложится и 
придётся разбираться что к чему.

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 7:11, Andrey Savchenko wrote:
> On Mon, 18 Nov 2019 06:52:28 +0300 Anton Farygin wrote:
>> On 18.11.2019 0:19, Andrey Savchenko wrote:
>>> On Sun, 17 Nov 2019 21:30:02 +0300 Anton Farygin wrote:
>>>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>>>> Хотелось бы обратить внимание отдела тестирования на такую утилиту,
>>>>> как *check-python3-provs-importable*. С помощью неё можно проверить
>>>>> импортируемость собранного модуля.
>>>> Отдел тестирования не занимается проверкой модулей в Sisyphus.
>>> Ну так это вопросы к отделу тестирования. Кто же запрещает?
>>    В данном случае действует мой прямой запрет тратить ресурсы отдела на
>> тестирование всех пакетов в Sisyphus.
> Ну раз сам виноват, то или исправляй свои ошибки, или не жалуйся.
>
Спасибо, Андрей, за наставление, но я и не жалуюсь. А с ошибками мы 
разберёмся.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 7:52, Антон Мидюков wrote:
> 18.11.2019 11:09, Anton Farygin пишет:
>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
>>> $line; echo $?; done 2>&1 | tee LOG
>>
>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
> Сломается сборка очень многих пакетов. Но было бы здорово их всех 
> починить, хотя бы до выпуска следующего стабильного бранча.
>> а 2to3 не трогать.
>>
> Мне кажется, что подобные изменения должны оформляться в виде патча. 
> Это же наглядно. Чего сложного сделать 2to3 в исходниках, а затем патч 
> полученного результата?
Это не поможет заставить ментейнера выполнить тесты.
>
> Это позволит гарантировать, что майнтейнер действительно видел 
> результат, а не тупо обновил версию, не глядя на то, что получилось.
Он будет видеть только результат преобразования, а не те куски кода, 
которые требуют доработки.
>
> Главная опасность состоит в следующем. Майнтейнер делает 
> преобразование текущей версии и проверяет, что работает (повезло и 
> было достаточно такого преобразования). А потом кто-то обновляет на 
> новую версию и получает нерабочий пакет (не повезло). А так патч не 
> наложится и придётся разбираться что к чему.

У нас в Sisyphus множество криво работающих python3 пакетов даже без 
всякого преобразования.

По хорошему надо включать тесты в максимальном количестве python3 
пакетов, но часто даже это не помогает (я опять про eric6, пользоваться 
которым из репозитория практически невозможно).

Re: [devel] О переводе модулей на python3 (was: [SCM] m/mathomatic/mathomatic.spec)

[Stanislav Levin]

[-- Attachment #1.1: Type: text/plain, Size: 264 bytes --]

Все 'живые' проекты перешли на Python3 давным-давно.


Таким образом, удалив пакеты с Python2,  произойдет очищение sisyphus от
кучи мусора.

Предлагаю не тратить время на пинание дохлой лошади, то есть не
портировать за авторов проектов Python2->Python3 вовсе.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] О переводе модулей на python3

[Антон Мидюков]

18.11.2019 13:39, Anton Farygin пишет:
>
> По хорошему надо включать тесты в максимальном количестве python3 
> пакетов, но часто даже это не помогает (я опять про eric6, 
> пользоваться которым из репозитория практически невозможно).
>
Потому что проблема не в нём, а в пакетах, от которых он зависит. Так, 
проблема с работой внутреннего веб-браузера у eric6 решилась обновлением 
pyQt5.

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel] О переводе модулей на python3

[Denis Medvedev]

18.11.2019 7:09, Anton Farygin пишет:
> On 15.11.2019 19:48, Grigory Ustinov wrote:
>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
>> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
>> $line; echo $?; done 2>&1 | tee LOG
>
> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>
> а 2to3 не трогать.
>
> А есть ли результат работы этой команды для всех python3 пакетов ?
>
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel

По-моему это хорошее задание для репокопа.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 10:49, Denis Medvedev wrote:
> 18.11.2019 7:09, Anton Farygin пишет:
>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
>>> $line; echo $?; done 2>&1 | tee LOG
>>
>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>>
>> а 2to3 не трогать.
>>
>> А есть ли результат работы этой команды для всех python3 пакетов ?
> По-моему это хорошее задание для репокопа.

А должны ли гарантированно импортироваться все модули в hasher, вот в 
чём вопрос.

Re: [devel] О переводе модулей на python3

[Dmitry V. Levin]

On Mon, Nov 18, 2019 at 10:53:02AM +0300, Anton Farygin wrote:
> On 18.11.2019 10:49, Denis Medvedev wrote:
> > 18.11.2019 7:09, Anton Farygin пишет:
> >> On 15.11.2019 19:48, Grigory Ustinov wrote:
> >>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
> >>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
> >>> tests-for-installed-python3-pkgs < /dev/null; hsh-run 
> >>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
> >>> $line; echo $?; done 2>&1 | tee LOG
> >>
> >> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
> >>
> >> а 2to3 не трогать.
> >>
> >> А есть ли результат работы этой команды для всех python3 пакетов ?
> > По-моему это хорошее задание для репокопа.
> 
> А должны ли гарантированно импортироваться все модули в hasher, вот в 
> чём вопрос.

А почему нет?


-- 
ldv

Re: [devel] О переводе модулей на python3

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 660 bytes --]

On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
> On 15.11.2019 19:48, Grigory Ustinov wrote:
> > grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
> > read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
> > tests-for-installed-python3-pkgs < /dev/null; hsh-run 
> > --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
> > $line; echo $?; done 2>&1 | tee LOG
> 
> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?

Вообще говоря, выглядит осмысленно, и патчи приветствуются.

Но многие пакеты уже сломаны, и проверка на сборочнице их уже не выявит.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 14:18, Dmitry V. Levin wrote:
> On Mon, Nov 18, 2019 at 10:53:02AM +0300, Anton Farygin wrote:
>> On 18.11.2019 10:49, Denis Medvedev wrote:
>>> 18.11.2019 7:09, Anton Farygin пишет:
>>>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while
>>>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line
>>>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run
>>>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable
>>>>> $line; echo $?; done 2>&1 | tee LOG
>>>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>>>>
>>>> а 2to3 не трогать.
>>>>
>>>> А есть ли результат работы этой команды для всех python3 пакетов ?
>>> По-моему это хорошее задание для репокопа.
>> А должны ли гарантированно импортироваться все модули в hasher, вот в
>> чём вопрос.
> А почему нет?

В __init__ всякое может прилететь. Надо тестировать как это будет 
работать и разбираться с каждым случаем падения, прежде чем вводить 
такое требование.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 14:22, Dmitry V. Levin wrote:
> On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while
>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line
>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run
>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable
>>> $line; echo $?; done 2>&1 | tee LOG
>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
> Вообще говоря, выглядит осмысленно, и патчи приветствуются.
>
> Но многие пакеты уже сломаны, и проверка на сборочнице их уже не выявит.

Тестовая пересборка может выявить.

Вообще интересно было бы увидеть результат работы этого теста без grep 
mrdrew - я так подозреваю, что 2to3 тут не особо виноват, а просто у нас 
много python3 пакетов в таком состоянии, что не все модули импортируются.

Re: [devel] О переводе модулей на python3

[Michael Shigorin]

On Mon, Nov 18, 2019 at 02:32:16PM +0300, Anton Farygin wrote:
> > Но многие пакеты уже сломаны, и проверка на сборочнице их уже не выявит.
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
> Тестовая пересборка может выявить.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] О переводе модулей на python3

[Grigory Ustinov]

18.11.2019 14:32, Anton Farygin пишет:
> On 18.11.2019 14:22, Dmitry V. Levin wrote:
>> On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
>>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while
>>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line
>>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run
>>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable
>>>> $line; echo $?; done 2>&1 | tee LOG
>>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>> Вообще говоря, выглядит осмысленно, и патчи приветствуются.
>>
>> Но многие пакеты уже сломаны, и проверка на сборочнице их уже не выявит.
>
> Тестовая пересборка может выявить.
>
> Вообще интересно было бы увидеть результат работы этого теста без grep 
> mrdrew - я так подозреваю, что 2to3 тут не особо виноват, а просто у 
> нас много python3 пакетов в таком состоянии, что не все модули 
> импортируются.

Безусловно много! У меня тоже есть такие пакеты, в которых часть модулей 
не импортируется. Иногда в такой список попадают и виндовые модули, 
которые бывает лень обозначить в спеке специальным макросом, всё равно 
они никому не нужны. Но когда не импортируется банально самый основной 
модуль пакета и такой пакет попадает в сизиф - это прям совсем грустно.

Для начала можно было бы добавить в сборочницу проверку именно такого 
случая.

P.S. grep mrdrew было добавлено из-за чрезмерной активности данного 
мейнтейнера. То есть получается, что человек тратит своё время на 
получение бессмысленного результата. Мне хотелось своевременно заострить 
внимание сообщества, чтобы в дальнейшем никто больше не совершал такого.

> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel

Re: [devel] О переводе модулей на python3

[Andrey Bychkov]

В чем же заключается бессмысленность? мне очень любопытно.

18.11.2019 15:40, Grigory Ustinov пишет:
> 18.11.2019 14:32, Anton Farygin пишет:
>> On 18.11.2019 14:22, Dmitry V. Levin wrote:
>>> On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
>>>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while
>>>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line
>>>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run
>>>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable
>>>>> $line; echo $?; done 2>&1 | tee LOG
>>>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>>> Вообще говоря, выглядит осмысленно, и патчи приветствуются.
>>>
>>> Но многие пакеты уже сломаны, и проверка на сборочнице их уже не 
>>> выявит.
>>
>> Тестовая пересборка может выявить.
>>
>> Вообще интересно было бы увидеть результат работы этого теста без 
>> grep mrdrew - я так подозреваю, что 2to3 тут не особо виноват, а 
>> просто у нас много python3 пакетов в таком состоянии, что не все 
>> модули импортируются.
>
> Безусловно много! У меня тоже есть такие пакеты, в которых часть 
> модулей не импортируется. Иногда в такой список попадают и виндовые 
> модули, которые бывает лень обозначить в спеке специальным макросом, 
> всё равно они никому не нужны. Но когда не импортируется банально 
> самый основной модуль пакета и такой пакет попадает в сизиф - это прям 
> совсем грустно.
>
> Для начала можно было бы добавить в сборочницу проверку именно такого 
> случая.
>
> P.S. grep mrdrew было добавлено из-за чрезмерной активности данного 
> мейнтейнера. То есть получается, что человек тратит своё время на 
> получение бессмысленного результата. Мне хотелось своевременно 
> заострить внимание сообщества, чтобы в дальнейшем никто больше не 
> совершал такого.
>
>> _______________________________________________
>> Devel mailing list
>> Devel@lists.altlinux.org
>> https://lists.altlinux.org/mailman/listinfo/devel
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel

Re: [devel] О переводе модулей на python3 (was: [SCM] m/mathomatic/mathomatic.spec)

[Andrey Savchenko]

[-- Attachment #1: Type: text/plain, Size: 1490 bytes --]

On Mon, 18 Nov 2019 09:48:30 +0300 Stanislav Levin wrote:
> Все 'живые' проекты перешли на Python3 давным-давно.
> 
> 
> Таким образом, удалив пакеты с Python2,  произойдет очищение sisyphus от
> кучи мусора.
> 
> Предлагаю не тратить время на пинание дохлой лошади, то есть не
> портировать за авторов проектов Python2->Python3 вовсе.

Бывают ситуации, когда пользователям пакет нужен, а он на python2
и альтернатив нет. Де-факто python2 будет ещё долго в самых разных
дистрибутивах даже после прекращения официальной поддержки
апстримом. В том же научном софте его уйма и переписывать не спешат.

Вроде-как у нас ещё qt3(!) до сих пор в репозитории, при том, что
не только qt3, но и qt4 уже давно закопаны апстримом. Но у нас есть
пользователи, которым они нужны и это ещё долго будет так. Не вижу
разницы с python2 — вторая версия будет ещё долго использоваться.

Best regards,
Andrew Savchenko

[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]

Re: [devel] qt3

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 261 bytes --]

On Mon, Nov 18, 2019 at 04:07:15PM +0300, Andrey Savchenko wrote:
[...]
> Вроде-как у нас ещё qt3(!) до сих пор в репозитории,

Никто, кстати, не хочет пофиксить сборку qt3?
Этот пакет уже 6 недель не пересобирается,
@everybody в acl есть.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] О переводе модулей на python3

[Vladimir D. Seleznev]

On Mon, Nov 18, 2019 at 02:22:15PM +0300, Dmitry V. Levin wrote:
> On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
> > On 15.11.2019 19:48, Grigory Ustinov wrote:
> > > grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while 
> > > read line; do echo $line; hsh --ini < /dev/null; hsh-install $line 
> > > tests-for-installed-python3-pkgs < /dev/null; hsh-run 
> > > --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable 
> > > $line; echo $?; done 2>&1 | tee LOG
> > 
> > Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
> 
> Вообще говоря, выглядит осмысленно, и патчи приветствуются.

Я планировал это сделать, и не только для питоновских модулей, но занят
другими задачами. Я пока провёл исследование на загружаемость различных
модулей различных скриптовых языков в Сизифе, результат не очень
хороший. Если в скором времени ввести такую проверку (даже если
использовать мягкую проверку на загружаемость только основного
"неймспейса"), очень много пакетов перестанут пересобираться.

Эту проверку можно добавить или непосредственно в сборочницу, или с
помощью автогенерации подпакета moduleload-checkinstall. Я ещё не знаю,
какой вариант лучше.

On Mon, Nov 18, 2019 at 11:52:57AM +0700, Антон Мидюков wrote:
> Мне кажется, что подобные изменения должны оформляться в виде
> патча. Это же наглядно. Чего сложного сделать 2to3 в исходниках, а
> затем патч полученного результата?
>
> Это позволит гарантировать, что майнтейнер действительно видел
> результат, а не тупо обновил версию, не глядя на то, что получилось.
>
> Главная опасность состоит в следующем. Майнтейнер делает
> преобразование текущей версии и проверяет, что работает (повезло и
> было достаточно такого преобразования). А потом кто-то обновляет на
> новую версию и получает нерабочий пакет (не повезло). А так патч не
> наложится и придётся разбираться что к чему.

Я полностью согласен с мнением antohami@.

> Но многие пакеты уже сломаны, и проверка на сборочнице их уже не выявит.

-- 
   С уважением,
   Владимир Селезнев

Re: [devel] О переводе модулей на python3 (was: [SCM] m/mathomatic/mathomatic.spec)

[Alexey V. Vissarionov]

On 2019-11-18 16:07:15 +0300, Andrey Savchenko wrote:

 > Бывают ситуации, когда пользователям пакет нужен, а он на python2
 > и альтернатив нет. Де-факто python2 будет ещё долго в самых разных
 > дистрибутивах даже после прекращения официальной поддержки
 > апстримом. В том же научном софте его уйма и переписывать не
 > спешат.

Да и ходи оно конем... Речь не о том, чтобы полностью отказаться от
старого интерпретатора, а о том, чтобы максимально перейти на новый.

А кому понадобится старый - те и поставят его явно, и егойные модулЯ
поддерживать будут. Но делать это надо так, чтобы не мешать новому.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 15:40, Grigory Ustinov wrote:
> 18.11.2019 14:32, Anton Farygin пишет:
>> On 18.11.2019 14:22, Dmitry V. Levin wrote:
>>> On Mon, Nov 18, 2019 at 07:09:12AM +0300, Anton Farygin wrote:
>>>> On 15.11.2019 19:48, Grigory Ustinov wrote:
>>>>> grep mrdrew list.packages.sisyphus | grep python3- | cut -f1 | while
>>>>> read line; do echo $line; hsh --ini < /dev/null; hsh-install $line
>>>>> tests-for-installed-python3-pkgs < /dev/null; hsh-run
>>>>> --mount=/proc,/dev/pts /usr/lib/rpm/check-python3-provs-importable
>>>>> $line; echo $?; done 2>&1 | tee LOG
>>>> Кстати, может быть осмысленно эту проверку сделать на сборочнице ?
>>> Вообще говоря, выглядит осмысленно, и патчи приветствуются.
>>>
>>> Но многие пакеты уже сломаны, и проверка на сборочнице их уже не 
>>> выявит.
>>
>> Тестовая пересборка может выявить.
>>
>> Вообще интересно было бы увидеть результат работы этого теста без 
>> grep mrdrew - я так подозреваю, что 2to3 тут не особо виноват, а 
>> просто у нас много python3 пакетов в таком состоянии, что не все 
>> модули импортируются.
>
> Безусловно много! У меня тоже есть такие пакеты, в которых часть 
> модулей не импортируется. Иногда в такой список попадают и виндовые 
> модули, которые бывает лень обозначить в спеке специальным макросом, 
> всё равно они никому не нужны. Но когда не импортируется банально 
> самый основной модуль пакета и такой пакет попадает в сизиф - это прям 
> совсем грустно.

Вот то что ты привёл в списке - это примерно как "сколько чихающих 
пациентов сегодня было в поликлинике " - абсолютно бесполезный тест.

Нужно конкретные примеры.


>
> Для начала можно было бы добавить в сборочницу проверку именно такого 
> случая.

И как ты себе это представляешь ?


>
> P.S. grep mrdrew было добавлено из-за чрезмерной активности данного 
> мейнтейнера. То есть получается, что человек тратит своё время на 
> получение бессмысленного результата. Мне хотелось своевременно 
> заострить внимание сообщества, чтобы в дальнейшем никто больше не 
> совершал таког 

Андрей делает всё правильно, но в процессе любой активности могут 
возникать ошибки, за выявление которых точно будет "спасибо".  Но, к 
сожалению, это не тот случай.

К тому же большинство ошибок загрузки модулей было сделано задолго до 
него. Наезды не оправданы.

Re: [devel] О переводе модулей на python3

[Anton Farygin]

On 18.11.2019 19:03, Alexey V. Vissarionov wrote:
> On 2019-11-18 16:07:15 +0300, Andrey Savchenko wrote:
>
>   > Бывают ситуации, когда пользователям пакет нужен, а он на python2
>   > и альтернатив нет. Де-факто python2 будет ещё долго в самых разных
>   > дистрибутивах даже после прекращения официальной поддержки
>   > апстримом. В том же научном софте его уйма и переписывать не
>   > спешат.
>
> Да и ходи оно конем... Речь не о том, чтобы полностью отказаться от
> старого интерпретатора, а о том, чтобы максимально перейти на новый.
>
> А кому понадобится старый - те и поставят его явно, и егойные модулЯ
> поддерживать будут. Но делать это надо так, чтобы не мешать новому.
>
>
pip никто не запрещает.

Да, у меня прямо сегодня случился пакет, в котором вместо порта на 
python3 пришлось сделать привязку к python2. Но python2 там нужен только 
для сборки документации и апстрим когда-то переведёт его на python3.

Не вижу с этим никаких проблем.

А вот модули надо конечно переводить или удалять.