Re: [devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

Re: [devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

[Sergei Epiphanov]

On 18 января 2013 17:43 REAL wrote:
> 18.01.2013 17:41, REAL пишет:
> > кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
> 
> да, и как объяснить хэшеру, что компиляцию python3-пакетов нужно
> проводить при помощи %_bindir/python3 , а не %_bindir/python ?
> 
> > [...]
> > Bytecompiling python modules in
> > /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python
> > Bytecompiling python modules with optimization in
> > /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python -O

Также, как и собирается blender.

BuildRequires(pre): rpm-build-python3

%add_python3_path

-- 
С уважением, Епифанов Сергей

Re: [devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 730 bytes --]

On Fri, Jan 18, 2013 at 05:43:47PM +0600, REAL wrote:
> 18.01.2013 17:41, REAL пишет:
> >кто-нибудь может подсказать, что 
> >изменилось и как теперь с этим жить?
> 
> да, и как объяснить хэшеру, что 
> компиляцию python3-пакетов нужно проводить 
> при помощи %_bindir/python3 , а не %_bindir/python ?

Обычно это происходит автоматически, и python3-module-pycairo не исключение:
Bytecompiling python modules in /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python
Bytecompiling python modules with optimization in /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python -O
Bytecompiling python3 modules in /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

[devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

[REAL]

[-- Attachment #1: Type: text/plain, Size: 2474 bytes --]

привет!

кто-нибудь может подсказать, что изменилось и как теперь с этим жить?

-------- Исходное сообщение --------
Тема: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 
test rebuild failed
Дата: Mon, 14 Jan 2013 12:54:59 +0000 (UTC)
От: ALT beekeeper <hiver@altlinux.org>
Отвечать: devel@lists.altlinux.org
Кому: real@altlinux.org
Копия: hiver@altlinux.org

Package: python3-module-pycairo-1.10.1-alt3.git20120819
Status: Sisyphus/x86_64 test rebuild failed
Cannot build this package.
Please investigate.
Excerpt from build log:
[...]
Bytecompiling python modules in 
/usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python
Bytecompiling python modules with optimization in 
/usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python -O
Bytecompiling python3 modules in 
/usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
Traceback (most recent call last):
   File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
     exit_status = bool(main())
   File "/usr/lib/rpm/python3.compileall.py", line 128, in main
     return compile_path(**dopt)
   File "/usr/lib/rpm/python3.compileall.py", line 93, in compile_path
     compile_all(join_prefix(prefix,item),[join_prefix(prefix,x) for x 
in exclude],deep,skip_x,clean,prefix)
   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
   File "/usr/lib/rpm/python3.compileall.py", line 84, in compile_all
     if not (skip_x and executable(p)) :
   File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
     line = open(file).readline()
   File "/usr/lib64/python3.2/encodings/ascii.py", line 26, in decode
     return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 
14: ordinal not in range(128)
error: Bad exit status from /usr/src/tmp/rpm-tmp.27184 (%install)

RPM build errors:
     Bad exit status from /usr/src/tmp/rpm-tmp.27184 (%install)
Command exited with non-zero status 1
21.48user 1.20system 0:23.16elapsed 97%CPU (0avgtext+0avgdata 
275680maxresident)k
0inputs+0outputs (0major+360168minor)pagefaults 0swaps
hsh-rebuild: rebuild of 
`python3-module-pycairo-1.10.1-alt3.git20120819.src.rpm' failed.
Command exited with non-zero status 1

-- 
Sincerely yours,
ALT beekeeper




[-- Attachment #2: Часть вложенного сообщения --]
[-- Type: text/plain, Size: 0 bytes --]

Re: [devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

[REAL]

18.01.2013 17:41, REAL пишет:
> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?

да, и как объяснить хэшеру, что компиляцию python3-пакетов нужно 
проводить при помощи %_bindir/python3 , а не %_bindir/python ?

> [...]
> Bytecompiling python modules in
> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python
> Bytecompiling python modules with optimization in
> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python -O

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed

[REAL]

18.01.2013 17:11, Sergei Epiphanov пишет:
>> да, и как объяснить хэшеру, что компиляцию python3-пакетов нужно
>> проводить при помощи %_bindir/python3 , а не %_bindir/python ?

> Также, как и собирается blender.
>
> BuildRequires(pre): rpm-build-python3
>
> %add_python3_path

спасибо. но от ошибки компиляции это не спасло :(

как-то можно узнать хотя бы, на каком конкретно файле он спотыкается, 
чтобы уже более прицельно искать?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions (was: Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed)

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2222 bytes --]

18.01.2013 15:41, REAL пишет:
> привет!
> 
> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?

  См.
<http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.

  У нас сейчас в /usr/lib/rpm/functions выставляется безусловный
LC_ALL=C. Т. е. выставленное в спеке LC_ALL=en_US.UTF-8 не добирается до
потребителя (/usr/bin/python3) вызываемого в скрипте
/usr/lib/rpm/brp.d/096-bytecompile_python3.brp, т. к. перекрывается аж в
двух вызовах /usr/lib/rpm/functions (в /usr/lib/rpm/brp-alt и самом
/usr/lib/rpm/brp.d/096-bytecompile_python3.brp).

  Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
/usr/lib/rpm/functions.

...
> Package: python3-module-pycairo-1.10.1-alt3.git20120819
> Status: Sisyphus/x86_64 test rebuild failed
...
> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
> Traceback (most recent call last):
>   File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
>     exit_status = bool(main())
>   File "/usr/lib/rpm/python3.compileall.py", line 128, in main
>     return compile_path(**dopt)
>   File "/usr/lib/rpm/python3.compileall.py", line 93, in compile_path
>     compile_all(join_prefix(prefix,item),[join_prefix(prefix,x) for x in
> exclude],deep,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
>     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
>     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 84, in compile_all
>     if not (skip_x and executable(p)) :
>   File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
>     line = open(file).readline()
>   File "/usr/lib64/python3.2/encodings/ascii.py", line 26, in decode
>     return codecs.ascii_decode(input, self.errors)[0]
> UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 14:
> ordinal not in range(128)
> error: Bad exit status from /usr/src/tmp/rpm-tmp.27184 (%install)

PS: У меня оно взорвалось при переборке под python3.3.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions (was: Fwd: python3-module-pycairo-1.10.1-alt3.git20120819: Sisyphus/x86_64 test rebuild failed)

[Ivan A. Melnikov]

2013/2/19 Aleksey Avdeev <solo@solin.spb.ru>:
> Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
> /usr/lib/rpm/functions.
[...]
>> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
[...]
>
> PS: У меня оно взорвалось при переборке под python3.3.

Я думаю, что достаточно прописывать в питоновские файлы правильный
encoding (через комментарий -*- encoding: utf-8 -*-), и больно пинать
апстримы. В частности, в python3-module-pycairo это нужно сделать в
src/__init__.py.

-- 
WBR,
Ivan A. Melnikov

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 977 bytes --]

19.02.2013 16:18, Ivan A. Melnikov пишет:
> 2013/2/19 Aleksey Avdeev <solo@solin.spb.ru>:
>> Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
>> /usr/lib/rpm/functions.
> [...]
>>> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
> [...]
>>
>> PS: У меня оно взорвалось при переборке под python3.3.
> 
> Я думаю, что достаточно прописывать в питоновские файлы правильный
> encoding (через комментарий -*- encoding: utf-8 -*-), и больно пинать
> апстримы. В частности, в python3-module-pycairo это нужно сделать в
> src/__init__.py.

  Не спасает (проверил). И судя по
<http://asvetlov.blogspot.ru/2011/03/import-and-unicode.html> не должно:
python3 и так считает, что по умолчанию все файлы (.py) у него в utf-8.

PS: Если правильно понимаю, то ошибка на этапе преобразования из
внутренней utf8 (что у него по умолчанию) во вешнюю кодировку, которую
он берёт из LC_ALL. А у нас там C.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[REAL]

19.02.2013 17:04, Aleksey Avdeev пишет:
> PS: У меня оно взорвалось при переборке под python3.3.

он и на python3.2 взорван.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2342 bytes --]

19.02.2013 15:04, Aleksey Avdeev пишет:
> 18.01.2013 15:41, REAL пишет:
>> привет!
>>
>> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
> 
>   См.
> <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.
> 
>   У нас сейчас в /usr/lib/rpm/functions выставляется безусловный
> LC_ALL=C. Т. е. выставленное в спеке LC_ALL=en_US.UTF-8 не добирается до
> потребителя (/usr/bin/python3) вызываемого в скрипте
> /usr/lib/rpm/brp.d/096-bytecompile_python3.brp, т. к. перекрывается аж в
> двух вызовах /usr/lib/rpm/functions (в /usr/lib/rpm/brp-alt и самом
> /usr/lib/rpm/brp.d/096-bytecompile_python3.brp).
> 
>   Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
> /usr/lib/rpm/functions.

  И такая ручка у нас есть (цитирую
/usr/share/doc/rpm-4.0.4/README.ALT-ru_RU.UTF-8):

Управление процессом сборки.
...
   %_build_lang:
          значение переменных LANG, LANGUAGE и LC_ALL;

  Я подготовил исправление в виде rpm-4.0.4-alt100.68.1 (см.
<http://git.altlinux.org/people/solo/packages/rpm.git?p=rpm.git;a=commit;h=9d2767e2dc26fbf22afd3136ecb0f3c2224caad1>).
Тестирование на people пакет прошёл нормально (проблему с LC_ALL=C
тоже), но при сборке в Cизиф, сборка под [x86_64-i586] не прошла (см.
<http://git.altlinux.org/tasks/90332/logs/events.1.1.log>):

2013-Feb-19 13:38:40 :: task #90332 for sisyphus started by solo:
#100 build 4.0.4-alt100.68.1 from /people/solo/packages/rpm.git
2013-Feb-19 13:38:40 :: [i586] #100 rpm.git 4.0.4-alt100.68.1: build start
2013-Feb-19 13:38:40 :: [x86_64] #100 rpm.git 4.0.4-alt100.68.1: build start
2013-Feb-19 13:42:46 :: [x86_64] #100 rpm.git 4.0.4-alt100.68.1: build OK
2013-Feb-19 13:42:49 :: [i586] #100 rpm.git 4.0.4-alt100.68.1: build OK
...
2013-Feb-19 13:49:01 :: [x86_64] #100 rpm-static-debuginfo: install check OK
2013-Feb-19 13:49:07 :: [i586] #100 rpm-static-debuginfo: install check OK
2013-Feb-19 13:49:07 :: [x86_64-i586] plan: #5 +5 -5 =8756
2013-Feb-19 13:49:39 :: [i586] remote arepo: failed to build
i586-librpm-4.0.4-alt100.68.1.i586.rpm
2013-Feb-19 13:49:39 :: [x86_64-i586] remote build FAILED
2013-Feb-19 13:49:39 :: [x86_64-i586] build FAILED
2013-Feb-19 13:49:39 :: task #90332 for sisyphus FAILED

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1465 bytes --]

On Tue, Feb 19, 2013 at 06:02:00PM +0400, Aleksey Avdeev wrote:
> 19.02.2013 15:04, Aleksey Avdeev пишет:
> > 18.01.2013 15:41, REAL пишет:
> >> привет!
> >>
> >> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
> > 
> >   См.
> > <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.

Я же ясно там написал: "A lot of code relies on C collation, C messages
and so on.  Do not pretend it is expected to work with a non-C locale."
Скажите, пожалуйста, какая часть этого комментария недостаточно понятна?

> >   У нас сейчас в /usr/lib/rpm/functions выставляется безусловный
> > LC_ALL=C. Т. е. выставленное в спеке LC_ALL=en_US.UTF-8 не добирается до
> > потребителя (/usr/bin/python3) вызываемого в скрипте
> > /usr/lib/rpm/brp.d/096-bytecompile_python3.brp, т. к. перекрывается аж в
> > двух вызовах /usr/lib/rpm/functions (в /usr/lib/rpm/brp-alt и самом
> > /usr/lib/rpm/brp.d/096-bytecompile_python3.brp).
> > 
> >   Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
> > /usr/lib/rpm/functions.
> 
>   И такая ручка у нас есть (цитирую
> /usr/share/doc/rpm-4.0.4/README.ALT-ru_RU.UTF-8):
> 
> Управление процессом сборки.
> ...
>    %_build_lang:
>           значение переменных LANG, LANGUAGE и LC_ALL;

Надо убрать этот %_build_lang подальше, его включение ломает скрипты,
совсем недавно кто-то на это опять наступил.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 3225 bytes --]

19.02.2013 23:25, Dmitry V. Levin пишет:
> On Tue, Feb 19, 2013 at 06:02:00PM +0400, Aleksey Avdeev wrote:
>> 19.02.2013 15:04, Aleksey Avdeev пишет:
>>> 18.01.2013 15:41, REAL пишет:
>>>> привет!
>>>>
>>>> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
>>>
>>>   См.
>>> <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.
> 
> Я же ясно там написал: "A lot of code relies on C collation, C messages
> and so on.  Do not pretend it is expected to work with a non-C locale."
> Скажите, пожалуйста, какая часть этого комментария недостаточно понятна?

  Этот комментарий понятен. Но не UTF8 локаль _гарантировано_ ломает
байткомпиляцию pycairo (с чего всё и началось):

Bytecompiling python3 modules in
/usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
Traceback (most recent call last):
  File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
    exit_status = bool(main())
  File "/usr/lib/rpm/python3.compileall.py", line 128, in main
    return compile_path(**dopt)
  File "/usr/lib/rpm/python3.compileall.py", line 93, in compile_path
    compile_all(join_prefix(prefix,item),[join_prefix(prefix,x) for x in
exclude],deep,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
    compile_all(p,exclude,deep-1,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
    compile_all(p,exclude,deep-1,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 84, in compile_all
    if not (skip_x and executable(p)) :
  File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
    line = open(file).readline()
  File "/usr/lib64/python3.2/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 14:
ordinal not in range(128)

  Как быть с этим?

  Т. е. на данный момент ситуация выглядит так:

1. Локаль отличная от C зло, т. к. может взорвать некоторые скрипты.

2. У нас есть миниум 1 модуль, сборка которого взрывается, если локаль C
прибить гвоздями.

> 
>>>   У нас сейчас в /usr/lib/rpm/functions выставляется безусловный
>>> LC_ALL=C. Т. е. выставленное в спеке LC_ALL=en_US.UTF-8 не добирается до
>>> потребителя (/usr/bin/python3) вызываемого в скрипте
>>> /usr/lib/rpm/brp.d/096-bytecompile_python3.brp, т. к. перекрывается аж в
>>> двух вызовах /usr/lib/rpm/functions (в /usr/lib/rpm/brp-alt и самом
>>> /usr/lib/rpm/brp.d/096-bytecompile_python3.brp).
>>>
>>>   Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
>>> /usr/lib/rpm/functions.
>>
>>   И такая ручка у нас есть (цитирую
>> /usr/share/doc/rpm-4.0.4/README.ALT-ru_RU.UTF-8):
>>
>> Управление процессом сборки.
>> ...
>>    %_build_lang:
>>           значение переменных LANG, LANGUAGE и LC_ALL;
> 
> Надо убрать этот %_build_lang подальше, его включение ломает скрипты,
> совсем недавно кто-то на это опять наступил.

  А я сейчас (как и real@ ранее) -- наступил на слом сборки, если локаль
не UTF8... И как быть?

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2848 bytes --]

19.02.2013 23:46, Aleksey Avdeev пишет:
> 19.02.2013 23:25, Dmitry V. Levin пишет:
>> On Tue, Feb 19, 2013 at 06:02:00PM +0400, Aleksey Avdeev wrote:
>>> 19.02.2013 15:04, Aleksey Avdeev пишет:
>>>> 18.01.2013 15:41, REAL пишет:
>>>>> привет!
>>>>>
>>>>> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
>>>>
>>>>   См.
>>>> <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.
>>
>> Я же ясно там написал: "A lot of code relies on C collation, C messages
>> and so on.  Do not pretend it is expected to work with a non-C locale."
>> Скажите, пожалуйста, какая часть этого комментария недостаточно понятна?
> 
>   Этот комментарий понятен. Но не UTF8 локаль _гарантировано_ ломает
> байткомпиляцию pycairo (с чего всё и началось):
> 
> Bytecompiling python3 modules in
> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
> Traceback (most recent call last):
>   File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
>     exit_status = bool(main())
>   File "/usr/lib/rpm/python3.compileall.py", line 128, in main
>     return compile_path(**dopt)
>   File "/usr/lib/rpm/python3.compileall.py", line 93, in compile_path
>     compile_all(join_prefix(prefix,item),[join_prefix(prefix,x) for x in
> exclude],deep,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
>     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
>     compile_all(p,exclude,deep-1,skip_x,clean,prefix)
>   File "/usr/lib/rpm/python3.compileall.py", line 84, in compile_all
>     if not (skip_x and executable(p)) :
>   File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
>     line = open(file).readline()
>   File "/usr/lib64/python3.2/encodings/ascii.py", line 26, in decode
>     return codecs.ascii_decode(input, self.errors)[0]
> UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 14:
> ordinal not in range(128)
> 
>   Как быть с этим?
> 
>   Т. е. на данный момент ситуация выглядит так:
> 
> 1. Локаль отличная от C зло, т. к. может взорвать некоторые скрипты.
> 
> 2. У нас есть миниум 1 модуль, сборка которого взрывается, если локаль C
> прибить гвоздями.

  Другой вариант: Изменить 096-bytecompile_python3.brp так, чтобы при
наличии переменной RPM_BUILD_PYTHON_LANG для работы python`а
выставлялась локальная локаль ($RPM_BUILD_PYTHON_LANG)... Но помоему это
ещё более криво.

...
>>
>> Надо убрать этот %_build_lang подальше, его включение ломает скрипты,
>> совсем недавно кто-то на это опять наступил.
> 
>   А я сейчас (как и real@ ранее) -- наступил на слом сборки, если локаль
> не UTF8... И как быть?

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[REAL]

20.02.2013 01:46, Aleksey Avdeev пишет:
>    А я сейчас (как и real@ ранее) -- наступил на слом сборки, если локаль
> не UTF8... И как быть?

А ведь раньше всё собиралось, проблема возникла не так и давно.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 536 bytes --]

20.02.2013 09:02, REAL пишет:
> 20.02.2013 01:46, Aleksey Avdeev пишет:
>>    А я сейчас (как и real@ ранее) -- наступил на слом сборки, если локаль
>> не UTF8... И как быть?
> 
> А ведь раньше всё собиралось, проблема возникла не так и давно.

  Под "ранее" я имею в виду письмо начавшее тред.

  Проблема возникла при прибытии гвоздями LC_ALL=C, которое тоже, не на
пустом месте возникло...

PS: Вот и надо сейчас что-то изобрести, чтобы и волки были целы, и овцы
сыты, и пастух жив.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Ivan A. Melnikov]

2013/2/20 Aleksey Avdeev <solo@solin.spb.ru>:
[...]
>   Другой вариант: Изменить 096-bytecompile_python3.brp так, чтобы при
> наличии переменной RPM_BUILD_PYTHON_LANG для работы python`а
> выставлялась локальная локаль ($RPM_BUILD_PYTHON_LANG)... Но помоему это
> ещё более криво.

Если (когда?) какой-нибудь апстрим положит два питноновских файла,
один в utf-8, а другой в latin-1 с прописаным соответсвенно encoding,
такой вариант решения тоже разломается. Мне кажется, надо учить
096-bytecompile_python3.brp понимать -*- encoding: ... -*-, и
использовать utf-8 по умолчанию.

-- 
WBR,
Ivan A. Melnikov

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1969 bytes --]

20.02.2013 10:25, Ivan A. Melnikov пишет:
> 2013/2/20 Aleksey Avdeev <solo@solin.spb.ru>:
> [...]
>>   Другой вариант: Изменить 096-bytecompile_python3.brp так, чтобы при
>> наличии переменной RPM_BUILD_PYTHON_LANG для работы python`а
>> выставлялась локальная локаль ($RPM_BUILD_PYTHON_LANG)... Но помоему это
>> ещё более криво.
> 
> Если (когда?) какой-нибудь апстрим положит два питноновских файла,
> один в utf-8, а другой в latin-1 с прописаным соответсвенно encoding,
> такой вариант решения тоже разломается.

  Если системная локаль UTF8, то нет, т. к. она включает в себя всё
множество символов latin-1. (Если я правильно понял диагностику ошибки,
проблему вызывают символы, не отображаемые на системную локаль.)

> Мне кажется, надо учить
> 096-bytecompile_python3.brp понимать -*- encoding: ... -*-, и
> использовать utf-8 по умолчанию.

  Кто возьмётся за отображение множества python`их лангов на системное?
Насколько я знаю, они перекликаются, но не совпадают.

  Как показывает практика, для большинства python`овских пакетов
LC_ALL=C на период байт компиляции вполне достаточно (их сборка не
сломана). => LC_ALL=C вполне хорошее умолчание.

  Но как, опять таки, показала практика, в стадо python пакетов
затесалась минимум одна паршивая овца: UTF8 на этапе байткомпиляции
нужен как минимум для python3-module-pycairo. Может, конечно, за в
процессе перехода на python3.3 что-то ещё такое выплывет... Но думаю, мы
уже можем положиться на то, что таких пакетов будет мало. (По крайней
мере на данный момент.) Проблема в том, что эти пакеты набо тоже как-то
собирать... Значит (как я понимаю задачу) надо ввести механизм,
позволяющий задать для _некоторых_ пакетов (подойдёт даже если это будет
явный список исключений, заданный в неком файле) вместо LC_ALL=C локаль
заданную мантейнером (или прибить гвоздями одну из UTF8, как
альтернативу C), как миниум на этапе байткомпиляции.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: [rpm-build-python3] LC_ALL=en_US.utf8 для python3.compileall.py (was: Безусловный LC_ALL=C в /usr/lib/rpm/functions)

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 2147 bytes --]

19.02.2013 15:04, Aleksey Avdeev пишет:
> 18.01.2013 15:41, REAL пишет:
>> привет!
>>
>> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
> 
>   См.
> <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.
> 
...
> 
>   Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
> /usr/lib/rpm/functions.

  Цитирую <http://wiki.python.org/moin/Python2orPython3>:

Guido van Rossum (the original creator of the Python language) decided
to clean up Python 2.x properly, with less regard for backwards
compatibility than is the case for new releases in the 2.x range. The
most drastic improvement is the better Unicode support (with all text
strings being Unicode by default) as well as saner bytes/Unicode separation.

  С учётом того, что полный переход на Unicode одна из фишек Python3 --
считаю что байткомпиляциию, для его файлов стоит проводить с
использованием LC_ALL=en_US.utf8.

  Думаю, что стоит это делать через добавление LC_ALL=en_US.utf8 в
строку вызова python3 (/usr/lib/rpm/brp.d/096-bytecompile_python3.brp).

> 
> ...
>> Package: python3-module-pycairo-1.10.1-alt3.git20120819
>> Status: Sisyphus/x86_64 test rebuild failed
> ...
>> /usr/src/tmp/python3-module-pycairo-buildroot using /usr/bin/python3
>> Traceback (most recent call last):
>>   File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
>>     exit_status = bool(main())
...
>>   File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
>>     line = open(file).readline()
>>   File "/usr/lib64/python3.2/encodings/ascii.py", line 26, in decode
>>     return codecs.ascii_decode(input, self.errors)[0]
>> UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 14:
>> ordinal not in range(128)
>> error: Bad exit status from /usr/src/tmp/rpm-tmp.27184 (%install)

  Взрыв вызывает выделенный символ:

$ cat src/__init__.py
'''
Copyright © 2003,2010 James Henstridge, Steven Chaplin
          ^

This file is part of pycairo.

...
'''
from ._cairo import *

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: [rpm-build-python3] LC_ALL=en_US.utf8 для python3.compileall.py

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 1499 bytes --]

21.02.2013 18:16, Aleksey Avdeev пишет:
> 19.02.2013 15:04, Aleksey Avdeev пишет:
>> 18.01.2013 15:41, REAL пишет:
>>> привет!
>>>
>>> кто-нибудь может подсказать, что изменилось и как теперь с этим жить?
>>
>>   См.
>> <http://git.altlinux.org/people/ldv/packages/?p=rpm.git;a=commitdiff;h=279f487ca4461fc3cc29bc7eb9ea05a45abba4c1>.
>>
> ...
>>
>>   Похоже, нужна ручка для запрета перекрыия правильного LC_ALL в
>> /usr/lib/rpm/functions.
> 
>   Цитирую <http://wiki.python.org/moin/Python2orPython3>:
> 
> Guido van Rossum (the original creator of the Python language) decided
> to clean up Python 2.x properly, with less regard for backwards
> compatibility than is the case for new releases in the 2.x range. The
> most drastic improvement is the better Unicode support (with all text
> strings being Unicode by default) as well as saner bytes/Unicode separation.
> 
>   С учётом того, что полный переход на Unicode одна из фишек Python3 --
> считаю что байткомпиляциию, для его файлов стоит проводить с
> использованием LC_ALL=en_US.utf8.
> 
>   Думаю, что стоит это делать через добавление LC_ALL=en_US.utf8 в
> строку вызова python3 (/usr/lib/rpm/brp.d/096-bytecompile_python3.brp).

  Предлагаю rpm-build-python3 с таким вариантом исправления
096-bytecompile_python3.brp:
<http://git.altlinux.org/people/solo/packages/rpm-build-python3.git?p=rpm-build-python3.git;a=commitdiff;h=538745c6af443ebee8842c46d2cb3746a470d30e>

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Ivan A. Melnikov]

2013/2/20 Aleksey Avdeev <solo@solin.spb.ru>:
> 20.02.2013 10:25, Ivan A. Melnikov пишет:
[...]
>
>> Мне кажется, надо учить
>> 096-bytecompile_python3.brp понимать -*- encoding: ... -*-, и
>> использовать utf-8 по умолчанию.
>
>   Кто возьмётся за отображение множества python`их лангов на системное?
> Насколько я знаю, они перекликаются, но не совпадают.

Это и не обязательно, имхо локаль вообще трогать не нужно, нужно
трогать /usr/lib/rpm/python3.compileall.py.

Вот traceback  из логов сборки:

Traceback (most recent call last):
  File "/usr/lib/rpm/python3.compileall.py", line 131, in <module>
    exit_status = bool(main())
  File "/usr/lib/rpm/python3.compileall.py", line 128, in main
    return compile_path(**dopt)
  File "/usr/lib/rpm/python3.compileall.py", line 93, in compile_path
    compile_all(join_prefix(prefix,item),[join_prefix(prefix,x) for x
in exclude],deep,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
    compile_all(p,exclude,deep-1,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 81, in compile_all
    compile_all(p,exclude,deep-1,skip_x,clean,prefix)
  File "/usr/lib/rpm/python3.compileall.py", line 84, in compile_all
    if not (skip_x and executable(p)) :
  File "/usr/lib/rpm/python3.compileall.py", line 60, in executable
    line = open(file).readline()
  File "/usr/lib/python3.3/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position
14: ordinal not in range(128)
error: Bad exit status from /usr/src/tmp/rpm-tmp.41412 (%install)

Посмотрим на /usr/lib/rpm/python3.compileall.py, строку 60

http://git.altlinux.org/people/solo/packages/?p=rpm-build-python3.git;a=blob;f=rpm-build-python3/python3.compileall.py;h=3c8fb4e3023d686d926b43744bc8a6ee3d0896ff;hb=0d8ba0d9dff3be076604aa59accd673cd7056f71#l57

  57 def executable(file):
  58     import stat
  59     if stat.S_IEXEC & (os.stat(file)[stat.ST_MODE]) :
  60         line = open(file).readline()
  61         if "#!" == line[:2] :
  62             return 1

То есть, LANG вообще не нужен, нужно передать правильный encoding в
стандартный питоновский open. Я подозреваю, что если заменить строку
60 на

  60         line = open(file, encoding='utf-8').readline()

то всё заработает прямо сейчас (проверить до завтра не могу, на работе
пока что не Alt), и танцы вокруг локали будут не нужны.

Ещё более правильным решением будет работать с файлами так, как это
делает сам питон (см tokenize.py, там есть и функция detect_encoding):

http://git.altlinux.org/people/solo/packages/python3.git?p=python3.git;a=blob;f=python3/Lib/tokenize.py;h=d669412db3eb0c7eb89c316acec89d4acb541380;hb=20543a67c862d487199f572f29e9b9a67aafdb06

Если никто не сделает раньше, попробую за выходные предложить решение.

Так что не трогайте локаль, она не виновата.

[...]
>
>   Но как, опять таки, показала практика, в стадо python пакетов
> затесалась минимум одна паршивая овца: UTF8 на этапе байткомпиляции
> нужен как минимум для python3-module-pycairo.

Внезапно, крамольная мысль: пропатчить pycairo при помощи sed
's/©/(c)/g'  и спокойно жить дальше с существующей локалью и
rpm-build-python3. Пока овца одна ;)

-- 
WBR,
Ivan A. Melnikov

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Ivan A. Melnikov]

2013/2/22 REAL <real@kemsu.ru>:
>
> Да. пока не реализован механизм байт-компиляции в utf8, это было бы самым
> разумным и быстрым решением.

Если бы я принёс на работу (где я сейчас) ssh-ключи, я бы наверняка
реализовал его уже через 5 минут: есть подозрение, что достаточно в
начало /usr/lib/rpm/python3.compileall.py добавить строчку

from tokenize import open

Другой вариант: в строке 60 в том же файле вместо
open(file).readline() использовать open(file, 'rb').read(2).

-- 
WBR,
Ivan A. Melnikov

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Ivan A. Melnikov]

2013/2/22 REAL <real@kemsu.ru>:
[...]
>
> Да. пока не реализован механизм байт-компиляции в utf8, это было бы самым
> разумным и быстрым решением.

Если бы я принёс на работу (где я сейчас) ssh-ключи, я бы наверняка
реализовал его уже через 5 минут: есть подозрение, что достаточно в
начало /usr/lib/rpm/python3.compileall.py добавить строчку

from tokenize import open

Другой вариант: в строке 60 в том же файле вместо
open(file).readline() использовать open(file, 'rb').read(2).

-- 
WBR,
Ivan A. Melnikov

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[REAL]

22.02.2013 12:07, Ivan A. Melnikov пишет:
>>    Но как, опять таки, показала практика, в стадо python пакетов
>> затесалась минимум одна паршивая овца: UTF8 на этапе байткомпиляции
>> нужен как минимум для python3-module-pycairo.
>
> Внезапно, крамольная мысль: пропатчить pycairo при помощи sed
> 's/©/(c)/g'  и спокойно жить дальше с существующей локалью и
> rpm-build-python3. Пока овца одна ;)

Да. пока не реализован механизм байт-компиляции в utf8, это было бы 
самым разумным и быстрым решением.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 803 bytes --]

22.02.2013 10:20, Ivan A. Melnikov пишет:
> 2013/2/22 REAL <real@kemsu.ru>:
>>
>> Да. пока не реализован механизм байт-компиляции в utf8, это было бы самым
>> разумным и быстрым решением.
> 
> Если бы я принёс на работу (где я сейчас) ssh-ключи, я бы наверняка
> реализовал его уже через 5 минут: есть подозрение, что достаточно в
> начало /usr/lib/rpm/python3.compileall.py добавить строчку
> 
> from tokenize import open

  Спасибо, таске 90151 применил такой вариант (см.
<http://git.altlinux.org/people/solo/packages/rpm-build-python3.git?p=rpm-build-python3.git;a=commitdiff;h=faa28741181b3c053feee89f05ff55d1c60eb12f>).

> 
> Другой вариант: в строке 60 в том же файле вместо
> open(file).readline() использовать open(file, 'rb').read(2).
> 

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 848 bytes --]

22.02.2013 13:12, Aleksey Avdeev пишет:
> 22.02.2013 10:20, Ivan A. Melnikov пишет:
>> 2013/2/22 REAL <real@kemsu.ru>:
>>>
>>> Да. пока не реализован механизм байт-компиляции в utf8, это было бы самым
>>> разумным и быстрым решением.
>>
>> Если бы я принёс на работу (где я сейчас) ssh-ключи, я бы наверняка
>> реализовал его уже через 5 минут: есть подозрение, что достаточно в
>> начало /usr/lib/rpm/python3.compileall.py добавить строчку
>>
>> from tokenize import open
> 
>   Спасибо, таске 90151 применил такой вариант (см.
> <http://git.altlinux.org/people/solo/packages/rpm-build-python3.git?p=rpm-build-python3.git;a=commitdiff;h=faa28741181b3c053feee89f05ff55d1c60eb12f>).

  Оно собралось (см.
<http://git.altlinux.org/tasks/90151/logs/events.6.1.log>). Осталось в
Сизиф пропустить.

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Novodvorsky]

22 февраля 2013 г., 10:07 пользователь Ivan A. Melnikov
<iv@altlinux.org> написал:
> Внезапно, крамольная мысль: пропатчить pycairo при помощи sed
> 's/©/(c)/g'  и спокойно жить дальше с существующей локалью и
> rpm-build-python3. Пока овца одна ;)

Отличная мысль!

Rgrds, Алексей

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Aleksey Avdeev]

[-- Attachment #1: Type: text/plain, Size: 691 bytes --]

22.02.2013 13:40, Aleksey Novodvorsky пишет:
> 22 февраля 2013 г., 10:07 пользователь Ivan A. Melnikov
> <iv@altlinux.org> написал:
>> Внезапно, крамольная мысль: пропатчить pycairo при помощи sed
>> 's/©/(c)/g'  и спокойно жить дальше с существующей локалью и
>> rpm-build-python3. Пока овца одна ;)
> 
> Отличная мысль!

  Не лучший вариант, на мой взгляд: Т. к. python3 полностью поддерживает
юникод в любых строках (в том числе и в именах модулей и путях к ним) --
считаю pycairo не исключением, а первой ласточкой.

  Да, исправить pycairo просто. Но будет ли так просто исправить
следующих? Не лучше ли ликвидировать корень проблемы?

-- 

С уважением. Алексей.



[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 897 bytes --]

Re: [devel] U: Безусловный LC_ALL=C в /usr/lib/rpm/functions

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 508 bytes --]

On Fri, Feb 22, 2013 at 10:20:53AM +0400, Ivan A. Melnikov wrote:
> 
> Если бы я принёс на работу (где я сейчас) ssh-ключи, я бы наверняка
> реализовал его уже через 5 минут: есть подозрение, что достаточно в
> начало /usr/lib/rpm/python3.compileall.py добавить строчку
> 
> from tokenize import open
> 
> Другой вариант: в строке 60 в том же файле вместо
> open(file).readline() использовать open(file, 'rb').read(2).

Действительно, readline() там совершенно ни к чему.  Спасибо!


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]