[sisyphus] hsh (rpm) fails on pylint with MemoryError

[sisyphus] hsh (rpm) fails on pylint with MemoryError

[Andrey Khavryuchenko]

+ cd /usr/src/RPM/BUILD
+ /usr/lib/rpm/find-requires
Traceback (most recent call last):
  File "/usr/lib/rpm/python.req.py", line 122, in ?
    lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
MemoryError
error: /bin/sh failed
error: 

RPM build errors:
Failed to find Requires
    /bin/sh failed
    Failed to find Requires
4.91user 4.10system 0:13.03elapsed 69%CPU (0avgtext+0avgdata 0maxresident)k
0inputs+0outputs (7major+1122862minor)pagefaults 0swaps
rebuild: rebuild of `pylint-0.12.2-alt1.src.rpm' failed.

Пакет для проверки доступен тут[1]  Поведение воспроизводится как на i686,
так и на x86_64.

Footnotes: 
[1]  http://office.kds.com.ua/~akhavr/pylint-0.12.2-alt1.src.rpm

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 430 bytes --]

On Wed, Dec 06, 2006 at 01:56:27AM +0200, Andrey Khavryuchenko wrote:
> + cd /usr/src/RPM/BUILD
> + /usr/lib/rpm/find-requires
> Traceback (most recent call last):
>   File "/usr/lib/rpm/python.req.py", line 122, in ?
>     lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
> MemoryError
> error: /bin/sh failed

$ rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
rpm-build-python


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

Dmitry,

"DVL" == Dmitry V Levin wrote:

 DVL> On Wed, Dec 06, 2006 at 01:56:27AM +0200, Andrey Khavryuchenko wrote:
 >> + cd /usr/src/RPM/BUILD
 >> + /usr/lib/rpm/find-requires
 >> Traceback (most recent call last):
 >> File "/usr/lib/rpm/python.req.py", line 122, in ?
 >> lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
 >> MemoryError
 >> error: /bin/sh failed

 DVL> $ rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
 DVL> rpm-build-python

На обоих машинах:

akhavr@devel ~/tmp/pylint-0.12.2 $  rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
rpm-build-python

akhavr@netmaster /tmp $  rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
rpm-build-python

При чём в обоих случаях - самый свежий 0.29-alt2:

akhavr@devel ~/tmp/pylint-0.12.2 $ sudo apt-get install rpm-build-python
Reading Package Lists... Done
Building Dependency Tree... Done
rpm-build-python is already the newest version.
0 upgraded, 0 newly installed, 0 removed and 60 not upgraded.

akhavr@netmaster /tmp $ LANG=C sudo apt-get install rpm-build-python
Reading Package Lists... Done
Building Dependency Tree... Done
rpm-build-python is already the newest version.
0 upgraded, 0 newly installed, 0 removed and 865 not upgraded.


-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

Dmitry,

"AVK" == Andrey Khavryuchenko wrote:

 AVK> "DVL" == Dmitry V Levin wrote:

 DVL> On Wed, Dec 06, 2006 at 01:56:27AM +0200, Andrey Khavryuchenko wrote:
 >>> + cd /usr/src/RPM/BUILD
 >>> + /usr/lib/rpm/find-requires
 >>> Traceback (most recent call last):
 >>> File "/usr/lib/rpm/python.req.py", line 122, in ?
 >>> lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
 >>> MemoryError
 >>> error: /bin/sh failed

 DVL> $ rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
 DVL> rpm-build-python

Хоть в какую сторону копать?  На какой пакет вешать багу?  На
rpm-build-python? 

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Fr. Br. George]

On Wed, Dec 06, 2006 at 06:09:40PM +0200, Andrey Khavryuchenko wrote:
>  >>> + cd /usr/src/RPM/BUILD
>  >>> + /usr/lib/rpm/find-requires
>  >>> Traceback (most recent call last):
>  >>> File "/usr/lib/rpm/python.req.py", line 122, in ?
>  >>> lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
>  >>> MemoryError
>  >>> error: /bin/sh failed
> 
>  DVL> $ rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
>  DVL> rpm-build-python
> 
> Хоть в какую сторону копать?  На какой пакет вешать багу?  На
> rpm-build-python? 
И на pylint :)

Попытка распарсить (parser.suite) некоторый файл этого пакета Питоном
завершилась неудачно, с ошибкой MemoryError. Банальная подстановка
except:
  print src
  raise
сразу после 122-й строки python.req.py
показала, что файл этот --
/usr/lib/python2.4/site-packages/pylint/test/input/func_unknown_encoding.py
Что-то в нём не так.
/me глядит в файл ...

/me LOL !

Там вместо 
# -*- coding: ISO-8859-1 -*-
написано
# -*- coding: IBO-8859-1 -*-

Межет, эти строчки добавить и на постоянной основе, а то непонятно ведь&
Тогда вешайте багу. Но вашу это не поправит :).

-- 
			George V. Kouryachy (aka Fr. Br. George)
			mailto:george at altlinux_ru

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

George,

"FBG" == Fr Br George wrote:

 FBG> On Wed, Dec 06, 2006 at 06:09:40PM +0200, Andrey Khavryuchenko wrote:
 >> >>> + cd /usr/src/RPM/BUILD
 >> >>> + /usr/lib/rpm/find-requires
 >> >>> Traceback (most recent call last):
 >> >>> File "/usr/lib/rpm/python.req.py", line 122, in ?
 >> >>> lis = parser.suite(open(src).read().replace("\r\n","\n")).tolist()
 >> >>> MemoryError
 >> >>> error: /bin/sh failed
 >> 
 DVL> $ rpmquery -f --qf '%{NAME}\n' /usr/lib/rpm/python.req.py
 DVL> rpm-build-python
 >> 
 >> Хоть в какую сторону копать?  На какой пакет вешать багу?  На
 >> rpm-build-python? 
 FBG> И на pylint :)

 FBG> Попытка распарсить (parser.suite) некоторый файл этого пакета Питоном
 FBG> завершилась неудачно, с ошибкой MemoryError. Банальная подстановка
 FBG> except:
 FBG> print src
 FBG> raise
 FBG> сразу после 122-й строки python.req.py
 FBG> показала, что файл этот --
 FBG> /usr/lib/python2.4/site-packages/pylint/test/input/func_unknown_encoding.py
 FBG> Что-то в нём не так.
 FBG> /me глядит в файл ...

 FBG> /me LOL !

 FBG> Там вместо 
 >> -*- coding: ISO-8859-1 -*-
 FBG> написано
 >> -*- coding: IBO-8859-1 -*-

 FBG> Межет, эти строчки добавить и на постоянной основе, а то непонятно ведь&
 FBG> Тогда вешайте багу. Но вашу это не поправит :).

Это не бага.  Это фича.

pylint проверяет стиль питоновских файлов.
pylint/test/input/func_unknown_encoding.py - как раз тест на файл с
неверной кодировкой.

Соответственно, вопросы:
 - как выключить проверку зависимостей на это файл? (догадываюсь что где-то
   в доках rpm-build-python это описано)
 - не стоит ли python.reg.py в этом случае давать более внятную
 диагностику?


-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Fr. Br. George]

On Thu, Dec 07, 2006 at 03:06:56PM +0200, Andrey Khavryuchenko wrote:
> 
>  FBG> Межет, эти строчки добавить и на постоянной основе, а то непонятно ведь
>  FBG> Тогда вешайте багу. Но вашу это не поправит :).
> 
> Это не бага.  Это фича.
> 
> pylint проверяет стиль питоновских файлов.
Угу, я уже понял.

> Соответственно, вопросы:
>  - как выключить проверку зависимостей на это файл? (догадываюсь что где-то
>    в доках rpm-build-python это описано)
Давайте вместе их почитаем:
grep python.prov `rpmquery -l rpm-build-python`
Что-то я такое помню -- %add_findreq_skiplist со товарищи.

>  - не стоит ли python.reg.py в этом случае давать более внятную
>  диагностику?
Без сомнения. Просто я стараюсь с налёту не рвать нечто, написанное
Великим и Непостижимым cray@.

-- 
			George V. Kouryachy (aka Fr. Br. George)
			mailto:george at altlinux_ru

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

Fr,

"FBG" == Fr Br George wrote:

 FBG> Тогда вешайте багу. Но вашу это не поправит :).

#10374

Мою уже поправило.  Пакет только что собрался в хешере и доступен в сети
kds через rsync.

Как будем проталкивать pylint в ALT?

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

George,

"FBG" == Fr Br George wrote:

 FBG> On Thu, Dec 07, 2006 at 03:06:56PM +0200, Andrey Khavryuchenko wrote:
 >> Соответственно, вопросы:
 >> - как выключить проверку зависимостей на это файл? (догадываюсь что где-то
 >> в доках rpm-build-python это описано)

 FBG> Давайте вместе их почитаем:
 FBG> grep python.prov `rpmquery -l rpm-build-python`
 FBG> Что-то я такое помню -- %add_findreq_skiplist со товарищи.

Не работает.

 >> - не стоит ли python.reg.py в этом случае давать более внятную
 >> диагностику?
 FBG> Без сомнения. Просто я стараюсь с налёту не рвать нечто, написанное
 FBG> Великим и Непостижимым cray@.

Патч _маскирующий_ проблему - в тикете.  По уму там стоит выводить
предупреждение в stderr и продолжать работу.  Если нужно - могу доделать. 

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Fr. Br. George]

On Thu, Dec 07, 2006 at 09:36:39PM +0200, Andrey Khavryuchenko wrote:
>  >> Соответственно, вопросы:
>  >> - как выключить проверку зависимостей на это файл? (догадываюсь что где-то
>  >> в доках rpm-build-python это описано)
>  FBG> Давайте вместе их почитаем:
>  FBG> grep python.prov `rpmquery -l rpm-build-python`
>  FBG> Что-то я такое помню -- %add_findreq_skiplist со товарищи.
> Не работает.
Что не работает? Чтение python-policy или чтение документации по rpm? :)
Цитирую 5-Python_FAQ.txt:
"""
Поиск зависимостей просматривает не все файлы, а только те, которые
лежат в директории %_findreq_topdir, за исключением
перечисленных в макросе %_findreq_skiplist. Изменить эти макросы
можно макросами set_findreq_topdir, set_findreq_skiplist,
add_findreq_skiplist, которые описаны в документации на rpm. Ее на
самом деле стоит прочитать, до того, как задавать вопросы о
python-policy.
"""
Дальше было два пути: почитать документацию на rpm (да, это ужасно, я
знаю), либо, воспользовавшись намёком ("со товарищи"), заменить req на
prov и убедиться, что таковые в /usr/lib/rpm имеются :).

Итог: поставил в вашем спеке
%add_findreq_skiplist %python_sitelibdir/%name/test/input/func_unknown_encoding.py
%add_findprov_skiplist %python_sitelibdir/%name/test/input/func_unknown_encoding.py
и всё собралось.

Итог итога:
Куча файлов из pylint/test unpackaged. Так надо?

Итог итога итога:
Нашёл багу в полиси: вместо "за исключением перечисленных в макросе
%_findreq_skiplist" там сказано "за исключением директорий,
перечисленных в макросе %_findreq_skiplist". Может, это вас сбило с
толку?

> Патч _маскирующий_ проблему - в тикете.  По уму там стоит выводить
> предупреждение в stderr и продолжать работу.
Нет, конечно. По уму этот файл не надо проверять. Он же по определению
сбойный.

-- 
			George V. Kouryachy (aka Fr. Br. George)
			mailto:george at altlinux_ru

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

George,

"FBG" == Fr Br George wrote:

 FBG> Итог: поставил в вашем спеке
 FBG> %add_findreq_skiplist %python_sitelibdir/%name/test/input/func_unknown_encoding.py
 FBG> %add_findprov_skiplist %python_sitelibdir/%name/test/input/func_unknown_encoding.py
 FBG> и всё собралось.

Хм...  Бред с моей машины попёр...  Вначале просто никакой реакции, затем
вообще %_findreq_skiplist отказался раскрываться.

Удалил rpm-build-python и всё с ним связанное, обновил rpm и поставил ещё
раз свежий из сизифа (тот же, что и был до этого).  Починилось.

 FBG> Итог итога:
 FBG> Куча файлов из pylint/test unpackaged. Так надо?

Нет, конечно.

Мне нужно %python_sitelibdir/%name/test завернуть в отдельный пакет и
зависимости на файлы из него не проверять.  Вообще.

 FBG> Итог итога итога:
 FBG> Нашёл багу в полиси: вместо "за исключением перечисленных в макросе
 FBG> %_findreq_skiplist" там сказано "за исключением директорий,
 FBG> перечисленных в макросе %_findreq_skiplist". Может, это вас сбило с
 FBG> толку?

См. выше.

 >> Патч _маскирующий_ проблему - в тикете.  По уму там стоит выводить
 >> предупреждение в stderr и продолжать работу.
 FBG> Нет, конечно. По уму этот файл не надо проверять. Он же по определению
 FBG> сбойный.

Сейчас в incoming уйдёт исправленный pylint.

А багу закрывать не следует.  parser на этот файл должен давать SyntaxError
а не MemoryError.

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Fr. Br. George]

On Sat, Dec 09, 2006 at 06:54:45PM +0200, Andrey Khavryuchenko wrote:
> Хм...  Бред с моей машины попёр...  Вначале просто никакой реакции, затем
> вообще %_findreq_skiplist отказался раскрываться.
> 
> Удалил rpm-build-python и всё с ним связанное, обновил rpm и поставил ещё
> раз свежий из сизифа (тот же, что и был до этого).  Починилось.
apt-get install hasher
и
http://www.freesource.info/wiki/ALTLinux/Dokumentacija/Hasher
а?

>  FBG> Итог итога:
>  FBG> Куча файлов из pylint/test unpackaged. Так надо?
> 
> Нет, конечно.
> 
> Мне нужно %python_sitelibdir/%name/test завернуть в отдельный пакет и
> зависимости на файлы из него не проверять.  Вообще.
Ничего нет проще. Оформляете в своём спеке второй пакет, а
%python_sitelibdir/%name/test вставляете во все скиплисты.

> А багу закрывать не следует.  parser на этот файл должен давать SyntaxError
> а не MemoryError.
Это вы на Гвидо вешайте, он parser пишет :).

Но вы правы. Я не знаю, есть ли в этом какой-то смысл:

$ python -c 'import parser; parser.suite(file("func_unknown_encoding.py").read())'
Traceback (most recent call last):
  File "<string>", line 1, in ?
MemoryError

$ python -c 'import func_unknown_encoding'            
Traceback (most recent call last):
  File "<string>", line 1, in ?
  File "func_unknown_encoding.py", line 1
SyntaxError: encoding problem: with BOM


-- 
			George V. Kouryachy (aka Fr. Br. George)
			mailto:george at altlinux_ru

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

Fr,

"FBG" == Fr Br George wrote:

 FBG> On Sat, Dec 09, 2006 at 06:54:45PM +0200, Andrey Khavryuchenko wrote:
 >> Хм...  Бред с моей машины попёр...  Вначале просто никакой реакции, затем
 >> вообще %_findreq_skiplist отказался раскрываться.
 >> 
 >> Удалил rpm-build-python и всё с ним связанное, обновил rpm и поставил ещё
 >> раз свежий из сизифа (тот же, что и был до этого).  Починилось.
 FBG> apt-get install hasher
 FBG> и
 FBG> http://www.freesource.info/wiki/ALTLinux/Dokumentacija/Hasher
 FBG> а?

До сборки в hasher я собираю в своей системе - хешер неприятно
подтормаживает во время установки пакетов.

 FBG> Итог итога:
 FBG> Куча файлов из pylint/test unpackaged. Так надо?
 >> 
 >> Нет, конечно.
 >> 
 >> Мне нужно %python_sitelibdir/%name/test завернуть в отдельный пакет и
 >> зависимости на файлы из него не проверять.  Вообще.
 FBG> Ничего нет проще. Оформляете в своём спеке второй пакет, а
 FBG> %python_sitelibdir/%name/test вставляете во все скиплисты.

Уже.  Uploaded to incoming.

 >> А багу закрывать не следует.  parser на этот файл должен давать SyntaxError
 >> а не MemoryError.
 FBG> Это вы на Гвидо вешайте, он parser пишет :).

Я в курсе.  Но не стоил ли повесить и в нашу багзилу?

 FBG> Но вы правы. Я не знаю, есть ли в этом какой-то смысл:

 FBG> $ python -c 'import parser; parser.suite(file("func_unknown_encoding.py").read())'
 FBG> Traceback (most recent call last):
 FBG> File "<string>", line 1, in ?
 FBG> MemoryError

 FBG> $ python -c 'import func_unknown_encoding'            
 FBG> Traceback (most recent call last):
 FBG> File "<string>", line 1, in ?
 FBG> File "func_unknown_encoding.py", line 1
 FBG> SyntaxError: encoding problem: with BOM

Явный дефект, т.к. вываливается по ошибке памяти: либо invalid ptr access,
либо слишком много ожирает.  Скорее первое, т.к. заметного замедления
работы машины с уползанием всея в своп не наблюдалось.

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Michael Shigorin]

On Sun, Dec 10, 2006 at 05:49:14PM +0200, Andrey Khavryuchenko wrote:
>  >> Хм...  Бред с моей машины попёр...  Вначале просто никакой реакции, затем
>  >> вообще %_findreq_skiplist отказался раскрываться.
>  >> 
>  >> Удалил rpm-build-python и всё с ним связанное, обновил rpm и поставил ещё
>  >> раз свежий из сизифа (тот же, что и был до этого).  Починилось.
>  FBG> apt-get install hasher
>  FBG> и
>  FBG> http://www.freesource.info/wiki/ALTLinux/Dokumentacija/Hasher
>  FBG> а?
> До сборки в hasher я собираю в своей системе - хешер неприятно
> подтормаживает во время установки пакетов.

Рассели по I/O на два шпинделя (на одном или NFS -- репозиторий,
на другом -- workdir) или если получается -- засунь workdir
(damir@ публиковал рецепт только для chroot) на tmpfs.

Ещё хорошо помогает hsh-install и hsh-shell при методичном
допинывании в чруте.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] rpm-build-python fails on pylint with MemoryError

[Andrey Khavryuchenko]

Michael,

"MS" == Michael Shigorin wrote:

 MS> On Sun, Dec 10, 2006 at 05:49:14PM +0200, Andrey Khavryuchenko wrote:
 >> До сборки в hasher я собираю в своей системе - хешер неприятно
 >> подтормаживает во время установки пакетов.

 MS> Рассели по I/O на два шпинделя (на одном или NFS -- репозиторий,
 MS> на другом -- workdir) или если получается -- засунь workdir
 MS> (damir@ публиковал рецепт только для chroot) на tmpfs.

У меня сборка пакетов идёт (пока ещё) не настолько систематически, чтобы
вкладывать время в такую оптимизацию.

 MS> Ещё хорошо помогает hsh-install и hsh-shell при методичном
 MS> допинывании в чруте.

Уже что-то допинывал в процессе сборки pylint, знаю.

-- 
Andrey V Khavryuchenko            
Software Development Company http://www.kds.com.ua/