[devel] atlas is broken again?

[devel] atlas is broken again?

[Valery Pipin]

IPython 0.10 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object'. ?object also works, ?? prints more.

In [1]: from numpy.random import *

In [2]: from numpy.linalg import *

In [3]: m=randn(2000,2000)

In [4]: %time U,s,V=svd(m)
Ошибка сегментирования

Re: [devel] atlas is broken again?

[REAL]

05.04.2011 10:44, Valery Pipin пишет:
> In [1]: from numpy.random import *
>
> In [2]: from numpy.linalg import *
>
> In [3]: m=randn(2000,2000)
>
> In [4]: %time U,s,V=svd(m)
> Ошибка сегментирования

NumPy нужно пересобрать с новым atlas. Сейчас сделаем.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 4 апреля 2011 20:59:31 автор REAL написал:
> 05.04.2011 10:44, Valery Pipin пишет:
> > In [1]: from numpy.random import *
> > 
> > In [2]: from numpy.linalg import *
> > 
> > In [3]: m=randn(2000,2000)
> > 
> > In [4]: %time U,s,V=svd(m)
> > Ошибка сегментирования
> 
> NumPy нужно пересобрать с новым atlas. Сейчас сделаем.
Разве это поможет? Помоему numpy просто использует внешнюю библиотеку и все
Например по совету со scipy.org:
 ldd /usr/lib64/python2.6/site-packages/numpy/linalg/lapack_lite.so
        linux-vdso.so.1 =>  (0x00007fffc555e000)
        liblapack.so.3 => /usr/lib64/liblapack.so.3 (0x00007fe4b85a0000)
        libpython2.6.so.1.0 => /usr/lib64/libpython2.6.so.1.0 
(0x00007fe4b81f6000)
        libc.so.6 => /lib64/libc.so.6 (0x00007fe4b7e8d000)
        libblas.so.3 => /usr/lib64/libblas.so.3 (0x00007fe4b7c6e000)
        libgfortran.so.3 => /usr/lib64/libgfortran.so.3 (0x00007fe4b7987000)
        libm.so.6 => /lib64/libm.so.6 (0x00007fe4b7705000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007fe4b74ef000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fe4b72d2000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007fe4b70ce000)
        libutil.so.1 => /lib64/libutil.so.1 (0x00007fe4b6ecb000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fe4b9031000)
        libatlas.so.3 => /usr/lib64/libatlas.so.3 (0x00007fe4b68a6000)

Re: [devel] atlas is broken again?

[REAL]

>> NumPy нужно пересобрать с новым atlas. Сейчас сделаем.
> Разве это поможет? Помоему numpy просто использует внешнюю библиотеку и все

Должно помочь. А если не поможет, то тут нужно смотреть на локальные 
проблемы, ибо УМВР даже без пересобранного NumPy.

PS. Может быть, у Вас с памятью что-то не то? Не пробовали на другом 
компе? А то для m=randn(2000,2000) мало памяти - зло.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 4 апреля 2011 23:19:19 автор REAL написал:
> >> NumPy нужно пересобрать с новым atlas. Сейчас сделаем.
> > 
> > Разве это поможет? Помоему numpy просто использует внешнюю библиотеку и
> > все
> 
> Должно помочь. А если не поможет, то тут нужно смотреть на локальные
> проблемы, ибо УМВР даже без пересобранного NumPy.
> 
> PS. Может быть, у Вас с памятью что-то не то? Не пробовали на другом
> компе? А то для m=randn(2000,2000) мало памяти - зло.
64 bit?
Я откатился и все работает. 

Re: [devel] atlas is broken again?

[REAL]

>> PS. Может быть, у Вас с памятью что-то не то? Не пробовали на другом
>> компе? А то для m=randn(2000,2000) мало памяти - зло.
> 64 bit?
> Я откатился и все работает.

Значит, точно какая-то локальная проблема.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 4 апреля 2011 23:53:04 автор REAL написал:
> >> PS. Может быть, у Вас с памятью что-то не то? Не пробовали на другом
> >> компе? А то для m=randn(2000,2000) мало памяти - зло.
> > 
> > 64 bit?
> > Я откатился и все работает.
> 
> Значит, точно какая-то локальная проблема.

Какого типа?  С памятью проблем нет точно (4G) так как решаются более 
массивные задачи но для них я использую Enthought (64 bit тоже, academic 
версия бесплатна), поскольку он шустрее нашего раза в 4 (фактор 2 за счет 
распаралеливания и еще фактор 2 засчет mkl). Кстати в текущем (сизифовском) 
atlasе довольно существенная регрессия в производительности. 
Потом, у меня паралельно стоит macosx и opensuse... Правда там не такие 
продвинутые версии атласа

Re: [devel] atlas is broken again?

[REAL]

05.04.2011 14:02, Valery Pipin пишет:
>> Значит, точно какая-то локальная проблема.
>
> Какого типа?  С памятью проблем нет точно (4G) так как решаются более
> массивные задачи

Ну тогда не знаю даже. Попробуйте установить пакеты 
python-module-numpy-debuginfo и python-base-debuginfo, запустить gdb 
python, там run и попробуйте то, на чём у Вас валится. Всё, что 
вывалит, присылайте лично.

> но для них я использую Enthought

Из сизифа?

> Кстати в текущем (сизифовском)
> atlasе довольно существенная регрессия в производительности.

покажите rpm -qi libatlas

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 5 апреля 2011 00:14:04 автор REAL написал:
> 05.04.2011 14:02, Valery Pipin пишет:
> >> Значит, точно какая-то локальная проблема.
> > 
> > Какого типа?  С памятью проблем нет точно (4G) так как решаются более
> > массивные задачи
> 
> Ну тогда не знаю даже. Попробуйте установить пакеты
> python-module-numpy-debuginfo и python-base-debuginfo, запустить gdb
> python, там run и попробуйте то, на чём у Вас валится. Всё, что
> вывалит, присылайте лично.
Посмотрим
> 
> > но для них я использую Enthought
> 
> Из сизифа?
> 
Отсюда, http://www.enthought.com/

> > Кстати в текущем (сизифовском)
> > atlasе довольно существенная регрессия в производительности.
> 
> покажите rpm -qi libatlas
я писал что я вернулся е прежнюю, рабочую, версию
rpm -qi libatlas
Name        : libatlas                     Relocations: (not relocatable)
Version     : 3.9.32                            Vendor: ALT Linux Team
Release     : alt2                          Build Date: Срд 09 Фев 2011 
10:47:06
Install date: Пнд 04 Апр 2011 20:49:33      Build Host: real-
sisyphus.hasher.altlinux.org
Group       : Система/Библиотеки   Source RPM: atlas-3.9.32-alt2.src.rpm
Size        : 5379780                          License: BSD
Packager    : Eugeny A. Rostovtsev (REAL) <real at altlinux.org>
URL         : http://math-atlas.sourceforge.net
Summary     : Automatically Tuned Linear Algebra Software (the BLAS library)
Description :
The ATLAS (Automatically Tuned Linear Algebra Software) project is an
ongoing research effort focusing on applying empirical techniques in
order to provide portable performance. At present, it provides C and
Fortran77 interfaces to a portably efficient BLAS implementation, as
well as a few routines from LAPACK.

Re: [devel] atlas is broken again?

[REAL]

05.04.2011 14:34, Valery Pipin пишет:
>> Из сизифа?
>>
> Отсюда, http://www.enthought.com/

А зачем, если есть в сизифе?

>> покажите rpm -qi libatlas
> я писал что я вернулся е прежнюю, рабочую, версию

Тогда я вообще в растерянности, ибо ни провала в производительности, 
ни в падении ничего не заметил.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 5 апреля 2011 00:41:27 автор REAL написал:
> 05.04.2011 14:34, Valery Pipin пишет:
> >> Из сизифа?
> > 
> > Отсюда, http://www.enthought.com/
> 
> А зачем, если есть в сизифе?
> 
сизифовский медленный, и к тому же периодически ломается. В enthought сборке 
использована MKL и линейная алгебра реально паралеллится если есть куда.
> >> покажите rpm -qi libatlas
> > 
> > я писал что я вернулся е прежнюю, рабочую, версию
> 
> Тогда я вообще в растерянности, ибо ни провала в производительности,
> ни в падении ничего не заметил.
Возвращаемся к первому сообщению. Вот это с  libatlas-3.9.35:
IPython 0.10 -- An enhanced Interactive Python. 
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object'. ?object also works, ?? prints more.

In [1]: from numpy.random import *

In [2]: from numpy.linalg import *

In [3]: m=randn(2000,2000)

In [4]: %time U,s,V=svd(m)
Ошибка сегментирования
Теперь пробуем для массивов меньших размеров:
In [1]: from numpy.linalg import *

In [2]: from numpy.random import *

In [3]: m=randn(100,100)

In [4]: %time U,s,V=svd(m)
CPU times: user 0.01 s, sys: 0.00 s, total: 0.01 s
Wall time: 0.01 s

In [6]: m=randn(200,200)

In [7]: %time U,s,V=svd(m)
---------------------------------------------------------------------------
LinAlgError                               Traceback (most recent call last)

/home/vv/<ipython console> in <module>()

/usr/lib/python2.6/site-packages/IPython/iplib.pyc in ipmagic(self, arg_s)
   1180         else:
   1181             magic_args = self.var_expand(magic_args,1)
-> 1182             return fn(magic_args)
   1183 
   1184     def ipalias(self,arg_s):

/usr/lib/python2.6/site-packages/IPython/Magic.pyc in magic_time(self, 
parameter_s)
   1969         else:
   1970             st = clk()
-> 1971             exec code in glob
   1972             end = clk()
   1973             out = None

/home/vv/<timed exec> in <module>()

/usr/lib64/python2.6/site-packages/numpy/linalg/linalg.pyc in svd(a, 
full_matrices, compute_uv)
   1318                                  work, lwork, iwork, 0)
   1319     if results['info'] > 0:
-> 1320         raise LinAlgError, 'SVD did not converge'
   1321     s = s.astype(_realType(result_t))
   1322     if compute_uv:

LinAlgError: SVD did not converge

Re: [devel] atlas is broken again?

[REAL]

05.04.2011 15:02, Valery Pipin пишет:
>>> Отсюда, http://www.enthought.com/
>>
>> А зачем, если есть в сизифе?
>>
> сизифовский медленный, и к тому же периодически ломается.

Поломок не замечал, а то, что MKL быстрее - факт. Увы, его в сизиф не 
положишь :(

[...]> Возвращаемся к первому сообщению. Вот это с  libatlas-3.9.35:

> In [1]: from numpy.random import *
>
> In [2]: from numpy.linalg import *
>
> In [3]: m=randn(2000,2000)
>
> In [4]: %time U,s,V=svd(m)
> Ошибка сегментирования

Ну нет у меня такого нигде, ни на x86_64, ни на i586.

> Теперь пробуем для массивов меньших размеров:
[...]
> In [6]: m=randn(200,200)
>
> In [7]: %time U,s,V=svd(m)
> ---------------------------------------------------------------------------
> LinAlgError                               Traceback (most recent call last)
[...]
>     1319     if results['info']>  0:
> ->  1320         raise LinAlgError, 'SVD did not converge'
>     1321     s = s.astype(_realType(result_t))
>     1322     if compute_uv:
>
> LinAlgError: SVD did not converge

Что же у Вас такое может быть, что даже на 200x200 вываливается? Увы, 
я тут бессилен, ибо не могу воспроизвести ситуацию. Может быть, на 
scipy.org спросите на этот счёт? Или, для начала, всё же дайте вывод gdb.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

05.04.2011 01:20, REAL пишет:
> 05.04.2011 15:02, Valery Pipin пишет:
>>>> Отсюда, http://www.enthought.com/
>>>
>>> А зачем, если есть в сизифе?
>>>
>> сизифовский медленный, и к тому же периодически ломается.
>
> Поломок не замечал, а то, что MKL быстрее - факт. Увы, его в сизиф не 
> положишь :(
>
> [...]> Возвращаемся к первому сообщению. Вот это с  libatlas-3.9.35:
>
>> In [1]: from numpy.random import *
>>
>> In [2]: from numpy.linalg import *
>>
>> In [3]: m=randn(2000,2000)
>>
>> In [4]: %time U,s,V=svd(m)
>> Ошибка сегментирования
>
> Ну нет у меня такого нигде, ни на x86_64, ни на i586.
Вот  сегодня обновил рабочую станцию, там те же глюки.
>
>> Теперь пробуем для массивов меньших размеров:
> [...]
>> In [6]: m=randn(200,200)
>>
>> In [7]: %time U,s,V=svd(m)
>> --------------------------------------------------------------------------- 
>>
>> LinAlgError                               Traceback (most recent call 
>> last)
> [...]
>>     1319     if results['info']>  0:
>> ->  1320         raise LinAlgError, 'SVD did not converge'
>>     1321     s = s.astype(_realType(result_t))
>>     1322     if compute_uv:
>>
>> LinAlgError: SVD did not converge
>
> Что же у Вас такое может быть, что даже на 200x200 вываливается? Увы, 
> я тут бессилен, ибо не могу воспроизвести ситуацию. Может быть, на 
> scipy.org спросите на этот счёт? Или, для начала, всё же дайте вывод gdb.
>
Как это сделать? Я поставил debuginfo пакеты.

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 00:51, Valery Pipin пишет:
>> Что же у Вас такое может быть, что даже на 200x200 вываливается?
>> Увы, я тут бессилен, ибо не могу воспроизвести ситуацию. Может быть,
>> на scipy.org спросите на этот счёт? Или, для начала, всё же дайте
>> вывод gdb.
>>
> Как это сделать? Я поставил debuginfo пакеты.

Я уже говорил. Запускаете gdb python, а там уже run. После чего 
увидите приглашение интерпретатора python, где и выполняете действия, 
которые приводят к падению. Падение будет с руганью, вот этой ругани я 
от Вас и жду.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

05.04.2011 20:22, REAL пишет:
> 06.04.2011 00:51, Valery Pipin пишет:
>>> Что же у Вас такое может быть, что даже на 200x200 вываливается?
>>> Увы, я тут бессилен, ибо не могу воспроизвести ситуацию. Может быть,
>>> на scipy.org спросите на этот счёт? Или, для начала, всё же дайте
>>> вывод gdb.
>>>
>> Как это сделать? Я поставил debuginfo пакеты.
>
> Я уже говорил. Запускаете gdb python, а там уже run. После чего 
> увидите приглашение интерпретатора python, где и выполняете действия, 
> которые приводят к падению. Падение будет с руганью, вот этой ругани я 
> от Вас и жду.
>
(gdb) run
Starting program: /usr/bin/python
[Thread debugging using libthread_db enabled]
Python 2.6.6 (r266:84292, Mar 29 2011, 02:41:30)
[GCC 4.5.1 20101130 (ALT Linux 4.5.1-alt8)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
 >>> from numpy.random import *
 >>> from numpy.linalg import *
 >>> m=randn(400,400)
 >>> U,s,V=svd(m)

Program received signal SIGSEGV, Segmentation fault.
MLOOP () at ATL_dupNBmm0_1_0_b1.c:319
319            fldl    0-128(pA0)       /* st = rA0, rB0 */

eig(m) я вообще не дождался.

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 11:54, Valery Pipin пишет:
>  >>> m=randn(400,400)

Я бы хотел увидеть изначальную ругань, для случая m=randn(2000,2000)

>  >>> U,s,V=svd(m)
>
> Program received signal SIGSEGV, Segmentation fault.
> MLOOP () at ATL_dupNBmm0_1_0_b1.c:319
> 319 fldl 0-128(pA0) /* st = rA0, rB0 */

Хорошо, вечерком поковыряюсь.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

05.04.2011 22:02, REAL пишет:
> 06.04.2011 11:54, Valery Pipin пишет:
>> >>> m=randn(400,400)
>
> Я бы хотел увидеть изначальную ругань, для случая m=randn(2000,2000)
>
Тоже самое почти мгновенно выдает
Type "help", "copyright", "credits" or "license" for more information.
 >>> from numpy.random import *
 >>> from numpy.linalg import *
 >>> m=randn(2000,2000)
 >>> U,s,V=svd(m)

Program received signal SIGSEGV, Segmentation fault.
MLOOP () at ATL_dupKBmm32_1_1_b1.c:319
319            fldl    0-128(pA0)       /* st = rA0, rB0 */
(gdb)
Там проблема в eig уходящая корнями в atlas

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 12:04, Valery Pipin пишет:
>  >>> m=randn(2000,2000)

Странно, сейчас на этой строке не падает. Понятия не имею, что у Вас 
за ситуация, она какая-то размытая.

> Program received signal SIGSEGV, Segmentation fault.
> MLOOP () at ATL_dupKBmm32_1_1_b1.c:319
> 319 fldl 0-128(pA0) /* st = rA0, rB0 */
> (gdb)
> Там проблема в eig уходящая корнями в atlas

Да уже видно.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

05.04.2011 22:15, REAL пишет:
> 06.04.2011 12:04, Valery Pipin пишет:
>> >>> m=randn(2000,2000)
>
> Странно, сейчас на этой строке не падает. Понятия не имею, что у Вас 
> за ситуация, она какая-то размытая.
>
Она никогда здесь не падала. Могу хоть 10000x10000 задать
In [1]: from numpy.linalg import *

In [2]: from numpy.random import *

In [3]: from numpy import dot

In [4]: m1=randn(5000,5000)

In [5]: %time m2=randn(5000,5000)
CPU times: user 1.90 s, sys: 0.33 s, total: 2.23 s
Wall time: 6.11 s

In [7]: %time m3=dot(m1,m2)
CPU times: user 104.00 s, sys: 0.67 s, total: 104.67 s
Wall time: 114.83 s

а 10000x10000 долго ждать в сизифе ;-)

А вот как EPD справляется:
Python 2.7.1 |EPD 7.0-2 (64-bit)| (r271:86832, Nov 29 2010, 13:51:37)
Type "copyright", "credits" or "license" for more information.

IPython 0.10.1 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object'. ?object also works, ?? prints more.

In [1]: from numpy.linalg import *

In [2]: from numpy.random import *

In [3]: from numpy import dot

In [4]: m1=randn(5000,5000)

In [5]: %time m2=randn(5000,5000)
CPU times: user 1.86 s, sys: 0.07 s, total: 1.93 s
Wall time: 1.93 s

In [7]: %time m3=dot(m1,m2)
CPU times: user 27.88 s, sys: 0.08 s, total: 27.95 s
Wall time: 16.12 s

Как говорится почувствуйте разницу ;-).

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 12:49, Valery Pipin пишет:
> А вот как EPD справляется:

Увы, EPD - не для сизифа. А вот GotoBLAS уже можно, оно реально 
быстрей ATLAS, но пока никто его в сизиф не хочет собирать (а я не 
могу, на это время нужно, а оно у меня и так жёстко расписано).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 12:04, Valery Pipin пишет:
> Type "help", "copyright", "credits" or "license" for more information.
>  >>> from numpy.random import *
>  >>> from numpy.linalg import *
>  >>> m=randn(2000,2000)
>  >>> U,s,V=svd(m)
>
> Program received signal SIGSEGV, Segmentation fault.

Кстати, единственное, что словил (и то только на x86_64, который для 
меня не очень приоритетен):

> /usr/lib64/python2.6/site-packages/numpy/linalg/linalg.pyc in svd(a,
> full_matrices, compute_uv)
>    1318                                  work, lwork, iwork, 0)
>    1319     if results['info'] > 0:
> -> 1320         raise LinAlgError, 'SVD did not converge'
>    1321     s = s.astype(_realType(result_t))
>    1322     if compute_uv:
>
> LinAlgError: SVD did not converge

Ну это уже сам NumPy, сейчас отправлю в сизиф сборку, где строки 
1319-1320 закомментированы. Вряд ли на что-то это повлияет (по крайней 
мере, тесты глюков не выявили), но если что, верну назад.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 11:54, Valery Pipin пишет:
> eig(m) я вообще не дождался.

Специфичная для x86_64 проблема, однако. Тут только апстриму 
жаловаться, похоже.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

06.04.2011 00:28, REAL пишет:
> 06.04.2011 12:04, Valery Pipin пишет:
>> Type "help", "copyright", "credits" or "license" for more information.
>> >>> from numpy.random import *
>> >>> from numpy.linalg import *
>> >>> m=randn(2000,2000)
>> >>> U,s,V=svd(m)
>>
>> Program received signal SIGSEGV, Segmentation fault.
>
> Кстати, единственное, что словил (и то только на x86_64, который для 
> меня не очень приоритетен):
>
>> /usr/lib64/python2.6/site-packages/numpy/linalg/linalg.pyc in svd(a,
>> full_matrices, compute_uv)
>>    1318                                  work, lwork, iwork, 0)
>>    1319     if results['info'] > 0:
>> -> 1320         raise LinAlgError, 'SVD did not converge'
>>    1321     s = s.astype(_realType(result_t))
>>    1322     if compute_uv:
>>
>> LinAlgError: SVD did not converge
>
> Ну это уже сам NumPy, сейчас отправлю в сизиф сборку, где строки 
> 1319-1320 закомментированы. Вряд ли на что-то это повлияет (по крайней 
> мере, тесты глюков не выявили), но если что, верну назад.
>
Я конечно понимаю, что прогресс не остановить, но почему бы не откатится 
на предыдущую
версию atlas (3.9.2) и заморозить до стабильного релиза

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 15:36, Valery Pipin пишет:
> Я конечно понимаю, что прогресс не остановить, но почему бы не
> откатится на предыдущую
> версию atlas (3.9.2) и заморозить до стабильного релиза

Потому что УМВР. i586. Можно, конечно, собрать отдельно старую с новым 
именем, но вот надо ли? Это ж 4 часа насилия над сборочницей и 
загаживание репозитория. А Вы, как я вижу, сизифовские пакеты 
используете лишь частично ;)

Лучше всего дождаться GotoBLAS, я тогда постепенно начну мат.софт на 
него переносить.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

 >> Я конечно понимаю, что прогресс не остановить, но почему бы не
 >> откатится на предыдущую
 >> версию atlas (3.9.2) и заморозить до стабильного релиза
 >
 > Потому что УМВР. i586.

С пересобранным NumPy и на x86_64, но вот eig виснет, да. И здесь в 
первую очередь надо NumPy обновлять, чем и планирую на днях заняться, 
но не сегодня точно, ибо это процесс довольно продолжительный, потому 
что придётся обновлять одновременно SciPy и matplotlib и потом ждать 
жалоб от пользователей других пакетов (у меня до сих пор нет списка 
пакетов, которые ломаются при таких обновлениях :( ).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

06.04.2011 01:53, REAL пишет:
> >> Я конечно понимаю, что прогресс не остановить, но почему бы не
> >> откатится на предыдущую
> >> версию atlas (3.9.2) и заморозить до стабильного релиза
> >
> > Потому что УМВР. i586.
>
> С пересобранным NumPy и на x86_64, но вот eig виснет, да. И здесь в 
> первую очередь надо NumPy обновлять,
Не в нем дело,  а в том что библиотека его использующая неправильно 
отрабатывает. В чем легко убедится пересобрав без atlas.
Кстати при текущем положении atlas (я имею ввиду производительность) 
можно обойтись и без него. Потеря будет процентов 10-20,
А были времена (на 3.8.3)  когда использование  atlas давало прирост в 
2-3 раза.
>  Можно, конечно, собрать отдельно старую с новым именем, но вот надо 
> ли? Это ж 4 часа насилия над сборочницей и загаживание репозитория. А 
> Вы, как я вижу, сизифовские пакеты используете лишь частично ;)
Потому что это сизиф, что-нибудь да ломается время от времени. Сейчас 
вот kde сломалось (kde4init жрет cpu) . Осваиваем, гноме и thunderbird, 
такие вот танцы.

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 22:47, Valery Pipin пишет:
> Потому что это сизиф, что-нибудь да ломается время от времени. Сейчас
> вот kde сломалось (kde4init жрет cpu) . Осваиваем, гноме и
> thunderbird, такие вот танцы.

ну вот GotoBLAS2 уже в сизифе, подождите день-два, будет вам и NumPy, 
собранное с ним взамен ATLAS.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

06.04.2011 11:54, Valery Pipin пишет:
> (gdb) run
> Starting program: /usr/bin/python
> [Thread debugging using libthread_db enabled]
> Python 2.6.6 (r266:84292, Mar 29 2011, 02:41:30)
> [GCC 4.5.1 20101130 (ALT Linux 4.5.1-alt8)] on linux2
> Type "help", "copyright", "credits" or "license" for more information.
>  >>> from numpy.random import *
>  >>> from numpy.linalg import *
>  >>> m=randn(400,400)
>  >>> U,s,V=svd(m)
>
> Program received signal SIGSEGV, Segmentation fault.
> MLOOP () at ATL_dupNBmm0_1_0_b1.c:319
> 319 fldl 0-128(pA0) /* st = rA0, rB0 */
>
> eig(m) я вообще не дождался.

Проверил сборку с GotoBLAS2, ошибки нет, и eig(m) работает. Ждите в 
сизифах вашего города ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

06.04.2011 21:54, REAL пишет:
> 06.04.2011 11:54, Valery Pipin пишет:
>> (gdb) run
>> Starting program: /usr/bin/python
>> [Thread debugging using libthread_db enabled]
>> Python 2.6.6 (r266:84292, Mar 29 2011, 02:41:30)
>> [GCC 4.5.1 20101130 (ALT Linux 4.5.1-alt8)] on linux2
>> Type "help", "copyright", "credits" or "license" for more information.
>> >>> from numpy.random import *
>> >>> from numpy.linalg import *
>> >>> m=randn(400,400)
>> >>> U,s,V=svd(m)
>>
>> Program received signal SIGSEGV, Segmentation fault.
>> MLOOP () at ATL_dupNBmm0_1_0_b1.c:319
>> 319 fldl 0-128(pA0) /* st = rA0, rB0 */
>>
>> eig(m) я вообще не дождался.
>
> Проверил сборку с GotoBLAS2, ошибки нет, и eig(m) работает. Ждите в 
> сизифах вашего города ;)
>
Сизиф не в городе, он в голове ;-)
Спасибо!

Re: [devel] atlas is broken again?

[Valery Pipin]

> > Потому что это сизиф, что-нибудь да ломается время от времени. Сейчас
> > вот kde сломалось (kde4init жрет cpu) . Осваиваем, гноме и
> > thunderbird, такие вот танцы.
> 
> ну вот GotoBLAS2 уже в сизифе, подождите день-два, будет вам и NumPy,
> собранное с ним взамен ATLAS.
[vv@tao-vp ~]$ ldd /usr/lib64/python2.6/site-
packages/numpy/linalg/lapack_lite.so
        linux-vdso.so.1 =>  (0x00007ffff4fff000)
        liblapack.so.4 => /usr/lib64/liblapack.so.4 (0x00007fc279c56000)
        libpython2.6.so.1.0 => /usr/lib64/libpython2.6.so.1.0 
(0x00007fc2798ac000)
        libc.so.6 => /lib64/libc.so.6 (0x00007fc279543000)
        libgoto2_opteronp-r1.13.so => /usr/lib64/libgoto2_opteronp-r1.13.so 
(0x00007fc278db7000)
        libgfortran.so.3 => /usr/lib64/libgfortran.so.3 (0x00007fc278ad0000)
        libm.so.6 => /lib64/libm.so.6 (0x00007fc27884e000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007fc278638000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fc27841b000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007fc278217000)
        libutil.so.1 => /lib64/libutil.so.1 (0x00007fc278014000)
        /lib64/ld-linux-x86-64.so.2 (0x00007fc27a6e7000)
        libgomp.so.1 => /usr/lib64/libgomp.so.1 (0x00007fc277e05000)
        librt.so.1 => /lib64/librt.so.1 (0x00007fc277bfd000)
Не пойму я причем здесь opteron? 
В общем на моем интеле 64bit:
In [1]: from numpy.linalg import *

In [2]: from numpy.random import *

In [3]: %time m=randn(1000,1000)
CPU times: user 0.07 s, sys: 0.01 s, total: 0.08 s
Wall time: 0.08 s

In [5]: %time U,s,V=svd(m)
Недопустимая инструкция
Очевидно сборка не учитывает мой тип процессора. Что то мне кажется что с 
atlas та же история. Bugzilla не доступна.
Удачи!

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 08:52, Valery Pipin пишет:
>          libgoto2_opteronp-r1.13.so =>  /usr/lib64/libgoto2_opteronp-r1.13.so
> (0x00007fc278db7000)

> Не пойму я причем здесь opteron?

Это к апстриму.

> In [5]: %time U,s,V=svd(m)
> Недопустимая инструкция

Значит, проблема именно в вашем железе (как я и предполагал), а не в 
софте.

> Очевидно сборка не учитывает мой тип процессора.

А что за проц? Пробовали уже GotoBLAS2 на своём проце собирать и 
пробовать работать?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 7 апреля 2011 21:07:24 автор REAL написал:
> 08.04.2011 08:52, Valery Pipin пишет:
> >          libgoto2_opteronp-r1.13.so => 
> >          /usr/lib64/libgoto2_opteronp-r1.13.so
> > 
> > (0x00007fc278db7000)
> > 
> > Не пойму я причем здесь opteron?
> 
оптерон в математатике дурной тон ;-)
> Это к апстриму.
Думаю дело в сборочной системе
> 
> > In [5]: %time U,s,V=svd(m)
> > Недопустимая инструкция
> 
> Значит, проблема именно в вашем железе (как я и предполагал), а не в
> софте.
> 
Сдалось вам мое железо!  Железо - супер, macbook pro5.6  ;-)
> > Очевидно сборка не учитывает мой тип процессора.
> 
> А что за проц? Пробовали уже GotoBLAS2 на своём проце собирать и
> пробовать работать?
Я пересобрал его для себя, у меня собралась  такая библиотека.
libgoto2_penrynp-r1.13.so 
Собрал с smp=2 и доволен... 
Спасибо!

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 08:52, Valery Pipin пишет:
> Не пойму я причем здесь opteron?

Там набор для нескольких типов x86_64 процов, они выбираются 
автоматически. Можно подсунуть ATOM и выдать его за OPTERON (ATOM-то у 
Вас точно поддерживает?). Вот другие поддерживаемые типы:

NEHALEM, BARCELONA, OPTERON_SSE3, CORE2, PENRYN, DUNNINGTON, PRESCOTT, 
NANO.

Для i586 чуть больше:

NEHALEM, ATHLON, NORTHWOOD, ATOM, OPTERON, BANIAS, OPTERON_SSE3, 
BARCELONA, P5, COPPERMINE, P6, CORE2, PENRYN, DUNNINGTON, PRESCOTT, 
KATMAI, VIAC3, NANO, YONAH.

Кто что посоветует для сизифа?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 11:17, Valery Pipin пишет:
>>> Не пойму я причем здесь opteron?
>>
> оптерон в математатике дурной тон ;-)
>> Это к апстриму.
> Думаю дело в сборочной системе

Нет, дело в самом GotoBLAS2, который шибко умный и сам выбирает, под 
какой проц собираться. Я собираюсь отучить его от этого, но мне нужны 
ответы, прозвучавшие в соседнем письме.

> Я пересобрал его для себя, у меня собралась  такая библиотека.
> libgoto2_penrynp-r1.13.so
> Собрал с smp=2 и доволен...

Ну вот и надо прийти к общему знаменателю. Когда сойдёмся, под какой 
проц собирать, я llibgoto2_opteronp-r1.13.so сделаю как симлинк на 
реальную библиотеку.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 11:17, Valery Pipin пишет:
>> 08.04.2011 08:52, Valery Pipin пишет:
>>>           libgoto2_opteronp-r1.13.so =>
>>>           /usr/lib64/libgoto2_opteronp-r1.13.so
>>>
>>> (0x00007fc278db7000)
>>>
>>> Не пойму я причем здесь opteron?

А у меня на x86_64 вообще libgoto2_barcelonap-r1.13.so :-D

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 7 апреля 2011 22:09:41 автор REAL написал:
> 08.04.2011 11:17, Valery Pipin пишет:
> >>> Не пойму я причем здесь opteron?
> > 
> > оптерон в математатике дурной тон ;-)
> > 
> >> Это к апстриму.
> > 
> > Думаю дело в сборочной системе
> 
> Нет, дело в самом GotoBLAS2, который шибко умный и сам выбирает, под
> какой проц собираться. Я собираюсь отучить его от этого, но мне нужны
> ответы, прозвучавшие в соседнем письме.
> 
> > Я пересобрал его для себя, у меня собралась  такая библиотека.
> > libgoto2_penrynp-r1.13.so
> > Собрал с smp=2 и доволен...
> 
> Ну вот и надо прийти к общему знаменателю. Когда сойдёмся, под какой
> проц собирать, я llibgoto2_opteronp-r1.13.so сделаю как симлинк на
> реальную библиотеку.
Конечно, это важно, найти наиболее совместимый проц. 
Можно ли сделать опцию для smp?  Вкусив этой скорости,
я понимаю, что мне все равно придется пересобирать  библиотеку под себя.

Re: [devel] atlas is broken again?

[Anton Farygin]

08.04.2011 08:24, REAL пишет:
> 08.04.2011 08:52, Valery Pipin пишет:
>> Не пойму я причем здесь opteron?
>
> Там набор для нескольких типов x86_64 процов, они выбираются
> автоматически. Можно подсунуть ATOM и выдать его за OPTERON (ATOM-то у
> Вас точно поддерживает?). Вот другие поддерживаемые типы:
>
> NEHALEM, BARCELONA, OPTERON_SSE3, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
> NANO.

Тут я бы заложился на NEHALEM, а остальное - по запросу.

Но вообще надо бы посмотреть чем оно отличается внутри.

>
> Для i586 чуть больше:
>
> NEHALEM, ATHLON, NORTHWOOD, ATOM, OPTERON, BANIAS, OPTERON_SSE3,
> BARCELONA, P5, COPPERMINE, P6, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
> KATMAI, VIAC3, NANO, YONAH.

Тут, видимо, P6.

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 12:43, Anton Farygin пишет:
>> NEHALEM, BARCELONA, OPTERON_SSE3, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
>> NANO.
>
> Тут я бы заложился на NEHALEM, а остальное - по запросу.
>
> Но вообще надо бы посмотреть чем оно отличается внутри.

Инструкциями процессора ;)

>> NEHALEM, ATHLON, NORTHWOOD, ATOM, OPTERON, BANIAS, OPTERON_SSE3,
>> BARCELONA, P5, COPPERMINE, P6, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
>> KATMAI, VIAC3, NANO, YONAH.
>
> Тут, видимо, P6.

Пока на этом и остановлюсь, значит. Спасибо.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 12:31, Valery Pipin пишет:
> Конечно, это важно, найти наиболее совместимый проц.
> Можно ли сделать опцию для smp?

SMP - это в смысле для одного процессора? А зачем? Или что имеется в виду?

Сейчас у библиотеки лимит распараллеливания - 4 (используется OpenMP).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Anton Farygin]

08.04.2011 09:47, REAL пишет:
> 08.04.2011 12:43, Anton Farygin пишет:
>>> NEHALEM, BARCELONA, OPTERON_SSE3, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
>>> NANO.
>>
>> Тут я бы заложился на NEHALEM, а остальное - по запросу.
>>
>> Но вообще надо бы посмотреть чем оно отличается внутри.
>
> Инструкциями процессора ;)

Оно на ASM написано ? Или просто использует флаги оптимизации ?

>
>>> NEHALEM, ATHLON, NORTHWOOD, ATOM, OPTERON, BANIAS, OPTERON_SSE3,
>>> BARCELONA, P5, COPPERMINE, P6, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
>>> KATMAI, VIAC3, NANO, YONAH.
>>
>> Тут, видимо, P6.
>
> Пока на этом и остановлюсь, значит. Спасибо.
>

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 13:11, Anton Farygin пишет:
>>> Но вообще надо бы посмотреть чем оно отличается внутри.
>>
>> Инструкциями процессора ;)
>
> Оно на ASM написано ? Или просто использует флаги оптимизации ?

Флаги разные - это факт. А есть ли там ASM, я не смотрел.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 7 апреля 2011 23:09:23 автор REAL написал:
> 08.04.2011 12:31, Valery Pipin пишет:
> > Конечно, это важно, найти наиболее совместимый проц.
> > Можно ли сделать опцию для smp?
> 
> SMP - это в смысле для одного процессора? А зачем? Или что имеется в виду?
> 
> Сейчас у библиотеки лимит распараллеливания - 4 (используется OpenMP).
в спеке задана опция smp=1,
т.е., параллелизация  отключена?

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 13:44, Valery Pipin пишет:
>> Сейчас у библиотеки лимит распараллеливания - 4 (используется OpenMP).
> в спеке задана опция smp=1,
> т.е., параллелизация  отключена?

Наоборот. Если бы была отключена, было бы smp=0 или вообще smp=

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 13:44, Valery Pipin пишет:
>> Сейчас у библиотеки лимит распараллеливания - 4 (используется OpenMP).
> в спеке задана опция smp=1,
> т.е., параллелизация  отключена?

Кстати, раз уж Вы сами пересобирайте, поэкспериментируйте с опциями, 
может быть, что-то ещё можно ускорить. Например, насколько лучше/хуже 
оно работает не с OpenMP, а с pthread, можно покрутить настройки для 
распараллеливания (макс.количество ядер), снизить/повысить время 
ожидания возврата из потока (сейчас это 26 минут). Если не 
разберётесь, где это настраивается, давайте перейдём в личку, чтоб 
других не отвлекать, там и поговорим ;)

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 13:11, Anton Farygin пишет:
>>>> NEHALEM, BARCELONA, OPTERON_SSE3, CORE2, PENRYN, DUNNINGTON,
>>>> PRESCOTT,
>>>> NANO.
>>>
>>> Тут я бы заложился на NEHALEM, а остальное - по запросу.

На NEHALEM не получится, сборка не проходит. Нужно что-то другое.

>>> Но вообще надо бы посмотреть чем оно отличается внутри.
>>
>> Инструкциями процессора ;)
>
> Оно на ASM написано ? Или просто использует флаги оптимизации ?

Посмотрел внутрь, однако, да, ASM там есть :)

>>>> NEHALEM, ATHLON, NORTHWOOD, ATOM, OPTERON, BANIAS, OPTERON_SSE3,
>>>> BARCELONA, P5, COPPERMINE, P6, CORE2, PENRYN, DUNNINGTON, PRESCOTT,
>>>> KATMAI, VIAC3, NANO, YONAH.
>>>
>>> Тут, видимо, P6.
>>
>> Пока на этом и остановлюсь, значит. Спасибо.

А это ближе к вечеру получится попробовать.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 17:01, REAL пишет:
>>>> Тут я бы заложился на NEHALEM, а остальное - по запросу.
>
> На NEHALEM не получится, сборка не проходит. Нужно что-то другое.

На ATOM тоже. С остальными всё нормально должно быть. Какие ещё будут 
предложения? Вот список оставшихся:

BARCELONA, CORE2, DUNNINGTON, NANO, OPTERON, OPTERON_SSE3, PENRYN, 
PRESCOTT.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Anton Farygin]

08.04.2011 14:05, REAL пишет:
> 08.04.2011 17:01, REAL пишет:
>>>>> Тут я бы заложился на NEHALEM, а остальное - по запросу.
>>
>> На NEHALEM не получится, сборка не проходит. Нужно что-то другое.
>
> На ATOM тоже. С остальными всё нормально должно быть. Какие ещё будут
> предложения? Вот список оставшихся:
>
> BARCELONA, CORE2, DUNNINGTON, NANO, OPTERON, OPTERON_SSE3, PENRYN,
> PRESCOTT.

Тогда Dunnington

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 17:08, Anton Farygin пишет:
> Тогда Dunnington

Спасибо, с ним собралось.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 17:08, Anton Farygin пишет:
>> BARCELONA, CORE2, DUNNINGTON, NANO, OPTERON, OPTERON_SSE3, PENRYN,
>> PRESCOTT.
>
> Тогда Dunnington

А вот в сборочнице хреново:

../kernel/x86_64/gemm_ncopy_4.S: Assembler messages:
../kernel/x86_64/gemm_ncopy_4.S:192: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:193: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:194: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:195: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:197: Error: undefined symbol 
`WPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:345: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:346: Error: undefined symbol 
`RPREFETCHSIZE' in operation
../kernel/x86_64/gemm_ncopy_4.S:348: Error: undefined symbol 
`WPREFETCHSIZE' in operation

Кстати, и для i586 хреново:

../libgoto2_opteronp-r1.13.a(dgemm_nn.o): In function `dgemm_nn':
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:322: 
undefined reference to `dgemm_itcopy'
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:370: 
undefined reference to `dgemm_itcopy'
../libgoto2_opteronp-r1.13.a(dgemm_nt.o): In function `dgemm_nt':
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:322: 
undefined reference to `dgemm_itcopy'
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:370: 
undefined reference to `dgemm_itcopy'
../libgoto2_opteronp-r1.13.a(dgemm_tn.o): In function `dgemm_tn':
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:322: 
undefined reference to `dgemm_incopy'
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:370: 
undefined reference to `dgemm_incopy'
../libgoto2_opteronp-r1.13.a(dgemm_tt.o): In function `dgemm_tt':
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:322: 
undefined reference to `dgemm_incopy'
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/level3.c:370: 
undefined reference to `dgemm_incopy'
../libgoto2_opteronp-r1.13.a(dtrmm_LNUU.o): In function `dtrmm_LNUU':
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/trmm_L.c:193: 
undefined reference to `dgemm_itcopy'
/usr/src/RPM/BUILD/gotoblas2-1.13/driver/level3/trmm_L.c:229: 
undefined reference to `dgemm_itcopy'

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 17:53, REAL пишет:
> Кстати, и для i586 хреново:

Но это я, наверно, могу исправить, оставив при этом P6.

Кстати, а почему OPTERON не понравился?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Anton Farygin]

08.04.2011 15:00, REAL пишет:
> 08.04.2011 17:53, REAL пишет:
>> Кстати, и для i586 хреново:
>
> Но это я, наверно, могу исправить, оставив при этом P6.
>
> Кстати, а почему OPTERON не понравился?

потому что у меня его нет нигде, например.

В России большинство кластеров делают на Intel

Re: [devel] atlas is broken again?

[REAL]

08.04.2011 18:01, Anton Farygin пишет:
>> Кстати, а почему OPTERON не понравился?
>
> потому что у меня его нет нигде, например.
>
> В России большинство кластеров делают на Intel

Ладно, пока все молчат, соберу с BARSELONA, ну и с i586 разберусь к 
вечеру...

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

> 08.04.2011 13:44, Valery Pipin пишет:
> >> Сейчас у библиотеки лимит распараллеливания - 4 (используется OpenMP).
> > 
> > в спеке задана опция smp=1,
> > т.е., параллелизация  отключена?
> 
> Кстати, раз уж Вы сами пересобирайте, поэкспериментируйте с опциями,
> может быть, что-то ещё можно ускорить. Например, насколько лучше/хуже
> оно работает не с OpenMP, а с pthread, можно покрутить настройки для
> распараллеливания (макс.количество ядер), снизить/повысить время
> ожидания возврата из потока (сейчас это 26 минут). Если не
> разберётесь, где это настраивается, давайте перейдём в личку, чтоб
> других не отвлекать, там и поговорим ;)
Экспериментировать, к сожалению не могу, слишком много пересобирать 
приходится. И потом, например я пересобрал gotoblas с BARCELONA, и после 
пересобрал numpy. Но поставить numpy не смог, вылезли странные зависимости:
python-module-numpy-tests: Depends: python2.6(scipy).
Кстати в спеке numpy buildrequires на scipy и matplotlib, почему?

Re: [devel] atlas is broken again?

[REAL]

09.04.2011 08:09, Valery Pipin пишет:
> Экспериментировать, к сожалению не могу, слишком много пересобирать
> приходится.

когда завершится задание #42291, таких проблем уже не будет.

> И потом, например я пересобрал gotoblas с BARCELONA, и после
> пересобрал numpy. Но поставить numpy не смог, вылезли странные зависимости:
> python-module-numpy-tests: Depends: python2.6(scipy).

а зачем вам тесты NumPy? оно нужно только для тестирования, а не для 
работы, для работы - python-module-numpy-testing.

> Кстати в спеке numpy buildrequires на scipy и matplotlib, почему?

для генерации документации. там matplotlib используется.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 8 апреля 2011 18:19:22 автор REAL написал:
> 09.04.2011 08:09, Valery Pipin пишет:
> > Экспериментировать, к сожалению не могу, слишком много пересобирать
> > приходится.
> 
> когда завершится задание #42291, таких проблем уже не будет.
> 
> > И потом, например я пересобрал gotoblas с BARCELONA, и после
> > пересобрал numpy. Но поставить numpy не смог, вылезли странные
> > зависимости: python-module-numpy-tests: Depends: python2.6(scipy).
> 
> а зачем вам тесты NumPy? оно нужно только для тестирования, а не для
> работы, для работы - python-module-numpy-testing.
апту зачем то надо было. 
А вот для чего в gotoblas опция DYNAMIC_ARCH=1  Теоретически в  этом
случае нужная архитектура динамически подгружается?
Однако у меня не собралось с этой опцией.
> 
> > Кстати в спеке numpy buildrequires на scipy и matplotlib, почему?
> 
> для генерации документации. там matplotlib используется.
Круто!  

Re: [devel] atlas is broken again?

[REAL]

09.04.2011 08:52, Valery Pipin пишет:
> А вот для чего в gotoblas опция DYNAMIC_ARCH=1  Теоретически в  этом
> случае нужная архитектура динамически подгружается?
> Однако у меня не собралось с этой опцией.

я сначала тоже так подумал (mike@ в курсе, мы с ним ломали голову, как 
собрать для i586 нечто получше). но ошибся.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Michael Shigorin]

On Sat, Apr 09, 2011 at 09:08:13AM +0700, REAL wrote:
> >А вот для чего в gotoblas опция DYNAMIC_ARCH=1
> >Теоретически в этом случае нужная архитектура динамически
> >подгружается?  Однако у меня не собралось с этой опцией.
> я сначала тоже так подумал (mike@ в курсе, мы с ним ломали
> голову, как собрать для i586 нечто получше). но ошибся.

(вот что значит оставить второй явно связанный тред "на потом"
-- к "PS" моего предыдущего письма, мда)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] atlas is broken again?

[REAL]

09.04.2011 16:32, Michael Shigorin пишет:
>>> Теоретически в этом случае нужная архитектура динамически
>>> подгружается?  Однако у меня не собралось с этой опцией.
>> я сначала тоже так подумал (mike@ в курсе, мы с ним ломали
>> голову, как собрать для i586 нечто получше). но ошибся.
>
> (вот что значит оставить второй явно связанный тред "на потом"
> -- к "PS" моего предыдущего письма, мда)

дошло: как раз для DYNAMIC_ARCH патчик от led@ и предназначен. 
попробую очередной заход...

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] atlas is broken again?

[Valery Pipin]

В сообщении от 9 апреля 2011 04:22:49 автор REAL написал:
> 09.04.2011 16:32, Michael Shigorin пишет:
> >>> Теоретически в этом случае нужная архитектура динамически
> >>> подгружается?  Однако у меня не собралось с этой опцией.
> >> 
> >> я сначала тоже так подумал (mike@ в курсе, мы с ним ломали
> >> голову, как собрать для i586 нечто получше). но ошибся.
> > 
> > (вот что значит оставить второй явно связанный тред "на потом"
> > -- к "PS" моего предыдущего письма, мда)
> 
> дошло: как раз для DYNAMIC_ARCH патчик от led@ и предназначен.
> попробую очередной заход...
works for me! 
thanks!
In [6]: m=randn(2000,2000)

In [7]: %time U,s,V=svd(m)
CPU times: user 25.09 s, sys: 1.95 s, total: 27.04 s
Wall time: 14.56 s

In [9]: 
Do you really want to exit ([y]/n)? y
[vv@tao-vp sunsp]$ ldd /usr/lib64/python2.6/site-
packages/numpy/linalg/lapack_lite.so        linux-vdso.so.1 =>  
(0x00007fff861ff000)
        libgoto2.so.0 => /usr/lib64/libgoto2.so.0 (0x00007f7ebc983000)
        liblapack.so.4 => /usr/lib64/liblapack.so.4 (0x00007f7ebc238000)
        libpython2.6.so.1.0 => /usr/lib64/libpython2.6.so.1.0 
(0x00007f7ebbe8f000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f7ebbb26000)
        libm.so.6 => /lib64/libm.so.6 (0x00007f7ebb8a3000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f7ebb687000)
        libgfortran.so.3 => /usr/lib64/libgfortran.so.3 (0x00007f7ebb3a1000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f7ebb18a000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f7ebaf86000)
        libutil.so.1 => /lib64/libutil.so.1 (0x00007f7ebad83000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f7ebe103000)