[sisyphus] binutils problem?

[sisyphus] binutils problem?

[Ivan Adzhubey]

Приветствую!

Скажите, а вот это нормально:

# nm /usr/lib/libm.so
nm: /usr/lib/libm.so: no symbols

У меня из-за этого не собирается GotoBLAS-1.02 и R-2.3.0. Знающие люди (в том 
числе лично товарищ Казушиге Гото) говорят, что ненормально и что виноваты 
binutils (known bug). Прокомментируйте пожалуйста.

Стоит последний Сизиф естественно:

# rpm -qa|grep binutils
binutils-2.16.91.0.6-alt2

# rpm -qa|grep gcc|sort
gcc2.96-2.96-alt7
gcc2.96-c++-2.96-alt7
gcc3.4-3.4.5-alt2
gcc3.4-c++-3.4.5-alt2
gcc3.4-g77-3.4.5-alt2
gcc-c++-common-1.4.6-alt1
gcc-common-1.4.6-alt1
gcc-g77-common-1.4.6-alt1
gccmakedep-1.0.1-alt1
libgcc3.4-3.4.5-alt2

# select-gcc display
/usr/bin/i586-alt-linux-cpp points to /usr/bin/i586-alt-linux-cpp-3.4
/usr/bin/i586-alt-linux-gcc points to /usr/bin/i586-alt-linux-gcc-3.4
/usr/bin/i586-alt-linux-g++ points to /usr/bin/i586-alt-linux-g++-3.4
/usr/bin/i586-alt-linux-g77 points to /usr/bin/i586-alt-linux-g77-3.4


-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 129 bytes --]

On Mon, Apr 24, 2006 at 10:56:51PM -0400, Ivan Adzhubey wrote:
> # nm /usr/lib/libm.so
> nm: /usr/lib/libm.so: no symbols

nm -D

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:03, Alexey Tourbin wrote:
> On Mon, Apr 24, 2006 at 10:56:51PM -0400, Ivan Adzhubey wrote:
> > # nm /usr/lib/libm.so
> > nm: /usr/lib/libm.so: no symbols
>
> nm -D

Спасибо за наводку, так работает. Это изменение в nm? Надо править configure 
скрипты? Подскажите пожалуйста, если у вас есть опыт, а то у меня - нет, а 
собрать надо срочно!

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 712 bytes --]

On Mon, Apr 24, 2006 at 11:05:35PM -0400, Ivan Adzhubey wrote:
> On Monday 24 April 2006 23:03, Alexey Tourbin wrote:
> > On Mon, Apr 24, 2006 at 10:56:51PM -0400, Ivan Adzhubey wrote:
> > > # nm /usr/lib/libm.so
> > > nm: /usr/lib/libm.so: no symbols
> >
> > nm -D
> Спасибо за наводку, так работает. Это изменение в nm?

Нет, всегда так было.
Кажется, nm штука древняя и без опций "правильно" работает с *.a архивами.

> Надо править configure 
> скрипты? Подскажите пожалуйста, если у вас есть опыт, а то у меня - нет, а 
> собрать надо срочно!

А зачем это вообще для сборки нужно?  Там наверное можно целый кусок
закомментировать, если понять, чего он хочет и что ему на самом деле нужно.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:17, Alexey Tourbin wrote:
> On Mon, Apr 24, 2006 at 11:05:35PM -0400, Ivan Adzhubey wrote:
> > On Monday 24 April 2006 23:03, Alexey Tourbin wrote:
> > > On Mon, Apr 24, 2006 at 10:56:51PM -0400, Ivan Adzhubey wrote:
> > > > # nm /usr/lib/libm.so
> > > > nm: /usr/lib/libm.so: no symbols
> > >
> > > nm -D
> >
> > Спасибо за наводку, так работает. Это изменение в nm?
>
> Нет, всегда так было.
> Кажется, nm штука древняя и без опций "правильно" работает с *.a архивами.
>
> > Надо править configure
> > скрипты? Подскажите пожалуйста, если у вас есть опыт, а то у меня - нет,
> > а собрать надо срочно!
>
> А зачем это вообще для сборки нужно?  Там наверное можно целый кусок
> закомментировать, если понять, чего он хочет и что ему на самом деле нужно.

Да вот я никак и не могу понять, чего же ему нехватает... Тест, который не 
проходит, очень простой: собирается тестовая программа, которая содеожит в 
main() вызовы всех функций, определенных в тестируемой библиотеке (libgoto, 
оптимизированная библиотека линейной алгебры), затем эта тестовая программа 
линкуется со свежесобранной библиотекой. В самой библиотеке есть вызоовы к 
стандартной libm (sqrt() например), линкуется это все конечно с флагом -lm. 
Но линковка все равно обламывается:

./gensymbol linktest _ > linktest.c
gcc -O2  -Wall -fPIC  -DF_INTERFACE_F2C -DNEED_F2CCONV -DSMP_SERVER -pthread -DMAX_CPU_NUMBER=2 -DASMNAME= -DASMFNAME=_ -DNAME=_ -DCNAME= -DBUNDERSCORE=_ -DNEEDBUNDERSCORE -I.. -DARCH_X86 -DPENTIUM4 -DL1_DATA_SIZE=8192 -DL1_DATA_LINESIZE=64 -DL2_SIZE=524288 -DL2_LINESIZE=64 -DDTB_ENTRIES=64 -DDTB_SIZE=4096 -DL2_ASSOCIATIVE=8 -DHAVE_CMOV -DHAVE_MMX -DHAVE_SSE -DHAVE_SSE2  -DCORE_NORTHWOOD -w -o /dev/null 
linktest.c ../libgoto_northwoodp-r1.02.so -lpthread -lm && echo OK.
../libgoto_northwoodp-r1.02.so: undefined reference to `sqrt'
collect2: ld returned 1 exit status
make: *** [test] Error 1

Наверное можно и проще, слинковать что-то типа:

int main(void){
sqrt();
return 0;}

Сейчас попробую. Что-то я совсем не понимаю, что происходит...

-- 
Иван

Re: [sisyphus] binutils problem?

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 854 bytes --]

On Mon, Apr 24, 2006 at 11:25:39PM -0400, Ivan Adzhubey wrote:
> gcc -O2  -Wall -fPIC  -DF_INTERFACE_F2C -DNEED_F2CCONV -DSMP_SERVER -pthread -DMAX_CPU_NUMBER=2 -DASMNAME= -DASMFNAME=_ -DNAME=_ -DCNAME= -DBUNDERSCORE=_ -DNEEDBUNDERSCORE -I.. -DARCH_X86 -DPENTIUM4 -DL1_DATA_SIZE=8192 -DL1_DATA_LINESIZE=64 -DL2_SIZE=524288 -DL2_LINESIZE=64 -DDTB_ENTRIES=64 -DDTB_SIZE=4096 -DL2_ASSOCIATIVE=8 -DHAVE_CMOV -DHAVE_MMX -DHAVE_SSE -DHAVE_SSE2  -DCORE_NORTHWOOD -w -o /dev/null 
> linktest.c ../libgoto_northwoodp-r1.02.so -lpthread -lm && echo OK.
> ../libgoto_northwoodp-r1.02.so: undefined reference to `sqrt'
../libgoto_northwoodp-r1.02.so надо было с -lm линковать.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Опыт показывает, что это не так - большинство пользователей rpm не читали
Maximum RPM.
		-- ldv in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 191 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:29, Andrey Rahmatullin wrote:
> > linktest.c ../libgoto_northwoodp-r1.02.so -lpthread -lm && echo OK.
> > ../libgoto_northwoodp-r1.02.so: undefined reference to `sqrt'
>
> ../libgoto_northwoodp-r1.02.so надо было с -lm линковать.

Хм, а разве ld не должен сам неразрешенные символы искать дальше по пути?? Что 
же это за динамическая загрузка? Я може libm обновлю, мне что - пересобирать 
все программы, которые ее используют?

Прошу прощения за дилетантские вопросы...

-- 
Иван

Re: [sisyphus] binutils problem?

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 642 bytes --]

On Mon, Apr 24, 2006 at 11:38:30PM -0400, Ivan Adzhubey wrote:
> Хм, а разве ld не должен сам неразрешенные символы искать дальше по пути??
И все же.

> Что же это за динамическая загрузка?
Динамическая загрузка таки подразумевает, что если символы из либы
используются, она должна быть прилинкована.

> Я може libm обновлю, мне что - пересобирать все программы, которые ее
> используют?
Не вижу связи.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

>> Так может патчить те программы, которые указывают опции для 
>> mount/mkisofs, чтоб указывали нужные ?
> Это антибиблиотечно.
		-- mike in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 191 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:59, Andrey Rahmatullin wrote:
> On Mon, Apr 24, 2006 at 11:38:30PM -0400, Ivan Adzhubey wrote:
> > Хм, а разве ld не должен сам неразрешенные символы искать дальше по
> > пути??
>
> И все же.
>
> > Что же это за динамическая загрузка?
>
> Динамическая загрузка таки подразумевает, что если символы из либы
> используются, она должна быть прилинкована.

Так она же указана в окончательном списке, при линковке тестовой программы.

> > Я може libm обновлю, мне что - пересобирать все программы, которые ее
> > используют?
>
> Не вижу связи.

Предположим, я слинковал несколько внешних .so библиотек (libm.so в частности) 
со своей .so библиотекой, с которой в свою очередь линкую свои программы. 
Дальше я проапгрейдил внешние библиотеки (libm.so) до новой версии. Теперь 
мне что, надо пересобирать все свои .so библиотеки?

-- 
Иван

Re: [sisyphus] binutils problem?

[Michael Shigorin]

On Mon, Apr 24, 2006 at 11:38:30PM -0400, Ivan Adzhubey wrote:
> > > ../libgoto_northwoodp-r1.02.so: undefined reference to `sqrt'
> > ../libgoto_northwoodp-r1.02.so надо было с -lm линковать.
> Хм, а разве ld не должен сам неразрешенные символы искать
> дальше по пути?? Что же это за динамическая загрузка?

http://wiki.sisyphus.ru/devel/changes
`-> http://wiki.sisyphus.ru/devel/UpStream/AsNeeded

Оно?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1493 bytes --]

On Mon, Apr 24, 2006 at 11:25:39PM -0400, Ivan Adzhubey wrote:
> Да вот я никак и не могу понять, чего же ему нехватает... Тест, который не 
> проходит, очень простой: собирается тестовая программа, которая содеожит в 
> main() вызовы всех функций, определенных в тестируемой библиотеке (libgoto, 
> оптимизированная библиотека линейной алгебры), затем эта тестовая программа 
> линкуется со свежесобранной библиотекой. В самой библиотеке есть вызоовы к 
> стандартной libm (sqrt() например), линкуется это все конечно с флагом -lm. 
> Но линковка все равно обламывается:
> 
> ./gensymbol linktest _ > linktest.c
> gcc -O2  -Wall -fPIC  -DF_INTERFACE_F2C -DNEED_F2CCONV -DSMP_SERVER -pthread -DMAX_CPU_NUMBER=2 -DASMNAME= -DASMFNAME=_ -DNAME=_ -DCNAME= -DBUNDERSCORE=_ -DNEEDBUNDERSCORE -I.. -DARCH_X86 -DPENTIUM4 -DL1_DATA_SIZE=8192 -DL1_DATA_LINESIZE=64 -DL2_SIZE=524288 -DL2_LINESIZE=64 -DDTB_ENTRIES=64 -DDTB_SIZE=4096 -DL2_ASSOCIATIVE=8 -DHAVE_CMOV -DHAVE_MMX -DHAVE_SSE -DHAVE_SSE2  -DCORE_NORTHWOOD -w -o /dev/null 
> linktest.c ../libgoto_northwoodp-r1.02.so -lpthread -lm && echo OK.
> ../libgoto_northwoodp-r1.02.so: undefined reference to `sqrt'

Вот эта библиотека - ../libgoto_northwoodp-r1.02.so она не слинкована c -lm.
Соответственно никто с этой библиотекой слинковаться не может.

Сейчас в сизифе при сборке появился ещё один важный нюанс: в командной
строке все *.o файлы должны идити ПЕРЕД *.so и -lчто-то.  Иначе *.so и
-lчто-то будут проигнорированы.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:36, Alexey Tourbin wrote:
> Сейчас в сизифе при сборке появился ещё один важный нюанс: в командной
> строке все *.o файлы должны идити ПЕРЕД *.so и -lчто-то.  Иначе *.so и
> -lчто-то будут проигнорированы.

Возможно в этом-то и дело. Полез читать Makefile'ы...

Спасибо!

-- 
Иван

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:36, Alexey Tourbin wrote:
> Вот эта библиотека - ../libgoto_northwoodp-r1.02.so она не слинкована c
> -lm. Соответственно никто с этой библиотекой слинковаться не может.

Добавил -lm к предыдущей строке, собирающей динамическую библиотеку 
libgoto.so, после этого тест на линковку программы с ней прошел. Но что-то я 
этого не понимаю, разве линкер не должен искать символы во всех библиотеках? 
И почему у всех остальных все собирается с этими Makefile, только у меня - не 
собирается. Не хочется Гото дергать опять, все же корифей. Если я идиот, 
может мне кто-нибудь объяснит на простом русском языке - почему.

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1141 bytes --]

On Tue, Apr 25, 2006 at 12:02:28AM -0400, Ivan Adzhubey wrote:
> On Monday 24 April 2006 23:36, Alexey Tourbin wrote:
> > Вот эта библиотека - ../libgoto_northwoodp-r1.02.so она не слинкована c
> > -lm. Соответственно никто с этой библиотекой слинковаться не может.
> 
> Добавил -lm к предыдущей строке, собирающей динамическую библиотеку 
> libgoto.so, после этого тест на линковку программы с ней прошел. Но что-то я 

Всё что надо собралось?

> этого не понимаю, разве линкер не должен искать символы во всех библиотеках? 

"Во всех" - это каких?  Линкер не может искать во всех вообще билиотеках.

> И почему у всех остальных все собирается с этими Makefile, только у меня - не 
> собирается. Не хочется Гото дергать опять, все же корифей. Если я идиот, 
> может мне кто-нибудь объяснит на простом русском языке - почему.

Почему у всех собирается?  Потому что в gcc3.4 >= 3.4.4-alt4 внесено
изменение, которое меняет алгоритм линковки по умолчанию.  Это изменение
имеет как положительные, так и отрицательные последствия.  К последним
можно отнести то, что казуальная сборка софта из тарболлов может
усложниться.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Tuesday 25 April 2006 00:17, Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 12:02:28AM -0400, Ivan Adzhubey wrote:
> > On Monday 24 April 2006 23:36, Alexey Tourbin wrote:
> > > Вот эта библиотека - ../libgoto_northwoodp-r1.02.so она не слинкована c
> > > -lm. Соответственно никто с этой библиотекой слинковаться не может.
> >
> > Добавил -lm к предыдущей строке, собирающей динамическую библиотеку
> > libgoto.so, после этого тест на линковку программы с ней прошел. Но
> > что-то я
>
> Всё что надо собралось?

Да, спасибо огромное!

> > этого не понимаю, разве линкер не должен искать символы во всех
> > библиотеках?
>
> "Во всех" - это каких?  Линкер не может искать во всех вообще билиотеках.

Я предполагал, что он ищет во всех библиотеках, указанных ему в командной 
строке, не найдя в одной - переходит к другой. Видимо, я чего-то не понимаю.

> > И почему у всех остальных все собирается с этими Makefile, только у меня
> > - не собирается. Не хочется Гото дергать опять, все же корифей. Если я
> > идиот, может мне кто-нибудь объяснит на простом русском языке - почему.
>
> Почему у всех собирается?  Потому что в gcc3.4 >= 3.4.4-alt4 внесено
> изменение, которое меняет алгоритм линковки по умолчанию.  Это изменение
> имеет как положительные, так и отрицательные последствия.  К последним
> можно отнести то, что казуальная сборка софта из тарболлов может
> усложниться.

Можно уточнить, какие это изменения, кроме уже упомянутого жесткого порядка 
обработки .o, .so и ключа -I (хотя по-моему - это как раз всегда так было)? 
Или где можно про это почитать? Не хотелось бы нарваться снова.

Еще раз спасибо за отзывчивость!

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 707 bytes --]

On Tue, Apr 25, 2006 at 12:31:29AM -0400, Ivan Adzhubey wrote:
> Можно уточнить, какие это изменения, кроме уже упомянутого жесткого порядка 
> обработки .o, .so и ключа -I (хотя по-моему - это как раз всегда так было)? 
> Или где можно про это почитать? Не хотелось бы нарваться снова.

Раньше он влинковывал все *.so и -l*, указанные в командной строке.
Теперь он оставляет только те *.so и -l*, которые реально используются в
предшествующих *.o файлах (а остальные отбрасывает, типа "optimize away").
Флаг --as-needed в 'info ld'.

То есть по идее он должен оставлять все реально используемые *.so и -l*
(а неиспользуемые отбрасывать), но на самом деле порядок аргументов
становится важным.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Tuesday 25 April 2006 00:36, Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 12:31:29AM -0400, Ivan Adzhubey wrote:
> > Можно уточнить, какие это изменения, кроме уже упомянутого жесткого
> > порядка обработки .o, .so и ключа -I (хотя по-моему - это как раз всегда
> > так было)? Или где можно про это почитать? Не хотелось бы нарваться
> > снова.
>
> Раньше он влинковывал все *.so и -l*, указанные в командной строке.
> Теперь он оставляет только те *.so и -l*, которые реально используются в
> предшествующих *.o файлах (а остальные отбрасывает, типа "optimize away").
> Флаг --as-needed в 'info ld'.
>
> То есть по идее он должен оставлять все реально используемые *.so и -l*
> (а неиспользуемые отбрасывать), но на самом деле порядок аргументов
> становится важным.

А-а-а, теперь чукча все понял, а я-то недоумевал почитывая changelog'и от 
последних обновлений, что это за загадочный as-needed, с которым все 
борются ;-). Стало быть - сам наступил.

-- 
Иван

Re: [sisyphus] binutils problem?

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 478 bytes --]

On Mon, Apr 24, 2006 at 11:05:35PM -0400, Ivan Adzhubey wrote:
> Спасибо за наводку, так работает. Это изменение в nm? 
Нет.

> Надо править configure скрипты?
Это в configure??? Видимо, таки править. Топором причем.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Здесь уже всё прокомментировали, но я всё же как мантейнер расскажу ещё
раз, и как модератор попрошу дальше эту тему в этом списке рассылки не
развивать.
		-- ldv in sisyphus@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 191 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Monday 24 April 2006 23:28, Andrey Rahmatullin wrote:
> On Mon, Apr 24, 2006 at 11:05:35PM -0400, Ivan Adzhubey wrote:
> > Спасибо за наводку, так работает. Это изменение в nm?
>
> Нет.
>
> > Надо править configure скрипты?
>
> Это в configure??? Видимо, таки править. Топором причем.

Не пришлось, с libgoto пересобраной с -lm ./configure отработал без сбоев и R 
собрался нормально. Значит все же в этом было дело. Спасибо огромное за 
помощь!

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 472 bytes --]

On Tue, Apr 25, 2006 at 12:15:41AM -0400, Ivan Adzhubey wrote:
> > > Надо править configure скрипты?
> > Это в configure??? Видимо, таки править. Топором причем.
> 
> Не пришлось, с libgoto пересобраной с -lm ./configure отработал без сбоев и R 
> собрался нормально. Значит все же в этом было дело. Спасибо огромное за 
> помощь!

Вы R собираете?  А почему не с lapack'ом?  Я на R в ноябре собаку съел.
Сейчас R-1.9 лежит в orphaned, скоро буду собирать R-2.2.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Tuesday 25 April 2006 00:22, Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 12:15:41AM -0400, Ivan Adzhubey wrote:
> > > > Надо править configure скрипты?
> > >
> > > Это в configure??? Видимо, таки править. Топором причем.
> >
> > Не пришлось, с libgoto пересобраной с -lm ./configure отработал без сбоев
> > и R собрался нормально. Значит все же в этом было дело. Спасибо огромное
> > за помощь!
>
> Вы R собираете? А почему не с lapack'ом?  Я на R в ноябре собаку съел. 
> Сейчас R-1.9 лежит в orphaned, скоро буду собирать R-2.2.

Собрал, уже 2.3.0 вышел. Я его собираю с GotoBLAS, с lapack пока не пробовал, 
хотя из GotoBLAS можно собрать и оптимизированый lapack тоже. С 
оптимизированым BLAS ускорение векторных операций на P4 очень существенное, 
раза в три на некоторых задачах. Пробовал также ATLAS, но они сами признают, 
что до скоростных результатов творения Казушиге Гото им далеко, а процесс 
автоматической оптимизации там просто ужасный, на некоторых архитектурах 
сборка занимает двое суток. Наша наука подсела на R конкретно, без него как 
без рук. Очень было жаль, когда из Сизифа он пропал, но с другой стороны - я 
не представляю как с этими оптимизациями можно разобраться в общем виде, а 
без них - тоскливо. Так что все равно видимо придется собирать самому и 
дальше.

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1173 bytes --]

On Tue, Apr 25, 2006 at 12:38:47AM -0400, Ivan Adzhubey wrote:
> Собрал, уже 2.3.0 вышел. Я его собираю с GotoBLAS, с lapack пока не пробовал, 
> хотя из GotoBLAS можно собрать и оптимизированый lapack тоже. С 
> оптимизированым BLAS ускорение векторных операций на P4 очень существенное, 
> раза в три на некоторых задачах. Пробовал также ATLAS, но они сами признают, 
> что до скоростных результатов творения Казушиге Гото им далеко, а процесс 
> автоматической оптимизации там просто ужасный, на некоторых архитектурах 
> сборка занимает двое суток. Наша наука подсела на R конкретно, без него как 
> без рук. Очень было жаль, когда из Сизифа он пропал, но с другой стороны - я 
> не представляю как с этими оптимизациями можно разобраться в общем виде, а 
> без них - тоскливо. Так что все равно видимо придется собирать самому и 
> дальше.

Я рассматривал варианты LAPACK vs ATLAS и пока решил остановиться на
LAPACK, потому что он "стандартный", а ATLAS даёт только частичную
реализацию LAPACK'а (хотя и полный BLAS).

В три раза - не верю. :)

Какая лицензия у GotoBLAS?  Надо за этим внимательно следить,
а то легко подсесть на проприетарщину.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Tuesday 25 April 2006 00:45, Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 12:38:47AM -0400, Ivan Adzhubey wrote:
> > Собрал, уже 2.3.0 вышел. Я его собираю с GotoBLAS, с lapack пока не
> > пробовал, хотя из GotoBLAS можно собрать и оптимизированый lapack тоже. С
> > оптимизированым BLAS ускорение векторных операций на P4 очень
> > существенное, раза в три на некоторых задачах. Пробовал также ATLAS, но
> > они сами признают, что до скоростных результатов творения Казушиге Гото
> > им далеко, а процесс автоматической оптимизации там просто ужасный, на
> > некоторых архитектурах сборка занимает двое суток. Наша наука подсела на
> > R конкретно, без него как без рук. Очень было жаль, когда из Сизифа он
> > пропал, но с другой стороны - я не представляю как с этими оптимизациями
> > можно разобраться в общем виде, а без них - тоскливо. Так что все равно
> > видимо придется собирать самому и дальше.
>
> Я рассматривал варианты LAPACK vs ATLAS и пока решил остановиться на
> LAPACK, потому что он "стандартный", а ATLAS даёт только частичную
> реализацию LAPACK'а (хотя и полный BLAS).

Мне нужен именно BLAS, а LAPACK - не очень.

> В три раза - не верю. :)

Я тоже глазам не поверил. Но я не делал формальных бенчмарков, речь идет о 
моем собственном R-коде. Вполне возможно, что он изначально был крив ;-) Если 
вы с R сталкивались, то знаете, что там нетрудно написать невероятно 
медленную программу ;-).

> Какая лицензия у GotoBLAS?  Надо за этим внимательно следить,
> а то легко подсесть на проприетарщину.

Он как раз недавно стал open source, но free только для academic use. Я честно 
говоря не разбирался в подробностях лицензии, academic - это нам подходит, а 
с ATLAS (который GPL) я ужасно намучался.

-- 
Иван

Re: [sisyphus] binutils problem?

[Alexander Bokovoy]

Alexey Tourbin пишет:
> Я рассматривал варианты LAPACK vs ATLAS и пока решил остановиться на
> LAPACK, потому что он "стандартный", а ATLAS даёт только частичную
> реализацию LAPACK'а (хотя и полный BLAS).
> 
> В три раза - не верю. :)
Советую поверить, это так. Кацушиге делает очень много работы по 
ускорению и использует совсем иные принципы, которые лушче подходят под 
архитектуры современных процессоров, чем альтернативы в LAPACK/ATLAS и 
коммерческих библиотеках.

> Какая лицензия у GotoBLAS?  Надо за этим внимательно следить,
> а то легко подсесть на проприетарщину.
Несвободная там лицензия, однако это самая быстрая BLAS на сегодня.
Для некоммерческой эксплуатации бесплатно.

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

[sisyphus] R-base

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1022 bytes --]

On Tue, Apr 25, 2006 at 08:45:08AM +0400, Alexey Tourbin wrote:
> Я рассматривал варианты LAPACK vs ATLAS и пока решил остановиться на
> LAPACK, потому что он "стандартный", а ATLAS даёт только частичную
> реализацию LAPACK'а (хотя и полный BLAS).
> 
> В три раза - не верю. :)

Новый R-base собрался с новым фортрановским LAPACK'ом (уже в виде shared
library).  make check отработал полностью.  Значить совсем скоро будет в
сизифе.  Пилить я его пока не хочу; по меньшей мере, не хочу собирать его
с опцией --without-recommended-packages и потом собирать эти
рекомендуемые части отдельными пакетами со CRAN'а.

Всё-таки штука специфическая, кому не надо - ни в жизни не догадается
поставить, а кому надо, поставит полностью.

> Какая лицензия у GotoBLAS?  Надо за этим внимательно следить,
> а то легко подсесть на проприетарщину.

В сизиф положить нельзя.  Поковырял ATLAS, там интерактивный скрипт
сборки, в debian'е его собирают при помощи expect'a.  Короче пока будет
референсный BLAS и LAPACK.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] R-base

[Valery Pipin]

Спасибо за новость.
Еще бы  не плохо чтобы  с сизифовским lapack собирались 
такие библиотеки как superlu, umfpack и arpack.

On Thursday 27 April 2006 00:31 about [sisyphus] R-base Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 08:45:08AM +0400, Alexey Tourbin wrote:
> > Я рассматривал варианты LAPACK vs ATLAS и пока решил остановиться на
> > LAPACK, потому что он "стандартный", а ATLAS даёт только частичную
> > реализацию LAPACK'а (хотя и полный BLAS).
> >
> > В три раза - не верю. :)
>
> Новый R-base собрался с новым фортрановским LAPACK'ом (уже в виде shared
> library).  make check отработал полностью.  Значить совсем скоро будет в
> сизифе.  Пилить я его пока не хочу; по меньшей мере, не хочу собирать его
> с опцией --without-recommended-packages и потом собирать эти
> рекомендуемые части отдельными пакетами со CRAN'а.
>
> Всё-таки штука специфическая, кому не надо - ни в жизни не догадается
> поставить, а кому надо, поставит полностью.
>
> > Какая лицензия у GotoBLAS?  Надо за этим внимательно следить,
> > а то легко подсесть на проприетарщину.
>
> В сизиф положить нельзя.  Поковырял ATLAS, там интерактивный скрипт
> сборки, в debian'е его собирают при помощи expect'a.  Короче пока будет
> референсный BLAS и LAPACK.

Re: [sisyphus] R-base

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 356 bytes --]

On Thu, Apr 27, 2006 at 10:11:21AM +0900, Valery Pipin wrote:
> Спасибо за новость.
> Еще бы  не плохо чтобы  с сизифовским lapack собирались 
> такие библиотеки как superlu, umfpack и arpack.

Для этих библиотек нужны клиенты, чтобы ловить глюки компилятора.
Что он там может накомпилировать одному Ариману известно.
См. [devel] g77 is unreliable

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 189 bytes --]

On Tue, Apr 25, 2006 at 12:38:47AM -0400, Ivan Adzhubey wrote:
> Собрал, уже 2.3.0 вышел. Я его собираю с GotoBLAS, с lapack пока не пробовал, 

А CRAN пакеты какие-нибудь используете?

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] binutils problem?

[Ivan Adzhubey]

On Tuesday 25 April 2006 00:51, Alexey Tourbin wrote:
> On Tue, Apr 25, 2006 at 12:38:47AM -0400, Ivan Adzhubey wrote:
> > Собрал, уже 2.3.0 вышел. Я его собираю с GotoBLAS, с lapack пока не
> > пробовал,
>
> А CRAN пакеты какие-нибудь используете?

Конечно, и не только с CRAN. Есть еще www.bioconductor.org, это у нас тут под 
боком ;-). Они в частности подхватили Rdbi/RdbiPgSQL, еще у них есть 
совершенно изумительный пакет biomaRt, это интерфейс к EBI Biomart через 
SOUP, позволяет искать и вынимать все что угодно из всех биологических баз 
данных в EBI (European Bioinformatics Institute, Hixton, UK). Ну и всякая 
популяционная генетика, в последнее время - wavelets. Сейчас в общей 
сложности где-то 20 пакетов используем.

-- 
Иван