[devel] война с оптеронами

[devel] война с оптеронами

[REAL]

привет!

в общем, на нашей сборочнице для x86_64 удалось собрать под BARCELONA. 
с i586 намного хуже, только OPTERON. для того, чтобы в сизифе для i586 
появился более быстрый GotoBLAS2, нужно менять железо, иначе я не вижу 
другого способа.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 475 bytes --]

On Sat, Apr 09, 2011 at 12:41:50AM +0700, REAL wrote:
> привет!
> 
> в общем, на нашей сборочнице для x86_64 
> удалось собрать под BARCELONA. с i586 намного 
> хуже, только OPTERON. для того, чтобы в сизифе 
> для i586 появился более быстрый GotoBLAS2, 
> нужно менять железо, иначе я не вижу 
> другого способа.

Есть ощущение, что этот софт можно собрать только под то железо,
на котором его собирают.  Видимо, это совсем не дистрибутивный софт.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] война с оптеронами

[REAL]

09.04.2011 01:57, Dmitry V. Levin пишет:
> Есть ощущение, что этот софт можно собрать только под то железо,
> на котором его собирают.  Видимо, это совсем не дистрибутивный софт.

нет, я могу собрать этот пакет на том камне, которое равнозначно либо 
выше по показателям тому, для которого собирается. но обратное 
неверно: я не могу собрать на ядре для того того ядра, что новее.

минимум для этого пакета - оптерон, ниже - уже плохо. но вот если бы 
его можно было собрать для P6, оно будет работать быстрее и на более 
современных камнях. в любом случае, собранный даже под мой камень (он 
совсем старый, P4), он работает быстрее ATLAS.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 1125 bytes --]

On Sat, Apr 09, 2011 at 02:24:10AM +0700, REAL wrote:
> минимум для этого пакета - оптерон, ниже - уже плохо. но вот
> если бы его можно было собрать для P6, оно будет работать
> быстрее и на более современных камнях. в любом случае,
> собранный даже под мой камень (он совсем старый, P4), он
> работает быстрее ATLAS.

Не спеши (особенно всё вверх по стеку на него перетаскивать).

У нас пару лет назад делали сравнения, atlas на x86_64 отставал
от goto примерно на 10%, MKL его немного опережал (порядка
процента).  P4 -- настолько специфический (и тупиковый) случай,
что по нему бенчмаркать точно не стоит.

Извини, что с разбегу обрадовался насчёт goto и не потрудился
посмотреть внимательней, а что дали-то.  Оно хоть и заточено
вплоть до Nehalem, но дальше точиться, насколько пока видно,
не будет -- все уже пилят atlas, в т.ч. и ассемблерными
оптимизациями.

Есть ещё одна крупная неприятность с generic x86 в goto: оно там
сломано.  Ближе к совсем.  Для того, чтоб хотя бы не выпадало с
error, нужен приложенный патч.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: gotoblas2-1.13-tmc1.patch --]
[-- Type: text/plain, Size: 581 bytes --]

diff -urN GotoBLAS2/driver/others/dynamic.c GotoBLAS2.tmc/driver/others/dynamic.c
--- GotoBLAS2/driver/others/dynamic.c	2010-01-20 18:28:45.000000000 +0200
+++ GotoBLAS2.tmc/driver/others/dynamic.c	2010-09-07 20:26:24.000000000 +0300
@@ -181,9 +181,9 @@
   gotoblas = get_coretype();
   
 #ifdef ARCH_X86
-  if (gotoblas == NULL) gotoblas = gotoblas_KATMAI;
+  if (gotoblas == NULL) gotoblas = &gotoblas_KATMAI;
 #else
-  if (gotoblas == NULL) gotoblas = gotoblas_PRESCOTT;
+  if (gotoblas == NULL) gotoblas = &gotoblas_PRESCOTT;
 #endif
   
   if (gotoblas && gotoblas -> init) {

Re: [devel] война с оптеронами

[REAL]

09.04.2011 03:27, Michael Shigorin пишет:
> У нас пару лет назад делали сравнения, atlas на x86_64 отставал
> от goto примерно на 10%,

здесь вчера звучало, что у ATLAS опять завалы в скорости. а с Goto 
заметно быстрее всё стало. речь про x86_64.

> Извини, что с разбегу обрадовался насчёт goto и не потрудился
> посмотреть внимательней, а что дали-то.  Оно хоть и заточено
> вплоть до Nehalem, но дальше точиться, насколько пока видно,
> не будет -- все уже пилят atlas, в т.ч. и ассемблерными
> оптимизациями.

я пока не вижу тенденций к изменению ситуации. а её надо решать. ATLAS 
сейчас весьма нестабилен: с каждой новой версией появляются новые 
проблемы, и конца этому не видно. а GotoBLAS стабилен, вылизан до 
косточки, в общем, то, что доктор прописал.

> Есть ещё одна крупная неприятность с generic x86 в goto: оно там
> сломано.  Ближе к совсем.  Для того, чтоб хотя бы не выпадало с
> error, нужен приложенный патч.

под эти камни уж точно собирать не имеет смысла (представляю себе 
кластер на машинах класса P4 :-D ). так что и патч не потребуется.

как итог: пусть ATLAS остаётся для любителей тестировать и просто для 
тех, кто может ждать месяцами и годами. а GotoBLAS - для тех, кому 
надо работать, и работать сейчас. вот когда ATLAS обгонит его, можно 
будет возвращать сборку с ним взамен GotoBLAS, так что продолжаю 
делать то, что начал.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[REAL]

09.04.2011 08:12, REAL пишет:
>> У нас пару лет назад делали сравнения, atlas на x86_64 отставал
>> от goto примерно на 10%,
>
> здесь вчера звучало, что у ATLAS опять завалы в скорости. а с Goto
> заметно быстрее всё стало. речь про x86_64.

и потом, кто будет ментейнить ATLAS? at@ на него забил давно, а я 
такую нагрузку не потяну (оно и так 4 часа собирается, так ведь ещё и 
глючное, и вообще там чёрт ногу сломит).

так что получается, ATLAS никому не нужен, а раз так, то лучше от него 
оторвать математические пакеты и использовать что-то более вменяемое. 
если убрать из рассмотрения ATLAS, BLAS с netlib и GotoBLAS2, какие 
ещё варианты? я не нашёл.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Valery Pipin]

В сообщении от 8 апреля 2011 19:33:54 автор REAL написал:
> 09.04.2011 08:12, REAL пишет:
> >> У нас пару лет назад делали сравнения, atlas на x86_64 отставал
> >> от goto примерно на 10%,
> > 
> > здесь вчера звучало, что у ATLAS опять завалы в скорости. а с Goto
> > заметно быстрее всё стало. речь про x86_64.
> 
> и потом, кто будет ментейнить ATLAS? at@ на него забил давно, а я
> такую нагрузку не потяну (оно и так 4 часа собирается, так ведь ещё и
> глючное, и вообще там чёрт ногу сломит).
> 
> так что получается, ATLAS никому не нужен, а раз так, то лучше от него
> оторвать математические пакеты и использовать что-то более вменяемое.
> если убрать из рассмотрения ATLAS, BLAS с netlib и GotoBLAS2, какие
> ещё варианты? я не нашёл.
Можно собрать последнюю стабильную версию atlas- 3.8.3. и не обновлять
пока не станет стабильной  разрабатываемая версия 3.9. 

Re: [devel] война с оптеронами

[REAL]

09.04.2011 10:34, Valery Pipin пишет:
> Можно собрать последнюю стабильную версию atlas- 3.8.3. и не обновлять
> пока не станет стабильной  разрабатываемая версия 3.9.

можно. но GotoBLAS мне нравится больше.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Valery Pipin]

В сообщении от 8 апреля 2011 21:20:54 автор REAL написал:
> 09.04.2011 10:34, Valery Pipin пишет:
> > Можно собрать последнюю стабильную версию atlas- 3.8.3. и не обновлять
> > пока не станет стабильной  разрабатываемая версия 3.9.
> 
> можно. но GotoBLAS мне нравится больше.
Ну мне тоже он нравится, только вот не знаю пока как barcelona будет с ителом 
сочетаться

Re: [devel] война с оптеронами

[REAL]

09.04.2011 11:29, Valery Pipin пишет:
>> можно. но GotoBLAS мне нравится больше.
> Ну мне тоже он нравится, только вот не знаю пока как barcelona будет с ителом
> сочетаться

дайте список, какие из приведённого мной списка варианты могут у вас 
заработать (кроме NEHALEM, ATOM и DUNNINGTON, которые наша сборочница 
не потянет).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Valery Pipin]

В сообщении от 8 апреля 2011 22:47:21 автор REAL написал:
> 09.04.2011 11:29, Valery Pipin пишет:
> >> можно. но GotoBLAS мне нравится больше.
> > 
> > Ну мне тоже он нравится, только вот не знаю пока как barcelona будет с
> > ителом сочетаться
> 
> дайте список, какие из приведённого мной списка варианты могут у вас
> заработать (кроме NEHALEM, ATOM и DUNNINGTON, которые наша сборочница
> не потянет).
Penryn

Re: [devel] война с оптеронами

[REAL]

09.04.2011 13:26, Valery Pipin пишет:
>> дайте список, какие из приведённого мной списка варианты могут у вас
>> заработать (кроме NEHALEM, ATOM и DUNNINGTON, которые наша сборочница
>> не потянет).
> Penryn

ok, попробую его.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Michael Shigorin]

On Sat, Apr 09, 2011 at 08:12:06AM +0700, REAL wrote:
> как итог: пусть ATLAS остаётся для любителей тестировать и
> просто для тех, кто может ждать месяцами и годами. а GotoBLAS -
> для тех, кому надо работать, и работать сейчас.

...и на конкретном камне, судя по поломанному generic.

> вот когда ATLAS обгонит его, можно будет возвращать сборку с
> ним взамен GotoBLAS, так что продолжаю делать то, что начал.

Жень, ты вообще слышишь?  Разница _два года_ тому на реальном
железе была небольшой.  И собранный под не ту микроархитектуру
goto, скорее всего, сместит её в обратную сторону.  Как минимум
именно этому стоит _сначала_ уделить внимание, если переезжать
по мотивам производительности.

Также в atlas содержится больше, чем просто blas.

> и потом, кто будет ментейнить ATLAS? at@ на него забил давно,
> а я такую нагрузку не потяну (оно и так 4 часа собирается,
> так ведь ещё и  глючное, и вообще там чёрт ногу сломит).

Прыжками в стороны нагрузку можно только увеличить,
а сборочницу пошустрей (и 64-битную) дать могу.

PS: и почитай всё ж тогда 01Readme.txt, его чуть меньше 2k.
И хорошо бы заодно 02QuickInstall.txt:

   Also if you want GotoBLAS2 to support multiple architecture,
   $shell> make DYNAMIC_ARCH=1
   All kernel will be included in the library and dynamically switched
   the best architecutre at run time.

(могу перевести, если будет удобней)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] война с оптеронами

[REAL]

09.04.2011 16:30, Michael Shigorin пишет:
>> вот когда ATLAS обгонит его, можно будет возвращать сборку с
>> ним взамен GotoBLAS, так что продолжаю делать то, что начал.
>
> Жень, ты вообще слышишь?  Разница _два года_ тому на реальном
> железе была небольшой.

она зато сейчас заметна вполне, с чего и начался разговор.

>  И собранный под не ту микроархитектуру
> goto, скорее всего, сместит её в обратную сторону.  Как минимум
> именно этому стоит _сначала_ уделить внимание, если переезжать
> по мотивам производительности.

здесь не только по мотивам производительности, но и 
надёжности/стабильности. переезд на GotoBLAS будет не нужен только в 
одном случае: если для ATLAS найдётся хороший мейнтейнер. ты 
представляешь себе работу на ядре, которое никто не поддерживает? вот 
здесь то же самое. а пока мейнтейнера нет, не вижу смысла продолжать 
спор. ты то сам читаешь то, что я пишу?

> Также в atlas содержится больше, чем просто blas.

а оно умеет с OpenMP работать? впрочем, чего тут разводить, вопросы 
выше поважней.

> Прыжками в стороны нагрузку можно только увеличить,

какие прыжки?

> а сборочницу пошустрей (и 64-битную) дать могу.

а AEN в курсе?

> И хорошо бы заодно 02QuickInstall.txt:
>
>     Also if you want GotoBLAS2 to support multiple architecture,
>     $shell>  make DYNAMIC_ARCH=1

я пробовал, ломает сборку даже того, что без него собирается. хотя, 
попробую в новой конфигурации, но даже если получится у меня, нет 
гарантий, что получится у сборочницы (актуальной, а не той, которой ты 
готов поделиться).

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Michael Shigorin]

On Sat, Apr 09, 2011 at 05:03:08PM +0700, REAL wrote:
> >>вот когда ATLAS обгонит его, можно будет возвращать сборку с
> >>ним взамен GotoBLAS, так что продолжаю делать то, что начал.
> >Жень, ты вообще слышишь?  Разница _два года_ тому на реальном
> >железе была небольшой.
> она зато сейчас заметна вполне, с чего и начался разговор.

Дык тестировать надо на Xeon 54xx/55xx хотя бы. :)

> переезд на GotoBLAS будет не нужен только в одном случае:
> если для ATLAS найдётся хороший мейнтейнер.

А, это другое дело.

> ты то сам читаешь то, что я пишу?

Стараюсь.

> >Также в atlas содержится больше, чем просто blas.
> а оно умеет с OpenMP работать?

---
1.6  Q I use OpenMP compiler. How can I use GotoBLAS2 with it?

     A Please understand that OpenMP is a compromised method to use
       thread. If you want to use OpenMP based code with GotoBLAS2, you
       should enable "USE_OPENMP=1" in Makefile.rule.
--- 03FAQ.txt

> >Прыжками в стороны нагрузку можно только увеличить,
> какие прыжки?

То на gotoblas2, то на atlas.

> >а сборочницу пошустрей (и 64-битную) дать могу.
> а AEN в курсе?

Не знаю; это скорее к zhum@.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] война с оптеронами

[Aleksey Novodvorsky]

9 апреля 2011 г. 16:43 пользователь Michael Shigorin <mike@osdn.org.ua> написал:
>> >а сборочницу пошустрей (и 64-битную) дать могу.
>> а AEN в курсе?
>
> Не знаю; это скорее к zhum@.

Я не в курсе. Если хотите отдать ресурс для Сизифа, то будет очень
здорово, а если это междусобойчик, то прошу обсудить приватно.

Rgrds, Алексей

Re: [devel] война с оптеронами

[Michael Shigorin]

On Sat, Apr 09, 2011 at 04:50:07PM +0400, Aleksey Novodvorsky wrote:
> >> а AEN в курсе?
> > Не знаю; это скорее к zhum@.
> Я не в курсе. Если хотите отдать ресурс для Сизифа, то будет
> очень здорово, а если это междусобойчик, то прошу обсудить
> приватно.

Междусобойчик, поэтому и обсуждалось жабером.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] война с оптеронами

[REAL]

09.04.2011 19:43, Michael Shigorin пишет:
>>> Также в atlas содержится больше, чем просто blas.
>> а оно умеет с OpenMP работать?
>
> 1.6  Q I use OpenMP compiler. How can I use GotoBLAS2 with it?

я про ATLAS спрашивал. а GotoBLAS2 я сразу же с OpenMP собрал.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Michael Shigorin]

On Sat, Apr 09, 2011 at 07:52:40PM +0700, REAL wrote:
> >>>Также в atlas содержится больше, чем просто blas.
> >>а оно умеет с OpenMP работать?
> >1.6  Q I use OpenMP compiler. How can I use GotoBLAS2 with it?
> а GotoBLAS2 я сразу же с OpenMP собрал.

Я так понял, что это как раз _не_ рекомендуется делать.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] война с оптеронами

[REAL]

09.04.2011 20:00, Michael Shigorin пишет:
>> а GotoBLAS2 я сразу же с OpenMP собрал.
>
> Я так понял, что это как раз _не_ рекомендуется делать.

дай ссылку. а то из цитаты в прошлом письме это неочевидно. о каких 
компромисах речь?

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Michael Shigorin]

On Sat, Apr 09, 2011 at 08:15:58PM +0700, REAL wrote:
> >>а GotoBLAS2 я сразу же с OpenMP собрал.
> >Я так понял, что это как раз _не_ рекомендуется делать.
> дай ссылку. а то из цитаты в прошлом письме это неочевидно.

Нашёл два сравнения -- оба говорят, что на OpenMP проще,
а на pthreads прицельнее получается параллелизация:

http://stackoverflow.com/questions/935467/parallelization-pthreads-or-openmp
http://software.intel.com/en-us/articles/threading-models-for-high-performance-computing-pthreads-or-openmp/

> о каких компромисах речь?

В документации и коде уточнений к сказанному в FAQ не вижу.
Поэтому могу только предполагать, что речь о выторговывании
удобства за производительность.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] война с оптеронами

[REAL]

09.04.2011 21:11, Michael Shigorin пишет:
> Нашёл два сравнения -- оба говорят, что на OpenMP проще,
> а на pthreads прицельнее получается параллелизация:

спасибо, миш, в сизиф уходит GotoBLAS2 без OpenMP.

к сведению, если кто не заметил, пропала необходимость выбирать, под 
какой процессор оптимизировать, оно теперь это делает само в рантайме. 
спасибо вам обоим, тебе, и led@ передавай.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[REAL]

09.04.2011 01:57, Dmitry V. Levin пишет:
> Есть ощущение, что этот софт можно собрать только под то железо,
> на котором его собирают.  Видимо, это совсем не дистрибутивный софт.

здесь нужно отсекать устаревающие камни и найти разумный компромисс. 
для x86_64 (BARCELONA) уже собрано, а вот для i586 - швах. так что я 
пока только специфические мат.пакеты планирую пересобирать с 
GotoBLAS2, так что будет у нас некоторое время два варианта LAPACK, 
только и всего. а на кластере уже желающие могут ещё ускориться, 
пересобрав локально. обычная практика.

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] война с оптеронами

[Aleksey Novodvorsky]

8 апреля 2011 г. 23:48 пользователь REAL <root@mmedia2.kemsu.ru> написал:
> 09.04.2011 01:57, Dmitry V. Levin пишет:
>>
>> Есть ощущение, что этот софт можно собрать только под то железо,
>> на котором его собирают.  Видимо, это совсем не дистрибутивный софт.
>
> здесь нужно отсекать устаревающие камни и найти разумный компромисс. для
> x86_64 (BARCELONA) уже собрано, а вот для i586 - швах. так что я пока только
> специфические мат.пакеты планирую пересобирать с GotoBLAS2, так что будет у
> нас некоторое время два варианта LAPACK, только и всего. а на кластере уже
> желающие могут ещё ускориться, пересобрав локально. обычная практика.

А нужен ли вообще такой пакет для 32 бит?

Rgrds, Алексей