[sisyphus] arch-optimization

[sisyphus] arch-optimization

[Led]

Я знаю, что тема очень не любимая в ALTLinux Team, но...:
пытался сегодня кодировать DVD в XviD - получаю скорость кодирования 9 fps (P4 
2GHz 512M). Грустно... после минут десяти срываю, за 3 минуты правлю спек 
xvid (добавляю -O3 -march=pentium4 -mcpu=pentium4 -mmmx -msse -msse2), ещё 
пару минут на сборку пакету, ещё 20 секунд на инсталляцию этого пакета. 
Запускаю кодирование снова - 34 fps.
Спрашивается - какая польза от того xvid, который в сизифе?;)
Может всё-таки имеет смысл делать архитектурно-оптимизированные ХОТЯ БЫ 
НЕКОТОРЫЕ пакеты?! Или хотя бы добавить наконец в rpm и libtool архитетуры 
кроме i586, i686 и athlon (чтоб "посвящённые" не дожидаясь могли пересобрать 
пакет под нужный процессор простым указанием --target *-alt-linux)?

Led.

[sisyphus] Re: arch-optimization

[Michael Shigorin]

On Fri, Jul 02, 2004 at 06:06:12PM +0300, Led wrote:
> Может всё-таки имеет смысл делать архитектурно-оптимизированные
> ХОТЯ БЫ НЕКОТОРЫЕ пакеты?!

Есть такие мысли.

Можно попробовать начать со стороннего репозитория с желательно
автоматизированными пересборками.

> Или хотя бы добавить наконец в rpm и libtool архитетуры кроме
> i586, i686 и athlon (чтоб "посвящённые" не дожидаясь могли
> пересобрать пакет под нужный процессор простым указанием
> --target *-alt-linux)?

Вешайте патчи на rpm?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Re: arch-optimization

[Led]

В сообщении от Вторник 06 Июль 2004 13:27 Michael Shigorin написал(a):
> On Fri, Jul 02, 2004 at 06:06:12PM +0300, Led wrote:
> > Может всё-таки имеет смысл делать архитектурно-оптимизированные
> > ХОТЯ БЫ НЕКОТОРЫЕ пакеты?!
>
> Есть такие мысли.
>
> Можно попробовать начать со стороннего репозитория с желательно
> автоматизированными пересборками.
Буквально только что не пожалел времени:
1) ASUS i865, P4 2GHz, 512M; xvid из сизифа: кодирование DVD mencoder'ом с 
использованием xvid-кодека - 11 fps
2) GigaByte i845, P4 2GHz, 512M: xvid из сизифа (подправлен спек (%define 
_optlevel 3 + --enable-assembly): кодирование того же файла с теми же 
параметрами - 35 fps.

> > Или хотя бы добавить наконец в rpm и libtool архитетуры кроме
> > i586, i686 и athlon (чтоб "посвящённые" не дожидаясь могли
> > пересобрать пакет под нужный процессор простым указанием
> > --target *-alt-linux)?
>
> Вешайте патчи на rpm?

Патчи не мои - ещё в прошлом году кто-то делился в этой рассылке...

Led.

Re: [sisyphus] Re: arch-optimization

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 864 bytes --]

On Вторник 06 Июль 2004 14:38, Led wrote:
> В сообщении от Вторник 06 Июль 2004 13:27 Michael Shigorin написал(a):
> > On Fri, Jul 02, 2004 at 06:06:12PM +0300, Led wrote:
> > > Может всё-таки имеет смысл делать архитектурно-оптимизированные
> > > ХОТЯ БЫ НЕКОТОРЫЕ пакеты?!
> >
> > Есть такие мысли.
> >
> > Можно попробовать начать со стороннего репозитория с желательно
> > автоматизированными пересборками.
>
> Буквально только что не пожалел времени:
> 1) ASUS i865, P4 2GHz, 512M; xvid из сизифа: кодирование DVD mencoder'ом с
> использованием xvid-кодека - 11 fps
> 2) GigaByte i845, P4 2GHz, 512M: xvid из сизифа (подправлен спек (%define
> _optlevel 3 + --enable-assembly): кодирование того же файла с теми же
> параметрами - 35 fps.

А без 
%define _optlevel 3?
---enable-assembly и так сработает без правки спека.

-- 
Yuri N. Sedunov
07/06/04 14:51:07

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: arch-optimization

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 1751 bytes --]

On Вторник 06 Июль 2004 15:06, Led wrote:
> В сообщении от Вторник 06 Июль 2004 13:53 вы написали:
> > On Вторник 06 Июль 2004 14:38, Led wrote:
> > > В сообщении от Вторник 06 Июль 2004 13:27 Michael Shigorin написал(a):
> > > > On Fri, Jul 02, 2004 at 06:06:12PM +0300, Led wrote:
> > > > > Может всё-таки имеет смысл делать архитектурно-оптимизированные
> > > > > ХОТЯ БЫ НЕКОТОРЫЕ пакеты?!
> > > >
> > > > Есть такие мысли.
> > > >
> > > > Можно попробовать начать со стороннего репозитория с желательно
> > > > автоматизированными пересборками.
> > >
> > > Буквально только что не пожалел времени:
> > > 1) ASUS i865, P4 2GHz, 512M; xvid из сизифа: кодирование DVD
> > > mencoder'ом с использованием xvid-кодека - 11 fps
> > > 2) GigaByte i845, P4 2GHz, 512M: xvid из сизифа (подправлен спек
> > > (%define _optlevel 3 + --enable-assembly): кодирование того же файла с
> > > теми же параметрами - 35 fps.
> >
> > А без
> > %define _optlevel 3?
> > ---enable-assembly и так сработает без правки спека.
>
> Сорри, соврал...
> В оригинальном спеке:
> %add_optflags %optflags_shared
> %configure \
> %ifarch i586
>     --disable-assembly
> %endif
>
> у меня:
> %define _optlevel 3
> %define optflags %optflags_default -march=pentium4 -mcpu=pentium4 -mmmx
> -msse -msse2
> %configure \
> %ifarch i586
>     --disable-assembly
> %endif
>
> В любом случае под i586 будет с --disable-assembly (я собирал с --target
> i686-alt-linux)

Так я и не спрашиваю про i586. 
Интересно, какова у Вас будет скорость кодирования, если просто пересобрать 
пакет c оригинальным спеком под i686. 
То есть не добавляя ваших:
%define _optlevel 3
%define optflags %optflags_default -march=pentium4 -mcpu=pentium4 -mmmx -msse 
-msse2

-- 
Yuri N. Sedunov
07/06/04 15:09:35

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: arch-optimization

[Led]

В сообщении от Вторник 06 Июль 2004 14:17 Yuri N. Sedunov написал(a):
> On Вторник 06 Июль 2004 15:06, Led wrote:
> > В сообщении от Вторник 06 Июль 2004 13:53 вы написали:
> > > On Вторник 06 Июль 2004 14:38, Led wrote:
> > > > В сообщении от Вторник 06 Июль 2004 13:27 Michael Shigorin написал(a):
> > > > > On Fri, Jul 02, 2004 at 06:06:12PM +0300, Led wrote:
> > > > > > Может всё-таки имеет смысл делать архитектурно-оптимизированные
> > > > > > ХОТЯ БЫ НЕКОТОРЫЕ пакеты?!
> > > > >
> > > > > Есть такие мысли.
> > > > >
> > > > > Можно попробовать начать со стороннего репозитория с желательно
> > > > > автоматизированными пересборками.
> > > >
> > > > Буквально только что не пожалел времени:
> > > > 1) ASUS i865, P4 2GHz, 512M; xvid из сизифа: кодирование DVD
> > > > mencoder'ом с использованием xvid-кодека - 11 fps
> > > > 2) GigaByte i845, P4 2GHz, 512M: xvid из сизифа (подправлен спек
> > > > (%define _optlevel 3 + --enable-assembly): кодирование того же файла
> > > > с теми же параметрами - 35 fps.
> > >
> > > А без
> > > %define _optlevel 3?
> > > ---enable-assembly и так сработает без правки спека.
> >
> > Сорри, соврал...
> > В оригинальном спеке:
> > %add_optflags %optflags_shared
> > %configure \
> > %ifarch i586
> >     --disable-assembly
> > %endif
> >
> > у меня:
> > %define _optlevel 3
> > %define optflags %optflags_default -march=pentium4 -mcpu=pentium4 -mmmx
> > -msse -msse2
> > %configure \
> > %ifarch i586
> >     --disable-assembly
> > %endif
> >
> > В любом случае под i586 будет с --disable-assembly (я собирал с --target
> > i686-alt-linux)
>
> Так я и не спрашиваю про i586.
> Интересно, какова у Вас будет скорость кодирования, если просто пересобрать
> пакет c оригинальным спеком под i686.
> То есть не добавляя ваших:
> %define _optlevel 3
> %define optflags %optflags_default -march=pentium4 -mcpu=pentium4 -mmmx
> -msse -msse2

Cудя по fps - такая же получается... В приципе, вполне логично: если 
оптимизация включается --enable-assembly, то установка "флажков" врядли 
существенно на что-то повлияет.
ещё бы попробовать с --disable-assembly, но с "флажками":)

Led.

Re: [sisyphus] Re: arch-optimization

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 650 bytes --]

On Вторник 06 Июль 2004 15:58, Led wrote:
<skip>
> > Так я и не спрашиваю про i586.
> > Интересно, какова у Вас будет скорость кодирования, если просто
> > пересобрать пакет c оригинальным спеком под i686.
> > То есть не добавляя ваших:
> > %define _optlevel 3
> > %define optflags %optflags_default -march=pentium4 -mcpu=pentium4 -mmmx
> > -msse -msse2
>
> Cудя по fps - такая же получается... 
Вот, теперь Вы можете переформулировать ваше начальное предложение.
Кстати,  Sisyphus/i686/RPMS/ у нас есть. Что туда положить, кроме xvid?

> ещё бы попробовать с --disable-assembly, но с "флажками":)
Это лишнее.


-- 
Yuri N. Sedunov
07/06/04 16:06:44

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: arch-optimization

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 1335 bytes --]

On Вторник 06 Июль 2004 16:25, Led wrote:

Отвечайте в список, пожалуйста.

> В сообщении от Вторник 06 Июль 2004 15:15 вы написали:
> > On Вторник 06 Июль 2004 15:58, Led wrote:
> > <skip>
> >
> > > > Так я и не спрашиваю про i586.
> > > > Интересно, какова у Вас будет скорость кодирования, если просто
> > > > пересобрать пакет c оригинальным спеком под i686.
> > > > То есть не добавляя ваших:
> > > > %define _optlevel 3
> > > > %define optflags %optflags_default -march=pentium4 -mcpu=pentium4
> > > > -mmmx -msse -msse2
> > >
> > > Cудя по fps - такая же получается...
> >
> > Вот, теперь Вы можете переформулировать ваше начальное предложение.
>
> Предложение остаётся таким же: неплохобы иметь для некоторых пакетов что-то
> кроме i586.
>
> > Кстати,  Sisyphus/i686/RPMS/ у нас есть. Что туда положить, кроме xvid?
>
> MPlayer, gcc, libxine, gimp, libogg, libvorbis, libtheora, lame (?)... Это
> навскидку - может в чём и ошибся...

Возьметесь пересобрать, протестировать? 

> > > ещё бы попробовать с --disable-assembly, но с "флажками":)
> >
> > Это лишнее.
>
> ИМХО нелишнее: порпобовал, получил 14 fps (вместо 11 fps). Т.е. включения
> оптимизации для c-кода получаем прирост скорости ок 30% на этом коде.

И куда девается этот прирост при ---enable-assembly с флажками или без них?

-- 
Yuri N. Sedunov
07/06/04 16:28:26

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: arch-optimization

[Led]

В сообщении от Вторник 06 Июль 2004 15:39 Yuri N. Sedunov написал(a):
> On Вторник 06 Июль 2004 16:25, Led wrote:
>
> Отвечайте в список, пожалуйста.
>
> > В сообщении от Вторник 06 Июль 2004 15:15 вы написали:
> > > On Вторник 06 Июль 2004 15:58, Led wrote:
> > > <skip>
> > >
> > > > > Так я и не спрашиваю про i586.
> > > > > Интересно, какова у Вас будет скорость кодирования, если просто
> > > > > пересобрать пакет c оригинальным спеком под i686.
> > > > > То есть не добавляя ваших:
> > > > > %define _optlevel 3
> > > > > %define optflags %optflags_default -march=pentium4 -mcpu=pentium4
> > > > > -mmmx -msse -msse2
> > > >
> > > > Cудя по fps - такая же получается...
> > >
> > > Вот, теперь Вы можете переформулировать ваше начальное предложение.
> >
> > Предложение остаётся таким же: неплохобы иметь для некоторых пакетов
> > что-то кроме i586.
> >
> > > Кстати,  Sisyphus/i686/RPMS/ у нас есть. Что туда положить, кроме xvid?
> >
> > MPlayer, gcc, libxine, gimp, libogg, libvorbis, libtheora, lame (?)...
> > Это навскидку - может в чём и ошибся...
>
> Возьметесь пересобрать, протестировать?
Зачем? Нужны просто спеки для сборки под разные архитектуры (rpm 
предусматривает нужный вариант набора флажков при указании --target).
Ну и хотелось бы поддержку в rpm архитектур pentium3, pentium4, athlonxp... 
Сколько лет-то уже архитектуре i686?

>
> > > > ещё бы попробовать с --disable-assembly, но с "флажками":)
> > >
> > > Это лишнее.
> >
> > ИМХО нелишнее: порпобовал, получил 14 fps (вместо 11 fps). Т.е. включения
> > оптимизации для c-кода получаем прирост скорости ок 30% на этом коде.
>
> И куда девается этот прирост при ---enable-assembly с флажками или без них?

На C AFAIK там только интерфейсы функций кодека, сам код - ассемблерный (при 
включени соотв. пареметра при сборке) или C-ный (при выключении оной)

Led.

Re: [sisyphus] Re: arch-optimization

[Yuri N. Sedunov]

[-- Attachment #1: Type: text/plain, Size: 2228 bytes --]

On Вторник 06 Июль 2004 16:50, Led wrote:
> В сообщении от Вторник 06 Июль 2004 15:39 Yuri N. Sedunov написал(a):
> > On Вторник 06 Июль 2004 16:25, Led wrote:
> >
> > Отвечайте в список, пожалуйста.
> >
> > > В сообщении от Вторник 06 Июль 2004 15:15 вы написали:
> > > > On Вторник 06 Июль 2004 15:58, Led wrote:
> > > > <skip>
> > > >
> > > > > > Так я и не спрашиваю про i586.
> > > > > > Интересно, какова у Вас будет скорость кодирования, если просто
> > > > > > пересобрать пакет c оригинальным спеком под i686.
> > > > > > То есть не добавляя ваших:
> > > > > > %define _optlevel 3
> > > > > > %define optflags %optflags_default -march=pentium4 -mcpu=pentium4
> > > > > > -mmmx -msse -msse2
> > > > >
> > > > > Cудя по fps - такая же получается...
> > > >
> > > > Вот, теперь Вы можете переформулировать ваше начальное предложение.
> > >
> > > Предложение остаётся таким же: неплохобы иметь для некоторых пакетов
> > > что-то кроме i586.
> > >
> > > > Кстати,  Sisyphus/i686/RPMS/ у нас есть. Что туда положить, кроме
> > > > xvid?
> > >
> > > MPlayer, gcc, libxine, gimp, libogg, libvorbis, libtheora, lame (?)...
> > > Это навскидку - может в чём и ошибся...
> >
> > Возьметесь пересобрать, протестировать?
>
> Зачем? Нужны просто спеки для сборки под разные архитектуры (rpm
> предусматривает нужный вариант набора флажков при указании --target).
> Ну и хотелось бы поддержку в rpm архитектур pentium3, pentium4, athlonxp...
> Сколько лет-то уже архитектуре i686?

Давайте исходить из существующего положения вещей. Мы с Вами рассмотрели на 
примере xvid, что никакая правка спека не требуется. Ваша попытка 
соптимизировать сборку для pentium4 не дала сколь-нибудь ощутимого выйгрыша в 
производительности по сравнению с i686. Очевидно, что найдется еще немало 
пакетов, пересборка которых под i686, athlon даст достаточный, предельный 
прирост производительности.

Например, упомянутый Вами gimp
[aris@siver gimp2-2.0.2]$ ./configure --help|grep "\-mmx\|\-sse\|\-mp"
  --enable-mmx            enable MMX support (default=auto)
  --enable-sse            enable SSE support (default=auto)
  --enable-mp             support multiple processors (default=no)

Как насчет gimp-smp?

-- 
Yuri N. Sedunov
07/06/04 16:53:27

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] Re: arch-optimization

[Led]

В сообщении от Вторник 06 Июль 2004 16:05 Yuri N. Sedunov написал(a):
> On Вторник 06 Июль 2004 16:50, Led wrote:
> > В сообщении от Вторник 06 Июль 2004 15:39 Yuri N. Sedunov написал(a):
> > > On Вторник 06 Июль 2004 16:25, Led wrote:
> > >
> > > Отвечайте в список, пожалуйста.
> > >
> > > > В сообщении от Вторник 06 Июль 2004 15:15 вы написали:
> > > > > On Вторник 06 Июль 2004 15:58, Led wrote:
> > > > > <skip>
> > > > >
> > > > > > > Так я и не спрашиваю про i586.
> > > > > > > Интересно, какова у Вас будет скорость кодирования, если просто
> > > > > > > пересобрать пакет c оригинальным спеком под i686.
> > > > > > > То есть не добавляя ваших:
> > > > > > > %define _optlevel 3
> > > > > > > %define optflags %optflags_default -march=pentium4
> > > > > > > -mcpu=pentium4 -mmmx -msse -msse2
> > > > > >
> > > > > > Cудя по fps - такая же получается...
> > > > >
> > > > > Вот, теперь Вы можете переформулировать ваше начальное предложение.
> > > >
> > > > Предложение остаётся таким же: неплохобы иметь для некоторых пакетов
> > > > что-то кроме i586.
> > > >
> > > > > Кстати,  Sisyphus/i686/RPMS/ у нас есть. Что туда положить, кроме
> > > > > xvid?
> > > >
> > > > MPlayer, gcc, libxine, gimp, libogg, libvorbis, libtheora, lame
> > > > (?)... Это навскидку - может в чём и ошибся...
> > >
> > > Возьметесь пересобрать, протестировать?
> >
> > Зачем? Нужны просто спеки для сборки под разные архитектуры (rpm
> > предусматривает нужный вариант набора флажков при указании --target).
> > Ну и хотелось бы поддержку в rpm архитектур pentium3, pentium4,
> > athlonxp... Сколько лет-то уже архитектуре i686?
>
> Давайте исходить из существующего положения вещей. Мы с Вами рассмотрели на
> примере xvid, что никакая правка спека не требуется. Ваша попытка
> соптимизировать сборку для pentium4 не дала сколь-нибудь ощутимого выйгрыша
> в производительности по сравнению с i686.
Моя попытка показала, что оптимизированный c-код на примере xvid на 30% 
быстрее, естетсвенно, что на ассемблерный код эта оптимизация не повлияет. Но 
во всех ли подобных вычислительных софтинах есть ассемблерная оптимизация?

> Очевидно, что найдется еще немало 
> пакетов, пересборка которых под i686, athlon даст достаточный, предельный
> прирост производительности.
Согласен, таких пакетов немного. Но под pentium4 в спеке можно было бы 
включать sse2, pentium3 - sse, athlonxp - sse, 3dnow, 3dnowex

>
> Например, упомянутый Вами gimp
> [aris@siver gimp2-2.0.2]$ ./configure --help|grep "\-mmx\|\-sse\|\-mp"
>   --enable-mmx            enable MMX support (default=auto)
>   --enable-sse            enable SSE support (default=auto)
>   --enable-mp             support multiple processors (default=no)
>
> Как насчет gimp-smp?

Не знаю как в gimp, но в MPlayer, например, аналог default=auto (autodetect) 
срабатывает на этапе компиляции, mplayer c --disable-runtime-cpudetection 
потребляет ресурсов раза в 3 меньше, mencoder тоже экономит значительный 
процент (если я смотрю фильм, а в фоне что-то компилируется/кодируется, то 
выиграш пару часов на 10-часовой процессе - это не так уж и плохо ИМХО). Так 
что указание конкретного --target (а не абстрактного i686) даёт существенную 
прибавку во времени в дальнейшем (опять же - для НЕКОТОРЫХ программ).
Просто мне кажется не всегда целесообразно использовать P4 или AthlonXP как 
высокочастотный Pentium - если я уж купил этот процессор, то хотелось бы 
использовать его по максимуму (со всеми инструкциями) - хотя бы В НЕКОТОРЫХ 
СЛУЧАЯХ (которые, тем не менее, могут занимать значительное время).

Мне почему-то кажется, что тот, кто реально постоянно пользуется таким софтом 
("архитектурнозависимым"), всё равно пересобирают его под своё железо - 
попробовал на себе, оказалось "лучше полдня потерять, зато потом за 5 минут 
долететь"). А та же сборка/пересборка KDE, openoffice? Даже 5%-ая экономия 
времени благодаря оптимизированному под процессор gcc - уже существенно.

Я не собираюсь навязывать своё мнение - для себя я всё решил и делаю как мне 
удобнее/быстрее/выгоднее. Не собираюсь "толкать свою единственно правильную 
политику" - просто высказал мнение:
1) неплохо бы иметь еще несколько "архитектур" в rpm;
2) неплохо бы иметь более гибкие спеки (использующие эти архитектуры при 
указании --target) в сизифе для софта, который от этого реально выигрывает в 
производительности.

Led.