[Comm] продолжение темы про p7zip

[Comm] продолжение темы про p7zip

[Guest007]

Приветствую всех!

В прошлой серии :-) сравнивали p7zip 0.91, bzip2 & rar.
Во первых приношу свои извинения за некоторую некорректность тестов, т.к. bzip2 работал с 
ключами по умолчанию, а не -9, как было заявлено. Ну и время не было зафиксировано.

Теперь у нас есть новая версия p7zip (4.10beta), ключик -9 у bzip2 и новое знание об 
использовании программы "time" :-) (в скобочках замечаю, что хотел предоставить больше 
информации и зафиксировать потребляемый архиваторами объем памяти, но эти ключики у 
time не работают, а Коммьюнити деликатно промолчало в ответ на мой вопрос. Может я что 
неприличное спросил? :-) )

Итак. Атлон ХР 2200. 512 Мб ОЗУ.
rar 3.40 beta4
bzip2 стандартен.
p7zip 4.10beta4 в двух вариантах. Почему в двух? Один собирался со стандартными опциями 
компилятора (-O2), на другом я решил поэкспериментировать: поставить -march=athlon и 
оптимизацию покруче. Везде предупреждают, что это на свой страх и риск, по MPlayer 
нормально собирается и работает с -O3, а p7zip собрался с -O4. И работает. Дальше я 
экспериментировать не стал. Да и "есть ли жизнь на Марсе?" (с)
Единственный файл -- результат работы p7zip в стандартной сборке содержит в имени "_О2".
Объектом издевательств послужил сегодняшний CVS inkscape 
du -s
26M     .
ls -lR|grep \\-rw|wc -l
1649
(Это кол-во файлов, если я правильно понял. А как правильно?)

tar cf - inkscape | time -f %es bzip2 -f9 > inkscape.tar.bz2
tar cf - inkscape | time -f %es 7za -si a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=off -r inkscape.
tar cf - inkscape | time -f %es rar a -m5 -si inkscape.tar.rar
time -f %es 7za a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on -r inkscape_s.7z inkscape
time -f %es 7za2 a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on -r inkscape_O2_s.7z inkscape
time -f %es 7za a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=off -r inkscape.7z inkscape
time -f %es rar a -m5 -s inkscape_s inkscape
time -f %es rar a -m5 inkscape inkscape

И вот, что получилось (время - размер - имя):
14.19s	3597489	inkscape.tar.bz2
178.94s	2856559	inkscape.tar.7z
13.78s	3151766	inkscape.tar.rar
180.98s	2838070	inkscape_s.7z
182.59s	2838070	inkscape_O2_s.7z
462.96s	4748981	inkscape.7z
19.46s 	3114685	inkscape_s.rar
19.43s	4506850	inkscape.rar

Победителя выбирайте сами :-) Но ясно одно: ничего не ясно. Точнее всё зависит от задачи 
(какая новая мысь! Может себя в фортунки вставить?) :-)

Бзип слаб, но быстр, стандартен. В мс нельзя добавить файл в уже созданный архив или удалить 
оттуда, пользуясь мс-шным вфс.
РАР могуч и быстр и фичаст, но не бесплатен. И для многих это будет проблемой. Хотя для 
кого-то и нет. С мс-шными вфс проблем нет.
p7zip	могуч, но тормознут сверх меры (правда скорость ни каким боком в приоритетах разработчика 
LZMA не значится, так что претензий к нему нет), малофичаст и не подерживается мс-шным вфс.

Благодарю за внимание :-)

-- 
WBR Guest007
JID: guest007@jabber.ru

[Comm] Re: продолжение темы про p7zip

[Michael Shigorin]

On Tue, Oct 26, 2004 at 02:51:38PM +0400, Guest007 wrote:
> p7zip	могуч, но тормознут сверх меры (правда скорость ни каким
> боком в приоритетах разработчика LZMA не значится, так что
> претензий к нему нет), малофичаст и не подерживается мс-шным
> вфс.

Ну так сделайте поддержку, это не так страшно, как кажется -- на
первом году прикладного знакомства с Linux сделал себе m3u VFS :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] продолжение темы про p7zip

[Guest007]

В сообщении от Вторник 26 Октябрь 2004 14:51 Guest007 написал(a):
>
> Благодарю за внимание :-)
Через один час и пятнадцать минут увидел свой собственный пост! Меня уже 
успели поздравить (джаббером), предложили не ныть (этот пост Шигорина я 
получу минут через 10) и поуходить домой, потому что поздно (не здесь, а во 
Владивостоке :-) ) Этак и состариться можно, ожидая ответов! И не по вине 
написавших!

Этот пост я увижу уже завтра :-)
-- 
WBR Guest007
JID: guest007@jabber.ru

Re: [Comm] продолжение темы про p7zip

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 648 bytes --]

On Tue, Oct 26, 2004 at 02:51:38PM +0400, Guest007 wrote:
> нормально собирается и работает с -O3, а p7zip собрался с -O4. И работает. Дальше я 
Кто такой -O4??
> РАР могуч и быстр и фичаст, но не бесплатен.
Линуховый нереганый работает сколь угодно долго, не прося регистрации.
Виндовый консольный - аналогично.
Виндовый гуевый - да, выводит противное окошко после 40 дней нереганого
использования. Но гуй нафик не нужен.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

modutils вполне работоспособен... лично мне он в нынешнем виде нравится..
а вот что скажет на эту тему ldv ???
		-- rider in devel-kernel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] продолжение темы про p7zip

[Yury Aliaev]

Andrey Rahmatullin пишет:

>>нормально собирается и работает с -O3, а p7zip собрался с -O4. И работает. Дальше я 
> 
> Кто такой -O4??
> 

Как говорила документация к gcc (это было в районе версии 2.95, сейчас 
могло и измениться, так что голову на отсечение не дам), что уровни 
оптимизации -O4...-O6 введены только для совместимости с другими CC, и 
значат они ровно то же, что и -O3.

Re: [Comm] продолжение темы про p7zip

[Guest007]

В сообщении от Вторник 26 Октябрь 2004 18:23 Andrey Rahmatullin написал(a):
>
> Кто такой -O4??
Нда, хороший вопрос :-) 
>
> > РАР могуч и быстр и фичаст, но не бесплатен.
>
> Линуховый нереганый работает сколь угодно долго, не прося регистрации.
"работает" и "не просит" это разные вещи. Да, работает. Но просит. Вежливо 
так. Пишет, что шароварная версия. В файле лицензии есть такой текст:
   2. Anyone may use this software during a test period of 40
      days. Following this test period of 40 days or less,
      if you wish to continue to use RAR, you must register.
.....
   5. To register you must buy RAR. See order.htm for details.

А теперь про -О4. Предыстория. Когда-то давно я наткнулся на текст (ковыряясь 
с опциями компиляции ядра), в котором говорилось, что -О2 -- это гуд, -О3 -- 
без гарантий и для экстремалов, но можно попробовать, -О4,5,6 это пока только 
для разработчиков и не использовать ни в коем случае. Это было давно, -О3 
можно использовать практицки без проблем, вот я и подумал о -О4. Проблем с 
компиляцие нет. Но и в документации нет ничего про это. Хотя кто-то в этой, 
кажется, рассылке говорил о том, что -О4 (в свете сборки МПлейера) добавляет 
ещё пару чего-то:-). 
И вот я решил перетестировать p7zip с разными опциями сборки (правда у всех 
включил -march=athlon). Для большей объективности взял больший набор данных 
теперь это снапшоты inkscape и scribus, ктоорым не делали make clean после 
сборки и еще каталог с распакованными архивами PSCyr.

du -s
448M    .
ls -lR|grep \\-rw|wc -l
3625

Вот результат:
271.26s	155401045 data.tar.bz2
3336.75s	 77039282	data_O4_s.7z
3345.51s	 77039282	data_O2_s.7z
3325.67s	 77039282	data_O3_s.7z
520.27s	 96113105	data_s.rar

тестровались только солид-режимы. 3325 секунд > 55 мин. :-)
Ясно, что -О4 что-то делает, т.к. быстрее, чем -О2 :-) , но всёж таки отстаёт 
от -О3 в данном программном продукте.

Вот такие пироги. Надеюсь, что больше тестировать не придётся :-) (если, 
конечно, в следующей версии не заявят существенное повышение быстродействия) 


-- 
WBR Guest007
JID: guest007@jabber.ru

Re: [Comm] продолжение темы про p7zip

[Dmytro O. Redchuk]

On Tue, Oct 26, 2004 at 02:51:38PM +0400, Guest007 wrote:
> ls -lR|grep \\-rw|wc -l
> 1649
> (Это кол-во файлов, если я правильно понял. А как правильно?)
find . -type f | wc -l

"find . -type f" ищет все файлы (и начинающиеся с точки -- ls -laR -- и с
любыми правами доступа.

Например, на моём домашнем каталоге:
[dima@libr dima]$ ls -lR  | grep \\-rw | wc -l
26873
[dima@libr dima]$ ls -laR | grep \\-rw | wc -l
29057
[dima@libr dima]$ ls -laR | grep \\-r  | wc -l
29212
[dima@libr dima]$ find . -type f | wc -l
29212

> 
> -- 
> WBR Guest007
> JID: guest007@jabber.ru

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] продолжение темы про p7zip

[Guest007]

В сообщении от Четверг 28 Октябрь 2004 11:59 Dmytro O. Redchuk написал(a):

> find . -type f | wc -l
>
> "find . -type f" ищет все файлы (и начинающиеся с точки -- ls -laR -- и с
> любыми правами доступа.
Классно! Спасибо.
ls -lR|grep \\-rw|wc -l
3625
ls -laR|grep \\-rw|wc -l
4317
find . -type f | wc -l
4317
Это к моему ответу Рахматуллину и новому тесту.


-- 
WBR Guest007
JID: guest007@jabber.ru

Re: [Comm] продолжение темы про p7zip

[mercenary]

On Thu, 28 Oct 2004 11:52:04 +0400
Guest007 <trash4@yandex.ru> wrote:

> Вот результат:
> 271.26s	155401045 data.tar.bz2
> 3336.75s	 77039282	data_O4_s.7z
> 3345.51s	 77039282	data_O2_s.7z
> 3325.67s	 77039282	data_O3_s.7z
> 520.27s	 96113105	data_s.rar
> 
> тестровались только солид-режимы. 3325 секунд > 55 мин. :-)
> Ясно, что -О4 что-то делает, т.к. быстрее, чем -О2 :-) , но всёж таки
> отстаёт от -О3 в данном программном продукте.
> 
> Вот такие пироги. Надеюсь, что больше тестировать не придётся :-) (если, 
> конечно, в следующей версии не заявят существенное повышение быстродействия)

  А сколько попыток было для каждого теста? На сколько я помню, разница в 0.3%
при единичном запуске ничего не показывает. Лучше возьми меньший объём данных
и запусти тест для каждого случая хотя бы раза по 3.
  По поводу опций. При сборке какой-то проги я чётко видел используемую
по дефолту опцию -O9 только не помню это для CFLAGS или СXXFLAGS. Тоже был
удивлён.

-- 
С уважением, Дмитрий Ковалёв.
ICQ UIN: 40912331			Jabber: mercenary@jabber.linux.it
Gentoo Base System version 1.5.3

Re: [Comm] продолжение темы про p7zip

[Yury Aliaev]

mercenary@mail.ru пишет:
> 
> 
>>Вот результат:
>>271.26s	155401045 data.tar.bz2
>>3336.75s	 77039282	data_O4_s.7z
>>3345.51s	 77039282	data_O2_s.7z
>>3325.67s	 77039282	data_O3_s.7z
>>520.27s	 96113105	data_s.rar
>>
>>тестровались только солид-режимы. 3325 секунд > 55 мин. :-)
>>Ясно, что -О4 что-то делает, т.к. быстрее, чем -О2 :-) , но всёж таки
>>отстаёт от -О3 в данном программном продукте.
>>
>>Вот такие пироги. Надеюсь, что больше тестировать не придётся :-) (если, 
>>конечно, в следующей версии не заявят существенное повышение быстродействия)
> 
> 
>   А сколько попыток было для каждого теста? На сколько я помню, разница в 0.3%
> при единичном запуске ничего не показывает. Лучше возьми меньший объём данных
> и запусти тест для каждого случая хотя бы раза по 3.

Ясен пень, дело пахнет флуктуациями. Если уж тестировать серьёзно, то -- 
в однопользовательском режиме (чтобы хитрый Крон не подпихнул 
какую-нибудь свою работёнку параллельно), и раз по 10. Потом усреднить. 
Хотя и так видно, что в данном случае разница между различными -O -- 
крохи, на которые не стоит обращать внимания.

>   По поводу опций. При сборке какой-то проги я чётко видел используемую
> по дефолту опцию -O9 только не помню это для CFLAGS или СXXFLAGS. Тоже был
> удивлён.
> 

Я только что перечитал info gcc (3.3.3). Там говорится только про -O -O1 
-O2 -O3 -Os. -O с номером >3, вероятно, негласно приравнивается к -O3. 
Опция -O9 могли поставить в расчёте на другой CC (не gcc), у которого 
бОльше градаций степени оптимизации.

P.S. Если уж совсем делать нечего, можно почитать info gcc и поиграть 
флажками типа -ffast-math и т.п., которые, в данном случае, могут иметь 
гораздо больший эффект, чем все -O.