[room] автоматизированное тестирование и предвзятость

[room] автоматизированное тестирование и предвзятость

[Mike Lykov]

прочитал тут письмо с выражениями..
" опубликованное на заборе "
" даже не пошёл по ссылке.", "пустое место"
" придётся оплевать"

ну и т.д. Такое впечатление, что у автора gvy какая-то очень давняя и 
глубоко засаженная обида на ресурс и людей, которые правда об этом не 
подозревают, а то б наверно давно самоубились от впечатления "Ах, он 
почитал нас 5 лет назад и с тех пор не доверяет".

Так вот они (phoronix) ничего не скрывают.
у них есть автоматизированный Phoronix Test Suite, и они его 
распространяют свободно: Любой, в том чиле gvy, может пройти сюда 
http://www.phoronix-test-suite.com/?k=downloads

скачать, установить свою копию тестового комплекта, проверить методику, 
исправить какие-то допущения если он почитает их неверными.
Сделать свои тесты, опубликовать выводы... Что мешает это сделать вместо 
того, чтобы писать фигню о "оплеванных" и "давней репутации, из-за 
которой даже коснуться противно?"
Если так противно - то может, просто промолчать? А то ведь становится 
противно читать как раз того, кто эмоционирует (gvy), а не того кто 
работает над технической стороной (phoronix).

А тем временем не подозревающий phoronix как раз пишет..

http://www.phoronix.com/scan.php?page=article&item=linux_2612_2637&num=1
Five Years Of Linux Kernel Benchmarks: 2.6.12 Through 2.6.37
Published on November 03, 2010

http://www.phoronix.com/scan.php?page=article&item=pts_iveland_obo&num=1
How Linux Benchmarking Will Change With Iveland & OpenBenchmarking.org
Published on October 20, 2010

есть конструктивные возражения?

-- 
Mike

Re: [room] автоматизированное тестирование и предвзятость

[Anton Chernyshov]

7 ноября 2010 г. 12:59 пользователь Mike Lykov <combr@yandex.ru> написал:
>
> прочитал тут письмо с выражениями..
> " опубликованное на заборе "
> " даже не пошёл по ссылке.", "пустое место"
> " придётся оплевать"
>
> ну и т.д. Такое впечатление, что у автора gvy какая-то очень давняя и
> глубоко засаженная обида на ресурс и людей, которые правда об этом не
> подозревают, а то б наверно давно самоубились от впечатления "Ах, он почитал
> нас 5 лет назад и с тех пор не доверяет".
>
> Так вот они (phoronix) ничего не скрывают.
> у них есть автоматизированный Phoronix Test Suite, и они его распространяют
> свободно: Любой, в том чиле gvy, может пройти сюда
> http://www.phoronix-test-suite.com/?k=downloads
>
> скачать, установить свою копию тестового комплекта, проверить методику,
> исправить какие-то допущения если он почитает их неверными.
> Сделать свои тесты, опубликовать выводы... Что мешает это сделать вместо
> того, чтобы писать фигню о "оплеванных" и "давней репутации, из-за которой
> даже коснуться противно?"
> Если так противно - то может, просто промолчать? А то ведь становится
> противно читать как раз того, кто эмоционирует (gvy), а не того кто работает
> над технической стороной (phoronix).
>
> А тем временем не подозревающий phoronix как раз пишет..
>
> http://www.phoronix.com/scan.php?page=article&item=linux_2612_2637&num=1
> Five Years Of Linux Kernel Benchmarks: 2.6.12 Through 2.6.37
> Published on November 03, 2010
>
> http://www.phoronix.com/scan.php?page=article&item=pts_iveland_obo&num=1
> How Linux Benchmarking Will Change With Iveland & OpenBenchmarking.org
> Published on October 20, 2010
>
> есть конструктивные возражения?
>

Приведенная ниже фраза Вам что-нибудь о профессионализме тестеров говорит?

However, in order to run Fedora Core 4 on the Core i7 970 desktop
system rather than 2005-era hardware where this benchmarking process
would have easily taken weeks, __we ran all tests from within a Fedora
Core 4 virtual machine__.

Не кажется странным тестировать быстродействие ядер внутри виртуалки?
Особенно прикольно смотрится выбор системы. Вместо того, чтобы взять
какой-нибудь Pentium 4, хорошо "известный" и ядру 2.6.12 и последним
2.6.37 - на что они там взгромоздили свою TestSuite? Ах, да. На Core
i7.

-- 
С уважением,
Чернышов Антон

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

07.11.2010 16:14, Anton Chernyshov пишет:

> Не кажется странным тестировать быстродействие ядер внутри виртуалки?

нет, не кажется.
если это тестирование ядре внутри виртуалки - то так и надо делать.

еще раз: testsuite ни от кого не скрывается.
методики ни от кого не скрываются.
И как правильно сказал Алексей - доверять надо тому, что можно 
воспроизвести, а не тому, что кому-то нашептали или показалось странным.


-- 
Mike
Sapienti sat.

Re: [room] автоматизированное тестирование и предвзятость

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 473 bytes --]

On Sun, Nov 07, 2010 at 06:40:36PM +0300, Mike Lykov wrote:
> 07.11.2010 16:14, Anton Chernyshov пишет:
> 
> > Не кажется странным тестировать быстродействие ядер внутри виртуалки?
> 
> нет, не кажется.
> если это тестирование ядре внутри виртуалки - то так и надо делать.
спасибо, понял, тестирование показало, что под виртуалку без разницы,
какое пихать ядро. 

или речь была о производительности ядер на реальном железе?
-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

07.11.2010 21:47, Afanasov Dmitry пишет:
> спасибо, понял, тестирование показало, что под виртуалку без разницы,
> какое пихать ядро.
> или речь была о производительности ядер на реальном железе?

насколько я почитал - каждое ядро собиралось в одинаковом окружении 
(KVM) одинаковым компилятором с одинаковым конфигом.

так что если виртуалка и влияла, то одинаково на все версии.
или нет?

-- 
Mike
Sapienti sat.

Re: [room] автоматизированное тестирование и предвзятость

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 836 bytes --]

On Sun, Nov 07, 2010 at 11:10:36PM +0300, Mike Lykov wrote:

ML> насколько я почитал - каждое ядро собиралось в одинаковом окружении 
ML> (KVM) одинаковым компилятором с одинаковым конфигом.
ML> так что если виртуалка и влияла, то одинаково на все версии.
ML> или нет?

Измерять производительность в виртуалке по сравнению с обычным железом это
_очень_ странно. Потому что сам факт "в виртуалке" меняет слишком многое,
и производительность в большей степени будет зависеть от ядра хост-системы
и особенностей самой среды виртуализации.

То есть данные тестов производительности проведенных в виртуалке интересны
только для тех, кто будет запускать эти ядра в виртуалке. Да еще и той же
самой.

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

07.11.2010 23:32, Денис Смирнов пишет:
> Измерять производительность в виртуалке по сравнению с обычным железом это
> _очень_ странно. Потому что сам факт "в виртуалке" меняет слишком многое,
> и производительность в большей степени будет зависеть от ядра хост-системы
> и особенностей самой среды виртуализации.
>
> То есть данные тестов производительности проведенных в виртуалке интересны
> только для тех, кто будет запускать эти ядра в виртуалке.

вполне возможно.
это тестирование (в виртуалке) длилось неделю.
сделаете тоже на реальном железе? с удовольствием посмотрим.

-- 
Mike
Sapienti sat.

Re: [room] автоматизированное тестирование и предвзятость

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1568 bytes --]

On Sun, Nov 07, 2010 at 11:41:30PM +0300, Mike Lykov wrote:

ML> вполне возможно.
ML> это тестирование (в виртуалке) длилось неделю.
ML> сделаете тоже на реальном железе? с удовольствием посмотрим.

Я тут запустил одну игрушку, и в ней можно выпрыгнуть из окна -- и
полететь! А значит человек может летать! Так что теперь или проверяйте
сами этот факт (прыжком из окна), или признайте что человек может летать.

Намек понятен?

То, что тестирование было проведено в виртуалке де-факто означает что из
результатов этого тестирования нельзя сделать никаких выводов по поводу
использования ядра на физической машине.

Могу еще для смеха вспомнить тот факт, который был многим известен еще 15
лет назад. DOS-приложения внутри DOS-эмуляции в OS/2 работали почему-то
заметно быстрее чем на голой машине (собственно понятно почему --
кэширование дисковых операций в host-ОС сильно повышало
производительность).

На виртуалке, увы, тестировать _производительность_ занятие весьма
спорное. Ну, то есть можно придумать частные случаи где результат будет
скорее всего корректным, но доверять я бы такому тестированию не стал.

И слова любого грамотного коллеги даже типа "мне кажется что вот это --
лучше" для меня будут иметь заведомо больший вес чем такое тестирование.
Ибо у этих слов хотя бы маленький вес но есть, а в такое тестирование я
верю ровно в той же степени, в какой я поверю результатам из /dev/random
:)

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

08.11.2010 0:07, Денис Смирнов пишет:

> На виртуалке, увы, тестировать _производительность_ занятие весьма
> спорное.

А _изменение_ производительности? что влияет на него в данном случае?

> И слова любого грамотного коллеги даже типа "мне кажется что вот это --
> лучше" для меня будут иметь заведомо больший вес чем такое тестирование.

а чем самостоятельно проведенное тестирование на тех условиях, на 
которых надо? (на реальном железе, на выиртуалке по своему выбору, т.п.)?

Mike

Re: [room] автоматизированное тестирование и предвзятость

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1003 bytes --]

On Mon, Nov 08, 2010 at 12:58:53AM +0300, Mike Lykov wrote:

ML> А _изменение_ производительности? что влияет на него в данном случае?

Особенности работы планировщика в ядре, алгоритмы кэширования, что угодно.
При этом те алгоритмы, которые будут лучше работать на виртуалке вполне
возможно будут хуже работать на физической машине.

Ну к примеру -- при условии правильно настроенной хост-системы, все умные
планировщики i/o в лучшем случае вхолостую грузят процессор :)

ML> а чем самостоятельно проведенное тестирование на тех условиях, на 
ML> которых надо? (на реальном железе, на выиртуалке по своему выбору, т.п.)?

Ровно по тем же причинам, по которым при покупке продуктов в магазине я не
провожу полный химический анализ этих продуктов перед поеданием. Ну,
банаьлно потому что есть дела поинтереснее и менее затратные по
времени и оборудованию :)

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [room] автоматизированное тестирование и предвзятость

[Michael Shigorin]

On Mon, Nov 08, 2010 at 12:58:53AM +0300, Mike Lykov wrote:
> а чем самостоятельно проведенное тестирование на тех условиях, на 
> которых надо? (на реальном железе, на выиртуалке по своему выбору, т.п.)?

Вспоминаем физпрактикум -- для внятного тестирования надо
понимать закономерности процесса, потенциально влияющие факторы
и то, как делаемые изменения отражаются на измеримых показателях,
не забывать обработать с учётом теории ошибок.

А не понабежать и понамерять.

Поэтому специалисту, который понимает, я изначально верю больше,
чем хоть обложившемуся опубликованными исходниками профану.

Вот такая фигня.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

08.11.2010 22:14, Michael Shigorin пишет:
> Вспоминаем физпрактикум -- для внятного тестирования надо
> понимать закономерности процесса, потенциально влияющие факторы
> и то, как делаемые изменения отражаются на измеримых показателях,
> не забывать обработать с учётом теории ошибок.

и что вам мешает? инструмент дали, как другие делают - не нравится.

> А не понабежать и понамерять.

ну так мееедленнно подойдите..
пока что-то никто тут правда не выразил желания хоть что-то сделать, в 
отличие от тех кто сделал.

-- 
Mike
Sapienti sat.

Re: [room] автоматизированное тестирование и предвзятость

[Anton A. Vinogradov]

08.11.2010 23:06, Mike Lykov пишет:
> пока что-то никто тут правда не выразил желания хоть что-то сделать, в
> отличие от тех кто сделал.
а должен?

Re: [room] автоматизированное тестирование и предвзятость

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 2445 bytes --]

On Mon, Nov 08, 2010 at 11:06:46PM +0300, Mike Lykov wrote:

ML> ну так мееедленнно подойдите..
ML> пока что-то никто тут правда не выразил желания хоть что-то сделать, в 
ML> отличие от тех кто сделал.

Я сейчас возьму и с помощью dd if=/dev/random of=superos.c bs=64k count=1k
напишу супер крутую современную ОС. Круче чем линух, ага. Вот, запустил.
Супер крутая ОС.

Все, теперь либо пользуйся этой ОС (плевать что получившийся "код" даже не
компилится) или пиши свою ОС.

Ты сейчас делаешь простую логическую ошибку. Некто сделал что-то. То что
он сделал -- бессмысленно (не "плохо", а именно "бессмысленно вообще").

На этом основании многие люди утверждают что выводам этих гениев верить
нельзя, ибо в связи с отсутствием у них сколь-нибудь приемлимой
квалификации результат хотя и наукообразный по виду, по сути -- дает
столько же информации сколько генератор случайных чисел.

Теперь вопрос -- почему кто-то в связи с этим событием должен срочно
бежать делать такие же тесты но лучше?

Мой опыт показывает, что если mike@ на основании чьего-то мнения (того,
кому доверяет) начинает что-то очень активно утверждать -- с очень высокой
вероятностью он оказывается прав, ибо хорошо отсеивает тех, чьему мнению
можно доверять.

У меня в такой ситуации есть выбор:

а) провести самостоятельное исследование -- долго, дорого, у меня есть
много чем заняться, а также требует высокой квалификации, и я не уверен
что она у меня достаточно высокая для грамотного тестирования;

б) поверить мнению человека, который основывается на мнении
квалифицированных людей;

в) поверить выводам людей, которые провели откровенно неграмотное
тестирование, и вообще известны тем что меряют среднюю температуру по
больнице выдавая ее за погоду на марсе;

Очевидно что реально выбор между первыми двумя вариантами. При этом если
бы это был вопрос критический (цена ошибки велика), то правильнее был бы
первый вариант. В остальных случаях -- второй.

Или кому-то не очевидно, что часто оценка правильности решения может быть
_дороже_ чем вероятный ущерб от принятия неправильного решения?

Или неочевидно что сам факт проведения кем-то дилетантского тестирования
позволяет сделать только один вывод -- те кто его проводили являются
ламерами, и более никаких выводов сделать нельзя?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------


[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [room] автоматизированное тестирование и предвзятость

[Michael Shigorin]

On Mon, Nov 08, 2010 at 11:06:46PM +0300, Mike Lykov wrote:
> пока что-то никто тут правда не выразил желания хоть что-то
> сделать, в отличие от тех кто сделал.

AEN ссылался на мои слова об относительной производительности
ядер .27, .30 и 32, которые в свою очередь ссылались на led@,
который выполнял тестирование производительности в рамках работ
по кластеру МГУ T-500.

У нас с ним есть некоторый диспут -- Алексей скорее считает,
что вываленные исходники есть ultima ratio, а я считаю, что
гораздо важнее доверие между людьми.  Потому как из него следует
всё остальное, но как показывает практика -- из самих по себе
исходников доверие отнюдь не самозарождается.

Потому и отослался к ldv@ -- кстати, пойду-ка поздравлю его.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [room] автоматизированное тестирование и предвзятость

[Mike Lykov]

> У нас с ним есть некоторый диспут -- Алексей скорее считает,
> что вываленные исходники есть ultima ratio, а я считаю, что
> гораздо важнее доверие между людьми. 

Я скорее поддерживаю Алексея, поскольку "доверие между людьми" в этой чисто техническо-измерительной теме вещь параллельная.
Уже упомянутые физические законы и правила проведения физических экспериментов тоже не зависят от того, доверяет экспериментатор своей жене, например, или нет.

Кстати, если углубиться в тему и вернуться к претензии "а там виртуальная машина, это все, конец!" - то желающие могли бы посмотреть на http://www.phoromatic.com/kernel-tracker.php , например.

но я думаю - не захотят. потому что у меня складывается мнение, что важнее посмокрумить, чем прийти к определенному решению.



-- 
Mike 

Re: [room] автоматизированное тестирование и предвзятость

[Michael Shigorin]

On Sun, Nov 07, 2010 at 12:59:43PM +0300, Mike Lykov wrote:
> Так вот они (phoronix) ничего не скрывают.

Дяденька тёзка, да смотрел я этот PTS.  Вопрос всегда(!) не только
в весах, а ещё и что сравнивать.  Вот с этим у них проблемы, увы.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/