Re: [room] автоматизированное тестирование и предвзятость

["Денис Смирнов" <mithraen@freesource.info>]

[-- Attachment #1: Type: text/plain, Size: 2445 bytes --]

On Mon, Nov 08, 2010 at 11:06:46PM +0300, Mike Lykov wrote:

ML> ну так мееедленнно подойдите..
ML> пока что-то никто тут правда не выразил желания хоть что-то сделать, в 
ML> отличие от тех кто сделал.

Я сейчас возьму и с помощью dd if=/dev/random of=superos.c bs=64k count=1k
напишу супер крутую современную ОС. Круче чем линух, ага. Вот, запустил.
Супер крутая ОС.

Все, теперь либо пользуйся этой ОС (плевать что получившийся "код" даже не
компилится) или пиши свою ОС.

Ты сейчас делаешь простую логическую ошибку. Некто сделал что-то. То что
он сделал -- бессмысленно (не "плохо", а именно "бессмысленно вообще").

На этом основании многие люди утверждают что выводам этих гениев верить
нельзя, ибо в связи с отсутствием у них сколь-нибудь приемлимой
квалификации результат хотя и наукообразный по виду, по сути -- дает
столько же информации сколько генератор случайных чисел.

Теперь вопрос -- почему кто-то в связи с этим событием должен срочно
бежать делать такие же тесты но лучше?

Мой опыт показывает, что если mike@ на основании чьего-то мнения (того,
кому доверяет) начинает что-то очень активно утверждать -- с очень высокой
вероятностью он оказывается прав, ибо хорошо отсеивает тех, чьему мнению
можно доверять.

У меня в такой ситуации есть выбор:

а) провести самостоятельное исследование -- долго, дорого, у меня есть
много чем заняться, а также требует высокой квалификации, и я не уверен
что она у меня достаточно высокая для грамотного тестирования;

б) поверить мнению человека, который основывается на мнении
квалифицированных людей;

в) поверить выводам людей, которые провели откровенно неграмотное
тестирование, и вообще известны тем что меряют среднюю температуру по
больнице выдавая ее за погоду на марсе;

Очевидно что реально выбор между первыми двумя вариантами. При этом если
бы это был вопрос критический (цена ошибки велика), то правильнее был бы
первый вариант. В остальных случаях -- второй.

Или кому-то не очевидно, что часто оценка правильности решения может быть
_дороже_ чем вероятный ущерб от принятия неправильного решения?

Или неочевидно что сам факт проведения кем-то дилетантского тестирования
позволяет сделать только один вывод -- те кто его проводили являются
ламерами, и более никаких выводов сделать нельзя?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------


[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]