On Tue, Mar 03, 2009 at 07:13:09PM +0300, Dmitriy M. Maslennikov wrote:
> 3 марта 2009 г. 18:16 пользователь Alexey Tourbin <at@altlinux.ru> написал:
> >> - ручная протестированность;
> >
> > Что такое ручная протестированность?  Есть смысл что-то тестировать
> > вручную когда есть рельные специфические задачи и когда человек
> > заинтересован и понимает что там к чему происходит.
> >
> > А если сидит один человек и вручную тестирует всё сразу, то это имеет
> > мало смысла.  Это человек это получается такая умная обезьяна.  Обезьяна
> > сможет поверхностно убедиться в работоспособности лишь небольшого числа
> > вещей, которые на виду.
> Для меня это означает, что в течение гарантированного интервала
> времени (например 1 месяц) на этом пакете не было ни одного бага от
> пользователей ALTLinux. Хотелось бы, чтобы пакеты попадали в бранч
> именно после ручного тестирования или они не нужны вообще.

Не бывает ручного тестирования, которое даёт реально много.
В следующем смысле.

Понимаете, Вы тестируете не только то, что Вы залили, а Вы тестируете
сложную комбинацию того что Вы залили и что было до этого.  То есть
всегда будет две части: Ваш код и чужой код; и комбинация, в котрой
идёт тестирование.

Есть смысл тестировать код, который влияет непосредственно.
Повлиять на чужой код шансов меньше.

Кроме того, само понятие "комбинации" нашего кода и чужого кода оно тоже
не очедь однозначное.  Бывает (непротиворечивая) build-time комбинация
и runtime комбинация.  Всего этих комбинаций может быть очень много, и
все их протестировать более-менее нельзя.

Поэтому имеет смысл следующий подход к тестированию вручную.
1) Обновляем хост-систему до текущего репозитария (dist-upgrade).
2) Собираем пакет на текущем репозитарии.
3) Ставим собранный пакет в хост-систему и думаем работает он или нет.
4) Отправляем пакет на сборку.

Больше чем это сделать почти что ничего нельзя.