Re: [devel] [I] rpm-build-vm: vm-run

[Anton Farygin <rider@basealt.ru>]

On 15.10.2019 22:44, Vitaly Chikunov wrote:
> On Tue, Oct 15, 2019 at 10:24:40PM +0300, Dmitry V. Levin wrote:
>> On Tue, Oct 15, 2019 at 09:48:17PM +0300, Anton Farygin wrote:
>>> On 15.10.2019 21:33, Dmitry V. Levin wrote:
>>>> On Tue, Oct 15, 2019 at 09:28:09PM +0300, Anton Farygin wrote:
>>>>> On 15.10.2019 21:22, Dmitry V. Levin wrote:
>>>>>> On Tue, Oct 15, 2019 at 02:30:16PM +0300, Anton Farygin wrote:
>>>>>>> On 15.10.2019 10:32, Michael Shigorin wrote:
>>>>>>>> Зачем это тащить в hasher, особенно если на сборочнице?
>>>>>>>> Собрал тестовое задание, гоняешь по нему спокойно тесты.
>>>>>>> Есть цель сделать автоматическое тестирование воспроизводимым образом и
>>>>>>> сразу в процессе сборки пакета.
>>>>>> Вопрос, что мешает поместить всё необходимое в сборочную среду?
>>>>>>
>>>>> Я не совсем понимаю механизм, с помощью которого я могу поместить всё
>>>>> необходимое в сборочную среду.
>>>> А что из себя представляет всё необходимое?
>>> Для того теста, который я хотел бы попробовать сделать - это репозиторий
>>> apt, из которого собирался данный hasher root (или доступ к этому
>>> репозиторию через apt).
>>>
>>> Грубо говоря - если мы хотим проверить инструментарий работы с
>>> репозиторием (apt, packagekit) во время сборки полноценно, то небольшого
>>> синтетического набора пакетов скорее всего будет недостаточно и его надо
>>> проверять на всей  доступной пакетной базе.
>> Давайте начнём с тех тестов, которые простые и воспроизводимые, и будем
>> его пополнять.
>> Проверять на всей пакетной базе тоже интересно, но это совсем другая задача.
>>
>> У нас в уезде был аналогичный случай. (c)
>>
>> У strace с 1991 года до 2011 года не было тестов.
>> Начало положили 2 теста, написанные в феврале 2011 года.
>> На данный момент в strace уже 721 тест, большая их часть синтетические,
>> покрытие составляет 85.8% кода на x86-64.
>>
>> Конечно, этого набора тестов недостаточно, strace надо проверять на всех
>> доступных процессах. :)
> Я делаю ещё один инструмент тестирования, но пока разработка идет тайно.
> Первоначальная идея в том, чтоб делать на любую дату (скажем из архива
> репозитория за неделю до проверяемой таски) делать загружаемый образ
> (altbootstrap), бутиться в него (в qemu), dist-upgrade, ребут ещё раз и
> проверка, что всё ок. Если это сработает, то к этому можно будет
> добавлять ещё тестов.
>
Да, такая задача тоже есть, но чуть сложнее - вместо образа из архива 
нужно автоматически устанавливать дистрибутив(ы), обновлять до даты, 
потом обновлять до таска.
Сейчас это делается отдельными системами, но такая задача вполне 
переносима в сборочницу.