From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: To: devel@lists.altlinux.org References: <389be035-2465-8c54-5cb3-93eadbc94267@basealt.ru> <20191015061954.GA2061077@portlab> <20191015073206.GH18867@imap.altlinux.org> <194fdb47-10a6-42d1-467c-f6ddd77b6638@basealt.ru> <20191015182212.GB19142@altlinux.org> <867a7ee0-e7a2-b370-d393-6bf3361be1df@basealt.ru> <20191015183330.GC19142@altlinux.org> <20191015192440.GA19858@altlinux.org> <20191015194427.m2m6zr2amkvoadlt@altlinux.org> From: Anton Farygin X-Opacus-Archived: none Organization: BaseALT Message-ID: <40e72033-1e87-2102-5289-f9f2361155f8@basealt.ru> Date: Wed, 16 Oct 2019 07:52:07 +0300 User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Thunderbird/60.8.0 MIME-Version: 1.0 In-Reply-To: <20191015194427.m2m6zr2amkvoadlt@altlinux.org> Content-Type: text/plain; charset=utf-8; format=flowed Content-Transfer-Encoding: 8bit Content-Language: ru Subject: Re: [devel] [I] rpm-build-vm: vm-run X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Wed, 16 Oct 2019 04:52:08 -0000 Archived-At: List-Archive: List-Post: On 15.10.2019 22:44, Vitaly Chikunov wrote: > On Tue, Oct 15, 2019 at 10:24:40PM +0300, Dmitry V. Levin wrote: >> On Tue, Oct 15, 2019 at 09:48:17PM +0300, Anton Farygin wrote: >>> On 15.10.2019 21:33, Dmitry V. Levin wrote: >>>> On Tue, Oct 15, 2019 at 09:28:09PM +0300, Anton Farygin wrote: >>>>> On 15.10.2019 21:22, Dmitry V. Levin wrote: >>>>>> On Tue, Oct 15, 2019 at 02:30:16PM +0300, Anton Farygin wrote: >>>>>>> On 15.10.2019 10:32, Michael Shigorin wrote: >>>>>>>> Зачем это тащить в hasher, особенно если на сборочнице? >>>>>>>> Собрал тестовое задание, гоняешь по нему спокойно тесты. >>>>>>> Есть цель сделать автоматическое тестирование воспроизводимым образом и >>>>>>> сразу в процессе сборки пакета. >>>>>> Вопрос, что мешает поместить всё необходимое в сборочную среду? >>>>>> >>>>> Я не совсем понимаю механизм, с помощью которого я могу поместить всё >>>>> необходимое в сборочную среду. >>>> А что из себя представляет всё необходимое? >>> Для того теста, который я хотел бы попробовать сделать - это репозиторий >>> apt, из которого собирался данный hasher root (или доступ к этому >>> репозиторию через apt). >>> >>> Грубо говоря - если мы хотим проверить инструментарий работы с >>> репозиторием (apt, packagekit) во время сборки полноценно, то небольшого >>> синтетического набора пакетов скорее всего будет недостаточно и его надо >>> проверять на всей  доступной пакетной базе. >> Давайте начнём с тех тестов, которые простые и воспроизводимые, и будем >> его пополнять. >> Проверять на всей пакетной базе тоже интересно, но это совсем другая задача. >> >> У нас в уезде был аналогичный случай. (c) >> >> У strace с 1991 года до 2011 года не было тестов. >> Начало положили 2 теста, написанные в феврале 2011 года. >> На данный момент в strace уже 721 тест, большая их часть синтетические, >> покрытие составляет 85.8% кода на x86-64. >> >> Конечно, этого набора тестов недостаточно, strace надо проверять на всех >> доступных процессах. :) > Я делаю ещё один инструмент тестирования, но пока разработка идет тайно. > Первоначальная идея в том, чтоб делать на любую дату (скажем из архива > репозитория за неделю до проверяемой таски) делать загружаемый образ > (altbootstrap), бутиться в него (в qemu), dist-upgrade, ребут ещё раз и > проверка, что всё ок. Если это сработает, то к этому можно будет > добавлять ещё тестов. > Да, такая задача тоже есть, но чуть сложнее - вместо образа из архива нужно автоматически устанавливать дистрибутив(ы), обновлять до даты, потом обновлять до таска. Сейчас это делается отдельными системами, но такая задача вполне переносима в сборочницу.