From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: Date: Tue, 15 Oct 2019 22:44:28 +0300 From: Vitaly Chikunov To: ALT Linux Team development discussions Message-ID: <20191015194427.m2m6zr2amkvoadlt@altlinux.org> Mail-Followup-To: ALT Linux Team development discussions References: <389be035-2465-8c54-5cb3-93eadbc94267@basealt.ru> <20191015061954.GA2061077@portlab> <20191015073206.GH18867@imap.altlinux.org> <194fdb47-10a6-42d1-467c-f6ddd77b6638@basealt.ru> <20191015182212.GB19142@altlinux.org> <867a7ee0-e7a2-b370-d393-6bf3361be1df@basealt.ru> <20191015183330.GC19142@altlinux.org> <20191015192440.GA19858@altlinux.org> MIME-Version: 1.0 Content-Type: text/plain; charset=koi8-r Content-Disposition: inline Content-Transfer-Encoding: 8bit In-Reply-To: <20191015192440.GA19858@altlinux.org> User-Agent: NeoMutt/20171215-106-ac61c7 Subject: Re: [devel] [I] rpm-build-vm: vm-run X-BeenThere: devel@lists.altlinux.org X-Mailman-Version: 2.1.12 Precedence: list Reply-To: ALT Linux Team development discussions List-Id: ALT Linux Team development discussions List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Tue, 15 Oct 2019 19:44:28 -0000 Archived-At: List-Archive: List-Post: On Tue, Oct 15, 2019 at 10:24:40PM +0300, Dmitry V. Levin wrote: > On Tue, Oct 15, 2019 at 09:48:17PM +0300, Anton Farygin wrote: > > On 15.10.2019 21:33, Dmitry V. Levin wrote: > > > On Tue, Oct 15, 2019 at 09:28:09PM +0300, Anton Farygin wrote: > > >> On 15.10.2019 21:22, Dmitry V. Levin wrote: > > >>> On Tue, Oct 15, 2019 at 02:30:16PM +0300, Anton Farygin wrote: > > >>>> On 15.10.2019 10:32, Michael Shigorin wrote: > > >>>>> Зачем это тащить в hasher, особенно если на сборочнице? > > >>>>> Собрал тестовое задание, гоняешь по нему спокойно тесты. > > >>>> Есть цель сделать автоматическое тестирование воспроизводимым образом и > > >>>> сразу в процессе сборки пакета. > > >>> Вопрос, что мешает поместить всё необходимое в сборочную среду? > > >>> > > >> Я не совсем понимаю механизм, с помощью которого я могу поместить всё > > >> необходимое в сборочную среду. > > > А что из себя представляет всё необходимое? > > Для того теста, который я хотел бы попробовать сделать - это репозиторий > > apt, из которого собирался данный hasher root (или доступ к этому > > репозиторию через apt). > > > > Грубо говоря - если мы хотим проверить инструментарий работы с > > репозиторием (apt, packagekit) во время сборки полноценно, то небольшого > > синтетического набора пакетов скорее всего будет недостаточно и его надо > > проверять на всей  доступной пакетной базе. > > Давайте начнём с тех тестов, которые простые и воспроизводимые, и будем > его пополнять. > Проверять на всей пакетной базе тоже интересно, но это совсем другая задача. > > У нас в уезде был аналогичный случай. (c) > > У strace с 1991 года до 2011 года не было тестов. > Начало положили 2 теста, написанные в феврале 2011 года. > На данный момент в strace уже 721 тест, большая их часть синтетические, > покрытие составляет 85.8% кода на x86-64. > > Конечно, этого набора тестов недостаточно, strace надо проверять на всех > доступных процессах. :) Я делаю ещё один инструмент тестирования, но пока разработка идет тайно. Первоначальная идея в том, чтоб делать на любую дату (скажем из архива репозитория за неделю до проверяемой таски) делать загружаемый образ (altbootstrap), бутиться в него (в qemu), dist-upgrade, ребут ещё раз и проверка, что всё ок. Если это сработает, то к этому можно будет добавлять ещё тестов.