[devel] changelogs for apt repo

[devel] changelogs for apt repo

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 5348 bytes --]

Я реализовал включение changelog'ов пакетов в репозитарий и показ их
в 'apt-cache show' (см. мой apt.git).  Работать должно примерно вот так:

$ ./aptbox/apt-cache show perl-YAML |обрезать_домен_мыла
Package: perl-YAML
Section: Development/Perl
Installed Size: 142319
Maintainer: Alexey Tourbin <at@altlinux>
Version: 0.66-alt1
Build Date: Sat May 17 08:52:46 2008
Pre-Depends: rpmlib(PayloadFilesHavePrefix) (<= 4.0-1), rpmlib(CompressedFileNames) (<= 3.0.4-1), rpmlib(VersionedDependencies) (<= 3.0.3-1)
Depends: /usr/bin/perl, perl(Data/Dumper.pm), perl(Term/ReadLine.pm), perl(base.pm), perl(constant.pm), perl(overload.pm), perl(warnings.pm), perl-base (>= 1:5.6.1)
Provides: perl(YAML.pm) (= 0.660), perl(YAML/Base.pm), perl(YAML/Dumper.pm), perl(YAML/Dumper/Base.pm), perl(YAML/Error.pm), perl(YAML/Loader.pm), perl(YAML/Loader/Base.pm), perl(YAML/Marshall.pm), perl(YAML/Node.pm), perl(YAML/Tag.pm), perl(YAML/Types.pm), perl-YAML (= 0.66-alt1)
Architecture: noarch
Size: 48657
MD5Sum: 14f76d223da25a4036a8f771c67bb518
Filename: perl-YAML-0.66-alt1.noarch.rpm
Description: YAML Ain't Markup Language
 The YAML.pm module implements a YAML Loader and Dumper based on the
 YAML 1.0 specification.  YAML is a generic data serialization language
 that is optimized for human readability.  It can be used to express the
 data structures of most modern programming languages (including Perl).
Changelog:
 * Sat May 17 2008 Alexey Tourbin <at@altlinux> 0.66-alt1
 - 0.65 -> 0.66
 * Sat Aug 18 2007 Alexey Tourbin <at@altlinux> 0.65-alt1
 - 0.62 -> 0.65
 * Wed Dec 20 2006 Alexey Tourbin <at@altlinux> 0.62-alt1
 - 0.60 -> 0.62
 - fixed dependency on B::Deparse (cpan #24018)

Package: perl-YAML
Section: Development/Perl
Installed Size: 142138
Maintainer: Alexey Tourbin <at@altlinux>
Version: 0.65-alt1
Pre-Depends: rpmlib(PayloadFilesHavePrefix) (<= 4.0-1), rpmlib(CompressedFileNames) (<= 3.0.4-1), rpmlib(VersionedDependencies) (<= 3.0.3-1)
Depends: perl(Data/Dumper.pm), perl(Term/ReadLine.pm), perl(base.pm), perl(constant.pm), perl(overload.pm), perl(warnings.pm), perl-base (>= 1:5.6.1)
Provides: perl(YAML.pm) (= 0.650), perl(YAML/Base.pm), perl(YAML/Dumper.pm), perl(YAML/Dumper/Base.pm), perl(YAML/Error.pm), perl(YAML/Loader.pm), perl(YAML/Loader/Base.pm), perl(YAML/Marshall.pm), perl(YAML/Node.pm), perl(YAML/Tag.pm), perl(YAML/Types.pm), perl-YAML (= 0.65-alt1)
Architecture: noarch
Size: 48585
MD5Sum: 5c51993475a98083561540d9c5ea4a68
Filename: perl-YAML-0.65-alt1.noarch.rpm
Description: YAML Ain't Markup Language
 The YAML.pm module implements a YAML Loader and Dumper based on the
 YAML 1.0 specification.  YAML is a generic data serialization language
 that is optimized for human readability.  It can be used to express the
 data structures of most modern programming languages (including Perl).

$ 

Здесь 'apt-cache show' показывает два пакета (отличаются версии).
Первый пакет, который я только что собрал -- из моего локального
репозитария.  Этот репозитарий был сгенерирован с включением
changelog'ов, и поэтому 'apt-cache show' показывает changelog.
Второй пакет -- из Сизифа, который сгенерирован без changelog'ов.

Теперь встает вопрос, сколько штук changelog entries копировать при
генерации репозитария, если не все.  Я сначала сделал несколько опций
управления количеством штук, но в конце решил оставить всего одну:

   --changelog-since=DATE     Save package changelogs; copy changelog entries
                              only newer than DATE, and also one entry before
                              the DATE (if available)

Поясню работу этой опции при помощи рисунка:

                 +    +          +    +
------------------|------------------------> t
  *    * *    *  DATE

Здесь на шкале времени плюсами отмечены changelog entries, которые
копируются в файл base/pkglist.*, а звёздочками -- которые не копируются.
То есть, при такой схеме мы знаем последнюю запись в changelog'е пакета
по состоянию на час X, от которого мы отсчитываем, а также все
последующие записи.  Кроме того, копируется как минимум одна запись,
так что команде 'apt-cache show' всегда есть что показать.

Кандидаты на час X следующие:
1) 2007-01-01 -- интуитивно понятная дата;
2) 2007-04-?? -- когда отфоркался branch 4.0.

Теперь остаётся выяснить, сколько это занимает места.

Обычная генерация сизифа:

$ cp -prs /ALT/Sisyphus/x86_64 /ALT/Sisyphus/noarch .
$ rm -f x86_64/base/* noarch/base/*
$ PATH=$PWD:$PATH genbasedir --topdir=$PWD x86_64
$ PATH=$PWD:$PATH genbasedir --topdir=$PWD noarch
$ du -bk x86_64/base/pkglist.classic.bz2 noarch/base/pkglist.classic.bz2 
2421    x86_64/base/pkglist.classic.bz2
1049    noarch/base/pkglist.classic.bz2
$ 

Генерация с опцией --changelog-since=2007-01-01:

$ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 x86_64
$ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 noarch
$ du -bk x86_64/base/pkglist.classic.bz2 noarch/base/pkglist.classic.bz2
3536    x86_64/base/pkglist.classic.bz2
1302    noarch/base/pkglist.classic.bz2
$ 

Таким образом, размер скачиваемого при 'apt-get update' заметно
увеличивается (примерно на треть).  Я считаю это приемлемой платой
за удовольствие просмотреть changelog пакета ДО скачивания и установки.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] changelogs for apt repo

[Евгений Терешков]

[-- Attachment #1: Type: text/plain, Size: 1506 bytes --]

<#secure method=pgp mode=sign>
Alexey Tourbin пишет:

> Я реализовал включение changelog'ов пакетов в репозитарий и показ их
> в 'apt-cache show' (см. мой apt.git).  Работать должно примерно вот так:

(наглядные объяснения поскипаны)

Я одного не понял: если есть несколько версий (2, 3, 5, 10) одного пакета
из двух (и более) репозиториев, созданных с включением в них changelog'ов,
то apt-cache show <pkgname> покажет один лог для какой-то (например, самой
свежей) версий или все для всех версий (или как-то иначе?)?

И ещё: возможно, имеет смысл сделать включаемым весь changelog (разумеется,
с каким-то разумным лимитом по объёму)? Тогда в вывод попадут записи об
изменениях пакетов из разряда "залил и забыл, just works", которые в
противном случае потерялись бы.

P.S.: не делал выборку по таким пакетам, просто первая пришедшая мысль.

-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [devel] changelogs for apt repo

[Alexey Gladkov]

Alexey Tourbin wrote:
> $ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 x86_64
> $ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 noarch
> $ du -bk x86_64/base/pkglist.classic.bz2 noarch/base/pkglist.classic.bz2
> 3536    x86_64/base/pkglist.classic.bz2
> 1302    noarch/base/pkglist.classic.bz2
> $ 
> 
> Таким образом, размер скачиваемого при 'apt-get update' заметно
> увеличивается (примерно на треть).  

Это ужасно.Для меня это слишком дорогая плата. Мне кажется что pkglist 
был придуман не для того как ты его используешь.

Ты идёшь по пути перекачивания на пользовательскую машину
sisyphus/<arch>/rpmdb ... может уже так и сделать ?

> Я считаю это приемлемой платой
> за удовольствие просмотреть changelog пакета ДО скачивания и установки.

Может имеет смысл добавлять lastchange? Ведь интересно видеть что 
изменилось в последней версии чтобы понять ставить её или нет, а не в 
какой-то предыдущей.

-- 
Rgrds, legion

Re: [devel] changelogs for apt repo

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 645 bytes --]

On Sat, May 17, 2008 at 04:06:09PM +0400, Alexey Gladkov wrote:
> Это ужасно.Для меня это слишком дорогая плата. Мне кажется что pkglist был 
> придуман не для того как ты его используешь.
+1

> Может имеет смысл добавлять lastchange? Ведь интересно видеть что 
> изменилось в последней версии чтобы понять ставить её или нет, а не в 
> какой-то предыдущей.
Это если постоянно обновляться.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Не надо заходить как root на 5 runlevel'е. Вы же не хотите чтобы Вам
снесло систему, например, после просмотра konqueror'ом некоторого сайта ;)
		-- inger in sisyphus@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] changelogs for apt repo

[Alexey Gladkov]

Andrey Rahmatullin wrote:
> Это если постоянно обновляться.

Если хранить весь changelog то pkglist будет увеличиваться в размере 
причём постоянно и независимо от количества пакетов. При этом 
*большая* часть информации будет не нужна.

Если хранить не всё, то нужно придумывать сколько времени отслеживать 
(как и сказал Алексей).

-- 
Rgrds, legion

Re: [devel] changelogs for apt repo

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 2360 bytes --]

On Sat, May 17, 2008 at 04:06:09PM +0400, Alexey Gladkov wrote:
> Alexey Tourbin wrote:
> >$ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 
> >x86_64
> >$ PATH=$PWD:$PATH genbasedir --topdir=$PWD --changelog-since=2007-01-01 
> >noarch
> >$ du -bk x86_64/base/pkglist.classic.bz2 noarch/base/pkglist.classic.bz2
> >3536    x86_64/base/pkglist.classic.bz2
> >1302    noarch/base/pkglist.classic.bz2
> >$ 
> >
> >Таким образом, размер скачиваемого при 
> >'apt-get update' заметно
> >увеличивается (примерно на треть).  
> 
> Это ужасно.Для меня это слишком дорогая 
> плата. Мне кажется что pkglist был придуман 
> не для того как ты его используешь.

Но там уже есть description (а не только summary).  Так что для чего
предназначен pkglist это вопрос неоднозначный.  В pkglist вообще-то
просто копируются хедеры (и их можно читать прямо в цикле через
headerRead), но при копировании хедеры основательно урезаются,
исключительно с целью экономии места.

На самом деле то что через apt нельзя посмотреть изменения в пакете
это одна из основных претензий к апту.  Александр Боковой ещё
в х**-знает-каком году писал, как он в Сане показывал наш synaptic, 
и первое что у него саны спросили это где посмотреть изменения
обновляемых пакетов.

Какая плата тебя бы устроила?  Думаю что плату можно будет немного
уменьшить, если сначала отсортировать пакеты по %{SOURCERPM}, а уже
потом выгонять хедеры.  Тогда bzip2 лучше сожмёт одинаковые changelog'и
подряд идущих подпакетов.

И это будет опция.  Если ты генерируешь свой репозитарий с жесткими
ограничениями на размер, то это можно бдует отключить.

> Ты идёшь по пути перекачивания на 
> пользовательскую машину
> sisyphus/<arch>/rpmdb ... может уже так и сделать ?

Есть такая дилемма.

> >Я считаю это приемлемой платой
> >за удовольствие просмотреть changelog 
> >пакета ДО скачивания и установки.
> 
> Может имеет смысл добавлять lastchange? Ведь 
> интересно видеть что изменилось в 
> последней версии чтобы понять ставить её 
> или нет, а не в какой-то предыдущей.

Но ведь мы можем обновляться не с предпоследней версии на последнюю,
а с ещё более ранней.  То есть мы можем пропустить промежуточное важное
изменение.  Поэтому есть наибольший смысл сохранять changelog'и строго
по известной дате, как я и предлагаю сделать.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] changelogs for apt repo

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 478 bytes --]

On Sat, May 17, 2008 at 11:01:08PM +0300, Led wrote:
> А что, кого-то спрашивали, нужен ли там description? ИМХО не нужен и он.
А как выяснять, тот ли это пакет, что нужен?
Плюсм apt-cache search особого смысла не имеет без дескрипшенов.

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

<Ktirf> wRAR: Вот ты что сделал, чтобы на UTF-8 перейти?
<wRAR> Ktirf: .i18n поправил. а что?
<combr> wRAR: нет, а глобально? в плане общественной жизни? ;))

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] changelogs for apt repo

[Led]

Saturday, 17 May 2008 22:00:34 Alexey Tourbin написав:
> > Это ужасно.Для меня это слишком дорогая
> > плата. Мне кажется что pkglist был придуман
> > не для того как ты его используешь.
>
> Но там уже есть description (а не только summary).

А что, кого-то спрашивали, нужен ли там description? ИМХО не нужен и он.

-- 
Led

Re: [devel] changelogs for apt repo

[@ 2008-05-17 20:50 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 21:09 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 21:16 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 21:46 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 21:58 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:00 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:10 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:14 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:21 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:32 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 22:45 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-17 23:03 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 2:07 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 2:25 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 6:34 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 9:26 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 21:35 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-18 22:26 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 4:02 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 4:53 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 10:26 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 10:35 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 10:41 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 10:43 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-19 10:53 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-20 2:34 UTC (permalink / raw)]

Re: [devel] changelogs for apt repo

[@ 2008-05-20 12:27 UTC (permalink / raw)]