[sisyphus] aptcache2aptbox, альфа-версия

[sisyphus] aptcache2aptbox, альфа-версия

[Alexey Rusakov]

[-- Attachment #1: Type: text/plain, Size: 1820 bytes --]

Всем доброго времени суток.

Прежде всего хочу сказать большое спасибо abulava@ за написанный им 
документ http://raven.org.ua/cgi-bin/wiki.pl/hasher_for_mortals
Результатом штудирования этого документа стал прилагаемый к письму 
скрипт. У него еще очень много недостатков, однако именно благодаря ему 
у меня на машине теперь есть работающий hasher. Если он кому-то принесет 
пользу - я буду рад. По-моему, это довольно полезная вещь для 
wannabe-maintainer (вроде меня).
Скрипт создает в текущем каталоге единственный подкаталог Sisyphus 
(целевой каталог и имя подкаталога пока захардкодены), в котором создает 
все необходимое для использования содержимого /var/lib/apt/lists/ и 
/var/cache/apt/archives/ в качестве apt-репозитория (естественно, 
запускающий должен иметь x-права на эти каталоги). После выполнения 
скрипта можно делать hsh с параметром --apt-config ${путь к 
свежесозданному каталогу Sisyphus}/apt.conf. У меня псевдорепозиторий 
находится в рабочем каталоге hasher (по-моему, удобно), занимает 70 Кб 
(поскольку все на симлинках).
Спасибо за внимание.

-- 
  Alexey "Ktirf" Rusakov


[-- Attachment #2: aptcache2aptbox.sh --]
[-- Type: application/x-sh, Size: 4473 bytes --]

Re: [sisyphus] aptcache2aptbox, альфа-версия

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1269 bytes --]

Hi,

On Fri, Jan 07, 2005 at 01:38:59AM +0300, Alexey Rusakov wrote:
> Прежде всего хочу сказать большое спасибо abulava@ за написанный им 
> документ http://raven.org.ua/cgi-bin/wiki.pl/hasher_for_mortals
> Результатом штудирования этого документа стал прилагаемый к письму 
> скрипт. У него еще очень много недостатков, однако именно благодаря ему 
> у меня на машине теперь есть работающий hasher. Если он кому-то принесет 
> пользу - я буду рад. По-моему, это довольно полезная вещь для 
> wannabe-maintainer (вроде меня).
> Скрипт создает в текущем каталоге единственный подкаталог Sisyphus 
> (целевой каталог и имя подкаталога пока захардкодены), в котором создает 
> все необходимое для использования содержимого /var/lib/apt/lists/ и 
> /var/cache/apt/archives/ в качестве apt-репозитория (естественно, 
> запускающий должен иметь x-права на эти каталоги). После выполнения 
> скрипта можно делать hsh с параметром --apt-config ${путь к 
> свежесозданному каталогу Sisyphus}/apt.conf. У меня псевдорепозиторий 
> находится в рабочем каталоге hasher (по-моему, удобно), занимает 70 Кб 
> (поскольку все на симлинках).

По-моему, из этого скрипта может вырасти универсальный инструмент.
Если у автора хватит желания, конечно.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] aptcache2aptbox, альфа-версия

[Alexey Rusakov]

Dmitry V. Levin wrote:

>По-моему, из этого скрипта может вырасти универсальный инструмент.
>Если у автора хватит желания, конечно.
>  
>
Дело, как водится, не в желании, а во времени. Ну и универсальность тут 
довольно однобокая, развиваться особо некуда. Голубая мечта - сделать 
так, чтобы оно самостоятельно довытаскивало зависимости, понадобившиеся 
hsh, с тем чтобы можно было запускать сборку в hasher одной командой, 
как и в случае нормального репозитория, в котором "все есть". А то мне в 
этот раз пришлось повторить связку a2a -> hsh раза два или три, чтобы 
все зависимости докачать.
Кстати, вопрос: можно привести конкретный простой пример случая, когда 
требуется удалять дубликаты в репозитории? И собственно, что делает 
rpmrdups (и соответственно, sisyphus_cleanup_dups)?

-- 
  Alexey "Ktirf" Rusakov

Re: [sisyphus] aptcache2aptbox, альфа-версия

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1413 bytes --]

On Fri, Jan 07, 2005 at 02:16:55AM +0300, Alexey Rusakov wrote:
> Dmitry V. Levin wrote:
> 
> >По-моему, из этого скрипта может вырасти универсальный инструмент.
> >Если у автора хватит желания, конечно.
> >
> Дело, как водится, не в желании, а во времени. Ну и универсальность тут 
> довольно однобокая, развиваться особо некуда. Голубая мечта - сделать 
> так, чтобы оно самостоятельно довытаскивало зависимости, понадобившиеся 
> hsh, с тем чтобы можно было запускать сборку в hasher одной командой, 
> как и в случае нормального репозитория, в котором "все есть". А то мне в 
> этот раз пришлось повторить связку a2a -> hsh раза два или три, чтобы 
> все зависимости докачать.

Если возникает потребность в итерациях, то это уже лучше реализовать в
hasher'е.

> Кстати, вопрос: можно привести конкретный простой пример случая, когда 
> требуется удалять дубликаты в репозитории?

По мере обновления репозитария (в данном случае Сизифа) в
/var/cache/apt/archives/ будут накапливаться прежние сборки пакетов,
если только вы не будете регулярно делать "apt-get autoclean".

> И собственно, что делает 
> rpmrdups (и соответственно, sisyphus_cleanup_dups)?

rpmrdups вычисляет разные сборки одного и того же пакета
(отдельно для каждой архитектуры), sisyphus_cleanup_dups - это
специализированный скрипт, предназначенный для удаления устаревших сборок
из репозитория.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [sisyphus] aptcache2aptbox, альфа-версия

[Alexey Rusakov]

Dmitry V. Levin wrote:

>>Голубая мечта - сделать так, чтобы оно самостоятельно довытаскивало зависимости, понадобившиеся hsh, с тем чтобы можно было запускать сборку в hasher одной командой, 
>>как и в случае нормального репозитория, в котором "все есть". А то мне в 
>>этот раз пришлось повторить связку a2a -> hsh раза два или три, чтобы 
>>все зависимости докачать.
>>
>Если возникает потребность в итерациях, то это уже лучше реализовать в
>hasher'е.
>  
>
Автоматически придется раскрыть hasher'у, что репозиторий "ненастоящий". 
Логичнее тогда реализовать всю систему внутри hasher, тем более что там 
все равно свой репозиторий генерируется. В конце концов, мой скрипт 
родился как костыль против того, что hasher не умеет работать с 
удаленными репозиториями.
С другой стороны, мне уже приходило в голову, что, например, для раздачи 
в локальной сети можно было бы организовать такой вот "кэширующий" 
apt-сервер. Однако в этом случае имеет смысл создать полноценный 
репозиторий с честной синхронизацией. Недостаток "кэширующего" решения - 
необходимость решения проблемы обращения к отсутствующему пакету. 
Достоинство - "кэширующее" решение не требует хранить на диске весь 
репозиторий, а только его часть. В определенных случаях это будет 
уменьшать занимаемое пакетами место в разы.

>По мере обновления репозитария (в данном случае Сизифа) в
>/var/cache/apt/archives/ будут накапливаться прежние сборки пакетов,
>если только вы не будете регулярно делать "apt-get autoclean".
>  
>
Угу, усвоил, спасибо. То есть в моем случае с псевдорепозиторием имеет 
смысл просто делать apt-get autoclean (кстати, он как-то очень щадяще 
относится к разным версиям одного пакета).

-- 
  Alexey "Ktirf" Rusakov

[sisyphus] Re: aptcache2aptbox, альфа-версия

[Michael Shigorin]

On Fri, Jan 07, 2005 at 03:01:25AM +0300, Alexey Rusakov wrote:
> С другой стороны, мне уже приходило в голову, что, например,
> для раздачи в локальной сети можно было бы организовать такой
> вот "кэширующий" apt-сервер. Однако в этом случае имеет смысл
> создать полноценный репозиторий с честной синхронизацией.
> Недостаток "кэширующего" решения - необходимость решения
> проблемы обращения к отсутствующему пакету.  Достоинство -
> "кэширующее" решение не требует хранить на диске весь
> репозиторий, а только его часть. В определенных случаях это
> будет уменьшать занимаемое пакетами место в разы.

Попробовать собрать apt-proxy?  Только если правильно помню --
последняя (питоновая) версия сурово поломана, а старая не
поддерживается (но работала).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] aptcache2aptbox, альфа-версия

[Andrei Bulava]

Alexey Rusakov пишет:

<skip/>

> Голубая мечта - сделать так, чтобы оно самостоятельно довытаскивало
> зависимости, понадобившиеся hsh, с тем чтобы можно было запускать
> сборку в hasher одной командой, как и в случае нормального
> репозитория, в котором "все есть". А то мне в этот раз пришлось
> повторить связку a2a -> hsh раза два или три, чтобы все зависимости
> докачать.

+1 за вышеупомянутый фичреквест, потому как сам лично через эту рутину
(вытаскивание недостающих в /var/cache/apt/archives пакетов вручную)
прошёл. Возникло ощущение, что это действие единоразовое, поэтому мысль
об автоматизации как-то не вышла у меня на первый план, даже забыл
упомянуть об этом в своей заметке.

P.S. Так, процесс пошёл  - приятно видеть :-)

-- 
// AB1002-UANIC