[sisyphus] Кэштирование при сборке в hasher

[sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Всем добрый день!

Сразу скажу, что я спрашиваю не совсем о том, о чём вы могди подумать,
но не могу лучше сформулировать тему. Поэтому прошу выслушать мои
объяснения.

Итак моя нстоящая ситуация такова: имеется комп, подключённый к инету по
достаточно быстрой безлимитке. Соответственно хочу настроить сборочницу
на основе hasher на автоматическое получение необходимых для сборки
пакетов из Сизифа через инет. При этом, чтобы не скачивать одно и то же
по многу раз для сборки разных пакетов, необходимо, чтобы скачанные
пакеты где-то хранились и при следующем запуске брались уже из этого
места. Опять-таки, если пакет в Сизифе более свежий, чем локально
скачанный, то скачанный пакет должен обновиться на более свежий.

В связи с этим такие вопросы:

1) Может быть то, что я хочу, уже реализовано и мне ничего не нужно
настраивать (только указать адрес хранилища пакетов в сети в нужном
sources.list)?
2) Если это не так, то, наверняка, кто-то уже реализовывал подобное. В
таком случае прошу поделиться наработками.
3) Если нет готовых решений по п.2, то прошу помочь советами, как такое
можно реализовать.

Заранее спасибо за помощь,
Юрий.

Re: [sisyphus] Кэштирование при сборке в hasher

[Mikhail Gusarov]

[-- Attachment #1: Type: text/plain, Size: 710 bytes --]

Twas brillig at 13:26:55 16.06.2008 UTC+04 when Yury Aliaev did gyre and gimble:

 YA> При этом, чтобы не скачивать одно и то же по многу раз для сборки разных
 YA> пакетов, необходимо, чтобы скачанные пакеты где-то хранились и при
 YA> следующем запуске брались уже из этого места.

Ближайшее приближение: http://freesource.info/wiki/AltLinux/Apt/NginxAsCache

Кто-то собирался портировать apt-proxy, но пока не заметно.

-- 
JID: dottedmag@altlinux.org / dottedmag@jabber.dottedmag.net

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Mikhail Gusarov scripsit:
> Twas brillig at 13:26:55 16.06.2008 UTC+04 when Yury Aliaev did gyre and gimble:
> 
>  YA> При этом, чтобы не скачивать одно и то же по многу раз для сборки разных
>  YA> пакетов, необходимо, чтобы скачанные пакеты где-то хранились и при
>  YA> следующем запуске брались уже из этого места.
> 
> Ближайшее приближение: http://freesource.info/wiki/AltLinux/Apt/NginxAsCache
> 

Спасибо! Очень похоже на то, что надо. Кстати, на странице есть фраза:

"Очевидное решение: вытаскивать из /var/cache/apt/archives или 
/hasher/aptbox пакеты, запускать genbasedir и подключать результат как 
локальный репозитарий."

В связи с этим вопрос: в hasher/aptbox пакеты сохраняются после 
окончания сессии пересборки, или же он очищается?

> Кто-то собирался портировать apt-proxy, но пока не заметно.
> 

Да, было бы здорово. К тому же по ссылкам можно посмотреть на похожие 
программы (вроде apt-cacher-ng), которых, возможно, тоже будет 
достаточно (и, может быть, их проще будет портировать). Вообще сразу 
сходу неясно, насколько там всё завязано на deb-пакеты и насколько будет 
сложно прикрутить поддержку rpm...

Re: [sisyphus] Кэштирование при сборке в hasher

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 2323 bytes --]

On Mon, Jun 16, 2008 at 01:26:55PM +0400, Yury Aliaev wrote:
> Всем добрый день!
> 
> Сразу скажу, что я спрашиваю не совсем о том, о чём вы могди подумать,
> но не могу лучше сформулировать тему. Поэтому прошу выслушать мои
> объяснения.
> 
> Итак моя нстоящая ситуация такова: имеется комп, подключённый к инету по
> достаточно быстрой безлимитке. Соответственно хочу настроить сборочницу
> на основе hasher на автоматическое получение необходимых для сборки
> пакетов из Сизифа через инет. При этом, чтобы не скачивать одно и то же
> по многу раз для сборки разных пакетов, необходимо, чтобы скачанные
> пакеты где-то хранились и при следующем запуске брались уже из этого
> места. Опять-таки, если пакет в Сизифе более свежий, чем локально
> скачанный, то скачанный пакет должен обновиться на более свежий.
> 
> В связи с этим такие вопросы:
> 
> 1) Может быть то, что я хочу, уже реализовано и мне ничего не нужно
> настраивать (только указать адрес хранилища пакетов в сети в нужном
> sources.list)?
> 2) Если это не так, то, наверняка, кто-то уже реализовывал подобное. В
> таком случае прошу поделиться наработками.
> 3) Если нет готовых решений по п.2, то прошу помочь советами, как такое
> можно реализовать.
> 

Если безлимитка, то почему бы не зеркалировать Сизиф?

-- 
Regards,  Kirill A. Shutemov
 + Belarus, Minsk
 + ALT Linux Team, http://www.altlinux.com/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Kirill A. Shutemov scripsit:

>>Итак моя нстоящая ситуация такова: имеется комп, подключённый к инету по
>>достаточно быстрой безлимитке. Соответственно хочу настроить сборочницу
>>на основе hasher на автоматическое получение необходимых для сборки
>>пакетов из Сизифа через инет. При этом, чтобы не скачивать одно и то же

...

>>
> 
> 
> Если безлимитка, то почему бы не зеркалировать Сизиф?
> 

Не хочется выполнять работу, 90% из которой мне не понадобится. К тому 
же безлимитка не совсем жлобская: 3 Гб/мес на скорости до 100 Мбит/с, 
далее - 2 Мбит/с.

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 364 bytes --]

On Mon, Jun 16, 2008 at 01:26:55PM +0400, Yury Aliaev wrote:
> Итак моя нстоящая ситуация такова: 
> имеется комп, подключённый к инету по
> достаточно быстрой безлимитке. 
> Соответственно хочу настроить 
> сборочницу
> на основе hasher на автоматическое 
> получение необходимых для сборки
> пакетов из Сизифа через инет.

Добавьте себя в группу rpm.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Alexey Tourbin scripsit:
> 
>>Итак моя нстоящая ситуация такова: 
>>имеется комп, подключённый к инету по
>>достаточно быстрой безлимитке. 
>>Соответственно хочу настроить 
>>сборочницу
>>на основе hasher на автоматическое 
>>получение необходимых для сборки
>>пакетов из Сизифа через инет.
> 
> 
> Добавьте себя в группу rpm.
> 

И?

P.S. Алексей, простите, но Ваши ответы меня порой приводят в состояние 
душевного трепета своей лаконичностью, непонятностью и неинформативностью.

Re: [sisyphus] Кэштирование при сборке в hasher

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 482 bytes --]

On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> Alexey Tourbin scripsit:
> >
> >>Итак моя нстоящая ситуация такова: 
> >>имеется комп, подключённый к инету по
> >>достаточно быстрой безлимитке. 
> >>Соответственно хочу настроить 
> >>сборочницу
> >>на основе hasher на автоматическое 
> >>получение необходимых для сборки
> >>пакетов из Сизифа через инет.
> >
> >Добавьте себя в группу rpm.
> 
> И?

# find /var -group rpm -perm -g=rwx


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 467 bytes --]

On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> >Добавьте себя в группу rpm.
> И?

И перелогиниться!
У нас newgrp(1) почему-то не работает.

> P.S. Алексей, простите, но Ваши ответы меня 
> порой приводят в состояние душевного 
> трепета своей лаконичностью, 
> непонятностью и неинформативностью.

hasher умеет делать 'apt-get install --download-only' через
системный /etc/apt/sources.list.  Но ему может не хватить
прав на /var/*/apt.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 444 bytes --]

On Tue, Jun 17, 2008 at 03:08:17PM +0400, Alexey Tourbin wrote:
> On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> > >Добавьте себя в группу rpm.
> > И?
> 
> И перелогиниться!
> У нас newgrp(1) почему-то не работает.

А действительно, почему?

-- 
Regards,  Kirill A. Shutemov
 + Belarus, Minsk
 + ALT Linux Team, http://www.altlinux.com/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 204 bytes --]

On Tue, Jun 17, 2008 at 03:06:05PM +0300, Kirill A. Shutemov wrote:
> > И перелогиниться!
> > У нас newgrp(1) почему-то не работает.
> 
> А действительно, почему?

Фишка дистрибутива, я так думаю.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Sergey N. Yatskevich]

В Втр, 17/06/2008 в 15:08 +0400, Alexey Tourbin пишет:
> On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> > >Добавьте себя в группу rpm.
> > И?
> 
> И перелогиниться!
> У нас newgrp(1) почему-то не работает.
> 
> > P.S. Алексей, простите, но Ваши ответы меня 
> > порой приводят в состояние душевного 
> > трепета своей лаконичностью, 
> > непонятностью и неинформативностью.
> 
> hasher умеет делать 'apt-get install --download-only' через
> системный /etc/apt/sources.list.
Какая опция для hsh, hsh-install, hsh-initroot (все права
есть)? Я прочитал маны - не въехал :-(.

-- 
Sergey N. Yatskevich <syatskevich@mail.ru>

Re: [sisyphus] Кэштирование при сборке в hasher

[Sergey N. Yatskevich]

В Втр, 17/06/2008 в 17:32 +0400, Sergey N. Yatskevich пишет:
> В Втр, 17/06/2008 в 15:08 +0400, Alexey Tourbin пишет:
> > On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> > > >Добавьте себя в группу rpm.
> > > И?
> > 
> > И перелогиниться!
> > У нас newgrp(1) почему-то не работает.
> > 
> > > P.S. Алексей, простите, но Ваши ответы меня 
> > > порой приводят в состояние душевного 
> > > трепета своей лаконичностью, 
> > > непонятностью и неинформативностью.
> > 
> > hasher умеет делать 'apt-get install --download-only' через
> > системный /etc/apt/sources.list.
> Какая опция для hsh, hsh-install, hsh-initroot (все права
> есть)? Я прочитал маны - не въехал :-(.
И ещё вопрос вдогонку. Можно ли с помощью hsh-install
сделать кастомный chroot (без предварительной установки
hsh-initroot, уж больно много ненужного мне он за собой
тянет). Судя по mkimage это возможно, но я копался,
копался - не нашёл :-(. Пытался после hsh-mkchroot и
mkaptbox делать hsh-install, но не получается. Т.е.
всё загружается, но при установке говорит:
hasher-priv: slave: chrootuid: execve: /.host/entry: No
such file or directory hsh-install: Packages installation
failed.

хотя в chroot есть /.host/entry.

-- 
Sergey N. Yatskevich <syatskevich@mail.ru>

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 290 bytes --]

On Tue, Jun 17, 2008 at 05:42:09PM +0400, Sergey N. Yatskevich wrote:
> И ещё вопрос вдогонку. Можно ли с помощью hsh-install
> сделать кастомный chroot (без предварительной установки
> hsh-initroot, уж больно много ненужного мне он за собой

$ hsh --init --pkg-build-list=basesystem

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Sergey N. Yatskevich]

В Втр, 17/06/2008 в 17:48 +0400, Alexey Tourbin пишет:
> On Tue, Jun 17, 2008 at 05:42:09PM +0400, Sergey N. Yatskevich wrote:
> > И ещё вопрос вдогонку. Можно ли с помощью hsh-install
> > сделать кастомный chroot (без предварительной установки
> > hsh-initroot, уж больно много ненужного мне он за собой
> 
> $ hsh --init --pkg-build-list=basesystem
Е-ё-ё!!! Работает. То, что нужно. Вот спасибо большое.

P.S. а в чём причина
     What is hasher not?

     Hasher is for package build only.  It is neither
     package repository (in spite of the builtin
     repository it maintains) nor universal chroot
     creation tool (in spite of the build environments it
     generates).

     Было бы очень удобно (да и сейчас используется при
     создании инсталлятора) генерить рабочие образы на
     основе заданных репозиториев, например, для
     встраиваемых систем, которые устанавливаются и
     обновляются единым образом, а не с использованием
     apt+rpm.

-- 
Sergey N. Yatskevich <syatskevich@mail.ru>

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 492 bytes --]

On Tue, Jun 17, 2008 at 05:32:54PM +0400, Sergey N. Yatskevich wrote:
> > hasher умеет делать 'apt-get install --download-only' через
> > системный /etc/apt/sources.list.
> Какая опция для hsh, hsh-install, hsh-initroot (все права
> есть)? Я прочитал маны - не въехал :-(.

Надо просто настроить /etc/apt/sources.list на Сизиф,
сказать один раз "apt-get update", и потом запустить
"hsh -v --init".

По идее всё должно заработать.  Есть тонкости,
но, в общем, вроде бы жить можно.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Alexey Tourbin scripsit:
> On Tue, Jun 17, 2008 at 01:15:23PM +0400, Yury Aliaev wrote:
> 
>>>Добавьте себя в группу rpm.
>>
>>И?
> 
> 
> И перелогиниться!
> У нас newgrp(1) почему-то не работает.
> 
> 
>>P.S. Алексей, простите, но Ваши ответы меня 
>>порой приводят в состояние душевного 
>>трепета своей лаконичностью, 
>>непонятностью и неинформативностью.
> 
> 
> hasher умеет делать 'apt-get install --download-only' через
> системный /etc/apt/sources.list.  Но ему может не хватить
> прав на /var/*/apt.
> 

Спасибо! Эх, ответили бы Вы так сразу -- не было бы ворчания с моей
стороны...

Re: [sisyphus] Кэштирование при сборке в hasher

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 703 bytes --]

On Tue, Jun 17, 2008 at 05:37:06PM +0400, Yury Aliaev wrote:
> >hasher умеет делать 'apt-get install --download-only' через
> >системный /etc/apt/sources.list.  Но ему может не 
> >хватить
> >прав на /var/*/apt.
> 
> Спасибо! Эх, ответили бы Вы так сразу -- не 
> было бы ворчания с моей
> стороны...

Это упомянуто в /usr/share/doc/hasher-1.*/FAQ

   Hasher is designed primarily to work with local repositories.  There is
   a limited support for remote repositories implemented using apt-get
   APT::Get::PrintLocalFile option.  This option is available in
   apt >= 0.5.15cnc6-alt18.

Я не знаю, насколько хорошо это на практике работает.
Я для себя частично синхронизирую Сизиф.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Кэштирование при сборке в hasher

[Michael Shigorin]

On Tue, Jun 17, 2008 at 05:42:48PM +0400, Alexey Tourbin wrote:
> Я для себя частично синхронизирую Сизиф.

Что и рекомендуется, если на той машинке есть свободных пару
десятков гиг места.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] Кэштирование при сборке в hasher

[Yury Aliaev]

Michael Shigorin scripsit:

> 
>>Я для себя частично синхронизирую Сизиф.
> 
> 
> Что и рекомендуется, если на той машинке есть свободных пару
> десятков гиг места.
> 

Место-то есть (на днях прикупил новый винт на 160 гиг, и н знаю, чем его 
занять ;), но особенности сетевого подключения (только 3 Гб трафика на 
100 Мбит/с, остально -- на 2) заставляют подумать о более оптимальном 
решении. Я хотел бы синхронизировать только те пакеты, которые стоят в 
системе и/или требуются при сборке моих пакетов.