[newbies] hasher и локальный репозиторий

[newbies] hasher и локальный репозиторий

[gBopHuk_alt]

Здравствуйте! Тут у меня возник такой вопрос:

Каждый раз когда я собираю новый пакет , Hasher качает какие-то базовые
120 пакетов, видимо необходимых для любой сборки, а уже потом качает
зависимости buildre - что занимает огромное кол-во времени, которое не
связанно непосредственно со сборкой. Вот я и задумался , а не проще ли
будет закачать их один раз в локальный репозиторий, и раз в месяц или
полмесяца синхронизировать его с бранчем ?
Как результат:
- Уменьшаем энтропию и качаем пакеты только buildreq.
- Появляется больше времени на отладку сборки пакета.

Re: [newbies] hasher и локальный репозиторий

[Андрей Черепанов]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

05.09.2012 14:40, gBopHuk_alt пишет:
> Здравствуйте! Тут у меня возник такой вопрос:
> 
> Каждый раз когда я собираю новый пакет , Hasher качает какие-то
> базовые 120 пакетов, видимо необходимых для любой сборки, а уже
> потом качает зависимости buildre - что занимает огромное кол-во
> времени, которое не связанно непосредственно со сборкой. Вот я и
> задумался , а не проще ли будет закачать их один раз в локальный
> репозиторий, и раз в месяц или полмесяца синхронизировать его с
> бранчем ? Как результат: - Уменьшаем энтропию и качаем пакеты
> только buildreq. - Появляется больше времени на отладку сборки
> пакета.
Так все и делают: держат локальную копию репозитория и синхронизируют её.

- -- 
Андрей Черепанов
ALT Linux
cas@altlinux.ru
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iEYEARECAAYFAlBHLRgACgkQSGPA9Knr8TEBIACcDew0IFvDdAwoVuS61RRfAIwP
LyEAoJRxij+uv1puPVPWQ4Yq39U+gMdy
=oW8e
-----END PGP SIGNATURE-----

Re: [newbies] hasher и локальный репозиторий

[gBopHuk_alt]

В Срд, 05/09/2012 в 14:44 +0400, Андрей Черепанов пишет:
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA1
> 
> 05.09.2012 14:40, gBopHuk_alt пишет:
> > Здравствуйте! Тут у меня возник такой вопрос:
> > 
> > Каждый раз когда я собираю новый пакет , Hasher качает какие-то
> > базовые 120 пакетов, видимо необходимых для любой сборки, а уже
> > потом качает зависимости buildre - что занимает огромное кол-во
> > времени, которое не связанно непосредственно со сборкой. Вот я и
> > задумался , а не проще ли будет закачать их один раз в локальный
> > репозиторий, и раз в месяц или полмесяца синхронизировать его с
> > бранчем ? Как результат: - Уменьшаем энтропию и качаем пакеты
> > только buildreq. - Появляется больше времени на отладку сборки
> > пакета.
> Так все и делают: держат локальную копию репозитория и синхронизируют её.
> 
> - -- 
> Андрей Черепанов
> ALT Linux
> cas@altlinux.ru
> -----BEGIN PGP SIGNATURE-----
> Version: GnuPG v1.4.12 (GNU/Linux)
> Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/
> 
> iEYEARECAAYFAlBHLRgACgkQSGPA9Knr8TEBIACcDew0IFvDdAwoVuS61RRfAIwP
> LyEAoJRxij+uv1puPVPWQ4Yq39U+gMdy
> =oW8e
> -----END PGP SIGNATURE-----
> _______________________________________________
> devel-newbies mailing list
> devel-newbies@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel-newbies

Я имею ввиду держать  120 пакетов в локальном репе? А есть готовые
инструкции как реализуется синхронизация ?

Re: [newbies] hasher и локальный репозиторий

[Андрей Черепанов]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

05.09.2012 15:22, gBopHuk_alt пишет:
> В Срд, 05/09/2012 в 14:44 +0400, Андрей Черепанов пишет: 05.09.2012
> 14:40, gBopHuk_alt пишет:
>>>> Здравствуйте! Тут у меня возник такой вопрос:
>>>> 
>>>> Каждый раз когда я собираю новый пакет , Hasher качает
>>>> какие-то базовые 120 пакетов, видимо необходимых для любой
>>>> сборки, а уже потом качает зависимости buildre - что занимает
>>>> огромное кол-во времени, которое не связанно непосредственно
>>>> со сборкой. Вот я и задумался , а не проще ли будет закачать
>>>> их один раз в локальный репозиторий, и раз в месяц или
>>>> полмесяца синхронизировать его с бранчем ? Как результат: -
>>>> Уменьшаем энтропию и качаем пакеты только buildreq. -
>>>> Появляется больше времени на отладку сборки пакета.
>> Так все и делают: держат локальную копию репозитория и
>> синхронизируют её.
> Я имею ввиду держать  120 пакетов в локальном репе? А есть готовые 
> инструкции как реализуется синхронизация ?
Обычный rsync всего репозитория. Больше геморроя отдельно содержать
basesystem.

- -- 
Андрей Черепанов
ALT Linux
cas@altlinux.ru
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.12 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org/

iEYEARECAAYFAlBHNx4ACgkQSGPA9Knr8THmTQCghPsRfiylz7i8AsdOmQeH7gQ+
EGkAoJAKnVGxceMfx87sQ/V8E/oCW9MS
=Xr8m
-----END PGP SIGNATURE-----

Re: [newbies] hasher и локальный репозиторий

[gBopHuk_alt]

В Срд, 05/09/2012 в 15:27 +0400, Андрей Черепанов пишет:
> Обычный rsync всего репозитория. Больше геморроя отдельно содержать
> basesystem. 

Да не особо хочется качать 1.1 Гигабайт, оно конечно потом при
синхронизации должно меньше качаться. Я просто смотрю если в перспективе
репозиторий будет увеличиваться, то и хранить его не особо захочется на
диске. А замутить такой мини-реп было бы решением

Re: [newbies] hasher и локальный репозиторий

[Ivan A. Melnikov]

On Wed, 05 Sep 2012 15:22:01 +0400
gBopHuk_alt <gbophuk_alt@mail.ru> wrote:
[...]
> 
> Я имею ввиду держать  120 пакетов в локальном репе? А есть готовые
> инструкции как реализуется синхронизация ?
> 

О таком не слышал, но есть варианты сделать локальный кеш для апта,
например при помощи nginx:

http://gns-ua.livejournal.com/114453.html
http://www.altlinux.org/APT_%D0%B2_ALT_Linux/NginxAsCache

-- 
WBR,
Ivan A. Melnikov

Re: [newbies] hasher и локальный репозиторий

[Ildar Mulyukov]

On 05.09.2012 16:44:40, Андрей Черепанов wrote:
> -----BEGIN PGP SIGNED MESSAGE-----
> Hash: SHA1
> 
> 05.09.2012 14:40, gBopHuk_alt пишет:
> > Здравствуйте! Тут у меня возник такой вопрос:
> >
> > Каждый раз когда я собираю новый пакет , Hasher качает какие-то
> > базовые 120 пакетов, видимо необходимых для любой сборки, а уже
> > потом качает зависимости buildre - что занимает огромное кол-во
> > времени, которое не связанно непосредственно со сборкой. Вот я и
> > задумался , а не проще ли будет закачать их один раз в локальный
> > репозиторий, и раз в месяц или полмесяца синхронизировать его с
> > бранчем ? Как результат: - Уменьшаем энтропию и качаем пакеты
> > только buildreq. - Появляется больше времени на отладку сборки
> > пакета.
> Так все и делают: держат локальную копию репозитория и синхронизируют  
> её.

Бррр! Ужасно.

Лучше так: настроить hasher на локальный репозитарий, который  
формируется из содержимого /var/cache/apt/archives/ (этот репозитарий  
прописан в /etc/apt/sources.list.d/local.list)
В настройках будет так:
	$ cat ~/.hasher/config
	workdir=$TMP/hasher
	apt_config=~/.hasher/apt.conf.hasher
	$ cat ~/.hasher/apt.conf.hasher
	Dir::State "/tmp/.private/ildar/hasher/aptbox/var/lib/apt/";
	Dir::Cache "/tmp/.private/ildar/hasher/aptbox/var/cache/apt/";

	Dir::Etc::SourceList "/etc/apt/sources.list.d/local.list";
	Dir::Etc::SourceParts "";
	RPM::RootDir "/tmp/.private/ildar/hasher/aptbox";
	APT::Install::Virtual "true";
	APT::Install::VirtualVersion "true";
(надо всё подправить под Ваш workdir)

Удачи!
-- 
Ildar Mulyukov,
   free SW designer/programmer/packager
======================================
email: ildar@altlinux.ru
Jabber: ildar.mulyukov@gmail.com
ICQ: 4334029
ALT Linux http://packages.altlinux.org/ru/Sisyphus/maintainers/ildar/
======================================

Re: [newbies] hasher и локальный репозиторий

[Ildar Mulyukov]

On 06.09.2012 10:29:03, Ildar Mulyukov wrote:
> On 05.09.2012 16:44:40, Андрей Черепанов wrote:
>> -----BEGIN PGP SIGNED MESSAGE-----
>> Hash: SHA1
>> 
>> 05.09.2012 14:40, gBopHuk_alt пишет:
>> > Здравствуйте! Тут у меня возник такой вопрос:
>> >
>> > Каждый раз когда я собираю новый пакет , Hasher качает какие-то
>> > базовые 120 пакетов, видимо необходимых для любой сборки, а уже
>> > потом качает зависимости buildre - что занимает огромное кол-во
>> > времени, которое не связанно непосредственно со сборкой. Вот я и
>> > задумался , а не проще ли будет закачать их один раз в локальный
>> > репозиторий, и раз в месяц или полмесяца синхронизировать его с
>> > бранчем ? Как результат: - Уменьшаем энтропию и качаем пакеты
>> > только buildreq. - Появляется больше времени на отладку сборки
>> > пакета.
>> Так все и делают: держат локальную копию репозитория и  
>> синхронизируют её.
> 
> Бррр! Ужасно.
> 
> Лучше так: настроить hasher на локальный репозитарий, который  
> формируется из содержимого /var/cache/apt/archives/ (этот репозитарий  
> прописан в /etc/apt/sources.list.d/local.list)

Хотя ещё лучше --- прописать в ~/.hasher/apt.conf.hasher Dir::Cache в  
отдельную папку (если архитектура совпадает, то можно даже  
"/var/cache/apt/"). Тогда хэшер будет брать пакеты из кэша, а качать  
будет только те пакеты, которые обновились в репозитарии.
-- 
Ildar

Re: [newbies] hasher и локальный репозиторий

[Lenar Shakirov]

06.09.2012 08:29, Ildar Mulyukov пишет:
> On 05.09.2012 16:44:40, Андрей Черепанов wrote:
>> -----BEGIN PGP SIGNED MESSAGE-----
>> Hash: SHA1
>>
>> 05.09.2012 14:40, gBopHuk_alt пишет:
>> > Здравствуйте! Тут у меня возник такой вопрос:
>> >
>> > Каждый раз когда я собираю новый пакет , Hasher качает какие-то
>> > базовые 120 пакетов, видимо необходимых для любой сборки, а уже
>> > потом качает зависимости buildre - что занимает огромное кол-во
>> > времени, которое не связанно непосредственно со сборкой. Вот я и
>> > задумался , а не проще ли будет закачать их один раз в локальный
>> > репозиторий, и раз в месяц или полмесяца синхронизировать его с
>> > бранчем ? Как результат: - Уменьшаем энтропию и качаем пакеты
>> > только buildreq. - Появляется больше времени на отладку сборки
>> > пакета.
>> Так все и делают: держат локальную копию репозитория и синхронизируют её.
>
> Бррр! Ужасно.
>
> Лучше так: настроить hasher на локальный репозитарий, который
> формируется из содержимого /var/cache/apt/archives/ (этот репозитарий
> прописан в /etc/apt/sources.list.d/local.list)
> В настройках будет так:
> $ cat ~/.hasher/config
> workdir=$TMP/hasher
> apt_config=~/.hasher/apt.conf.hasher
> $ cat ~/.hasher/apt.conf.hasher
> Dir::State "/tmp/.private/ildar/hasher/aptbox/var/lib/apt/";
> Dir::Cache "/tmp/.private/ildar/hasher/aptbox/var/cache/apt/";
>
> Dir::Etc::SourceList "/etc/apt/sources.list.d/local.list";
> Dir::Etc::SourceParts "";
> RPM::RootDir "/tmp/.private/ildar/hasher/aptbox";
> APT::Install::Virtual "true";
> APT::Install::VirtualVersion "true";
> (надо всё подправить под Ваш workdir)
>
> Удачи!

Есть еще совет от Алексея Турбина, где используется общий кеш для 
системного апта и для хешера:
http://lists.altlinux.org/pipermail/devel/2009-July/173233.html

P.S.: сам не проверял...


-- 
С уважением, инженер отдела ИИС ООО «Центр»
Шакиров Ленар Наилевич
shakirov@cg.ru
(843) 533-88-14

Российская Федерация
Казань, ул. Зинина, 3а
420029, а/я 81

http://www.cg.ru/

Re: [newbies] hasher и локальный репозиторий

[Michael Shigorin]

On Thu, Sep 06, 2012 at 11:09:54AM +0400, Lenar Shakirov wrote:
> >Лучше так: настроить hasher на локальный репозитарий, который
> >формируется из содержимого /var/cache/apt/archives/
> Есть еще совет от Алексея Турбина, где используется общий кеш
> для системного апта и для хешера:
> http://lists.altlinux.org/pipermail/devel/2009-July/173233.html

Просьба к спрашивавшему: если проверите и понравится, добавьте
на страничку обсуждения http://www.altlinux.org/Apt/NginxAsCache

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/
 ----        Sep 29, Kiev, Ukraine:
--       http://conference.osdn.org.ua