[devel] IA: apt srclist removed

[devel] IA: apt srclist removed

[Alexey Gladkov]

Приветствую!

Мы начали переходить на новую схему сборки.  Со следующего дня
srclist.classic (индексы исходных пакетов) для apt'а не будут
создаваться, так как в будущей системе SRPMS будут только
промежуточным форматом хранения.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 04 Jul 2007 00:54:38 +0400
Alexey Gladkov wrote:

> Приветствую!
> 
> Мы начали переходить на новую схему сборки.  Со следующего дня
> srclist.classic (индексы исходных пакетов) для apt'а не будут
> создаваться, так как в будущей системе SRPMS будут только
> промежуточным форматом хранения.
Это как-то повлияет на работу apt-get source?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Rusakov пишет:
> Это как-то повлияет на работу apt-get source?

Сделает работу невозможной.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Andrew Kornilov]

Alexey Gladkov wrote:
> Alexey Rusakov пишет:
>> Это как-то повлияет на работу apt-get source?
> 
> Сделает работу невозможной.
> 

А нельзя ли эту "систему" включить, протестировать, а потом выключать
уже то, что привычно и работает? Или она уже включена и протестирована? :)

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Andrew Kornilov пишет:
> А нельзя ли эту "систему" включить, протестировать, а потом выключать
> уже то, что привычно и работает? Или она уже включена и протестирована? :)

Возможно я не точно выразился. Сейчас вводятся в действие новые
скрипты создания индексов, в которых реализована поддержка новой билд
системы. На пользователях этот шаг никак не скажется, за исключением
того что srclist'ы не будут создаваться.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Aleksey Novodvorsky]

On 7/4/07, Alexey Gladkov <legion@altlinux.ru> wrote:
> Alexey Rusakov пишет:
> > Это как-то повлияет на работу apt-get source?
>
> Сделает работу невозможной.

Я сомневаюсь в своевременности такого  шага. Пожалуйста, обоснуйте его
необходимость.

Rgrds, Алексей

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 4 Jul 2007 01:46:05 +0400
Aleksey Novodvorsky wrote:

> On 7/4/07, Alexey Gladkov <legion@altlinux.ru> wrote:
> > Alexey Rusakov пишет:
> > > Это как-то повлияет на работу apt-get source?
> >
> > Сделает работу невозможной.
> 
> Я сомневаюсь в своевременности такого  шага. Пожалуйста, обоснуйте его
> необходимость.
+1. Это фактически обрубание использования SRPM как таковых. Каким образом
предлагается получать ровно те исходники, из которых собраны бинарники
Сизифа? Этот способ обкатан и обнародован, я что-то пропустил?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Rusakov пишет:
> Сизифа? Этот способ обкатан и обнародован, я что-то пропустил?

Вы можете получить src.rpm с ftp.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 04 Jul 2007 02:10:54 +0400
Alexey Gladkov wrote:

> Alexey Rusakov пишет:
> > Сизифа? Этот способ обкатан и обнародован, я что-то пропустил?
> 
> Вы можете получить src.rpm с ftp.
Где искать соответствие между бинарными и исходными пакетами? Наугад?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Rusakov пишет:
> Где искать соответствие между бинарными и исходными пакетами? Наугад?

В бинарном пакете есть информация об исходном.
На sisyphus.ru эта база тоже доступна.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 04 Jul 2007 02:21:13 +0400
Alexey Gladkov wrote:

> Alexey Rusakov пишет:
> > Где искать соответствие между бинарными и исходными пакетами? Наугад?
> 
> В бинарном пакете есть информация об исходном.
> На sisyphus.ru эта база тоже доступна.
То есть вместо apt-get source предлагается:
1. apt-get install --print-uris <бинарный пакет>
2. rpm -qpi <uri из первого шага> | grep src.rpm
3. wget
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus/files/SRPMS/<src.rpm из второго шага>

М-да. Ну что ж, можно, конечно, жить и так. А без этого обойтись никак
нельзя? И самый главный вопрос - а в конечном результате-то, в светлом
будущем, как можно будет получать эту информацию?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Slava Semushin]

04.07.07, Alexey Rusakov<ktirf / altlinux.org> написал(а):
[...]
> То есть вместо apt-get source предлагается:
> 1. apt-get install --print-uris <бинарный пакет>
> 2. rpm -qpi <uri из первого шага> | grep src.rpm
> 3. wget
> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus/files/SRPMS/<src.rpm из второго шага>

Можно проще: sisyphus.ru/srpm/package/get и оттуда скачивать или
SRPM'ки или RPM'ки. А если сходу не удалось угадать нужный srpm, то
там же поиском найти в каком он пакете и скачать. Лично я всегда
именно так и делаю, потому что каждый раз скачивать srclist довольно
накладно, а использую я его не часто.


-- 
+ Slava Semushin | slava.semushin @ gmail.com
+ ALT Linux Team | php-coder @ altlinux.ru

Re: [devel] IA: apt srclist removed

[Vitaly Lipatov]

On 4 июля 2007, Slava Semushin wrote:
> 04.07.07, Alexey Rusakov<ktirf / altlinux.org> написал(а):
> [...]
>
> > То есть вместо apt-get source предлагается:
> > 1. apt-get install --print-uris <бинарный пакет>
> > 2. rpm -qpi <uri из первого шага> | grep src.rpm
> > 3. wget
> > ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus/fi
> >les/SRPMS/<src.rpm из второго шага>
>
> Можно проще: sisyphus.ru/srpm/package/get и оттуда скачивать
> или SRPM'ки или RPM'ки. А если сходу не удалось угадать нужный
Я например давно сделал команду
rpmgp название_пакета
которая скачивает src.rpm для указанного пакета, установленного в 
системе или лежащего на дискее.
Собственно rpmgp и делает все эти три шага. Только думать не 
надо :)


-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 4 Jul 2007 11:43:24 +0400
Vitaly Lipatov wrote:

> On 4 июля 2007, Slava Semushin wrote:
> > 04.07.07, Alexey Rusakov<ktirf / altlinux.org> написал(а):
> > [...]
> >
> > > То есть вместо apt-get source предлагается:
> > > 1. apt-get install --print-uris <бинарный пакет>
> > > 2. rpm -qpi <uri из первого шага> | grep src.rpm
> > > 3. wget
> > > ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus/fi
> > >les/SRPMS/<src.rpm из второго шага>
> >
> > Можно проще: sisyphus.ru/srpm/package/get и оттуда скачивать
> > или SRPM'ки или RPM'ки. А если сходу не удалось угадать нужный
> Я например давно сделал команду
> rpmgp название_пакета
> которая скачивает src.rpm для указанного пакета, установленного в 
> системе или лежащего на дискее.
> Собственно rpmgp и делает все эти три шага. Только думать не 
> надо :)
В этих случаях как раз всё понятно. Мне временами нужно скачать исходники
пакета, который даже не установлен у меня в системе. Собственно, для чего
apt-get source оченно неплохо подходил. С другой стороны, мне это
требовалось в основном для того, чтобы похачить какой-то новый пакет.
Соответственно, по новым веяниям я должен брать git-репозиторий (чей?).
Собственно, я сформулировал очень конкретный вопрос:

Каким образом, зная название произвольного бинарного пакета из
репозитория, получить исходники, из которых он был собран?

Замечу, про SRPM в этой формулировке вопроса не сказано ни слова. Моя цель
получить не обязательно SRPM, а просто то, из чего можно собрать RPM.

Трёхшаговый метод, описанный мной выше, в долгосрочной перспективе меня не
устраивает. Кто-то может рассказать, каким будет решение в долгосрочной
перспективе? Или мы, как обычно, сначала рушим, а потом думаем, что бы
такое на этом месте построить?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Rusakov пишет:
> Каким образом, зная название произвольного бинарного пакета из
> репозитория, получить исходники, из которых он был собран?
> 
> Замечу, про SRPM в этой формулировке вопроса не сказано ни слова. Моя цель
> получить не обязательно SRPM, а просто то, из чего можно собрать RPM.
> 
> Трёхшаговый метод, описанный мной выше, в долгосрочной перспективе меня не
> устраивает. Кто-то может рассказать, каким будет решение в долгосрочной
> перспективе? Или мы, как обычно, сначала рушим, а потом думаем, что бы
> такое на этом месте построить?

В перспективе в rpm-пакете будет содержаться информация о том из
какого репозитория он собран.

Далее я думаю будет сайт (sisyphus.ru) на котором это можно будет
посмотреть.

Мне кажется, что этого достаточно.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 04 Jul 2007 14:06:32 +0400
Alexey Gladkov wrote:

> Alexey Rusakov пишет:
> > Каким образом, зная название произвольного бинарного пакета из
> > репозитория, получить исходники, из которых он был собран?
> > 
> > Замечу, про SRPM в этой формулировке вопроса не сказано ни слова. Моя цель
> > получить не обязательно SRPM, а просто то, из чего можно собрать RPM.
> > 
> > Трёхшаговый метод, описанный мной выше, в долгосрочной перспективе меня не
> > устраивает. Кто-то может рассказать, каким будет решение в долгосрочной
> > перспективе? Или мы, как обычно, сначала рушим, а потом думаем, что бы
> > такое на этом месте построить?
> 
> В перспективе в rpm-пакете будет содержаться информация о том из
> какого репозитория он собран.
О. Уже гораздо лучше. Хотя почему нельзя в новые скрипты перенести
генерацию srclist'ов, я всё равно слабо понимаю. Ну да Бог с ним.
Предупредили бы хоть немножко запораньше.

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 695 bytes --]

On Wed, Jul 04, 2007 at 02:06:32PM +0400, Alexey Gladkov wrote:

AG> В перспективе в rpm-пакете будет содержаться информация о том из
AG> какого репозитория он собран.
AG> Далее я думаю будет сайт (sisyphus.ru) на котором это можно будет
AG> посмотреть.
AG> Мне кажется, что этого достаточно.

Есть какие-то причины, по которым ломать текущее было необходимо? А то
опять у нас получается "в пути кормить не обещали". Старое сломано, новое
ещё пока в далекой перспективе.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
<thresh_> вот уж действительно.. линукс поддерживает почти все железо, но КАК...

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Hihin Ruslan]

[-- Attachment #1: Type: text/plain, Size: 1184 bytes --]

Здравствуйте Alexey Rusakov
  В сообщении от 4 июля 2007 Alexey Rusakov написал(a):
 > On Wed, 04 Jul 2007 02:21:13 +0400
 >
 > Alexey Gladkov wrote:
 > > Alexey Rusakov пишет:
 > > > Где искать соответствие между бинарными и исходными пакетами?
 > > > Наугад?
 > >
 > > В бинарном пакете есть информация об исходном.
 > >
 > > На sisyphus.ru эта база тоже доступна.
 >
 > То есть вместо apt-get source предлагается:
 >
 > 1. apt-get install --print-uris <бинарный пакет>
 >
 > 2. rpm -qpi <uri из первого шага> | grep src.rpm
 >
 > 3. wget
 >
 > ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus/files/SRPM
 >S/<src.rpm из второго шага>
 >
 >
 >
 > М-да. Ну что ж, можно, конечно, жить и так. А без этого обойтись
 > никак
 >
 > нельзя? И самый главный вопрос - а в конечном результате-то, в
 > светлом
 >
 > будущем, как можно будет получать эту информацию?

Пока  apt-get source не научится вытаскивать из git  последний рабочий 
branch (в чём я сомневаюсь), заменять рано. Да и особой необходимости 
не наблюдаю. Плюс затрудняется поиск и анализ зависимостей между 
src.rpm - что затруднит перенос пакетов на другие (не Intel 
архитектуры).


-- 
С уважением Xихин Руслан

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 261 bytes --]

On Wed, Jul 04, 2007 at 02:10:54AM +0400, Alexey Gladkov wrote:
> Вы можете получить src.rpm с ftp.

Why should you still upload src.rpm packages to ftp?  I propose to drop
them altogether (or keep them altogether, which is along with src lists
for apt).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Tourbin пишет:
> On Wed, Jul 04, 2007 at 02:10:54AM +0400, Alexey Gladkov wrote:
>> Вы можете получить src.rpm с ftp.
> 
> Why should you still upload src.rpm packages to ftp?  I propose to drop
> them altogether (or keep them altogether, which is along with src lists
> for apt).

srpms будут публиковаться пока не введена новая сборочная система не
будет работать. Исходные пакеты мы не можем не предоставлять.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 476 bytes --]

On Wed, Jul 04, 2007 at 04:56:00PM +0400, Alexey Gladkov wrote:
> > Why should you still upload src.rpm packages to ftp?  I propose to drop
> > them altogether (or keep them altogether, which is along with src lists
> > for apt).
> 
> srpms будут публиковаться пока не введена новая сборочная система не
> будет работать. Исходные пакеты мы не можем не предоставлять.

Если исходные пакеты всё равно предоставляются, почему бы не
сгенерировать для них индексы/хеши?

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Alexey Tourbin пишет:
> Если исходные пакеты всё равно предоставляются, почему бы не
> сгенерировать для них индексы/хеши?

http://lists.altlinux.org/pipermail/devel/2007-July/047976.html
http://lists.altlinux.org/pipermail/devel/2007-July/047993.html

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Wed, Jul 04, 2007 at 06:41:14PM +0400, Alexey Gladkov wrote:
> > Если исходные пакеты всё равно предоставляются, почему бы не
> > сгенерировать для них индексы/хеши?
> http://lists.altlinux.org/pipermail/devel/2007-July/047976.html

| Ээээ... ошибочка. Не в files/SRPMS, а в
| Sisyphus/<ARCH>/SRPMS.classic."

Знаю, впопыхах (сегодня довыкатывали очередной терминал-сервер,
перед отъездом из офиса догонял devel@).

| На нашем репозитории эта операция идёт очень долго. Она сейчас
| очень дорогая даже на быстром сервере.

Насколько дорогая?  И если речь о той машинке, где максимум
четыре диска -- боюсь, я знаю, где там тормоза (тогда им
сопутствует приличный LA и приличный system CPU time).

Может иметь смысл готовить репо в другом месте, возможно на SCSI,
а туда синкать.

> http://lists.altlinux.org/pipermail/devel/2007-July/047993.html

| Тем более что в новой билд системе srpm публиковаться не будут
| и "apt-get source" всё равно сломается.

Вот когда не будет смысла, а будет альтернатива, тогда и.

| Но genbasedir сейчас используется старый.

Так в чём тогда проблема с 

| 1) либо использовать старый genbasedir до последнего, а при
| миграции на новую схему воспользоваться новым genbasedir со
| всеми вытекающими.

Будет новая схема -- будет новый genbasedir.  Пока есть старая,
пусть старый будет.

Если б не вылезли опытные и уважаемые разработчики -- знаешь,
не открывал бы рот, а так -- лучше пусть машина работает,
чем люди огорчаются.

Не мы ведь для неё работаем, а она для нас... будто.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Michael Shigorin пишет:
> Насколько дорогая?  И если речь о той машинке, где максимум
> четыре диска -- боюсь, я знаю, где там тормоза (тогда им
> сопутствует приличный LA и приличный system CPU time).

Она очень дорога ... сейчас при запуске на двух головой машине (2Gz) и
4Gb оперативки она работает ~ 5 мин (это холодный запуск). При
кэшировании холодный запуск ~ 2 мин (последующие ~ 30 сек).

> Может иметь смысл готовить репо в другом месте, возможно на SCSI,
> а туда синкать.

Миш, репозиторий растёт, вопрос времени когда скорость дисков не будет
компенсировать тормоза софта. Экстенсивный путь хорош до разумных
пределов.

> Вот когда не будет смысла, а будет альтернатива, тогда и.

Не понял тебя.

> Так в чём тогда проблема с 

Сейчас у меня есть обе версии. Кэширование было и раньше, но оно было
задействовано не везде.

> Будет новая схема -- будет новый genbasedir.  Пока есть старая,
> пусть старый будет.

Есть новая схема. Есть новый genbasedir. Я не стал бы писать о том
чего нет :)
У меня нет задачи наполнить вашу жизнь разными событиями.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Thu, Jul 05, 2007 at 01:45:56AM +0400, Alexey Gladkov wrote:
> > Насколько дорогая?  И если речь о той машинке, где максимум
> > четыре диска -- боюсь, я знаю, где там тормоза (тогда им
> > сопутствует приличный LA и приличный system CPU time).
> Она очень дорога ... сейчас при запуске на двух головой машине
> (2Gz) и 4Gb оперативки она работает ~ 5 мин (это холодный
> запуск). При кэшировании холодный запуск ~ 2 мин (последующие ~
> 30 сек).

Это копейки, я уж думал, речь минимум о часе.  Если не
выкладываться каждые пять минут, а не реже чем раз в 1--4 часа
(чаще раза в те же четыре часа сейчас смысла не вижу).

Или пускать быстрый genbasedir по бинарникам, а в менее
нагруженное время ночью -- тормозной, но по всему.  Идёт?

> > Может иметь смысл готовить репо в другом месте, возможно на
> > SCSI, а туда синкать.
> Миш, репозиторий растёт, вопрос времени когда скорость дисков
> не будет компенсировать тормоза софта. Экстенсивный путь хорош
> до разумных пределов.

Так там же настанет светлое будущее, ты чо :-)

> > Вот когда не будет смысла, а будет альтернатива, тогда и.
> Не понял тебя.

Не стоит доламывать старую схему, не довыкатив новую.  Особенно
если цена вопроса -- пять минут двухголовой машины на итерацию.

> > Будет новая схема -- будет новый genbasedir.  Пока есть
> > старая, пусть старый будет.
> Есть новая схема. Есть новый genbasedir. Я не стал бы писать о
> том чего нет :) У меня нет задачи наполнить вашу жизнь разными
> событиями.

Да и так спасибо за труды.  Я-то их очень ценю, просто к таким
мелочам тоже лучше придираться, чем они будут потихоньку портить
людям настроение.

Если хочешь, можешь черновиками подобных анонсов в жабер кидать 
-- берусь спрогнозировать реакцию в частном порядке :-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Michael Shigorin пишет:
> Это копейки, я уж думал, речь минимум о часе.  Если не
> выкладываться каждые пять минут, а не реже чем раз в 1--4 часа
> (чаще раза в те же четыре часа сейчас смысла не вижу).

Это совсем не копейки. Более того на диски это даёт большую нагрузку
(md5 со всех пакетов в сизифе).

По новой схеме пакеты будут публиковаться сразу после сборки т.е.
genbasedir нужно будет делать после сборки _каждого_ пакета. Иначе
будут проблемы другого характера.

> Или пускать быстрый genbasedir по бинарникам, а в менее
> нагруженное время ночью -- тормозной, но по всему.  Идёт?

Не идёт. По этой схеме репозиторий можно будет публиковать только
ночью после полной генерации индексов.

> Не стоит доламывать старую схему, не довыкатив новую.  Особенно
> если цена вопроса -- пять минут двухголовой машины на итерацию.

Хорошо. Ты предлагаешь первый путь. Нет проблем. Идём по нему.

-- 
Rgrds, legion

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Thu, Jul 05, 2007 at 11:33:44AM +0400, Alexey Gladkov wrote:
> > Это копейки, я уж думал, речь минимум о часе.  Если не
> > выкладываться каждые пять минут, а не реже чем раз в 1--4
> > часа (чаще раза в те же четыре часа сейчас смысла не вижу).
> Это совсем не копейки. Более того на диски это даёт большую
> нагрузку (md5 со всех пакетов в сизифе).  По новой схеме пакеты
> будут публиковаться сразу после сборки т.е.  genbasedir нужно
> будет делать после сборки _каждого_ пакета. Иначе будут
> проблемы другого характера.

По доступности для сборки?

> > Не стоит доламывать старую схему, не довыкатив новую.  Особенно
> > если цена вопроса -- пять минут двухголовой машины на итерацию.
> Хорошо. Ты предлагаешь первый путь. Нет проблем. Идём по нему.

Как ещё один компромиссный вариант -- в более внутреннем
репо, на котором всё собирается, делаются оперативные хэши
по бинарникам, а при синхронизации в те же раз в четыре часа
(кажется, gentoo требует от зеркал такой периодичности -- 
вряд ли мы торопимся сильней) создаются и по исходникам.

Вообще я пока не вижу, что приносит публикация чаще раза в сутки.
Когда надо быстрее -- сам выдёргиваю из incoming или git и
заряжаю в hasher, думаю, другие так же.

Что даёт оперативное появление пакетов в сборочном репо -- знаю,
не так давно recoll перезаливал с прибитой по версии зависимостью
в подозрении, что собралось не с тем xapian-core (судя по неудаче
сборки с гвоздём -- именно так оно тогда и произошло сперва).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Michael Shigorin пишет:
> On Thu, Jul 05, 2007 at 11:33:44AM +0400, Alexey Gladkov wrote:
>>> Это копейки, я уж думал, речь минимум о часе.  Если не
>>> выкладываться каждые пять минут, а не реже чем раз в 1--4
>>> часа (чаще раза в те же четыре часа сейчас смысла не вижу).
>> Это совсем не копейки. Более того на диски это даёт большую
>> нагрузку (md5 со всех пакетов в сизифе).  По новой схеме пакеты
>> будут публиковаться сразу после сборки т.е.  genbasedir нужно
>> будет делать после сборки _каждого_ пакета. Иначе будут
>> проблемы другого характера.
> 
> По доступности для сборки?

Например с откатами в случае критичных удовлетворённостей. Если
кэшировать и выкладывать пакеты пачкой, то откатить можно будет только
эту пачку.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Thu, Jul 05, 2007 at 12:05:20PM +0400, Alexey Gladkov wrote:
> >>> Это копейки, я уж думал, речь минимум о часе.  Если не
> >>> выкладываться каждые пять минут, а не реже чем раз в 1--4
> >>> часа (чаще раза в те же четыре часа сейчас смысла не вижу).
> >> Это совсем не копейки. Более того на диски это даёт большую
> >> нагрузку (md5 со всех пакетов в сизифе).  По новой схеме пакеты
> >> будут публиковаться сразу после сборки т.е.  genbasedir нужно
> >> будет делать после сборки _каждого_ пакета. Иначе будут
> >> проблемы другого характера.
> > По доступности для сборки?
> Например с откатами в случае критичных удовлетворённостей. Если
> кэшировать и выкладывать пакеты пачкой, то откатить можно будет
> только эту пачку.

Возможно ли выполнять анализ на оперативном репо?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Michael Shigorin пишет:
> Возможно ли выполнять анализ на оперативном репо?

Это очень сложно. Фактически нужно повторить логику apt. Сам же apt
использовать опасно т.к. его поведение может меняться в случае когда к
нему подключены один или больше источников.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Thu, Jul 05, 2007 at 01:18:48PM +0400, Alexey Gladkov wrote:
> > Возможно ли выполнять анализ на оперативном репо?
> Это очень сложно. Фактически нужно повторить логику apt. Сам же
> apt использовать опасно т.к. его поведение может меняться в
> случае когда к нему подключены один или больше источников.

Понял, отпадает.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Aleksey Novodvorsky пишет:
> Я сомневаюсь в своевременности такого  шага. Пожалуйста, обоснуйте его
> необходимость.

Я не говорил про введение в строй билд системы.
Какой именно шаг нужно пояснить ?

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Aleksey Novodvorsky]

On 7/4/07, Alexey Gladkov <legion@altlinux.ru> wrote:
> Aleksey Novodvorsky пишет:
> > Я сомневаюсь в своевременности такого  шага. Пожалуйста, обоснуйте его
> > необходимость.
>
> Я не говорил про введение в строй билд системы.
> Какой именно шаг нужно пояснить ?

Нужно  рассказать про все шаги и объяснить необходимость срочного
отказа от srclist.

Rgrds, Алексей

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Wed, Jul 04, 2007 at 02:09:26AM +0400, Alexey Gladkov wrote:
> > Я сомневаюсь в своевременности такого  шага. Пожалуйста,
> > обоснуйте его необходимость.
> Я не говорил про введение в строй билд системы.
> Какой именно шаг нужно пояснить ?

Лёш, люди склонны болезненно воспринимать, когда что-то ломается.
Эти хэши так напряжно генерить для того, что сейчас по факту
попадает в files/SRPMS?

В подобных случаях можешь сразу 100% предсказать реакцию и
подумать, что проще -- читать флейм и непонимание или дописать
ещё пару строк и пусть поработает ещё пять минут в сутки.

PS: я давно не пользуюсь apt-get source по той причине, что
обычно locate или ls на локальном зеркале просто быстрее
(дальше scp или lftp), но это явно не общий случай.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Michael Shigorin пишет:
> On Wed, Jul 04, 2007 at 02:09:26AM +0400, Alexey Gladkov wrote:
>>> Я сомневаюсь в своевременности такого  шага. Пожалуйста,
>>> обоснуйте его необходимость.
>> Я не говорил про введение в строй билд системы.
>> Какой именно шаг нужно пояснить ?
> 
> Лёш, люди склонны болезненно воспринимать, когда что-то ломается.
> Эти хэши так напряжно генерить для того, что сейчас по факту
> попадает в files/SRPMS?

Ээээ... ошибочка. Не в files/SRPMS, а в Sisyphus/<ARCH>/SRPMS.classic.
В files/SRPMS могут быть дупы из-за того что тут все архитектуры. В
SRPMS.classic их нет.

Эти индексы очень сложно создавать и что ещё важнее долго. Если не
веришь, то посмотри в код gensrclist в apt.
Эта утилита читает все бинарные и исходные rpm-пакеты, потом делает
соответствие между rpms и srpms ... потом она заносит это знание в
хэдер специального вида. Т.е. вся схема рассчитана на единовременную
генерацию ... и не предусматривает кэширования. На нашем репозитории
эта операция идёт очень долго. Она сейчас очень дорогая даже на
быстром сервере.

А чтобы автоматизировать публикацию пакетов и сократить задержки
требуется чтобы genbasedir работал гораздо быстрее. Я реализовал
кэширование(rpmbox by arch) для части публикующих скриптов. Но
genbasedir сейчас используется старый.

Тем более что в новой билд системе srpm публиковаться не будут и
"apt-get source" всё равно сломается.

Сейчас я стою перед выбором:
1) либо использовать старый genbasedir до последнего, а при миграции
на новую схему воспользоваться новым genbasedir со всеми вытекающими.
2) либо постепенно готовить инфраструктуру к переезду чтобы изменения
не были одним большим сюрпризом.

Мне почему-то ближе второй вариант.

> PS: я давно не пользуюсь apt-get source по той причине, что
> обычно locate или ls на локальном зеркале просто быстрее
> (дальше scp или lftp), но это явно не общий случай.

А я пользуюсь sisyphus.ru. Там есть вся необходимая информация.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Rusakov]

On Wed, 04 Jul 2007 14:57:56 +0400
Alexey Gladkov wrote:

> Michael Shigorin пишет:
> > On Wed, Jul 04, 2007 at 02:09:26AM +0400, Alexey Gladkov wrote:
> >>> Я сомневаюсь в своевременности такого  шага. Пожалуйста,
> >>> обоснуйте его необходимость.
> >> Я не говорил про введение в строй билд системы.
> >> Какой именно шаг нужно пояснить ?
> > 
> > Лёш, люди склонны болезненно воспринимать, когда что-то ломается.
> > Эти хэши так напряжно генерить для того, что сейчас по факту
> > попадает в files/SRPMS?
> 
> Ээээ... ошибочка. Не в files/SRPMS, а в Sisyphus/<ARCH>/SRPMS.classic.
> В files/SRPMS могут быть дупы из-за того что тут все архитектуры. В
> SRPMS.classic их нет.
> 
> Эти индексы очень сложно создавать и что ещё важнее долго. Если не
> веришь, то посмотри в код gensrclist в apt.
> Эта утилита читает все бинарные и исходные rpm-пакеты, потом делает
> соответствие между rpms и srpms ... потом она заносит это знание в
> хэдер специального вида. Т.е. вся схема рассчитана на единовременную
> генерацию ... и не предусматривает кэширования. На нашем репозитории
> эта операция идёт очень долго. Она сейчас очень дорогая даже на
> быстром сервере.
> 
> А чтобы автоматизировать публикацию пакетов и сократить задержки
> требуется чтобы genbasedir работал гораздо быстрее. Я реализовал
> кэширование(rpmbox by arch) для части публикующих скриптов. Но
> genbasedir сейчас используется старый.
> 
> Тем более что в новой билд системе srpm публиковаться не будут и
> "apt-get source" всё равно сломается.
> 
> Сейчас я стою перед выбором:
> 1) либо использовать старый genbasedir до последнего, а при миграции
> на новую схему воспользоваться новым genbasedir со всеми вытекающими.
> 2) либо постепенно готовить инфраструктуру к переезду чтобы изменения
> не были одним большим сюрпризом.
О! Так бы сразу.
А нельзя захачить сервер apt так, чтобы по apt-get source он просто
отдавал содержимое соответствующего поля в RPM-пакете с присобаченным к
нему путём до SRPMS?

-- 
  Alexey "Ktirf" Rusakov
  GNOME Project
  ALT Linux Team

Re: [devel] IA: apt srclist removed

[Anton Farygin]

Alexey Gladkov wrote:
> Michael Shigorin пишет:
>> On Wed, Jul 04, 2007 at 02:09:26AM +0400, Alexey Gladkov wrote:


> 
>> PS: я давно не пользуюсь apt-get source по той причине, что
>> обычно locate или ls на локальном зеркале просто быстрее
>> (дальше scp или lftp), но это явно не общий случай.
> 
> А я пользуюсь sisyphus.ru. Там есть вся необходимая информация.
> 

А как быть тем, у кого нет интернета ?

Re: [devel] IA: apt srclist removed

[Igor Zubkov]

В сообщении от Wednesday 04 July 2007 13:57:56 Alexey Gladkov написал(а):
> > PS: я давно не пользуюсь apt-get source по той причине, что
> > обычно locate или ls на локальном зеркале просто быстрее
> > (дальше scp или lftp), но это явно не общий случай.
>
> А я пользуюсь sisyphus.ru. Там есть вся необходимая информация.

Не вся. Хотелось бы больше. Но...

-- 
icesik

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Igor Zubkov пишет:
> Не вся. Хотелось бы больше. Но...

Чего например ?

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Igor Zubkov]

В сообщении от Wednesday 04 July 2007 15:56:47 Alexey Gladkov написал(а):
> Igor Zubkov пишет:
> > Не вся. Хотелось бы больше. Но...
>
> Чего например ?

Полную копию всей мета информации что содержится в rpm пакетах всего Сизифа 
под три платформы (i586, x86_64, noarch). С sql интерфейсом. И всегда в 
актуальном состоянии. И с возможностью посмотреть как это было в прошлом 
(т.е. версионирование информации). Если есть желание, то я могу накидать 
полный концеп для этого с полным описанием что, где и как.

-- 
icesik

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Wed, Jul 04, 2007 at 04:16:48PM +0300, Igor Zubkov wrote:
> > > Не вся. Хотелось бы больше. Но...
> > Чего например ?

Понимание архитектур и интерфейса к find-package.

> Полную копию всей мета информации что содержится в rpm пакетах
> всего Сизифа под три платформы (i586, x86_64, noarch). С sql
> интерфейсом.

Думаю, это можно подумать и организовать.

> И всегда в актуальном состоянии. И с возможностью посмотреть
> как это было в прошлом (т.е. версионирование информации). Если
> есть желание, то я могу накидать полный концеп для этого с
> полным описанием что, где и как.

Кидай FR на prometeus.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Igor Zubkov]

04.07.07, Michael Shigorin <mike osdn org ua> написал(а):
> On Wed, Jul 04, 2007 at 04:16:48PM +0300, Igor Zubkov wrote:
> > > > Не вся. Хотелось бы больше. Но...
> > > Чего например ?
>
> Понимание архитектур и интерфейса к find-package.
>
> > Полную копию всей мета информации что содержится в rpm пакетах
> > всего Сизифа под три платформы (i586, x86_64, noarch). С sql
> > интерфейсом.
>
> Думаю, это можно подумать и организовать.

Давай я сразу уточню что мне надо:
[icesik@iceberg ~]$ rpm --querytags | wc -l
131
[icesik@iceberg ~]$

Вот это и ещё много чего. Тебе сказать сколько будет весить такая база
данных? И сколько потребуется времени для обработки одного запроса?

В принципе, я уже знаю сколько надо времени  и ресурсов для того что
бы написать то что после станет мега рулезом. Но у меня нет сколько
времени. И денег для этого времени.

> > И всегда в актуальном состоянии. И с возможностью посмотреть
> > как это было в прошлом (т.е. версионирование информации). Если
> > есть желание, то я могу накидать полный концеп для этого с
> > полным описанием что, где и как.
>
> Кидай FR на prometeus.

А толку? Его лучше сразу просто выкинуть. С www.sisyphus.ru проблема в
том что perl из нашёй команды знают единицы (или больше). А те кто
знают, к нему руки точно прикладывать не будут. Это видно по тому как
он сейчас живёт последнии год или даже больше. Вот такая грустная
правда жизни.

-- 
icesik

Re: [devel] IA: apt srclist removed

[Igor Zubkov]

04.07.07, Michael Shigorin<mike@osdn.org.ua> написал(а):
> On Wed, Jul 04, 2007 at 04:16:48PM +0300, Igor Zubkov wrote:
> > > > Не вся. Хотелось бы больше. Но...
> > > Чего например ?
>
> Понимание архитектур

Это ясно...

> и интерфейса к find-package.

А тут можно поподробней?

-- 
icesik

Re: [devel] IA: apt srclist removed

[Michael Shigorin]

On Thu, Jul 05, 2007 at 02:13:47AM +0300, Igor Zubkov wrote:
> > и интерфейса к find-package.
> А тут можно поподробней?

Чтоб на http://sisyphus.ru/srpm/alterator-x11 [/git] были ссылки
на все git repo, где оно есть.  (хотя "/srpm" уже тоже не совсем)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] IA: apt srclist removed

[Igor Zubkov]

В сообщении от Thursday 05 July 2007 10:04:09 Michael Shigorin написал(а):
> On Thu, Jul 05, 2007 at 02:13:47AM +0300, Igor Zubkov wrote:
> > > и интерфейса к find-package.
> >
> > А тут можно поподробней?
>
> Чтоб на http://sisyphus.ru/srpm/alterator-x11 [/git] были ссылки
> на все git repo, где оно есть.  (хотя "/srpm" уже тоже не совсем)

Ага. Понял о чём ты.

-- 
icesik

Re: [devel] IA: apt srclist removed

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 947 bytes --]

On Wed, Jul 04, 2007 at 02:57:56PM +0400, Alexey Gladkov wrote:
[...]
> Эти индексы очень сложно создавать и что ещё важнее долго. Если не
> веришь, то посмотри в код gensrclist в apt.
> Эта утилита читает все бинарные и исходные rpm-пакеты, потом делает
> соответствие между rpms и srpms ... потом она заносит это знание в
> хэдер специального вида. Т.е. вся схема рассчитана на единовременную
> генерацию ... и не предусматривает кэширования. На нашем репозитории
> эта операция идёт очень долго. Она сейчас очень дорогая даже на
> быстром сервере.
> 
> А чтобы автоматизировать публикацию пакетов и сократить задержки
> требуется чтобы genbasedir работал гораздо быстрее. Я реализовал
> кэширование(rpmbox by arch) для части публикующих скриптов. Но
> genbasedir сейчас используется старый.

Алексей, а ты мог бы рассказать это ещё детальнее?
Может быть, кто-то из нас придумает способ быстро обновлять srclist?


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Dmitry V. Levin пишет:
> Алексей, а ты мог бы рассказать это ещё детальнее?
> Может быть, кто-то из нас придумает способ быстро обновлять srclist?

О чём рассказать детальнее ?

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 722 bytes --]

On Wed, Jul 04, 2007 at 09:05:01PM +0400, Alexey Gladkov wrote:
> Dmitry V. Levin пишет:
> > Алексей, а ты мог бы рассказать это ещё детальнее?
> > Может быть, кто-то из нас придумает способ быстро обновлять srclist?
> 
> О чём рассказать детальнее ?

Зачем нужно быстро обновлять srclist, и в чём содержится основная
сложность по сравнению с pkglist.

Пришла в голову (возможно, не только мне) следующая идея:
1. Обновлять pkglist быстро с помощью твоего нового высокооптимизированного
  средства.
2. Публиковать (подписывать репозиторий и выкладывать его в публичный доступ)
  2 раза в сутки, и в этот момент можно использовать старый genbasedir для
  того, чтобы обновлять старый srclist.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Dmitry V. Levin пишет:
> Может быть, кто-то из нас придумает способ быстро обновлять srclist?

Задача: придумать способ _быстро_ сгенерировать rpm хэдер с
специальными дополнительными тэгами.

Вот какая задача меня интересует ... f не задача быстро генерировать
srclist без помощи gensrclist. Я писал про два пути. Можно пойти по
первому и ничего не менять пока билд система не будет работать. Только
в этом случае мы только отсрочим решение озвученной мной задачи (если
конечно захотим её решать).

Я могу сильно напрячься и реализовать srclist для текущей схемы. Нет
ничего невозможного. В конце-концов sisyphus_add_new работает с
ограниченным количеством пакетов. Но это потребует некоторого времени
и сил. Плюс увеличит время на публикацию сизифа (это естественно).

Если хочешь я могу приступить к реализации.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Alexey Gladkov]

Dmitry V. Levin пишет:
> Алексей, а ты мог бы рассказать это ещё детальнее?
> Может быть, кто-то из нас придумает способ быстро обновлять srclist?

Мне сейчас пришло в голову что если при сборке в хэшере я подсуну
сборочный скрипт специального вида, то смогу создать любые метаданные
для пакета и его бинарников. Ведь собираем мы новоприбывших по одному.

Конечно тащить с пакетами ещё одну сущность - это не фонтан ... но можно.

-- 
Rgrds, legion

Re: [devel] IA: apt srclist removed

[Anton Farygin]

Alexey Gladkov wrote:
> Alexey Rusakov пишет:
>> Это как-то повлияет на работу apt-get source?
> 
> Сделает работу невозможной.
> 

Кто-то перегрелся.. пока не будет аналога apt-get source - так делать 
нельзя.

Удобнее инструмента чем apt-get source я ещё не встречал. Тащить что-то 
с FTP ? Нафиг, я лучше Ubuntu поставлю, которая у меня не ставиться...

Re: [devel] IA: apt srclist removed

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 581 bytes --]

On Wed, Jul 04, 2007 at 11:08:18AM +0400, Anton Farygin wrote:
> Alexey Gladkov wrote:
> > Alexey Rusakov пишет:
> >> Это как-то повлияет на работу apt-get source?
> > 
> > Сделает работу невозможной.
> 
> Кто-то перегрелся.. пока не будет аналога apt-get source - так делать 
> нельзя.
> 
> Удобнее инструмента чем apt-get source я ещё не встречал. Тащить что-то 
> с FTP ? Нафиг, я лучше Ubuntu поставлю, которая у меня не ставиться...

apt-get source обречён в принципе, поскольку обучать его git-clone/git-pull
желающих, скорее всего, не найдётся.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] IA: apt srclist removed

[Anton Farygin]

Dmitry V. Levin wrote:
> On Wed, Jul 04, 2007 at 11:08:18AM +0400, Anton Farygin wrote:
>> Alexey Gladkov wrote:
>>> Alexey Rusakov пишет:
>>>> Это как-то повлияет на работу apt-get source?
>>> Сделает работу невозможной.
>> Кто-то перегрелся.. пока не будет аналога apt-get source - так делать 
>> нельзя.
>>
>> Удобнее инструмента чем apt-get source я ещё не встречал. Тащить что-то 
>> с FTP ? Нафиг, я лучше Ubuntu поставлю, которая у меня не ставиться...
> 
> apt-get source обречён в принципе, поскольку обучать его git-clone/git-pull
> желающих, скорее всего, не найдётся.

git-clone и git-pull шаг в общем то достаточно рискованный.

Я не готов вместо 8 гигабайт исходников зеркалировать 50 гигабайт.

Rgds,
Rider