[devel] Когда пакеты появляются в Сизифе?

[devel] Когда пакеты появляются в Сизифе?

[Eugene Prokopiev]

Здравствуйте!

Через какое время после "The <...> package passed thru incoming rebuild 
for i586/x86_64 architecture" пакет должен появляться в 
ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus?

-- 
С уважением, Прокопьев Евгений

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Eugene Prokopiev пишет:
> Здравствуйте!
> 
> Через какое время после "The <...> package passed thru incoming rebuild 
> for i586/x86_64 architecture" пакет должен появляться в 
> ftp://ftp.altlinux.ru/pub/distributions/ALTLinux/Sisyphus?
> 

Зависит от нескольких факторов ... один из которых ширина канала между
офисом ALT Linux и ftp.altlinux.ru .

-- 
Rgrds, legion

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 639 bytes --]

* Alexey Gladkov <legion@> [060711 09:52]:
> Зависит от нескольких факторов ... один из которых ширина канала между
> офисом ALT Linux и ftp.altlinux.ru .
А от каких факторов зависит попадание пакетов в "сборочный"
репозитарий, который явно находится не на ftp.a.o...

И ещё один вопрос про группировку пакетов для сборки.  По какому
параметру группируются "пакеты одного мантейнера"?  По packager,
по gpg подписи или по владельцу файла в incoming?

-- 
Regards, Alexey I. Froloff
AIF5-RIPN, AIF5-RIPE
-------------------------------------------
  Inform-Mobil, Ltd. System Administrator
       http://www.inform-mobil.ru/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Alexey I. Froloff пишет:
> * Alexey Gladkov <legion@> [060711 09:52]:
>> Зависит от нескольких факторов ... один из которых ширина канала между
>> офисом ALT Linux и ftp.altlinux.ru .
> А от каких факторов зависит попадание пакетов в "сборочный"
> репозитарий, который явно находится не на ftp.a.o...

Тут к сожалению от человеческого т.к. пакеты нужно подписать и
опубликовать. Эта работа пока проводится вручную.

> И ещё один вопрос про группировку пакетов для сборки.  По какому
> параметру группируются "пакеты одного мантейнера"?  По packager,
> по gpg подписи или по владельцу файла в incoming?

по подписи т.е. по результату команды:

getsign() {
    local sign="$(GNUPGHOME="${MYGNUPGHOME:-/usr/lib/alt-gpgkeys}"
rpmsign -Kv "$1")" || return 1
    if printf %s "$sign" |grep -qs '^gpg: Good signature'; then
        printf %s "$sign" |sed -ne
's/^gpg:.*[[:space:]]\(from\|aka\)[^<]\+<\([^@]\+\)[^>]\+>.*$/\2/p'
|sort -u |head -1
        return 0
    fi
    return 1
}

-- 
Rgrds, legion

Re: [devel] Когда пакеты появляются в Сизифе?

[Kirill A. Shutemov]

[-- Attachment #1: Type: text/plain, Size: 616 bytes --]

On 10:46 Tue 11 Jul, Alexey Gladkov wrote:
> Alexey I. Froloff пишет:
> > И ещё один вопрос про группировку пакетов для сборки.  По какому
> > параметру группируются "пакеты одного мантейнера"?  По packager,
> > по gpg подписи или по владельцу файла в incoming?
> 
> по подписи т.е. по результату команды:
А почему не по Packager? Упростилось бы работа команд(ruby@ например)?

-- 
Kirill A. Shutemov				Belarus, Minsk
E-mail:	k.shutemov (AT) sam-solutions.net
JID: kas (AT) altlinux.org
ICQ: 152302675

Интересно ещё, сколько времени уходит на написание политкорректных
текстов.
		-- at in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 896 bytes --]

* Kirill A. Shutemov <kas@> [060711 11:04]:
> > > И ещё один вопрос про группировку пакетов для сборки.  По какому
> > > параметру группируются "пакеты одного мантейнера"?  По packager,
> > > по gpg подписи или по владельцу файла в incoming?
> > по подписи т.е. по результату команды:
> А почему не по Packager? Упростилось бы работа команд(ruby@ например)?
А чем сейчас сложно?  Члены команды и так могут собой
подписывать...  И потом, в Packager может быть всякая фигня.

А вот если сортировка будет по овнеру файла, это решит одну
проблему.  Пакеты foo и bar надо собирать в одной транзакции, но
у низ разные мантейнеры.  Мантейнер foo присылает подписаный
пакет мантейнеру bar, а тот заливает оба.

-- 
Regards, Alexey I. Froloff
AIF5-RIPN, AIF5-RIPE
-------------------------------------------
  Inform-Mobil, Ltd. System Administrator
       http://www.inform-mobil.ru/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Kirill A. Shutemov пишет:
> On 10:46 Tue 11 Jul, Alexey Gladkov wrote:
>> Alexey I. Froloff пишет:
>>> И ещё один вопрос про группировку пакетов для сборки.  По какому
>>> параметру группируются "пакеты одного мантейнера"?  По packager,
>>> по gpg подписи или по владельцу файла в incoming?
>> по подписи т.е. по результату команды:
> А почему не по Packager? Упростилось бы работа команд(ruby@ например)?

Потому что поле Packager заполняется при упаковке и проверяется только
на корректность. В этом поле можно указать кого угодно.

Но так как предыдущие проверки уже проверили пакеты на валидность, то,
думаю, можно так сделать.

-- 
Rgrds, legion

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Alexey Gladkov пишет:
> Но так как предыдущие проверки уже проверили пакеты на валидность, то,
> думаю, можно так сделать.

Отвечаю сам себе.
Так делать нельзя т.к. представим ситуацию когда приходят в incoming
два пакета: библиотека и пакет для ruby (например), который на этой
библиотеке основывается. Эти два пакета залил я (например).
Пакет для ruby имеет Packager: ruby@ а пакет с библиотекой будет иметь
Packager'ом меня (например). В этом случае эти пакеты будут
пересобраны независимо друг от друга ...

Если отсортировать по подписи, то эти пакеты попадут в одну трансакцию.

-- 
Rgrds, legion

Re: [devel] Когда пакеты появляются в Сизифе?

[Eugene Prokopiev]

Alexey Gladkov пишет:
> Alexey I. Froloff пишет:
> 
>>* Alexey Gladkov <legion@> [060711 09:52]:
>>
>>>Зависит от нескольких факторов ... один из которых ширина канала между
>>>офисом ALT Linux и ftp.altlinux.ru .
>>
>>А от каких факторов зависит попадание пакетов в "сборочный"
>>репозитарий, который явно находится не на ftp.a.o...
> 
> 
> Тут к сожалению от человеческого т.к. пакеты нужно подписать и
> опубликовать. Эта работа пока проводится вручную.

Не совсем понял. Что тогда такое "сборочный" репозитарий? Мне казалось, 
что это то, куда попадают уже подписанные наши пакеты, а затем после 
удачной проверки и пересборки отправляются на ftp.

Есть полное описание того, как пакеты попадают на ftp?

-- 
С уважением, Прокопьев Евгений

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Eugene Prokopiev пишет:
> Есть полное описание того, как пакеты попадают на ftp?

Полного описания нет. Так что слушайте:

Сначала пакет попадает на внешний для нас incoming сервер. Оттуда по
cron они забираются и попадают на наш внутренний сервер.

Далее опять же по cron'у пакеты копируются upravdom'ом. У управдова
есть цепочка проверок, которые проходит пакет. Среди этих проверок
есть и пересборка.

После проверок управдома пакеты попадают в current репозиторий. Это
тестовый репозиторий. На нём делаются проверки unmets и подписываются
кэши.

Если с current всё нормально и изменения в нём не смертельны, то
содержимое этого репозитория переносится в локальную копию ftp.a.o

И наконец этот локальный репозиторий по cron синхронизируется с
ftp.a.o. Есть правило: не копировать ничего из current пока локальная
копия ftp.a.o не синхронизирована.

Если в офисе плохая связь, то пакеты либо не попадают в офис, либо не
могут его покинуть.
Пересобираются пакеты на локальной копии ftp.a.o т.к. current в
некоторый момент времени может быть разломан.

-- 
Rgrds, legion

[devel] [wiki] Re: Когда пакеты появляются в Сизифе?

[Michael Shigorin]

On Tue, Jul 11, 2006 at 12:02:05PM +0400, Alexey Gladkov wrote:
> > Есть полное описание того, как пакеты попадают на ftp?
> Полного описания нет. Так что слушайте:

Занесено в http://wiki.sisyphus.ru/devel/Incoming/details 
и добавлено на http://wiki.sisyphus.ru/devel/Incoming

спасибо :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] [wiki] Re: Когда пакеты появляются в Сизифе?

[Eugene Prokopiev]

Michael Shigorin пишет:
> On Tue, Jul 11, 2006 at 12:02:05PM +0400, Alexey Gladkov wrote:
> 
>>>Есть полное описание того, как пакеты попадают на ftp?
>>
>>Полного описания нет. Так что слушайте:
> 
> 
> Занесено в http://wiki.sisyphus.ru/devel/Incoming/details 
> и добавлено на http://wiki.sisyphus.ru/devel/Incoming
> 
> спасибо :)

присоединяюсь :)

Мише отдельное спасибо за то, что он находит время на документирование :)

-- 
С уважением, Прокопьев Евгений

[devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 524 bytes --]

On Tuesday 11 July 2006 12:02, Alexey Gladkov wrote:

[...]
> Сначала пакет попадает на внешний для нас incoming сервер. Оттуда
> по cron они забираются и попадают на наш внутренний сервер.
>
> Далее опять же по cron'у пакеты копируются upravdom'ом.
И вот здесь закралась бага. Если пакеты скачивались более 3-х часов, 
то те, которые закачались после истечения этих 3-х часов, бесследно 
пропадают.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Alexey Gladkov]

Sergey V Turchin пишет:
>> Далее опять же по cron'у пакеты копируются upravdom'ом.
> И вот здесь закралась бага. Если пакеты скачивались более 3-х часов, 
> то те, которые закачались после истечения этих 3-х часов, бесследно 
> пропадают.

пакеты не пропадают... тем более бесследно.

-- 
Rgrds, legion

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 556 bytes --]

On Tuesday 11 July 2006 14:35, Alexey Gladkov wrote:
> Sergey V Turchin пишет:
> >> Далее опять же по cron'у пакеты копируются upravdom'ом.
> >
> > И вот здесь закралась бага. Если пакеты скачивались более 3-х
> > часов, то те, которые закачались после истечения этих 3-х
> > часов, бесследно пропадают.
>
> пакеты не пропадают... тем более бесследно.
Пока мантейнер не начнет их сам искать, пропадают окончательно и 
бесповоротно.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Led]

В сообщении от 11 июля 2006 13:35 Alexey Gladkov написал(a):
> Sergey V Turchin пишет:
> >> Далее опять же по cron'у пакеты копируются upravdom'ом.
> >
> > И вот здесь закралась бага. Если пакеты скачивались более 3-х часов,
> > то те, которые закачались после истечения этих 3-х часов, бесследно
> > пропадают.
>
> пакеты не пропадают... тем более бесследно.

А тогда до сих пор kde-addons-* и kdesdk-*?

-- 
Led.

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 298 bytes --]

On Tuesday 11 July 2006 14:40, Led wrote:

[...]
> А тогда до сих пор kde-addons-* и kdesdk-*?
Сейчас kdebase, собранный без самбы доползет, попробую довыложить 
оставшееся.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Alexey Gladkov]

Led пишет:
>> пакеты не пропадают... тем более бесследно.
> 
> А тогда до сих пор kde-addons-* и kdesdk-*?
> 

Вообще-то это вопрос к мантейнеру, но если вы так хотите:

http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/003542.html

как видите след есть и достаточно чёткий.

Более того, вот он на нашем внутреннем сервере:

$ ls -nG download/malta/Sisyphus/kdeaddons-*
-rw-r--r-- 1 526 1655169 Июн 27 12:46
download/malta/Sisyphus/kdeaddons-3.5.3-alt3.src.rpm

Не вооружённым взглядом можно видеть, что пакет был собран как только
выложен и об этом было сообщение в рассылку и мантейнеру.

-- 
Rgrds, legion

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 598 bytes --]

On Tuesday 11 July 2006 15:07, Alexey Gladkov wrote:

[...]
> $ ls -nG download/malta/Sisyphus/kdeaddons-*
> -rw-r--r-- 1 526 1655169 Июн 27 12:46
> download/malta/Sisyphus/kdeaddons-3.5.3-alt3.src.rpm
>
> Не вооружённым взглядом можно видеть, что пакет был собран как
> только выложен и об этом было сообщение в рассылку и мантейнеру.
А вот и не надо ля-ля :-)
Выложен он был недели на 3 раньше 
http://lists.altlinux.org/pipermail/sisyphus-cybertalk/2006-June/002045.html

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Alexey Gladkov]

Sergey V Turchin пишет:
> А вот и не надо ля-ля :-)

Сергей, пакет был скачан с вашнего сервера только один раз. Не
убеждайте меня в том чего нет.

download/log/malta/Sisyphus/2006/06/27/154101.list:kdeaddons-3.5.3-alt3.src.rpm

> Выложен он был недели на 3 раньше 

Я говорю про alt3 ... то были другие сборки: alt1, alt2 и от них тоже
есть логи:
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/003118.html
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/003175.html

> http://lists.altlinux.org/pipermail/sisyphus-cybertalk/2006-June/002045.html

-- 
Rgrds, legion

Re: [devel] Когда пакеты появляются в Сизифе?

[Igor Zubkov]

[-- Attachment #1: Type: text/plain, Size: 928 bytes --]

В сообщении от 11 июля 2006 10:27 Alexey Gladkov написал(a):
> Alexey Gladkov пишет:
> > Но так как предыдущие проверки уже проверили пакеты на валидность, то,
> > думаю, можно так сделать.
>
> Отвечаю сам себе.
> Так делать нельзя т.к. представим ситуацию когда приходят в incoming
> два пакета: библиотека и пакет для ruby (например), который на этой
> библиотеке основывается. Эти два пакета залил я (например).
> Пакет для ruby имеет Packager: ruby@ а пакет с библиотекой будет иметь
> Packager'ом меня (например). В этом случае эти пакеты будут
> пересобраны независимо друг от друга ...
>
> Если отсортировать по подписи, то эти пакеты попадут в одну трансакцию.

Может добавим поддержку транзакций и возможностью этим управлять?

Т.е. как пример можно взять kde. У нас есть ~15 пакетов которые сильно зависят 
друг от друга. И если даже один пакет не собирается обрывать транзакцию.

Как идея?

-- 
Placebo - Centrefolds

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Led]

В сообщении от 11 июля 2006 14:55 Igor Zubkov написал(a):
> В сообщении от 11 июля 2006 10:27 Alexey Gladkov написал(a):
> > Alexey Gladkov пишет:
> > > Но так как предыдущие проверки уже проверили пакеты на валидность, то,
> > > думаю, можно так сделать.
> >
> > Отвечаю сам себе.
> > Так делать нельзя т.к. представим ситуацию когда приходят в incoming
> > два пакета: библиотека и пакет для ruby (например), который на этой
> > библиотеке основывается. Эти два пакета залил я (например).
> > Пакет для ruby имеет Packager: ruby@ а пакет с библиотекой будет иметь
> > Packager'ом меня (например). В этом случае эти пакеты будут
> > пересобраны независимо друг от друга ...
> >
> > Если отсортировать по подписи, то эти пакеты попадут в одну трансакцию.
>
> Может добавим поддержку транзакций и возможностью этим управлять?
>
> Т.е. как пример можно взять kde. У нас есть ~15 пакетов которые сильно
> зависят друг от друга. И если даже один пакет не собирается обрывать
> транзакцию.
>
> Как идея?

боян:)

-- 
Led.

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 732 bytes --]

On Tuesday 11 July 2006 15:35, Alexey Gladkov wrote:
> Sergey V Turchin пишет:
> > А вот и не надо ля-ля :-)
> Сергей, пакет был скачан с вашнего сервера только один раз. Не
> убеждайте меня в том чего нет.

[...]
> Я говорю про alt3 ...
На счет alt3 согласен. Я его выкладывал только 1 раз.
Но если размотать ниточку, то причина его несборки все равно придет 
в incoming@alt.

- потери пакетов.
- глюки с tmpfs (koffice-1.5.1-alt2 последняя)
  incoming отказывается исправить, перезаливать не буду
- разлом сизифа в нескольких местах (тут incoming нипричем, буду 
отрывать от KDE все, что поломано).

[...]

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Alexey Gladkov]

Igor Zubkov пишет:
> Может добавим поддержку транзакций и возможностью этим управлять?
> 
> Т.е. как пример можно взять kde. У нас есть ~15 пакетов которые сильно зависят 
> друг от друга. И если даже один пакет не собирается обрывать транзакцию.

Как узнать что транзакция начата и что это не одиночный коммит пакета?

> Как идея?

Основная проблема в том, что управдом не знает когда начнётся
транзакция мантейнера и когда она закончится. Поэтому он считает
транзакцией рядом лежащие пакеты.

Я пробовал придумать что-нибудь рядом с notes на эту тему, но пока
безуспешно.

-- 
Rgrds, legion

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Alexey Gladkov]

Sergey V Turchin пишет:
> - глюки с tmpfs (koffice-1.5.1-alt2 последняя)
>   incoming отказывается исправить, перезаливать не буду

tmpfs вне компетенции incoming и тут он тоже ничего поделать не может.
Альтернативы tmpfs нет. Отказаться от tmpfs мы не можем ... на обычных
винтах сборка идёт слишком медленно, а также обычные винты при наших
нагрузках слишком быстро сыпятся.

Автоматически отследить падение пакета по причине tmpfs очень сложно:
нужно собрать пакет через некоторое время ещё раз. Если ошибка
повториться, то ошибка в пакете, иначе в tmpfs.

-- 
Rgrds, legion

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Epiphanov Sergei]

В сообщении от Tuesday 11 July 2006 16:28 Alexey Gladkov написал(a):
> Автоматически отследить падение пакета по причине tmpfs очень сложно:нужно
> собрать пакет через некоторое время ещё раз. Если ошибкаповториться, то
> ошибка в пакете, иначе в tmpfs.

Хм, а если однократная пересборка идёт час-два? Тогда придётся запускать 
пересборку на двух разных компьютерах параллельно и сравнивать результаты 
сборки. Если на одном собралось, а на другом - нет, взять собранный пакет. 
Если на обоих не собралось - выдать ошибку. Почему на разных? Больше 
различий между системами сборки (как временнЫе, так и железные). Да и 
быстрее пойдёт.

-- 
С уважением, Епифанов Сергей

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 1148 bytes --]

On Tuesday 11 July 2006 16:28, Alexey Gladkov wrote:
> Sergey V Turchin пишет:
> > - глюки с tmpfs (koffice-1.5.1-alt2 последняя)
> >   incoming отказывается исправить, перезаливать не буду
>
> tmpfs вне компетенции incoming и тут он тоже ничего поделать не
> может. Альтернативы tmpfs нет. Отказаться от tmpfs мы не можем
> ... на обычных винтах сборка идёт слишком медленно,
Сделайте черный список и собирайте пакеты из него без tmpfs
У меня как-минимум 2 для него есть.

> а также обычные винты при наших нагрузках слишком быстро сыпятся.
Поставить 1, не относящийся к обычным.

> Автоматически отследить падение пакета по причине tmpfs очень
> сложно:
И что делать мантейнерам?
А точнее, меня волнует, как залить ноавый kde, если 1 пакет 
гарантированно не собирается из-за tmpfs, но он необходим для 
сборки других пакетов из комплекта?

> нужно собрать пакет через некоторое время ещё раз. 
> Если ошибка повториться, то ошибка в пакете, иначе в tmpfs.
Можно сразу визуально сравнить логи от сборок для i586 и x86_64.

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 395 bytes --]

On Tuesday 11 July 2006 16:28, Alexey Gladkov wrote:

[...]
> Автоматически отследить падение пакета по причине tmpfs очень
> сложно: нужно собрать пакет через некоторое время ещё раз.
Да, не факт, что за это время не возникнет другая причина, 
препятствующая сборке :-)

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Andrei Bulava]

Sergey V Turchin wrote:
> On Tuesday 11 July 2006 16:28, Alexey Gladkov wrote:

>> а также обычные винты при наших нагрузках слишком быстро сыпятся.
> Поставить 1, не относящийся к обычным.

По-моему, как-то в этом свете уже упоминались Solid State Disk (SSD)
системы. Вот только денег с тех пор на такое счастье не прибавилось.

Более-менее доступный по цене Gigabyte's i-RAM не бывает > 4 Gb (
http://www.techreport.com/reviews/2006q1/gigabyte-iram/index.x?pg=1 ), а
HyperOs HyperDrive III уже существенно дороже из-за ECC памяти, да ещё и
медленнее из-за интерфейса (
http://www.tomshardware.com/2005/12/05/hyperos_dram_hard_drive_on_the_block/
).

Правда, можно поставить RAID0 из i-RAM :-)

Но до tmpfs этим SDRAM-SSD по скорости - как до луны.

-- 
// AB1002-UANIC

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 707 bytes --]

On Tue, Jul 11, 2006 at 02:19:41PM +0400, Sergey V Turchin wrote:
> On Tuesday 11 July 2006 12:02, Alexey Gladkov wrote:
> 
> [...]
> > Сначала пакет попадает на внешний для нас incoming сервер. Оттуда
> > по cron они забираются и попадают на наш внутренний сервер.
> >
> > Далее опять же по cron'у пакеты копируются upravdom'ом.
> И вот здесь закралась бага. Если пакеты скачивались более 3-х часов, 
> то те, которые закачались после истечения этих 3-х часов, бесследно 
> пропадают.

Это вряд ли.  Есть логи всех скачиваний, можно специально проверить:
basalt:/raid/download/log/devel/Sisyphus/2006/07/
Если нет ошибки в скрипте закачки (что вряд ли), то ничего не теряется.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Michael Shigorin]

On Tue, Jul 11, 2006 at 05:03:01PM +0400, Sergey V Turchin wrote:
> А точнее, меня волнует, как залить ноавый kde, если 1 пакет
> гарантированно не собирается из-за tmpfs, но он необходим для
> сборки других пакетов из комплекта?

incoming/BTE?.. (как аварийный случай, чтобы сейчас разгрестись;
применять для тех, кто зуб даёт, что у него синхронизированный
сизиф, типа мальтийцев)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] [wiki] Re: Когда пакеты появляются в Сизифе?

[Michael Shigorin]

On Tue, Jul 11, 2006 at 01:39:57PM +0400, Eugene Prokopiev wrote:
> >>>Есть полное описание того, как пакеты попадают на ftp?
> >>Полного описания нет. Так что слушайте:
> > Занесено в http://wiki.sisyphus.ru/devel/Incoming/details 
> > и добавлено на http://wiki.sisyphus.ru/devel/Incoming
> > спасибо :)
> присоединяюсь :)
> Мише отдельное спасибо за то, что он находит время на документирование :)

Это не документирование, а фиксирование того, что разработчики
нашли время задокументировать хотя бы здесь.  Между прочим,
потраченное время почти всегда отбивается за полгода;
так что помогать с таким только рекомендую.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 571 bytes --]

On Tuesday 11 July 2006 14:49, Sergey V Turchin wrote:
> On Tuesday 11 July 2006 14:40, Led wrote:
>
> [...]
>
> > А тогда до сих пор kde-addons-* и kdesdk-*?
>
> Сейчас kdebase, собранный без самбы доползет, попробую довыложить
> оставшееся.
Что и требовалось доказать. Чините incoming@alt
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-July/004372.html
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-July/004376.html

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 636 bytes --]

On Wednesday 12 July 2006 13:05, Michael Shigorin wrote:
> On Tue, Jul 11, 2006 at 05:03:01PM +0400, Sergey V Turchin wrote:
> > А точнее, меня волнует, как залить ноавый kde, если 1 пакет
> > гарантированно не собирается из-за tmpfs, но он необходим для
> > сборки других пакетов из комплекта?
>
> incoming/BTE?.. (как аварийный случай, чтобы сейчас разгрестись;
> применять для тех, кто зуб даёт, что у него синхронизированный
> сизиф, типа мальтийцев)
Лично меня интересует конкретное решение от incoming@alt

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Бага , когда пакеты НЕ появляются в Сизифе

[Sergey V Turchin]

[-- Attachment #1: Type: text/plain, Size: 1150 bytes --]

On Wednesday 12 July 2006 01:33, Dmitry V. Levin wrote:

[...]
> Это вряд ли.  Есть логи всех скачиваний, можно специально
> проверить: basalt:/raid/download/log/devel/Sisyphus/2006/07/
> Если нет ошибки в скрипте закачки (что вряд ли), то ничего не
> теряется.
Логи закачки отличные. К ним претензий нет.
Попробую конкретный пример баги:
7.06 Были закачаны 2 пакета kdelibs-3.5.3-alt1 и kdeedu-3.5.3-alt1
http://lists.altlinux.org/pipermail/sisyphus-cybertalk/2006-June/002045.html
8.06 попытка сборки была только у 1-го - kdelibs-3.5.3-alt1
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/002504.html
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/002491.html
8.06 kdeedu-3.5.3-alt1 никто собрать не пытался
9.06 он был закачан повторно
http://lists.altlinux.org/pipermail/sisyphus-cybertalk/2006-June/002064.html
13.06 был собран
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/002642.html
http://lists.altlinux.org/pipermail/sisyphus-incominger/2006-June/002560.html

-- 
Regards, Sergey, ALT Linux Team, http://www.altlinux.ru
http://stinkfoot.org:11371/pks/lookup?op=get&search=0x1C2A3F08

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Igor Zubkov]

[-- Attachment #1: Type: text/plain, Size: 1458 bytes --]

Заранее извиняюсь за поздний ответ... Работы навалило выше крыши.

Итак...

В сообщении от 11 июля 2006 15:12 Alexey Gladkov написал(a):
> Igor Zubkov пишет:
> > Может добавим поддержку транзакций и возможностью этим управлять?
> >
> > Т.е. как пример можно взять kde. У нас есть ~15 пакетов которые сильно
> > зависят друг от друга. И если даже один пакет не собирается обрывать
> > транзакцию.
>
> Как узнать что транзакция начата и что это не одиночный коммит пакета?

Это другой вопрос. Я тут уже над этим размышлял и пришёл к такому. См. ниже.

> > Как идея?
>
> Основная проблема в том, что управдом не знает когда начнётся
> транзакция мантейнера и когда она закончится. Поэтому он считает
> транзакцией рядом лежащие пакеты.
>
> Я пробовал придумать что-нибудь рядом с notes на эту тему, но пока
> безуспешно.

У нас есть инкаминг. Пакеты которые ложатся в _корень_ /i/S/ должны просто 
собратся.

А для поддержки транзакций, можно сделать в /i/S/ какой-нибуть каталог в 
который будут ложить маинтейнеры пакеты на сборку. Мне это представляется 
как "transaction", в котором будут находится каталоги для каждого маинтейнера 
(возможно там ещё будут ещё подпапки, вдруг маинтейнеру захочется сделать 
несколько транзакций). Дальше, маинтейнер ложит пакеты в эту папку на сборку. 
После уже полной закачки всех пакетов, говорит touch .commit и заливает этот 
файл в эту же папку, подтвержая то, что транзакцию можно начать.

-- 
Placebo - Narcoleptic

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Когда пакеты появляются в Сизифе?

[Michael Shigorin]

On Thu, Jul 13, 2006 at 06:50:37PM +0300, Igor Zubkov wrote:
> А для поддержки транзакций, можно сделать в /i/S/ какой-нибуть
> каталог в который будут ложить маинтейнеры пакеты на сборку.
> Мне это представляется как "transaction", в котором будут
> находится каталоги для каждого маинтейнера (возможно там ещё
> будут ещё подпапки, вдруг маинтейнеру захочется сделать
> несколько транзакций). Дальше, маинтейнер ложит пакеты в эту
> папку на сборку.  После уже полной закачки всех пакетов,
> говорит touch .commit и заливает этот файл в эту же папку,
> подтвержая то, что транзакцию можно начать.

Выглядит здраво.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Когда пакеты появляются в Сизифе?

[Epiphanov Sergei]

В сообщении от Thursday 13 July 2006 19:50 Igor Zubkov написал(a):
> А для поддержки транзакций, можно сделать в /i/S/ какой-нибуть каталог в
> который будут ложить маинтейнеры пакеты на сборку. Мне это представляется
> как "transaction", в котором будут находится каталоги для каждого
> маинтейнера (возможно там ещё будут ещё подпапки, вдруг маинтейнеру
> захочется сделать несколько транзакций). Дальше, маинтейнер ложит пакеты в
> эту папку на сборку. После уже полной закачки всех пакетов, говорит touch
> .commit и заливает этот файл в эту же папку, подтвержая то, что транзакцию
> можно начать.

А если такой вариант: создать файл, например, с суффиксом .trans, куда по 
одной на строке запихнуть названия всех пакетов, которые бы надо было 
обработать в одной транзакции. Робот не начинает обработку перечисленных в 
этом файле пакетов до тех пор, пока или в incoming, или в Сизифе не появятся 
все указанные пакеты. Конечно, если пакеты уже в Сизифе, то не надо ничего 
пересобирать. Причём если из Сизифа можно потребовать наличие любого пакета, 
то в incoming должны попасть в транзакцию только свои пакеты. Если в 
incoming лежит требуемый пакет, но чужой, то задержать транзакцию до 
попадания чужого пакета в Сизиф. Что это даёт:

Есть 2 мантейнера: один работает с библиотекой libfoo, другой с программами 
bar1 на основе библиотеки libfoo и bar2 на основе bar1. Оба заливают, но 
второй в своей транзакции указывает, что ему нужен для сборки определённый 
пакет, дабы не было сборки программы с предыдущей версией. Тогда второй 
создаёт сначала в incoming файл пусть info1.trans, куда вписывает:

bar1-1.2.3.src.rpm
bar2-1.1.0.src.rpm
libfoo-2.0.2.src.rpm (ну или libfoo-2.0.2.i586.rpm)

Так как библиотека не его, то система должна начать сборку только тогда, 
когда libfoo соберётся и окажется в Сизифе. Можно придумать не полные имена, 
а частичные, например, вида

libfoo-2.0.0-*.rpm

После успешной транзакции файл транзакции удалить.

Выглядит несколько громоздко, но позволяет при необходимости определить 
очерёдность транзакций и не требует кучи каталогов. Просто у нас почему-то 
иногда проходит сборка со старыми библиотеками.

-- 
С уважением, Епифанов Сергей