* [devel] I: texlive 2016 is going to come
@ 2017-12-14 19:44 Igor Vlasenko
2017-12-14 20:59 ` Dmitry V. Levin
0 siblings, 1 reply; 19+ messages in thread
From: Igor Vlasenko @ 2017-12-14 19:44 UTC (permalink / raw)
To: devel
Уважаемые господа,
после обновления perl до 5.26
буду готовить обновление texlive в Сизифе.
За основу будет взята сборка texlive в Fedora или в Mageia.
Пожелания, замечания приветствуются.
--
I V
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 19:44 [devel] I: texlive 2016 is going to come Igor Vlasenko
@ 2017-12-14 20:59 ` Dmitry V. Levin
2017-12-14 21:26 ` Igor Vlasenko
0 siblings, 1 reply; 19+ messages in thread
From: Dmitry V. Levin @ 2017-12-14 20:59 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 397 bytes --]
On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote:
> Уважаемые господа,
>
> после обновления perl до 5.26
> буду готовить обновление texlive в Сизифе.
>
> За основу будет взята сборка texlive в Fedora или в Mageia.
Больше нигде texlive не пакуют?
Не делайте так, как в Федоре, пожалуйста - это ужас-ужас.
Расскажите, пожалуйста, как это сделано в Магейе.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 20:59 ` Dmitry V. Levin
@ 2017-12-14 21:26 ` Igor Vlasenko
2017-12-14 21:36 ` Dmitry V. Levin
2017-12-15 21:05 ` Kirill Maslinsky
0 siblings, 2 replies; 19+ messages in thread
From: Igor Vlasenko @ 2017-12-14 21:26 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote:
> On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote:
> > Уважаемые господа,
> >
> > после обновления perl до 5.26
> > буду готовить обновление texlive в Сизифе.
> >
> > За основу будет взята сборка texlive в Fedora или в Mageia.
>
> Больше нигде texlive не пакуют?
>
> Не делайте так, как в Федоре, пожалуйста - это ужас-ужас.
ужас-ужас это у нас, 8 лет не обновлялось.
Там просто, как я понимаю, ужас.
Хуже, чем уже есть, не будет.
Но хотелось бы конкретнее.
> Расскажите, пожалуйста, как это сделано в Магейе.
Лучше один раз увидеть, чем 100 раз услышать ;)
Готовые пакеты есть, их можно посмотреть в соотв.
репозиториях (Федора и Mageia).
мой предыдущий подход 2 года назад можно посмотреть на
http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/
--
I V
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 21:26 ` Igor Vlasenko
@ 2017-12-14 21:36 ` Dmitry V. Levin
2017-12-14 23:17 ` Andrey Savchenko
2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko
2017-12-15 21:05 ` Kirill Maslinsky
1 sibling, 2 replies; 19+ messages in thread
From: Dmitry V. Levin @ 2017-12-14 21:36 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 956 bytes --]
On Thu, Dec 14, 2017 at 11:26:23PM +0200, Igor Vlasenko wrote:
> On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote:
> > On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote:
> > > Уважаемые господа,
> > >
> > > после обновления perl до 5.26
> > > буду готовить обновление texlive в Сизифе.
> > >
> > > За основу будет взята сборка texlive в Fedora или в Mageia.
> >
> > Больше нигде texlive не пакуют?
> >
> > Не делайте так, как в Федоре, пожалуйста - это ужас-ужас.
>
> ужас-ужас это у нас, 8 лет не обновлялось.
>
> Там просто, как я понимаю, ужас.
> Хуже, чем уже есть, не будет.
> Но хотелось бы конкретнее.
Конкретнее:
$ grep -c ^Source fedora/texlive.spec
7318
$ grep -c ^%package fedora/texlive.spec
5930
Помимо того, что это неразумно, такой пакет у нас просто не соберётся
по времени.
Наша задача в скором будущем обеспечить собираемость *каждого* пакета
за 2 часа.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 21:36 ` Dmitry V. Levin
@ 2017-12-14 23:17 ` Andrey Savchenko
2017-12-14 23:38 ` Dmitry V. Levin
2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko
1 sibling, 1 reply; 19+ messages in thread
From: Andrey Savchenko @ 2017-12-14 23:17 UTC (permalink / raw)
To: ALT Linux Team development discussions
[-- Attachment #1: Type: text/plain, Size: 791 bytes --]
On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote:
[...]
> Конкретнее:
>
> $ grep -c ^Source fedora/texlive.spec
> 7318
> $ grep -c ^%package fedora/texlive.spec
> 5930
>
> Помимо того, что это неразумно, такой пакет у нас просто не соберётся
> по времени.
>
> Наша задача в скором будущем обеспечить собираемость *каждого* пакета
> за 2 часа.
Чего ради столь жесткое ограничение? В зависимости от железа, тот
же guile22, libreoffice или chromium в 2 часа не соберётся,
особенно в один поток.
Best regards,
Andrew Savchenko
[-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 23:17 ` Andrey Savchenko
@ 2017-12-14 23:38 ` Dmitry V. Levin
2017-12-15 4:23 ` Denis Medvedev
2017-12-15 11:32 ` Igor Vlasenko
0 siblings, 2 replies; 19+ messages in thread
From: Dmitry V. Levin @ 2017-12-14 23:38 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 1398 bytes --]
On Fri, Dec 15, 2017 at 02:17:59AM +0300, Andrey Savchenko wrote:
> On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote:
> [...]
> > Конкретнее:
> >
> > $ grep -c ^Source fedora/texlive.spec
> > 7318
> > $ grep -c ^%package fedora/texlive.spec
> > 5930
> >
> > Помимо того, что это неразумно, такой пакет у нас просто не соберётся
> > по времени.
> >
> > Наша задача в скором будущем обеспечить собираемость *каждого* пакета
> > за 2 часа.
>
> Чего ради столь жесткое ограничение? В зависимости от железа, тот
> же guile22, libreoffice или chromium в 2 часа не соберётся,
> особенно в один поток.
Допустим, что мы исправили собираемость всех пакетов в Сизифе. Тогда,
если у нас есть достаточно производительное железо и нет ограничения
сборки в один поток, то мы можем выявлять потенциальные сборочные
регрессии в репозитории при сборке новых пакетов достаточно быстро
(скажем, до 2 часов), чтобы позволить себе включить пересборочный
тест для каждого задания (привет at@).
Есть и другие мысли, которые можно было бы реализовать, если бы сборка
самого долго собирающегося пакета укладывалась бы в относительно небольшой
временной интервал.
Разумеется, всё это касается только тех архитектур, для которых может быть
достаточно производительное железо (x86_64, aarch64).
На остальных архитектурах придётся довольствоваться тем, что есть.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 23:38 ` Dmitry V. Levin
@ 2017-12-15 4:23 ` Denis Medvedev
2017-12-15 4:52 ` Anton Farygin
2017-12-15 11:32 ` Igor Vlasenko
1 sibling, 1 reply; 19+ messages in thread
From: Denis Medvedev @ 2017-12-15 4:23 UTC (permalink / raw)
To: ALT Devel discussion list
On пятница, 15 декабря 2017 г. 2:38:00 MSK Dmitry V. Levin wrote:
> On Fri, Dec 15, 2017 at 02:17:59AM +0300, Andrey Savchenko wrote:
> > On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote:
> > [...]
> >
> > > Конкретнее:
> > >
> > > $ grep -c ^Source fedora/texlive.spec
> > > 7318
> > > $ grep -c ^%package fedora/texlive.spec
> > > 5930
> > >
> > > Помимо того, что это неразумно, такой пакет у нас просто не соберётся
> > > по времени.
> > >
> > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета
> > > за 2 часа.
> >
> > Чего ради столь жесткое ограничение? В зависимости от железа, тот
> > же guile22, libreoffice или chromium в 2 часа не соберётся,
> > особенно в один поток.
>
> Допустим, что мы исправили собираемость всех пакетов в Сизифе. Тогда,
> если у нас есть достаточно производительное железо и нет ограничения
> сборки в один поток, то мы можем выявлять потенциальные сборочные
> регрессии в репозитории при сборке новых пакетов достаточно быстро
> (скажем, до 2 часов), чтобы позволить себе включить пересборочный
> тест для каждого задания (привет at@).
>
> Есть и другие мысли, которые можно было бы реализовать, если бы сборка
> самого долго собирающегося пакета укладывалась бы в относительно небольшой
> временной интервал.
>
> Разумеется, всё это касается только тех архитектур, для которых может быть
> достаточно производительное железо (x86_64, aarch64).
> На остальных архитектурах придётся довольствоваться тем, что есть.
Я правильно понимаю, что ограничение в один поток на сборочнице будет снято?!
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-15 4:23 ` Denis Medvedev
@ 2017-12-15 4:52 ` Anton Farygin
0 siblings, 0 replies; 19+ messages in thread
From: Anton Farygin @ 2017-12-15 4:52 UTC (permalink / raw)
To: ALT Linux Team development discussions, Denis Medvedev
15.12.2017 07:23, Denis Medvedev пишет:
>> Разумеется, всё это касается только тех архитектур, для которых может быть
>> достаточно производительное железо (x86_64, aarch64).
>> На остальных архитектурах придётся довольствоваться тем, что есть.
> Я правильно понимаю, что ограничение в один поток на сборочнице будет снято?!
Речь идёт про пересборку репозитория за два часа, а не сборку одного
пакета за два часа.
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 21:36 ` Dmitry V. Levin
2017-12-14 23:17 ` Andrey Savchenko
@ 2017-12-15 11:14 ` Igor Vlasenko
1 sibling, 0 replies; 19+ messages in thread
From: Igor Vlasenko @ 2017-12-15 11:14 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Fri, Dec 15, 2017 at 12:36:38AM +0300, Dmitry V. Levin wrote:
> Конкретнее:
>
> $ grep -c ^Source fedora/texlive.spec
> 7318
> $ grep -c ^%package fedora/texlive.spec
> 5930
>
> Помимо того, что это неразумно, такой пакет у нас просто не соберётся
> по времени.
А. В этом вопрос. Тогда можно не опасаться.
Пакет собирается достаточно быстро
(как я помню, 2 года назад было менее 30 мин).
С этими 7318/5930 происходит распаковка и копирование,
очень быстрый процесс. А вот если бы я вдруг нагенерировал бы
7318/5930 малых пакетов, то время сборки увеличилось бы
на 7318/5930 * (create chroot+instal deps).
Тогда их за 2 часа и в 32 потока не собрать.
--
I V
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 23:38 ` Dmitry V. Levin
2017-12-15 4:23 ` Denis Medvedev
@ 2017-12-15 11:32 ` Igor Vlasenko
2017-12-15 11:41 ` Dmitry V. Levin
1 sibling, 1 reply; 19+ messages in thread
From: Igor Vlasenko @ 2017-12-15 11:32 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Fri, Dec 15, 2017 at 02:38:00AM +0300, Dmitry V. Levin wrote:
> > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета
> > > за 2 часа.
Задача вполне разумная, если поддерживать списки исключений.
Без них же вспоминается анекдот.
- Хочу предложить вашему предприятию последнее своё изобретение. Это автомат для бритья. Клиент опускает монеты, просовывает голову в отверстие, и две бритвы начинают его гладко брить. boro.da33.ru
- Но ведь у каждого человека индивидуальное строение лица.
- В первый раз да!
Еще вспоминается Прокрустово ложе со схожим идеологическим обоснованием.
С гибким списком исключений можно обеспечить релевантную пересборку и за 1 час.
А пакеты, которые не вписываются в ограничение 2 часа, есть.
Сначала cross-gcc не влезал в тайминги,
приходилось его кастрировать, выбрасывая 2 десятка архитектур.
Потом новый libint стал собираться 8 часов, при чем там уже ничего не отрежешь.
повесил
https://bugzilla.altlinux.org/show_bug.cgi?id=31683
"big packages: an option to adjust hasher-priv time elapsed limit in task run"
Решения, как собрать такой пакет в Сизиф, нет.
Плюнул, собрал в autoimports :(
Но не у всех есть свой autoimports.
--
I V
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-15 11:32 ` Igor Vlasenko
@ 2017-12-15 11:41 ` Dmitry V. Levin
2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin
0 siblings, 1 reply; 19+ messages in thread
From: Dmitry V. Levin @ 2017-12-15 11:41 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 1386 bytes --]
On Fri, Dec 15, 2017 at 01:32:55PM +0200, Igor Vlasenko wrote:
> On Fri, Dec 15, 2017 at 02:38:00AM +0300, Dmitry V. Levin wrote:
> > > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета
> > > > за 2 часа.
>
> Задача вполне разумная, если поддерживать списки исключений.
>
> Без них же вспоминается анекдот.
>
> - Хочу предложить вашему предприятию последнее своё изобретение. Это автомат для бритья. Клиент опускает монеты, просовывает голову в отверстие, и две бритвы начинают его гладко брить. boro.da33.ru
> - Но ведь у каждого человека индивидуальное строение лица.
> - В первый раз да!
>
> Еще вспоминается Прокрустово ложе со схожим идеологическим обоснованием.
> С гибким списком исключений можно обеспечить релевантную пересборку и за 1 час.
>
> А пакеты, которые не вписываются в ограничение 2 часа, есть.
>
> Сначала cross-gcc не влезал в тайминги,
> приходилось его кастрировать, выбрасывая 2 десятка архитектур.
Этот пакет паталогически устроен: неправильно собирать один и тот же код
последовательно под зиллион архитектур. Надеюсь, glebfm@ исправит.
> Потом новый libint стал собираться 8 часов, при чем там уже ничего не отрежешь.
Значит, можно распараллелить.
Если пакет собирается вечность и сборка не распараллеливается тем
или иным способом, значит, кто-то этот пакет неправильно собирает.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-14 21:26 ` Igor Vlasenko
2017-12-14 21:36 ` Dmitry V. Levin
@ 2017-12-15 21:05 ` Kirill Maslinsky
2017-12-19 15:16 ` Igor Vlasenko
1 sibling, 1 reply; 19+ messages in thread
From: Kirill Maslinsky @ 2017-12-15 21:05 UTC (permalink / raw)
To: ALT Linux Team development discussions
Igor Vlasenko writes:
> On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote:
>> On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote:
>> > после обновления perl до 5.26
>> > буду готовить обновление texlive в Сизифе.
Здорово! Спасибо, Игорь.
>> > За основу будет взята сборка texlive в Fedora или в Mageia.
[...]
>> Не делайте так, как в Федоре, пожалуйста - это ужас-ужас.
>
> ужас-ужас это у нас, 8 лет не обновлялось.
Это верно. Но, кстати, проблема с обновлением была вызвана отчасти тем,
что 8 лет назад я принял неудачное решение паковать texlive, основываясь
на пакетах из Дебиана. Была идея оседлать ветер^Wэкспертизу дебиана, и
на этом сэкономить. Практика показала, что для интеграции пришлось
написать немало нетривиального кода, нагородить очень сложную структуру
репозитория, предполагающую многоступенчатый мердж, в которой никто
не мог и не хотел разбираться через полгода, включая меня. А задачи и
инфраструктура у нас были все равно настолько другие, что гораздо больше
в пакетах в итоге было заново переделано, чем заимствовано из дебиана.
Коротко говоря, идея «сделать как у других» не оправдалась.
> Там просто, как я понимаю, ужас.
> Хуже, чем уже есть, не будет.
> Но хотелось бы конкретнее.
Мне кажется, в современной ситуации засилья внешних пакетных менеджеров
у каждой на что-то претендующей подсистемы, целесообразной схемой будет:
1. Упаковка бинарных программ texlive (из дерева Build/source) в один или
несколько пакетов (более-менее как было, texlive-base-bin и т.п.)
2. Упаковка минимальной доли данных (texmf-dist), необходимых для работы
базовых программ (форматы, переносы, что-то еще), чтобы получился пакет,
напрмиер, latex-base, которым можно было бы скомпилировать латеховский
документ, не использующий внешних пакетов или использующий какое-то
минимальное подмножество. Эта задача не совсем тривиальная (потому что
апстим ее вовсе себе не ставит, не знаю — ставят ли другие
дистрибутивы), но вполне разрешимая. Обеспечить тем самым востребованное
для сборки подмножество латеха для сборочной среды.
3. Упаковка апстримного tlmgr для того, чтобы пользователи могли с его
помощью устанавливать и обновлять себе отдельные латеховские пакеты
(теперь же уже каждый сам себе пакетный менеджер, почему бы и техливу не
разрешить). Может быть, с каким-то патчем, чтобы ядро (texlive-base-bin)
tlmgr не трогал, только все остальное.
4. Обеспечить упаковку отдельных латеховских модулей в виде пакетов в
Сизифе, примерно (или точно) по нашему старому ТеХ-полиси:
https://www.altlinux.org/TeX_Policy
Вообще полиси можно перечитать свежим взглядом и сформулировать, что в
нем устарело, и почему.
> мой предыдущий подход 2 года назад можно посмотреть на
> http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/
А что тогда помешало закончить, если это что-то техническое?
--
КМ
^ permalink raw reply [flat|nested] 19+ messages in thread
* [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come)
2017-12-15 11:41 ` Dmitry V. Levin
@ 2017-12-18 8:52 ` Michael Shigorin
2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev
2017-12-18 23:30 ` Dmitry V. Levin
0 siblings, 2 replies; 19+ messages in thread
From: Michael Shigorin @ 2017-12-18 8:52 UTC (permalink / raw)
To: devel
On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote:
> > Потом новый libint стал собираться 8 часов,
> > причем там уже ничего не отрежешь.
> Значит, можно распараллелить.
...с nprocs=1, ага (речь же явно шла про git.alt).
Дим, тут действительно напрашивается минимум два варианта --
причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой
смысл вообще по-разному выбирать железо для сборочниц.
Лично меня вполне бы устроил для начала флажок "тяжёлый пакет",
выставляемый на git.alt административно и отправляющий пакет при
сборке на "тяжёлый" узел. Заодно это позволило бы поднять
степень параллелизма при сборке "лёгких" пакетов даже на
имеющемся прямо сейчас оборудовании -- например, можно один
из узлов выделить в "тяжёлый", три остальных определить
"лёгкими". Возможно, для "тяжёлых" разрешать и параллельную
сборку, хотя тогда ожидаемы поползновения насчёт границы.
А в дальнейшем можно поставить один быстрый (и дорогой) сервер
на обмолот в первую очередь "тяжёлых" заданий, остальные же
разгребать оптимальными по цене процессорами как при текущей
сборке в репозитории, так и при пересборках разного толка.
И в ещё более дальнейшем автоматизировать "развесовку" с учётом
реально потребляемых при сборке ресурсов, желательно с историей.
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются
2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin
@ 2017-12-18 10:36 ` Denis Medvedev
2017-12-18 11:00 ` Aleksei Nikiforov
2017-12-18 23:30 ` Dmitry V. Levin
1 sibling, 1 reply; 19+ messages in thread
From: Denis Medvedev @ 2017-12-18 10:36 UTC (permalink / raw)
To: ALT Linux Team development discussions, Michael Shigorin
On 12/18/2017 11:52 AM, Michael Shigorin wrote:
> On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote:
>>> Потом новый libint стал собираться 8 часов,
>>> причем там уже ничего не отрежешь.
>> Значит, можно распараллелить.
> ...с nprocs=1, ага (речь же явно шла про git.alt).
>
> Дим, тут действительно напрашивается минимум два варианта --
> причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой
> смысл вообще по-разному выбирать железо для сборочниц.
>
> Лично меня вполне бы устроил для начала флажок "тяжёлый пакет",
> выставляемый на git.alt административно и отправляющий пакет при
> сборке на "тяжёлый" узел. Заодно это позволило бы поднять
> степень параллелизма при сборке "лёгких" пакетов даже на
> имеющемся прямо сейчас оборудовании -- например, можно один
> из узлов выделить в "тяжёлый", три остальных определить
> "лёгкими". Возможно, для "тяжёлых" разрешать и параллельную
> сборку, хотя тогда ожидаемы поползновения насчёт границы.
> сторией.
>
Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме -
тоже за.
А вот коммитить я бы разрешал только задания, собранные без параллельной
сборки.
То есть отладился c test-only, parallel=yes, запустил test-only,
parallel=no и закоммитил в репозиторий.
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются
2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev
@ 2017-12-18 11:00 ` Aleksei Nikiforov
2017-12-18 11:11 ` Denis Medvedev
0 siblings, 1 reply; 19+ messages in thread
From: Aleksei Nikiforov @ 2017-12-18 11:00 UTC (permalink / raw)
To: devel
Здравствуйте.
18.12.2017 13:36, Denis Medvedev пишет:
> On 12/18/2017 11:52 AM, Michael Shigorin wrote:
> Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме -
> тоже за.
> А вот коммитить я бы разрешал только задания, собранные без параллельной
> сборки.
> То есть отладился c test-only, parallel=yes, запустил test-only,
> parallel=no и закоммитил в репозиторий.
У меня есть вопрос: почему коммиттить только без параллельной сборки?
Чем обосновано такое ограничение? Есть ли причины кроме "исторически так
сложилось"?
С уважением,
Алексей Никифоров
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются
2017-12-18 11:00 ` Aleksei Nikiforov
@ 2017-12-18 11:11 ` Denis Medvedev
2017-12-18 12:06 ` Sergey Bolshakov
0 siblings, 1 reply; 19+ messages in thread
From: Denis Medvedev @ 2017-12-18 11:11 UTC (permalink / raw)
To: ALT Linux Team development discussions, Aleksei Nikiforov
On 12/18/2017 02:00 PM, Aleksei Nikiforov wrote:
> Здравствуйте.
>
> 18.12.2017 13:36, Denis Medvedev пишет:
>> On 12/18/2017 11:52 AM, Michael Shigorin wrote:
>> Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме
>> - тоже за.
>> А вот коммитить я бы разрешал только задания, собранные без
>> параллельной сборки.
>> То есть отладился c test-only, parallel=yes, запустил test-only,
>> parallel=no и закоммитил в репозиторий.
> У меня есть вопрос: почему коммиттить только без параллельной сборки?
> Чем обосновано такое ограничение? Есть ли причины кроме "исторически
> так сложилось"?
Cостояние гонки при сборке дистрибутива приводит к крайне интересным
эффектам при попытке пересобрать такой пакет повторно...
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются
2017-12-18 11:11 ` Denis Medvedev
@ 2017-12-18 12:06 ` Sergey Bolshakov
0 siblings, 0 replies; 19+ messages in thread
From: Sergey Bolshakov @ 2017-12-18 12:06 UTC (permalink / raw)
To: devel
>>>>> "Denis" == Denis Medvedev <nbr-u2l5PoMzF/Vg9hUCZPvPmw@public.gmane.org> writes:
> On 12/18/2017 02:00 PM, Aleksei Nikiforov wrote:
>> Здравствуйте.
>>
>> 18.12.2017 13:36, Denis Medvedev пишет:
>>> On 12/18/2017 11:52 AM, Michael Shigorin wrote:
>>> Тяжелые узлы - за, возможность параллельной сборки в тестовом
>>> режиме - тоже за.
>>> А вот коммитить я бы разрешал только задания, собранные без
>>> параллельной сборки.
>>> То есть отладился c test-only, parallel=yes, запустил test-only,
>>> parallel=no и закоммитил в репозиторий.
>> У меня есть вопрос: почему коммиттить только без параллельной
>> сборки? Чем обосновано такое ограничение? Есть ли причины кроме
>> "исторически так сложилось"?
> Cостояние гонки при сборке дистрибутива приводит к крайне интересным
> эффектам при попытке пересобрать такой пакет повторно...
По очевидным причинам сборка на arm уже несколько лет происходит
в несколько (сейчас 8) потоков, каких-либо разломов по этой причине
не припомню.
--
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются
2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin
2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev
@ 2017-12-18 23:30 ` Dmitry V. Levin
1 sibling, 0 replies; 19+ messages in thread
From: Dmitry V. Levin @ 2017-12-18 23:30 UTC (permalink / raw)
To: ALT Devel discussion list
[-- Attachment #1: Type: text/plain, Size: 1877 bytes --]
On Mon, Dec 18, 2017 at 11:52:47AM +0300, Michael Shigorin wrote:
> On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote:
> > > Потом новый libint стал собираться 8 часов,
> > > причем там уже ничего не отрежешь.
> > Значит, можно распараллелить.
>
> ...с nprocs=1, ага (речь же явно шла про git.alt).
Ну давайте уберём nprocs=1, если мешает.
> Дим, тут действительно напрашивается минимум два варианта --
> причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой
> смысл вообще по-разному выбирать железо для сборочниц.
Почему? Это *совершенно* не очевидно.
Поделись, если ты делал какие-то замеры на эту тему.
> Лично меня вполне бы устроил для начала флажок "тяжёлый пакет",
> выставляемый на git.alt административно и отправляющий пакет при
> сборке на "тяжёлый" узел. Заодно это позволило бы поднять
> степень параллелизма при сборке "лёгких" пакетов даже на
> имеющемся прямо сейчас оборудовании -- например, можно один
> из узлов выделить в "тяжёлый", три остальных определить
> "лёгкими". Возможно, для "тяжёлых" разрешать и параллельную
> сборку, хотя тогда ожидаемы поползновения насчёт границы.
Такие костыли никто не захочет реализовывать, насколько я понимаю.
> А в дальнейшем можно поставить один быстрый (и дорогой) сервер
> на обмолот в первую очередь "тяжёлых" заданий, остальные же
> разгребать оптимальными по цене процессорами как при текущей
> сборке в репозитории, так и при пересборках разного толка.
Да не нужен никакой быстрый и дорогой сервер, если даже самый тяжёлый
пакет, который есть в Сизифе (chromium), на совершенно бюджетных
2 * E5-2620v4 сейчас собирается с -j16 примерно за час.
> И в ещё более дальнейшем автоматизировать "развесовку" с учётом
> реально потребляемых при сборке ресурсов, желательно с историей.
Это подразумевается сразу, а не в дальнейшем.
--
ldv
[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]
^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come
2017-12-15 21:05 ` Kirill Maslinsky
@ 2017-12-19 15:16 ` Igor Vlasenko
0 siblings, 0 replies; 19+ messages in thread
From: Igor Vlasenko @ 2017-12-19 15:16 UTC (permalink / raw)
To: ALT Linux Team development discussions
On Fri, Dec 15, 2017 at 10:05:31PM +0100, Kirill Maslinsky wrote:
Спасибо большое!
> > мой предыдущий подход 2 года назад можно посмотреть на
> > http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/
> А что тогда помешало закончить, если это что-то техническое?
Была одна техническая причина, не уверен был, насколько хорошо
были прописаны конфликты и Obsoletes для беспроблемного обновления
(в настоящее время достаточно тривиально решается с помощью distromap)
и вторая, был сильно загружен, и не хотел брать ответственность
за такой важный пакет.
Обе причины сейчас не так актуальны.
> Мне кажется, в современной ситуации засилья внешних пакетных менеджеров
> у каждой на что-то претендующей подсистемы, целесообразной схемой будет:
>
> 1. Упаковка бинарных программ texlive (из дерева Build/source) в один или
> несколько пакетов (более-менее как было, texlive-base-bin и т.п.)
>
> 2. Упаковка минимальной доли данных (texmf-dist), необходимых для работы
> базовых программ (форматы, переносы, что-то еще), чтобы получился пакет,
> напрмиер, latex-base, которым можно было бы скомпилировать латеховский
> документ, не использующий внешних пакетов или использующий какое-то
> минимальное подмножество. Эта задача не совсем тривиальная (потому что
> апстим ее вовсе себе не ставит, не знаю — ставят ли другие
> дистрибутивы), но вполне разрешимая. Обеспечить тем самым востребованное
> для сборки подмножество латеха для сборочной среды.
>
> 3. Упаковка апстримного tlmgr для того, чтобы пользователи могли с его
> помощью устанавливать и обновлять себе отдельные латеховские пакеты
> (теперь же уже каждый сам себе пакетный менеджер, почему бы и техливу не
> разрешить). Может быть, с каким-то патчем, чтобы ядро (texlive-base-bin)
> tlmgr не трогал, только все остальное.
>
> 4. Обеспечить упаковку отдельных латеховских модулей в виде пакетов в
> Сизифе, примерно (или точно) по нашему старому ТеХ-полиси:
> https://www.altlinux.org/TeX_Policy
>
> Вообще полиси можно перечитать свежим взглядом и сформулировать, что в
> нем устарело, и почему.
Хочу 4) сохранить в любом случае.
3) - tlmgr -- я переносил прошлый раз код с нашего texlive,
попытаюсь и в этот раз.
По поводу 1)-2) есть некоторые детали,
попробую написать в отдельном письме.
--
I V
^ permalink raw reply [flat|nested] 19+ messages in thread
end of thread, other threads:[~2017-12-19 15:16 UTC | newest]
Thread overview: 19+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2017-12-14 19:44 [devel] I: texlive 2016 is going to come Igor Vlasenko
2017-12-14 20:59 ` Dmitry V. Levin
2017-12-14 21:26 ` Igor Vlasenko
2017-12-14 21:36 ` Dmitry V. Levin
2017-12-14 23:17 ` Andrey Savchenko
2017-12-14 23:38 ` Dmitry V. Levin
2017-12-15 4:23 ` Denis Medvedev
2017-12-15 4:52 ` Anton Farygin
2017-12-15 11:32 ` Igor Vlasenko
2017-12-15 11:41 ` Dmitry V. Levin
2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin
2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev
2017-12-18 11:00 ` Aleksei Nikiforov
2017-12-18 11:11 ` Denis Medvedev
2017-12-18 12:06 ` Sergey Bolshakov
2017-12-18 23:30 ` Dmitry V. Levin
2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko
2017-12-15 21:05 ` Kirill Maslinsky
2017-12-19 15:16 ` Igor Vlasenko
ALT Linux Team development discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \
devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru
public-inbox-index devel
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.devel
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git