* [devel] I: texlive 2016 is going to come @ 2017-12-14 19:44 Igor Vlasenko 2017-12-14 20:59 ` Dmitry V. Levin 0 siblings, 1 reply; 19+ messages in thread From: Igor Vlasenko @ 2017-12-14 19:44 UTC (permalink / raw) To: devel Уважаемые господа, после обновления perl до 5.26 буду готовить обновление texlive в Сизифе. За основу будет взята сборка texlive в Fedora или в Mageia. Пожелания, замечания приветствуются. -- I V ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 19:44 [devel] I: texlive 2016 is going to come Igor Vlasenko @ 2017-12-14 20:59 ` Dmitry V. Levin 2017-12-14 21:26 ` Igor Vlasenko 0 siblings, 1 reply; 19+ messages in thread From: Dmitry V. Levin @ 2017-12-14 20:59 UTC (permalink / raw) To: ALT Devel discussion list [-- Attachment #1: Type: text/plain, Size: 397 bytes --] On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote: > Уважаемые господа, > > после обновления perl до 5.26 > буду готовить обновление texlive в Сизифе. > > За основу будет взята сборка texlive в Fedora или в Mageia. Больше нигде texlive не пакуют? Не делайте так, как в Федоре, пожалуйста - это ужас-ужас. Расскажите, пожалуйста, как это сделано в Магейе. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 20:59 ` Dmitry V. Levin @ 2017-12-14 21:26 ` Igor Vlasenko 2017-12-14 21:36 ` Dmitry V. Levin 2017-12-15 21:05 ` Kirill Maslinsky 0 siblings, 2 replies; 19+ messages in thread From: Igor Vlasenko @ 2017-12-14 21:26 UTC (permalink / raw) To: ALT Linux Team development discussions On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote: > On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote: > > Уважаемые господа, > > > > после обновления perl до 5.26 > > буду готовить обновление texlive в Сизифе. > > > > За основу будет взята сборка texlive в Fedora или в Mageia. > > Больше нигде texlive не пакуют? > > Не делайте так, как в Федоре, пожалуйста - это ужас-ужас. ужас-ужас это у нас, 8 лет не обновлялось. Там просто, как я понимаю, ужас. Хуже, чем уже есть, не будет. Но хотелось бы конкретнее. > Расскажите, пожалуйста, как это сделано в Магейе. Лучше один раз увидеть, чем 100 раз услышать ;) Готовые пакеты есть, их можно посмотреть в соотв. репозиториях (Федора и Mageia). мой предыдущий подход 2 года назад можно посмотреть на http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/ -- I V ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 21:26 ` Igor Vlasenko @ 2017-12-14 21:36 ` Dmitry V. Levin 2017-12-14 23:17 ` Andrey Savchenko 2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko 2017-12-15 21:05 ` Kirill Maslinsky 1 sibling, 2 replies; 19+ messages in thread From: Dmitry V. Levin @ 2017-12-14 21:36 UTC (permalink / raw) To: ALT Devel discussion list [-- Attachment #1: Type: text/plain, Size: 956 bytes --] On Thu, Dec 14, 2017 at 11:26:23PM +0200, Igor Vlasenko wrote: > On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote: > > On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote: > > > Уважаемые господа, > > > > > > после обновления perl до 5.26 > > > буду готовить обновление texlive в Сизифе. > > > > > > За основу будет взята сборка texlive в Fedora или в Mageia. > > > > Больше нигде texlive не пакуют? > > > > Не делайте так, как в Федоре, пожалуйста - это ужас-ужас. > > ужас-ужас это у нас, 8 лет не обновлялось. > > Там просто, как я понимаю, ужас. > Хуже, чем уже есть, не будет. > Но хотелось бы конкретнее. Конкретнее: $ grep -c ^Source fedora/texlive.spec 7318 $ grep -c ^%package fedora/texlive.spec 5930 Помимо того, что это неразумно, такой пакет у нас просто не соберётся по времени. Наша задача в скором будущем обеспечить собираемость *каждого* пакета за 2 часа. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 21:36 ` Dmitry V. Levin @ 2017-12-14 23:17 ` Andrey Savchenko 2017-12-14 23:38 ` Dmitry V. Levin 2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko 1 sibling, 1 reply; 19+ messages in thread From: Andrey Savchenko @ 2017-12-14 23:17 UTC (permalink / raw) To: ALT Linux Team development discussions [-- Attachment #1: Type: text/plain, Size: 791 bytes --] On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote: [...] > Конкретнее: > > $ grep -c ^Source fedora/texlive.spec > 7318 > $ grep -c ^%package fedora/texlive.spec > 5930 > > Помимо того, что это неразумно, такой пакет у нас просто не соберётся > по времени. > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета > за 2 часа. Чего ради столь жесткое ограничение? В зависимости от железа, тот же guile22, libreoffice или chromium в 2 часа не соберётся, особенно в один поток. Best regards, Andrew Savchenko [-- Attachment #2: Type: application/pgp-signature, Size: 833 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 23:17 ` Andrey Savchenko @ 2017-12-14 23:38 ` Dmitry V. Levin 2017-12-15 4:23 ` Denis Medvedev 2017-12-15 11:32 ` Igor Vlasenko 0 siblings, 2 replies; 19+ messages in thread From: Dmitry V. Levin @ 2017-12-14 23:38 UTC (permalink / raw) To: ALT Devel discussion list [-- Attachment #1: Type: text/plain, Size: 1398 bytes --] On Fri, Dec 15, 2017 at 02:17:59AM +0300, Andrey Savchenko wrote: > On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote: > [...] > > Конкретнее: > > > > $ grep -c ^Source fedora/texlive.spec > > 7318 > > $ grep -c ^%package fedora/texlive.spec > > 5930 > > > > Помимо того, что это неразумно, такой пакет у нас просто не соберётся > > по времени. > > > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета > > за 2 часа. > > Чего ради столь жесткое ограничение? В зависимости от железа, тот > же guile22, libreoffice или chromium в 2 часа не соберётся, > особенно в один поток. Допустим, что мы исправили собираемость всех пакетов в Сизифе. Тогда, если у нас есть достаточно производительное железо и нет ограничения сборки в один поток, то мы можем выявлять потенциальные сборочные регрессии в репозитории при сборке новых пакетов достаточно быстро (скажем, до 2 часов), чтобы позволить себе включить пересборочный тест для каждого задания (привет at@). Есть и другие мысли, которые можно было бы реализовать, если бы сборка самого долго собирающегося пакета укладывалась бы в относительно небольшой временной интервал. Разумеется, всё это касается только тех архитектур, для которых может быть достаточно производительное железо (x86_64, aarch64). На остальных архитектурах придётся довольствоваться тем, что есть. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 23:38 ` Dmitry V. Levin @ 2017-12-15 4:23 ` Denis Medvedev 2017-12-15 4:52 ` Anton Farygin 2017-12-15 11:32 ` Igor Vlasenko 1 sibling, 1 reply; 19+ messages in thread From: Denis Medvedev @ 2017-12-15 4:23 UTC (permalink / raw) To: ALT Devel discussion list On пятница, 15 декабря 2017 г. 2:38:00 MSK Dmitry V. Levin wrote: > On Fri, Dec 15, 2017 at 02:17:59AM +0300, Andrey Savchenko wrote: > > On Fri, 15 Dec 2017 00:36:38 +0300 Dmitry V. Levin wrote: > > [...] > > > > > Конкретнее: > > > > > > $ grep -c ^Source fedora/texlive.spec > > > 7318 > > > $ grep -c ^%package fedora/texlive.spec > > > 5930 > > > > > > Помимо того, что это неразумно, такой пакет у нас просто не соберётся > > > по времени. > > > > > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета > > > за 2 часа. > > > > Чего ради столь жесткое ограничение? В зависимости от железа, тот > > же guile22, libreoffice или chromium в 2 часа не соберётся, > > особенно в один поток. > > Допустим, что мы исправили собираемость всех пакетов в Сизифе. Тогда, > если у нас есть достаточно производительное железо и нет ограничения > сборки в один поток, то мы можем выявлять потенциальные сборочные > регрессии в репозитории при сборке новых пакетов достаточно быстро > (скажем, до 2 часов), чтобы позволить себе включить пересборочный > тест для каждого задания (привет at@). > > Есть и другие мысли, которые можно было бы реализовать, если бы сборка > самого долго собирающегося пакета укладывалась бы в относительно небольшой > временной интервал. > > Разумеется, всё это касается только тех архитектур, для которых может быть > достаточно производительное железо (x86_64, aarch64). > На остальных архитектурах придётся довольствоваться тем, что есть. Я правильно понимаю, что ограничение в один поток на сборочнице будет снято?! ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-15 4:23 ` Denis Medvedev @ 2017-12-15 4:52 ` Anton Farygin 0 siblings, 0 replies; 19+ messages in thread From: Anton Farygin @ 2017-12-15 4:52 UTC (permalink / raw) To: ALT Linux Team development discussions, Denis Medvedev 15.12.2017 07:23, Denis Medvedev пишет: >> Разумеется, всё это касается только тех архитектур, для которых может быть >> достаточно производительное железо (x86_64, aarch64). >> На остальных архитектурах придётся довольствоваться тем, что есть. > Я правильно понимаю, что ограничение в один поток на сборочнице будет снято?! Речь идёт про пересборку репозитория за два часа, а не сборку одного пакета за два часа. ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 23:38 ` Dmitry V. Levin 2017-12-15 4:23 ` Denis Medvedev @ 2017-12-15 11:32 ` Igor Vlasenko 2017-12-15 11:41 ` Dmitry V. Levin 1 sibling, 1 reply; 19+ messages in thread From: Igor Vlasenko @ 2017-12-15 11:32 UTC (permalink / raw) To: ALT Linux Team development discussions On Fri, Dec 15, 2017 at 02:38:00AM +0300, Dmitry V. Levin wrote: > > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета > > > за 2 часа. Задача вполне разумная, если поддерживать списки исключений. Без них же вспоминается анекдот. - Хочу предложить вашему предприятию последнее своё изобретение. Это автомат для бритья. Клиент опускает монеты, просовывает голову в отверстие, и две бритвы начинают его гладко брить. boro.da33.ru - Но ведь у каждого человека индивидуальное строение лица. - В первый раз да! Еще вспоминается Прокрустово ложе со схожим идеологическим обоснованием. С гибким списком исключений можно обеспечить релевантную пересборку и за 1 час. А пакеты, которые не вписываются в ограничение 2 часа, есть. Сначала cross-gcc не влезал в тайминги, приходилось его кастрировать, выбрасывая 2 десятка архитектур. Потом новый libint стал собираться 8 часов, при чем там уже ничего не отрежешь. повесил https://bugzilla.altlinux.org/show_bug.cgi?id=31683 "big packages: an option to adjust hasher-priv time elapsed limit in task run" Решения, как собрать такой пакет в Сизиф, нет. Плюнул, собрал в autoimports :( Но не у всех есть свой autoimports. -- I V ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-15 11:32 ` Igor Vlasenko @ 2017-12-15 11:41 ` Dmitry V. Levin 2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin 0 siblings, 1 reply; 19+ messages in thread From: Dmitry V. Levin @ 2017-12-15 11:41 UTC (permalink / raw) To: ALT Devel discussion list [-- Attachment #1: Type: text/plain, Size: 1386 bytes --] On Fri, Dec 15, 2017 at 01:32:55PM +0200, Igor Vlasenko wrote: > On Fri, Dec 15, 2017 at 02:38:00AM +0300, Dmitry V. Levin wrote: > > > > Наша задача в скором будущем обеспечить собираемость *каждого* пакета > > > > за 2 часа. > > Задача вполне разумная, если поддерживать списки исключений. > > Без них же вспоминается анекдот. > > - Хочу предложить вашему предприятию последнее своё изобретение. Это автомат для бритья. Клиент опускает монеты, просовывает голову в отверстие, и две бритвы начинают его гладко брить. boro.da33.ru > - Но ведь у каждого человека индивидуальное строение лица. > - В первый раз да! > > Еще вспоминается Прокрустово ложе со схожим идеологическим обоснованием. > С гибким списком исключений можно обеспечить релевантную пересборку и за 1 час. > > А пакеты, которые не вписываются в ограничение 2 часа, есть. > > Сначала cross-gcc не влезал в тайминги, > приходилось его кастрировать, выбрасывая 2 десятка архитектур. Этот пакет паталогически устроен: неправильно собирать один и тот же код последовательно под зиллион архитектур. Надеюсь, glebfm@ исправит. > Потом новый libint стал собираться 8 часов, при чем там уже ничего не отрежешь. Значит, можно распараллелить. Если пакет собирается вечность и сборка не распараллеливается тем или иным способом, значит, кто-то этот пакет неправильно собирает. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) 2017-12-15 11:41 ` Dmitry V. Levin @ 2017-12-18 8:52 ` Michael Shigorin 2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev 2017-12-18 23:30 ` Dmitry V. Levin 0 siblings, 2 replies; 19+ messages in thread From: Michael Shigorin @ 2017-12-18 8:52 UTC (permalink / raw) To: devel On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote: > > Потом новый libint стал собираться 8 часов, > > причем там уже ничего не отрежешь. > Значит, можно распараллелить. ...с nprocs=1, ага (речь же явно шла про git.alt). Дим, тут действительно напрашивается минимум два варианта -- причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой смысл вообще по-разному выбирать железо для сборочниц. Лично меня вполне бы устроил для начала флажок "тяжёлый пакет", выставляемый на git.alt административно и отправляющий пакет при сборке на "тяжёлый" узел. Заодно это позволило бы поднять степень параллелизма при сборке "лёгких" пакетов даже на имеющемся прямо сейчас оборудовании -- например, можно один из узлов выделить в "тяжёлый", три остальных определить "лёгкими". Возможно, для "тяжёлых" разрешать и параллельную сборку, хотя тогда ожидаемы поползновения насчёт границы. А в дальнейшем можно поставить один быстрый (и дорогой) сервер на обмолот в первую очередь "тяжёлых" заданий, остальные же разгребать оптимальными по цене процессорами как при текущей сборке в репозитории, так и при пересборках разного толка. И в ещё более дальнейшем автоматизировать "развесовку" с учётом реально потребляемых при сборке ресурсов, желательно с историей. -- ---- WBR, Michael Shigorin / http://altlinux.org ------ http://opennet.ru / http://anna-news.info ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются 2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin @ 2017-12-18 10:36 ` Denis Medvedev 2017-12-18 11:00 ` Aleksei Nikiforov 2017-12-18 23:30 ` Dmitry V. Levin 1 sibling, 1 reply; 19+ messages in thread From: Denis Medvedev @ 2017-12-18 10:36 UTC (permalink / raw) To: ALT Linux Team development discussions, Michael Shigorin On 12/18/2017 11:52 AM, Michael Shigorin wrote: > On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote: >>> Потом новый libint стал собираться 8 часов, >>> причем там уже ничего не отрежешь. >> Значит, можно распараллелить. > ...с nprocs=1, ага (речь же явно шла про git.alt). > > Дим, тут действительно напрашивается минимум два варианта -- > причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой > смысл вообще по-разному выбирать железо для сборочниц. > > Лично меня вполне бы устроил для начала флажок "тяжёлый пакет", > выставляемый на git.alt административно и отправляющий пакет при > сборке на "тяжёлый" узел. Заодно это позволило бы поднять > степень параллелизма при сборке "лёгких" пакетов даже на > имеющемся прямо сейчас оборудовании -- например, можно один > из узлов выделить в "тяжёлый", три остальных определить > "лёгкими". Возможно, для "тяжёлых" разрешать и параллельную > сборку, хотя тогда ожидаемы поползновения насчёт границы. > сторией. > Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме - тоже за. А вот коммитить я бы разрешал только задания, собранные без параллельной сборки. То есть отладился c test-only, parallel=yes, запустил test-only, parallel=no и закоммитил в репозиторий. ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются 2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev @ 2017-12-18 11:00 ` Aleksei Nikiforov 2017-12-18 11:11 ` Denis Medvedev 0 siblings, 1 reply; 19+ messages in thread From: Aleksei Nikiforov @ 2017-12-18 11:00 UTC (permalink / raw) To: devel Здравствуйте. 18.12.2017 13:36, Denis Medvedev пишет: > On 12/18/2017 11:52 AM, Michael Shigorin wrote: > Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме - > тоже за. > А вот коммитить я бы разрешал только задания, собранные без параллельной > сборки. > То есть отладился c test-only, parallel=yes, запустил test-only, > parallel=no и закоммитил в репозиторий. У меня есть вопрос: почему коммиттить только без параллельной сборки? Чем обосновано такое ограничение? Есть ли причины кроме "исторически так сложилось"? С уважением, Алексей Никифоров ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются 2017-12-18 11:00 ` Aleksei Nikiforov @ 2017-12-18 11:11 ` Denis Medvedev 2017-12-18 12:06 ` Sergey Bolshakov 0 siblings, 1 reply; 19+ messages in thread From: Denis Medvedev @ 2017-12-18 11:11 UTC (permalink / raw) To: ALT Linux Team development discussions, Aleksei Nikiforov On 12/18/2017 02:00 PM, Aleksei Nikiforov wrote: > Здравствуйте. > > 18.12.2017 13:36, Denis Medvedev пишет: >> On 12/18/2017 11:52 AM, Michael Shigorin wrote: >> Тяжелые узлы - за, возможность параллельной сборки в тестовом режиме >> - тоже за. >> А вот коммитить я бы разрешал только задания, собранные без >> параллельной сборки. >> То есть отладился c test-only, parallel=yes, запустил test-only, >> parallel=no и закоммитил в репозиторий. > У меня есть вопрос: почему коммиттить только без параллельной сборки? > Чем обосновано такое ограничение? Есть ли причины кроме "исторически > так сложилось"? Cостояние гонки при сборке дистрибутива приводит к крайне интересным эффектам при попытке пересобрать такой пакет повторно... ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются 2017-12-18 11:11 ` Denis Medvedev @ 2017-12-18 12:06 ` Sergey Bolshakov 0 siblings, 0 replies; 19+ messages in thread From: Sergey Bolshakov @ 2017-12-18 12:06 UTC (permalink / raw) To: devel >>>>> "Denis" == Denis Medvedev <nbr-u2l5PoMzF/Vg9hUCZPvPmw@public.gmane.org> writes: > On 12/18/2017 02:00 PM, Aleksei Nikiforov wrote: >> Здравствуйте. >> >> 18.12.2017 13:36, Denis Medvedev пишет: >>> On 12/18/2017 11:52 AM, Michael Shigorin wrote: >>> Тяжелые узлы - за, возможность параллельной сборки в тестовом >>> режиме - тоже за. >>> А вот коммитить я бы разрешал только задания, собранные без >>> параллельной сборки. >>> То есть отладился c test-only, parallel=yes, запустил test-only, >>> parallel=no и закоммитил в репозиторий. >> У меня есть вопрос: почему коммиттить только без параллельной >> сборки? Чем обосновано такое ограничение? Есть ли причины кроме >> "исторически так сложилось"? > Cостояние гонки при сборке дистрибутива приводит к крайне интересным > эффектам при попытке пересобрать такой пакет повторно... По очевидным причинам сборка на arm уже несколько лет происходит в несколько (сейчас 8) потоков, каких-либо разломов по этой причине не припомню. -- ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] не все пакеты одинаково собираются 2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin 2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev @ 2017-12-18 23:30 ` Dmitry V. Levin 1 sibling, 0 replies; 19+ messages in thread From: Dmitry V. Levin @ 2017-12-18 23:30 UTC (permalink / raw) To: ALT Devel discussion list [-- Attachment #1: Type: text/plain, Size: 1877 bytes --] On Mon, Dec 18, 2017 at 11:52:47AM +0300, Michael Shigorin wrote: > On Fri, Dec 15, 2017 at 02:41:13PM +0300, Dmitry V. Levin wrote: > > > Потом новый libint стал собираться 8 часов, > > > причем там уже ничего не отрежешь. > > Значит, можно распараллелить. > > ...с nprocs=1, ага (речь же явно шла про git.alt). Ну давайте уберём nprocs=1, если мешает. > Дим, тут действительно напрашивается минимум два варианта -- > причём под обмолот "лёгких" и "тяжёлых" пакетов есть прямой > смысл вообще по-разному выбирать железо для сборочниц. Почему? Это *совершенно* не очевидно. Поделись, если ты делал какие-то замеры на эту тему. > Лично меня вполне бы устроил для начала флажок "тяжёлый пакет", > выставляемый на git.alt административно и отправляющий пакет при > сборке на "тяжёлый" узел. Заодно это позволило бы поднять > степень параллелизма при сборке "лёгких" пакетов даже на > имеющемся прямо сейчас оборудовании -- например, можно один > из узлов выделить в "тяжёлый", три остальных определить > "лёгкими". Возможно, для "тяжёлых" разрешать и параллельную > сборку, хотя тогда ожидаемы поползновения насчёт границы. Такие костыли никто не захочет реализовывать, насколько я понимаю. > А в дальнейшем можно поставить один быстрый (и дорогой) сервер > на обмолот в первую очередь "тяжёлых" заданий, остальные же > разгребать оптимальными по цене процессорами как при текущей > сборке в репозитории, так и при пересборках разного толка. Да не нужен никакой быстрый и дорогой сервер, если даже самый тяжёлый пакет, который есть в Сизифе (chromium), на совершенно бюджетных 2 * E5-2620v4 сейчас собирается с -j16 примерно за час. > И в ещё более дальнейшем автоматизировать "развесовку" с учётом > реально потребляемых при сборке ресурсов, желательно с историей. Это подразумевается сразу, а не в дальнейшем. -- ldv [-- Attachment #2: signature.asc --] [-- Type: application/pgp-signature, Size: 801 bytes --] ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 21:36 ` Dmitry V. Levin 2017-12-14 23:17 ` Andrey Savchenko @ 2017-12-15 11:14 ` Igor Vlasenko 1 sibling, 0 replies; 19+ messages in thread From: Igor Vlasenko @ 2017-12-15 11:14 UTC (permalink / raw) To: ALT Linux Team development discussions On Fri, Dec 15, 2017 at 12:36:38AM +0300, Dmitry V. Levin wrote: > Конкретнее: > > $ grep -c ^Source fedora/texlive.spec > 7318 > $ grep -c ^%package fedora/texlive.spec > 5930 > > Помимо того, что это неразумно, такой пакет у нас просто не соберётся > по времени. А. В этом вопрос. Тогда можно не опасаться. Пакет собирается достаточно быстро (как я помню, 2 года назад было менее 30 мин). С этими 7318/5930 происходит распаковка и копирование, очень быстрый процесс. А вот если бы я вдруг нагенерировал бы 7318/5930 малых пакетов, то время сборки увеличилось бы на 7318/5930 * (create chroot+instal deps). Тогда их за 2 часа и в 32 потока не собрать. -- I V ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-14 21:26 ` Igor Vlasenko 2017-12-14 21:36 ` Dmitry V. Levin @ 2017-12-15 21:05 ` Kirill Maslinsky 2017-12-19 15:16 ` Igor Vlasenko 1 sibling, 1 reply; 19+ messages in thread From: Kirill Maslinsky @ 2017-12-15 21:05 UTC (permalink / raw) To: ALT Linux Team development discussions Igor Vlasenko writes: > On Thu, Dec 14, 2017 at 11:59:01PM +0300, Dmitry V. Levin wrote: >> On Thu, Dec 14, 2017 at 09:44:17PM +0200, Igor Vlasenko wrote: >> > после обновления perl до 5.26 >> > буду готовить обновление texlive в Сизифе. Здорово! Спасибо, Игорь. >> > За основу будет взята сборка texlive в Fedora или в Mageia. [...] >> Не делайте так, как в Федоре, пожалуйста - это ужас-ужас. > > ужас-ужас это у нас, 8 лет не обновлялось. Это верно. Но, кстати, проблема с обновлением была вызвана отчасти тем, что 8 лет назад я принял неудачное решение паковать texlive, основываясь на пакетах из Дебиана. Была идея оседлать ветер^Wэкспертизу дебиана, и на этом сэкономить. Практика показала, что для интеграции пришлось написать немало нетривиального кода, нагородить очень сложную структуру репозитория, предполагающую многоступенчатый мердж, в которой никто не мог и не хотел разбираться через полгода, включая меня. А задачи и инфраструктура у нас были все равно настолько другие, что гораздо больше в пакетах в итоге было заново переделано, чем заимствовано из дебиана. Коротко говоря, идея «сделать как у других» не оправдалась. > Там просто, как я понимаю, ужас. > Хуже, чем уже есть, не будет. > Но хотелось бы конкретнее. Мне кажется, в современной ситуации засилья внешних пакетных менеджеров у каждой на что-то претендующей подсистемы, целесообразной схемой будет: 1. Упаковка бинарных программ texlive (из дерева Build/source) в один или несколько пакетов (более-менее как было, texlive-base-bin и т.п.) 2. Упаковка минимальной доли данных (texmf-dist), необходимых для работы базовых программ (форматы, переносы, что-то еще), чтобы получился пакет, напрмиер, latex-base, которым можно было бы скомпилировать латеховский документ, не использующий внешних пакетов или использующий какое-то минимальное подмножество. Эта задача не совсем тривиальная (потому что апстим ее вовсе себе не ставит, не знаю — ставят ли другие дистрибутивы), но вполне разрешимая. Обеспечить тем самым востребованное для сборки подмножество латеха для сборочной среды. 3. Упаковка апстримного tlmgr для того, чтобы пользователи могли с его помощью устанавливать и обновлять себе отдельные латеховские пакеты (теперь же уже каждый сам себе пакетный менеджер, почему бы и техливу не разрешить). Может быть, с каким-то патчем, чтобы ядро (texlive-base-bin) tlmgr не трогал, только все остальное. 4. Обеспечить упаковку отдельных латеховских модулей в виде пакетов в Сизифе, примерно (или точно) по нашему старому ТеХ-полиси: https://www.altlinux.org/TeX_Policy Вообще полиси можно перечитать свежим взглядом и сформулировать, что в нем устарело, и почему. > мой предыдущий подход 2 года назад можно посмотреть на > http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/ А что тогда помешало закончить, если это что-то техническое? -- КМ ^ permalink raw reply [flat|nested] 19+ messages in thread
* Re: [devel] I: texlive 2016 is going to come 2017-12-15 21:05 ` Kirill Maslinsky @ 2017-12-19 15:16 ` Igor Vlasenko 0 siblings, 0 replies; 19+ messages in thread From: Igor Vlasenko @ 2017-12-19 15:16 UTC (permalink / raw) To: ALT Linux Team development discussions On Fri, Dec 15, 2017 at 10:05:31PM +0100, Kirill Maslinsky wrote: Спасибо большое! > > мой предыдущий подход 2 года назад можно посмотреть на > > http://autoextra.altlinux.org/pub/ALTLinux/texlive/Sisyphus/ > А что тогда помешало закончить, если это что-то техническое? Была одна техническая причина, не уверен был, насколько хорошо были прописаны конфликты и Obsoletes для беспроблемного обновления (в настоящее время достаточно тривиально решается с помощью distromap) и вторая, был сильно загружен, и не хотел брать ответственность за такой важный пакет. Обе причины сейчас не так актуальны. > Мне кажется, в современной ситуации засилья внешних пакетных менеджеров > у каждой на что-то претендующей подсистемы, целесообразной схемой будет: > > 1. Упаковка бинарных программ texlive (из дерева Build/source) в один или > несколько пакетов (более-менее как было, texlive-base-bin и т.п.) > > 2. Упаковка минимальной доли данных (texmf-dist), необходимых для работы > базовых программ (форматы, переносы, что-то еще), чтобы получился пакет, > напрмиер, latex-base, которым можно было бы скомпилировать латеховский > документ, не использующий внешних пакетов или использующий какое-то > минимальное подмножество. Эта задача не совсем тривиальная (потому что > апстим ее вовсе себе не ставит, не знаю — ставят ли другие > дистрибутивы), но вполне разрешимая. Обеспечить тем самым востребованное > для сборки подмножество латеха для сборочной среды. > > 3. Упаковка апстримного tlmgr для того, чтобы пользователи могли с его > помощью устанавливать и обновлять себе отдельные латеховские пакеты > (теперь же уже каждый сам себе пакетный менеджер, почему бы и техливу не > разрешить). Может быть, с каким-то патчем, чтобы ядро (texlive-base-bin) > tlmgr не трогал, только все остальное. > > 4. Обеспечить упаковку отдельных латеховских модулей в виде пакетов в > Сизифе, примерно (или точно) по нашему старому ТеХ-полиси: > https://www.altlinux.org/TeX_Policy > > Вообще полиси можно перечитать свежим взглядом и сформулировать, что в > нем устарело, и почему. Хочу 4) сохранить в любом случае. 3) - tlmgr -- я переносил прошлый раз код с нашего texlive, попытаюсь и в этот раз. По поводу 1)-2) есть некоторые детали, попробую написать в отдельном письме. -- I V ^ permalink raw reply [flat|nested] 19+ messages in thread
end of thread, other threads:[~2017-12-19 15:16 UTC | newest] Thread overview: 19+ messages (download: mbox.gz / follow: Atom feed) -- links below jump to the message on this page -- 2017-12-14 19:44 [devel] I: texlive 2016 is going to come Igor Vlasenko 2017-12-14 20:59 ` Dmitry V. Levin 2017-12-14 21:26 ` Igor Vlasenko 2017-12-14 21:36 ` Dmitry V. Levin 2017-12-14 23:17 ` Andrey Savchenko 2017-12-14 23:38 ` Dmitry V. Levin 2017-12-15 4:23 ` Denis Medvedev 2017-12-15 4:52 ` Anton Farygin 2017-12-15 11:32 ` Igor Vlasenko 2017-12-15 11:41 ` Dmitry V. Levin 2017-12-18 8:52 ` [devel] не все пакеты одинаково собираются (was: I: texlive 2016 is going to come) Michael Shigorin 2017-12-18 10:36 ` [devel] не все пакеты одинаково собираются Denis Medvedev 2017-12-18 11:00 ` Aleksei Nikiforov 2017-12-18 11:11 ` Denis Medvedev 2017-12-18 12:06 ` Sergey Bolshakov 2017-12-18 23:30 ` Dmitry V. Levin 2017-12-15 11:14 ` [devel] I: texlive 2016 is going to come Igor Vlasenko 2017-12-15 21:05 ` Kirill Maslinsky 2017-12-19 15:16 ` Igor Vlasenko
ALT Linux Team development discussions This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/devel/0 devel/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 devel devel/ http://lore.altlinux.org/devel \ devel@altlinux.org devel@altlinux.ru devel@lists.altlinux.org devel@lists.altlinux.ru devel@linux.iplabs.ru mandrake-russian@linuxteam.iplabs.ru sisyphus@linuxteam.iplabs.ru public-inbox-index devel Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.devel AGPL code for this site: git clone https://public-inbox.org/public-inbox.git