On Thu, 27 Aug 2020 20:31:11 +0300 Michael Shigorin wrote:
> On Thu, Aug 27, 2020 at 03:32:53PM +0300, Anton Farygin wrote:
> > Я ведь правильно понял Игоря, что он хочет сборочницу, которая
> > будет пропускать десятки тысяч сборочных заданий в день ?
> > Представляю, какой адской задачей выглядит скопировать этот
> > архив на соседний сервер...
> 
> Насколько понимаю, именно отдельные задания (которые порождают
> отдельные состояния репозитория) -- это обход неудобной работы
> с большим заданием (мне при возне с питоном и qt5 показалось
> даже, что время добавления подзаданий в большое задание где-то
> к 50000 заметно на глаз растёт как бы не по экспоненте).
> 
> А когда читал письмо Игоря, то в месте насчёт мегаполиса вспомнил
> рассказ Евгения Полякова на первом LinuxPiter о том, как "это"
> решали в яндексе.  Вкратце -- с POSIX-совместимыми ФС далеко
> не уехали, более-менее решать вопросы масштабирования получилось
> на объектных хранилищах.
> 
> Возможно, стоит как-то так и разделять текущую работу, которая
> имеет в целом ограниченный объём, и архив, который в идеале бы
> хотелось иметь ограниченным только ёмкостью носителей.

Так у нас архив и так вынесен на отдельную машину, разве нет?

Как раз 10 дней Дима «скрипты на C» писал для переноса, когда
сборочнице поплохело от нехватки места.

Best regards,
Andrew Savchenko