[devel] MongoDB против сборочницы и пересборочницы

[devel] MongoDB против сборочницы и пересборочницы

[alexei]

Добрый день!

На днях зарелизилась новая ветка СУБД MongoDB.
Этот проект и до этого имел хороший аппетит на дисковое
пространство при сборке, и иногда сборка проходила не
с первого раза. Но нет предела совершенству, и версия
7.0.0 при сборке из ~700мб исходников генерит порядка
30 гигабайт объектников и на финальном этапе еще примерно
столько же .o файлов создается в процессе LTO оптимизации
в каталоге /tmp сборочного окружения.

Сейчас сборка останавливается с сообщением о исчерпании места
под /tmp. Можно ли решить эту проблему просто запросив увеличение
квоты, или уже надо что-то думать другое?

Re: [devel] MongoDB против сборочницы и пересборочницы

[Ilya Kurdyukov]

On 8/6/23 19:03, alexei@taf.ru wrote:
> Добрый день!
>
> На днях зарелизилась новая ветка СУБД MongoDB.
> Этот проект и до этого имел хороший аппетит на дисковое
> пространство при сборке, и иногда сборка проходила не
> с первого раза. Но нет предела совершенству, и версия
> 7.0.0 при сборке из ~700мб исходников генерит порядка
> 30 гигабайт объектников и на финальном этапе еще примерно
> столько же .o файлов создается в процессе LTO оптимизации
> в каталоге /tmp сборочного окружения.
>
> Сейчас сборка останавливается с сообщением о исчерпании места
> под /tmp. Можно ли решить эту проблему просто запросив увеличение
> квоты, или уже надо что-то думать другое?

Квотой это не решается.

Можно попробовать снизить уровень отладочной информации, так делается 
для некоторых пакетов:

%define optflags_debug -g1

LTO еще можно попробовать отключить, если это тратит много места.

Можно попробовать разделить MongoDB на несколько пакетов.

Re: [devel] MongoDB против сборочницы и пересборочницы

[Vitaly Lipatov]

alexei@taf.ru писал(а) 6.8.23 15:03:
> Добрый день!
> 
> На днях зарелизилась новая ветка СУБД MongoDB.
> Этот проект и до этого имел хороший аппетит на дисковое
> пространство при сборке, и иногда сборка проходила не
> с первого раза. Но нет предела совершенству, и версия
> 7.0.0 при сборке из ~700мб исходников генерит порядка
> 30 гигабайт объектников и на финальном этапе еще примерно
> столько же .o файлов создается в процессе LTO оптимизации
> в каталоге /tmp сборочного окружения.
А резерв src/third_party разве уже исчерпан?
Например, там есть mozjs. К сожалению, из спека не видно, в какой стадии 
находится использование внешних библиотек.
Как-то интуитивно кажется, что невозможно написать проект с исходниками 
на 700Мбайт.


-- 
С уважением,
Виталий Липатов,
ALT Linux Team

Re: [devel] MongoDB против сборочницы и пересборочницы

[alexei]

----- Исходное сообщение -----
> От: "Vitaly Lipatov" <lav@altlinux.ru>
> Кому: "ALT Linux Team development discussions" <devel@lists.altlinux.org>
> Копия: "alexei" <alexei@taf.ru>
> Отправленные: Понедельник, 7 Август 2023 г 11:15:27
> Тема: Re: [devel] MongoDB против сборочницы и пересборочницы

> alexei@taf.ru писал(а) 6.8.23 15:03:
>> Добрый день!
>> 
>> На днях зарелизилась новая ветка СУБД MongoDB.
>> Этот проект и до этого имел хороший аппетит на дисковое
>> пространство при сборке, и иногда сборка проходила не
>> с первого раза. Но нет предела совершенству, и версия
>> 7.0.0 при сборке из ~700мб исходников генерит порядка
>> 30 гигабайт объектников и на финальном этапе еще примерно
>> столько же .o файлов создается в процессе LTO оптимизации
>> в каталоге /tmp сборочного окружения.
> А резерв src/third_party разве уже исчерпан?
> Например, там есть mozjs. К сожалению, из спека не видно, в какой стадии
> находится использование внешних библиотек.
> Как-то интуитивно кажется, что невозможно написать проект с исходниками
> на 700Мбайт.

Проблема не с использованием third_party, в общем куче они дают ~800мб объектного
кода. Проблема с самим кодом mongo, когда из исходника в 30-40 кб получается объектник
в 10-30 Мб. В итоге это выливается в ~40Гб .o и .a файлов, которые на финальном этапе LTO
еще и удваиваются в /tmp

Re: [devel] MongoDB против сборочницы и пересборочницы

[Ilya Kurdyukov]

On 8/7/23 10:48, alexei@taf.ru wrote:
>>
>> А резерв src/third_party разве уже исчерпан?
>> Например, там есть mozjs. К сожалению, из спека не видно, в какой стадии
>> находится использование внешних библиотек.
>> Как-то интуитивно кажется, что невозможно написать проект с исходниками
>> на 700Мбайт.
> Проблема не с использованием third_party, в общем куче они дают ~800мб объектного
> кода. Проблема с самим кодом mongo, когда из исходника в 30-40 кб получается объектник
> в 10-30 Мб. В итоге это выливается в ~40Гб .o и .a файлов, которые на финальном этапе LTO
> еще и удваиваются в /tmp
Имелось в виду, что если MongoDB собирает какие-то тяжелые библиотеки из 
third_party, то и на весе объектников это отражается. Многие либы 
разумно использовать системные, а не собирать вложенные в third_party.

Re: [devel] MongoDB против сборочницы и пересборочницы

[Alexey V. Vissarionov]

Good ${greeting_time}!

On 2023-08-07 06:15:27 +0300, Vitaly Lipatov wrote:

 >> 7.0.0 при сборке из ~700мб исходников генерит порядка
 >> 30 гигабайт объектников и на финальном этапе еще примерно
 >> столько же .o файлов создается в процессе LTO оптимизации
 >> в каталоге /tmp сборочного окружения.
 > А резерв src/third_party разве уже исчерпан? Например, там
 > есть mozjs. К сожалению, из спека не видно, в какой стадии
 > находится использование внешних библиотек. Как-то интуитивно
 > кажется, что невозможно написать проект с исходниками на
 > 700Мбайт.

gremlin@ws:~/kernel/upstream-stable > du -sh .
4.4G	.
gremlin@ws:~/kernel/upstream-stable > du -sh .git
2.9G	.git

1.5 Гб собственно исходников.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net