[devel] Сборка src.rpm размером > 2Гб

[devel] Сборка src.rpm размером > 2Гб

[Vitaly Lipatov]

Добрый день!

Я тут пытаюсь собрать пакет с данными. Ну на 32-битной системе rpm 
вообще отказался создавать src.rpm,
а на 64-битной я упёрся в лимит на сервере:
  $ rsync -vay --partial --progress --checksum  ssh 
FlightGear-data-2018.2.2-alt1.src.rpm gear.alt:
sending incremental file list
FlightGear-data-2018.2.2-alt1.src.rpm
   1,644,398,990 100%    1.40MB/s    0:18:40 (xfr#1, to-chk=0/1)
rsync: write failed on "./FlightGear-data-2018.2.2-alt1.src.rpm": Disk 
quota exceeded (122)
rsync error: error in file IO (code 11) at receiver.c(375) 
[receiver=3.1.3]
rsync: [sender] write error: Broken pipe (32)

Нельзя ли поднять лимит или дать совет?


-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Сборка src.rpm размером > 2Гб

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 818 bytes --]

On Mon, Jun 25, 2018 at 03:07:34PM +0300, Vitaly Lipatov wrote:
> Добрый день!
> 
> Я тут пытаюсь собрать пакет с данными. Ну на 32-битной системе rpm 
> вообще отказался создавать src.rpm,
> а на 64-битной я упёрся в лимит на сервере:
>   $ rsync -vay --partial --progress --checksum  ssh 
> FlightGear-data-2018.2.2-alt1.src.rpm gear.alt:
> sending incremental file list
> FlightGear-data-2018.2.2-alt1.src.rpm
>    1,644,398,990 100%    1.40MB/s    0:18:40 (xfr#1, to-chk=0/1)
> rsync: write failed on "./FlightGear-data-2018.2.2-alt1.src.rpm": Disk 
> quota exceeded (122)
> rsync error: error in file IO (code 11) at receiver.c(375) 
> [receiver=3.1.3]
> rsync: [sender] write error: Broken pipe (32)
> 
> Нельзя ли поднять лимит или дать совет?

Как этот пакет собирали раньше?


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] Сборка src.rpm размером > 2Гб

[Vitaly Lipatov]

Dmitry V. Levin писал 25.6.18 15:15:
...
>> Нельзя ли поднять лимит или дать совет?
> 
> Как этот пакет собирали раньше?
Я знаю только, что когда-то он был на полгига, но с тех пор растёт.

-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Сборка src.rpm размером > 2Гб

[Igor Vlasenko]

On Mon, Jun 25, 2018 at 04:13:51PM +0300, Vitaly Lipatov wrote:
> Dmitry V. Levin писал 25.6.18 15:15:
> ...
> > > Нельзя ли поднять лимит или дать совет?
> > 
> > Как этот пакет собирали раньше?
> Я знаю только, что когда-то он был на полгига, но с тех пор растёт.

Я с таким сталкивался при сборке texlive, повесил баги
https://bugzilla.altlinux.org/show_bug.cgi?id=34577
https://bugzilla.altlinux.org/show_bug.cgi?id=34581

-- 

I V

Re: [devel] Сборка src.rpm размером > 2Гб

[Grigory Ustinov]

> Я с таким сталкивался при сборке texlive, повесил баги
> https://bugzilla.altlinux.org/show_bug.cgi?id=34577
> https://bugzilla.altlinux.org/show_bug.cgi?id=34581
>
А зачем две? Может имеет смысл оставить одну всё-таки?

Re: [devel] Сборка src.rpm размером > 2Гб

[Igor Vlasenko]

On Mon, Jun 25, 2018 at 04:51:21PM +0300, Grigory Ustinov wrote:
> 
> > Я с таким сталкивался при сборке texlive, повесил баги
> > https://bugzilla.altlinux.org/show_bug.cgi?id=34577
> > https://bugzilla.altlinux.org/show_bug.cgi?id=34581
> > 
> А зачем две? Может имеет смысл оставить одну всё-таки?

Там 2 бага:
один на общий размер src.rpm,
второй на размер отдельного файла в Source:
Алексей Турбин вроде бы какой-то из этих багов починил,
не знаю, вошли ли патчи в наш rpmbuild.

Правильнее, конечно, обновить сам rpmbuild.


-- 

I V

Re: [devel] Сборка src.rpm размером > 2Гб

[Alexey Tourbin]

Мужчины, я вам сделал rpm-build с поддержкой относительно больших
файлов, task #209065, но у вас acl неправильно настроен.

Ограничение на каждый файл и на на общий размер архива в 4GB
существует по двум причинам: 1) тэги типа RPMTAG_FILESIZES /
RPMTAG_ARCHIVESIZE 32-битные; в новом rpm добавлены 64-битные теги
RPMTAG_LONGFILESIZES / RPMTAG_LONGARCHIVESIZE; это потребует еще и
некоторой поддержки со стороны apt и genbasedir; 2) в cpio размер
файлов тоже 32-битный; в новом rpm сделаны по линии cpio сделаны
extended / excluded cpio entries 07070X, в которых вся stat-информация
исключена и берется из хедера пакета - в cpio пишется только номер
файла в хедере; однако симлинк-таргеты в cpio сохранены, хотя их тоже
можно взять из хедера.

В общем, по-моему, старая rpm-4.0 кодобаза дальнейшей переделке не
подлежит, новая все же получше.  Но в таком виде может протянуть еще
долго.

Re: [devel] Сборка src.rpm размером > 2Гб

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 220 bytes --]

On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
> файлов, task #209065, но у вас acl неправильно настроен.

Спасибо.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] Сборка src.rpm размером > 2Гб

[Vitaly Lipatov]

Dmitry V. Levin писал 27.6.18 13:40:
> On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
>> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
>> файлов, task #209065, но у вас acl неправильно настроен.
> 
> Спасибо.
А вы сообщите, когда можно будет использовать?


-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Сборка src.rpm размером > 2Гб

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 416 bytes --]

On Thu, Jun 28, 2018 at 07:01:49PM +0300, Vitaly Lipatov wrote:
> Dmitry V. Levin писал 27.6.18 13:40:
> > On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
> >> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
> >> файлов, task #209065, но у вас acl неправильно настроен.
> > 
> > Спасибо.
> А вы сообщите, когда можно будет использовать?

rpm-build в Сизифе.


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] Сборка src.rpm размером > 2Гб

[Vitaly Lipatov]

Dmitry V. Levin писал 28.6.18 19:26:
> On Thu, Jun 28, 2018 at 07:01:49PM +0300, Vitaly Lipatov wrote:
>> Dmitry V. Levin писал 27.6.18 13:40:
>> > On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
>> >> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
>> >> файлов, task #209065, но у вас acl неправильно настроен.
>> >
>> > Спасибо.
>> А вы сообщите, когда можно будет использовать?
> 
> rpm-build в Сизифе.

Как я понимаю, моя проблема по заливке пакета и не была связана с 
rpm-build. Но теперь я получаю при сборке:
error: unpacking of archive failed on file 
/usr/src/RPM/SOURCES/FlightGear-2018.2.2-data.tar: cpio: read
error: FlightGear-data-2018.2.2-alt1.src.rpm cannot be installed

http://git.altlinux.org/tasks/208802/build/600/x86_64/log

-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Сборка src.rpm размером > 2Гб

[Alexey Tourbin]

2018-06-29 21:30 GMT+03:00 Vitaly Lipatov <lav@altlinux.ru>:
> Как я понимаю, моя проблема по заливке пакета и не была связана с rpm-build.
> Но теперь я получаю при сборке:
> error: unpacking of archive failed on file
> /usr/src/RPM/SOURCES/FlightGear-2018.2.2-data.tar: cpio: read
> error: FlightGear-data-2018.2.2-alt1.src.rpm cannot be installed

Re-run the task.

Re: [devel] Сборка src.rpm после git-репозитория

[Vitaly Lipatov]

Alexey Tourbin писал 30.6.18 20:09:
> 2018-06-29 21:30 GMT+03:00 Vitaly Lipatov <lav@altlinux.ru>:
>> Как я понимаю, моя проблема по заливке пакета и не была связана с 
>> rpm-build.
>> Но теперь я получаю при сборке:
>> error: unpacking of archive failed on file
>> /usr/src/RPM/SOURCES/FlightGear-2018.2.2-data.tar: cpio: read
>> error: FlightGear-data-2018.2.2-alt1.src.rpm cannot be installed
> 
> Re-run the task.

Спасибо, получилось.

Но теперь пакет не проходит, потому что прежде, видимо, он собирался из 
git:

error: /gears/F/FlightGear-data.git branch `sisyphus' already exists, 
package update by srpm upload is not possible

Давайте решим, чем плохо заливать большой git-репозиторий, и как 
поступать в таких случаях, и конкретно с этим.



-- 
С уважением,
Виталий Липатов,
Etersoft

Re: [devel] Сборка src.rpm после git-репозитория

[Michael Shigorin]

On Tue, Jul 03, 2018 at 05:53:30PM +0300, Vitaly Lipatov wrote:
> Но теперь пакет не проходит, потому что прежде, видимо, он
> собирался из git:
> 
> error: /gears/F/FlightGear-data.git branch `sisyphus' already exists, 
> package update by srpm upload is not possible
> 
> Давайте решим, чем плохо заливать большой git-репозиторий, и как 
> поступать в таких случаях, и конкретно с этим.

Ну раз из гита _собирался_, то собирай из гита
и прошу прощения за дезинформацию.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] Сборка src.rpm размером > 2Гб

[Igor Vlasenko]

On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
> файлов, task #209065, но у вас acl неправильно настроен.

Спасибо!

-- 

I V

Re: [devel] Сборка src.rpm размером > 2Гб

[Dmitry V. Levin]

On Wed, Jun 27, 2018 at 01:36:52PM +0300, Alexey Tourbin wrote:
> Мужчины, я вам сделал rpm-build с поддержкой относительно больших
> файлов, task #209065, но у вас acl неправильно настроен.
> 
> Ограничение на каждый файл и на на общий размер архива в 4GB
> существует по двум причинам: 1) тэги типа RPMTAG_FILESIZES /
> RPMTAG_ARCHIVESIZE 32-битные; в новом rpm добавлены 64-битные теги
> RPMTAG_LONGFILESIZES / RPMTAG_LONGARCHIVESIZE; это потребует еще и
> некоторой поддержки со стороны apt и genbasedir; 2) в cpio размер
> файлов тоже 32-битный; в новом rpm сделаны по линии cpio сделаны
> extended / excluded cpio entries 07070X, в которых вся stat-информация
> исключена и берется из хедера пакета - в cpio пишется только номер
> файла в хедере; однако симлинк-таргеты в cpio сохранены, хотя их тоже
> можно взять из хедера.
> 
> В общем, по-моему, старая rpm-4.0 кодобаза дальнейшей переделке не
> подлежит, новая все же получше.  Но в таком виде может протянуть еще
> долго.

Судя по http://git.altlinux.org/tasks/208802/logs/events.10.1.log
не вся кривизна выправилась: в 32-битной среде собралось, в 64-битных нет.


-- 
ldv

Re: [devel] Сборка src.rpm размером > 4ГБ

[Антон Мидюков]

Добрый день!

С пол месяца назад обсуждался уже вопрос сборки src.rpm размером > 2ГБ. 
Из этого обсуждения я понял, что у rpmbuild ограничение размера src.rpm 
на 4 ГБ.
И вот я столкнулся с проблемой сборки пакета, у которого архив tar 4418 
МБ. Я прописал в .gear/rules сжатие tar.gz, в результате src.rpm на 
входе в хешер получился 643,7 МБ, сборка полностью проходит и в самом 
конце получаю сообщение:

Wrote: /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm
error: cpio archive too big - 4418M

Размер /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm 
такой же как и на входе в хэшер. Т.е. контролируется несжатый размер? И 
это уже никак не обойти?

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel] Сборка src.rpm размером > 4ГБ

[Alexey Tourbin]

2018-07-18 8:25 GMT+03:00 Антон Мидюков <midyukov-anton@ya.ru>:
> Добрый день!
>
> С пол месяца назад обсуждался уже вопрос сборки src.rpm размером > 2ГБ. Из
> этого обсуждения я понял, что у rpmbuild ограничение размера src.rpm на 4
> ГБ.

Правильно.

> И вот я столкнулся с проблемой сборки пакета, у которого архив tar 4418 МБ.
> Я прописал в .gear/rules сжатие tar.gz, в результате src.rpm на входе в
> хешер получился 643,7 МБ, сборка полностью проходит и в самом конце получаю
> сообщение:
>
> Wrote: /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm
> error: cpio archive too big - 4418M

Похоже, что бинарный пакет по размеру получается больше 4 Гб.  А
src.rpm как раз записался успешно.  Можно попробовать распилить
бинарный пакет на несколько подпакетов или что-нибудь в нем сжать.

> Размер /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm такой же
> как и на входе в хэшер. Т.е. контролируется несжатый размер? И это уже никак
> не обойти?

Re: [devel] Сборка src.rpm размером > 4ГБ

[Антон Мидюков]

18.07.2018 13:56, Alexey Tourbin пишет:
> 2018-07-18 8:25 GMT+03:00 Антон Мидюков <midyukov-anton@ya.ru>:
>> И вот я столкнулся с проблемой сборки пакета, у которого архив tar 4418 МБ.
>> Я прописал в .gear/rules сжатие tar.gz, в результате src.rpm на входе в
>> хешер получился 643,7 МБ, сборка полностью проходит и в самом конце получаю
>> сообщение:
>>
>> Wrote: /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm
>> error: cpio archive too big - 4418M
> Похоже, что бинарный пакет по размеру получается больше 4 Гб.  А
> src.rpm как раз записался успешно.  Можно попробовать распилить
> бинарный пакет на несколько подпакетов или что-нибудь в нем сжать.
Я этого не сообразил. Спасибо. Буду распиливать на два бинарных пакета.

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel] Сборка src.rpm размером > 4ГБ

[Alexey V. Vissarionov]

[-- Attachment #1: Type: text/plain, Size: 1384 bytes --]

On 2018-07-18 12:25:08 +0700, Антон Мидюков wrote:

 > С пол месяца назад обсуждался уже вопрос сборки src.rpm
 > размером > 2ГБ. Из этого обсуждения я понял, что у rpmbuild
 > ограничение размера src.rpm на 4 ГБ. И вот я столкнулся с
 > проблемой сборки пакета, у которого архив tar 4418 МБ.
 > Я прописал в .gear/rules сжатие tar.gz,

А что не tar.xz? Для экономии процессорного времени? Тогда на
копировании потеряем...

 > в результате src.rpm на входе в хешер получился 643,7 МБ,
 > сборка полностью проходит и в самом конце получаю сообщение:
 > Wrote: /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm

SRPM записался успешно.

 > error: cpio archive too big - 4418M

Ds: на каком-то из свежесобранных бинарных пакетов произошел облом.
Rp: резать.

 > Размер /usr/src/RPM/SRPMS/kicad-packages3D-5.0.0-alt0.1.rc3.src.rpm
 > такой же как и на входе в хэшер.

Что неудивительно.

 > Т.е. контролируется несжатый размер? И это уже никак не обойти?

Вообще по всем канонам эргономики интерфейсов misleading diagnostic
message - это баг, причем критичный.

Лечится добавлением в "error: cpio archive too big - %uM" имени
файла: "error: writing %s: cpio archive too big - %uM"


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] Сборка src.rpm размером > 4ГБ

[Anton Farygin]

18.07.2018 10:10, Alexey V. Vissarionov пишет:
> Лечится добавлением в "error: cpio archive too big - %uM" имени
> файла: "error: writing %s: cpio archive too big - %uM"

Повесь багу хотя бы.