Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Антон Мидюков]

18.03.2021 01:29, Артём Проскурнёв пишет:
> 
> Запускаю через консоль. Сделал git clone и дальше команды, которые я провёл в письме. Не работает ни на одном компьютере - это я всë проверял и всë подробно писал в Телегу: https://t.me/alt_linux/104874
> Прооблеиа в том, что если сделать гит клон, потом войти в папку и make, то всë ок собирается и образ работает и загружается. Но стоит попробовать собрать его же, но войдя в папку build и там, согласно Вики, сделать make distclean all, образ соберëтся, но загружаться не будет.

Проблему воспроизвёл. altinst получается меньше при такой сборке. Распаковал, одинаковые. Запаковывается что ли неправильно?
При сборке в build (проблемная):

<13>Mar 17 20:01:46 rpmi: liblzo2-2.10-alt1 sisyphus+225108.100.1.1 1552705748 installed
<13>Mar 17 20:01:46 rpmi: squashfs-tools-4.4-alt2 sisyphus+267099.100.1.1 1614438386 installed
Parallel mksquashfs: Using 4 processors
Creating 4.0 filesystem on /.our/altinst, block size 262144.
[=============================================================\] 9844/9844 100%

Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
	compressed data, uncompressed metadata, compressed fragments,
	compressed xattrs, uncompressed ids
	duplicates are removed
Filesystem size 159250.71 Kbytes (155.52 Mbytes)
	24.74% of uncompressed filesystem size (643680.55 Kbytes)
Inode table size 377911 bytes (369.05 Kbytes)
	100.00% of uncompressed inode table size (377911 bytes)
Directory table size 267836 bytes (261.56 Kbytes)
	100.00% of uncompressed directory table size (267836 bytes)

Нормальная сборка:

liblzo2-2.10-alt1.x86_64
squashfs-tools-4.4-alt2.x86_64
Running /usr/lib/rpm/posttrans-filetriggers
hsh-install: RPM database updated.
mki-run: has started executing.
hsh-run: changed working directory to `/tmp/.private/antohami/mkimage-profiles.build.K3OeZS4/install2/.work'
hsh-run: Locked working directory `/tmp/.private/antohami/mkimage-profiles.build.K3OeZS4/install2/.work'
hsh-run: Acquiring lock for config file `/etc/hasher-priv/user.d/antohami'...
hsh-run: Locked config file `/etc/hasher-priv/user.d/antohami'
Parallel mksquashfs: Using 4 processors
Creating 4.0 filesystem on /.our/altinst, block size 131072.

[==================\                                         ]  3800/11833  32%
[=========================/                                  ]  5100/11833  43%
[============================\                               ]  5800/11833  49%
[==================================|                         ]  7000/11833  59%
[=============================================-              ]  9100/11833  76%
[===========================================================/] 11833/11833 100%

Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
	compressed data, compressed metadata, compressed fragments,
	compressed xattrs, compressed ids
	duplicates are removed
Filesystem size 164743.71 Kbytes (160.88 Mbytes)
	25.59% of uncompressed filesystem size (643699.20 Kbytes)
Inode table size 97108 bytes (94.83 Kbytes)
	25.10% of uncompressed inode table size (386879 bytes)
Directory table size 101226 bytes (98.85 Kbytes)
	37.77% of uncompressed directory table size (267992 bytes)




-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Ivan A. Melnikov]

On Thu, Mar 18, 2021 at 03:32:41AM +0700, Антон Мидюков wrote:
> 18.03.2021 01:29, Артём Проскурнёв пишет:
> Проблему воспроизвёл. altinst получается меньше при такой сборке. Распаковал, одинаковые. Запаковывается что ли неправильно?
> При сборке в build (проблемная):
[...]
> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
> 	compressed data, uncompressed metadata, compressed fragments,
> 	compressed xattrs, uncompressed ids
> 	duplicates are removed
[...]
> Нормальная сборка:
[...]
> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
> 	compressed data, compressed metadata, compressed fragments,
> 	compressed xattrs, compressed ids
> 	duplicates are removed
[...]

В нормальной сборке блок 128k, сжатые metadata и ids. Это похоже на
умолчания mksquashfs.

В проблемной сборке блок 256k, несжатые metadata и ids. Это похоже
на действие  `-b 262144 -noI`, которые пишутся в squashcfg.mk
в features.in/stage2/stage1/scripts.d/03-test-kernel.

-- 
  wbr,
    iv m.

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Артём]

Т.е. вместо 262144 нужно вписать блок по 128k? Т.е. 131072?

18.03.2021 12:26, Ivan A. Melnikov пишет:
> On Thu, Mar 18, 2021 at 03:32:41AM +0700, Антон Мидюков wrote:
>> 18.03.2021 01:29, Артём Проскурнёв пишет:
>> Проблему воспроизвёл. altinst получается меньше при такой сборке. Распаковал, одинаковые. Запаковывается что ли неправильно?
>> При сборке в build (проблемная):
> [...]
>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
>> 	compressed data, uncompressed metadata, compressed fragments,
>> 	compressed xattrs, uncompressed ids
>> 	duplicates are removed
> [...]
>> Нормальная сборка:
> [...]
>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
>> 	compressed data, compressed metadata, compressed fragments,
>> 	compressed xattrs, compressed ids
>> 	duplicates are removed
> [...]
>
> В нормальной сборке блок 128k, сжатые metadata и ids. Это похоже на
> умолчания mksquashfs.
>
> В проблемной сборке блок 256k, несжатые metadata и ids. Это похоже
> на действие  `-b 262144 -noI`, которые пишутся в squashcfg.mk
> в features.in/stage2/stage1/scripts.d/03-test-kernel.
>
-- 
С уважением, Артём

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Артём]

Убрал вообще -b 262144 -noI и попробовал

образ собрался и нормально работает и загружается

18.03.2021 12:26, Ivan A. Melnikov пишет:
> On Thu, Mar 18, 2021 at 03:32:41AM +0700, Антон Мидюков wrote:
>> 18.03.2021 01:29, Артём Проскурнёв пишет:
>> Проблему воспроизвёл. altinst получается меньше при такой сборке. Распаковал, одинаковые. Запаковывается что ли неправильно?
>> При сборке в build (проблемная):
> [...]
>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
>> 	compressed data, uncompressed metadata, compressed fragments,
>> 	compressed xattrs, uncompressed ids
>> 	duplicates are removed
> [...]
>> Нормальная сборка:
> [...]
>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
>> 	compressed data, compressed metadata, compressed fragments,
>> 	compressed xattrs, compressed ids
>> 	duplicates are removed
> [...]
>
> В нормальной сборке блок 128k, сжатые metadata и ids. Это похоже на
> умолчания mksquashfs.
>
> В проблемной сборке блок 256k, несжатые metadata и ids. Это похоже
> на действие  `-b 262144 -noI`, которые пишутся в squashcfg.mk
> в features.in/stage2/stage1/scripts.d/03-test-kernel.
>
-- 
С уважением, Артём

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Ivan A. Melnikov]

On Fri, Mar 19, 2021 at 02:33:20AM +0300, Артём wrote:
> Убрал вообще -b 262144 -noI и попробовал
> 
> образ собрался и нормально работает и загружается

Ух ты! Отлично. А можно выяснить, кто из этих двух опций
виноват? Антон, посмотришь?

Отдельная история со squashcfg.mk. Надо разобраться, что это
он то подхватывается, то нет. Я на первом подходе немного
запутался в WORKDIR, GLOBAL_BUILDIR, OUT_DIR и /.image.

-- 
  wbr,
    iv m.

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Michael Shigorin]

On Fri, Mar 19, 2021 at 12:30:42PM +0400, Ivan A. Melnikov wrote:
> Отдельная история со squashcfg.mk. Надо разобраться, что это
> он то подхватывается, то нет. Я на первом подходе немного
> запутался в WORKDIR, GLOBAL_BUILDIR, OUT_DIR и /.image.

Да, было такое дело ;-)  Сам в таких случаях внимательно
перечитываю документацию mkimage и при надобности не стесняюсь
обкладывать разрабатываемый код фрагментами вроде

{
echo "** HERE1"
pwd
ls -a
echo "** HERE2
} >&2

(после выяснения удаляя их)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Michael Shigorin]

On Fri, Mar 19, 2021 at 02:33:20AM +0300, Артём wrote:
> Убрал вообще -b 262144 -noI и попробовал
> образ собрался и нормально работает и загружается

Возможно, пора это вынести.  Когда писал лет десять назад --
тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
были другими.

> 18.03.2021 12:26, Ivan A. Melnikov пишет:
> >> Проблему воспроизвёл. altinst получается меньше при такой
> >> сборке. Распаковал, одинаковые. Запаковывается что ли
> >> неправильно?  При сборке в build (проблемная):
> >> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
> >> Нормальная сборка:
> >> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
> > В нормальной сборке блок 128k, сжатые metadata и ids. Это
> > похоже на умолчания mksquashfs.  В проблемной сборке блок
> > 256k, несжатые metadata и ids. Это похоже на действие
> > `-b 262144 -noI`, которые пишутся в squashcfg.mk в
> > features.in/stage2/stage1/scripts.d/03-test-kernel.

Вань, спасибо за внимательность!

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Антон Мидюков]

19.03.2021 18:43, Michael Shigorin пишет:
> On Fri, Mar 19, 2021 at 02:33:20AM +0300, Артём wrote:
>> Убрал вообще -b 262144 -noI и попробовал
>> образ собрался и нормально работает и загружается
> 
> Возможно, пора это вынести.  Когда писал лет десять назад --
> тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
> были другими.
> 

Это волшебно, но 03-test-kernel выполняется уже после того, как собрался squash.
Всего лишь нужно было внимательно посмотреть сборочный лог :-)

Отсюда делаю вывод, что и раньше собирались немного разные образы, но что-то приехало в репозиторий, и теперь squash, созданный с параметрами '-b 262144 -noI' не поддерживается.

>> 18.03.2021 12:26, Ivan A. Melnikov пишет:
>>>> Проблему воспроизвёл. altinst получается меньше при такой
>>>> сборке. Распаковал, одинаковые. Запаковывается что ли
>>>> неправильно?  При сборке в build (проблемная):
>>>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 262144
>>>> Нормальная сборка:
>>>> Exportable Squashfs 4.0 filesystem, xz compressed, data block size 131072
>>> В нормальной сборке блок 128k, сжатые metadata и ids. Это
>>> похоже на умолчания mksquashfs.  В проблемной сборке блок
>>> 256k, несжатые metadata и ids. Это похоже на действие
>>> `-b 262144 -noI`, которые пишутся в squashcfg.mk в
>>> features.in/stage2/stage1/scripts.d/03-test-kernel.
> 
> Вань, спасибо за внимательность!
> 

Да, огромное спасибо Ивану!

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Антон Мидюков]

19.03.2021 21:29, Антон Мидюков пишет:
> 19.03.2021 18:43, Michael Shigorin пишет:
>> On Fri, Mar 19, 2021 at 02:33:20AM +0300, Артём wrote:
>>> Убрал вообще -b 262144 -noI и попробовал
>>> образ собрался и нормально работает и загружается
>>
>> Возможно, пора это вынести.  Когда писал лет десять назад --
>> тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
>> были другими.
>>
> 

Теперь вопрос: удалять или сделать проверку рабочей?
Насколько она нужна вообще? Столько лет без неё работало :)


-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

[devel-distro] параметры сжатия squashfs (was: mkimage-profiles 1.4.8-alt1)

[Michael Shigorin]

On Fri, Mar 19, 2021 at 10:14:29PM +0700, Антон Мидюков wrote:
> >>> Убрал вообще -b 262144 -noI и попробовал
> >>> образ собрался и нормально работает и загружается
> >> Возможно, пора это вынести.  Когда писал лет десять назад --
> >> тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
> >> были другими.
> Теперь вопрос: удалять или сделать проверку рабочей?
> Насколько она нужна вообще? Столько лет без неё работало :)

Поиграйся сначала с каким-нить образом вручную -- собери с
DEBUG=1 CLEAN=0, чтоб двадцать раз не пересоздавать сам чрут
(хотя если лень, то можно и попересоздавать), и поделай из него
squashfs с разными -b (в разумных пределах больше -- плотнее,
по идее) да почитай, что там сейчас есть из опций.

Насколько помню, изначально задумка этого теста была в том,
чтобы пораньше свалиться, если ядро заведомо не умеет нужного;
ну и чтобы на x86, для которого в squashfs-tools была сделана
-Xbcj (смотрю, сейчас ещё для нескольких архитектур есть),
можно было использовать специфический фильтр содержимого.

Кстати, до кучи можно было бы поиграться в -comp zstd
для слабых машинок (хотя с SD-шки тоже ещё вопрос, в чём
лучше выиграть -- именно в скорости распаковки или в I/O;
наверное, тут бы пытался сравнивать скорость поступления
распакованного содержимого).

Ну и посмотреть, насколько сейчас полезен -noI -- смутно
припоминаю, что десяток лет назад на оптике помогало.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] параметры сжатия squashfs (was: mkimage-profiles 1.4.8-alt1)

[Антон Мидюков]

19.03.2021 22:56, Michael Shigorin пишет:
> On Fri, Mar 19, 2021 at 10:14:29PM +0700, Антон Мидюков wrote:
>>>>> Убрал вообще -b 262144 -noI и попробовал
>>>>> образ собрался и нормально работает и загружается
>>>> Возможно, пора это вынести.  Когда писал лет десять назад --
>>>> тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
>>>> были другими.
>> Теперь вопрос: удалять или сделать проверку рабочей?
>> Насколько она нужна вообще? Столько лет без неё работало :)
> 
> Поиграйся сначала с каким-нить образом вручную -- собери с
> DEBUG=1 CLEAN=0, чтоб двадцать раз не пересоздавать сам чрут
> (хотя если лень, то можно и попересоздавать), и поделай из него
> squashfs с разными -b (в разумных пределах больше -- плотнее,
> по идее) да почитай, что там сейчас есть из опций.
> 
> Насколько помню, изначально задумка этого теста была в том,
> чтобы пораньше свалиться, если ядро заведомо не умеет нужного;
> ну и чтобы на x86, для которого в squashfs-tools была сделана
> -Xbcj (смотрю, сейчас ещё для нескольких архитектур есть),
> можно было использовать специфический фильтр содержимого.
> 
> Кстати, до кучи можно было бы поиграться в -comp zstd
> для слабых машинок (хотя с SD-шки тоже ещё вопрос, в чём
> лучше выиграть -- именно в скорости распаковки или в I/O;
> наверное, тут бы пытался сравнивать скорость поступления
> распакованного содержимого).
> 
> Ну и посмотреть, насколько сейчас полезен -noI -- смутно
> припоминаю, что десяток лет назад на оптике помогало.
> 

с -noI не грузится. В нём проблема.

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Michael Shigorin]

On Fri, Mar 19, 2021 at 09:29:20PM +0700, Антон Мидюков wrote:
> >> Убрал вообще -b 262144 -noI и попробовал
> >> образ собрался и нормально работает и загружается
> > Возможно, пора это вынести.  Когда писал лет десять назад --
> > тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
> > были другими.
> > 
> Это волшебно, но 03-test-kernel выполняется уже после того, как
> собрался squash.  Всего лишь нужно было внимательно посмотреть
> сборочный лог :-)

То есть в итоге параметры-то писались при порождении BUILDDIR,
но в какой-то момент применяться стали только при перезапуске
сборки в сгенерированном профиле.

Интересно, в какой... но не настолько, чтоб бисектить %)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel-distro] Fwd: Re: mkimage-profiles 1.4.8-alt1

[Антон Мидюков]

19.03.2021 22:49, Michael Shigorin пишет:
> On Fri, Mar 19, 2021 at 09:29:20PM +0700, Антон Мидюков wrote:
>>>> Убрал вообще -b 262144 -noI и попробовал
>>>> образ собрался и нормально работает и загружается
>>> Возможно, пора это вынести.  Когда писал лет десять назад --
>>> тщательно вымерял и сравнивал, но тогда и сами squashfs-tools
>>> были другими.
>>>
>> Это волшебно, но 03-test-kernel выполняется уже после того, как
>> собрался squash.  Всего лишь нужно было внимательно посмотреть
>> сборочный лог :-)
> 
> То есть в итоге параметры-то писались при порождении BUILDDIR,
> но в какой-то момент применяться стали только при перезапуске
> сборки в сгенерированном профиле.
> 
> Интересно, в какой... но не настолько, чтоб бисектить %)
> 

Что тут бисектить? Нужно было понять причину. А причина в том, что была введена сортировка субпрофилей.
И коммит нашёлся:

commit da65dc2fd9686b02d17241b26ebf7364d946bff8
Author: Michael Shigorin <mike@altlinux.org>
Date:   Mon Jul 15 13:53:44 2013 +0400

    build-distro: skip pseudo subprofiles
    
    rootfs presented a special case when there is no resulting
    directory at all as it gets merged with the target subprofile
    by design.
    
    Still those features adding only rootfs scripts need to depend
    on it but this resulted in an attempt to process a missing subdir.
    
    This is brought back to sanity now.

diff --git a/features.in/build-distro/lib/90-build-distro.mk b/features.in/build-distro/lib/90-build-distro.mk
index 587e2df5c..77bd2a210 100644
--- a/features.in/build-distro/lib/90-build-distro.mk
+++ b/features.in/build-distro/lib/90-build-distro.mk
@@ -1,7 +1,8 @@
 # step 4: build the distribution image
 
-# take the latter part for complex-specified subprofiles like stage2@live
-SUBDIRS = $(SUBPROFILE_DIRS)
+# take the latter part for complex-specified subprofiles like stage2@live;
+# care to exclude non-directories holding no makefiles like rootfs
+SUBDIRS = $(sort $(dir $(wildcard $(addsuffix /Makefile,$(SUBPROFILE_DIRS)))))
 
 # proxy over the ISO metadata collected; see also genisoimagerc(5)
 BOOT_SYSI := $(META_SYSTEM_ID)

В результате stage1 выполняется после сборки install и live. Возможно, что на тот момент они назывались иначе (stage2@install, stage2live, stage2@rescue). Или, если бы они как-то так назывались, то проблемы не было.

-- 
С уважением, Антон Мидюков <antohami@altlinux.org>