[devel-distro] I: mkimage-profiles.git 0.4.0

[devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

	Здравствуйте.
За эти две недели в mkimage-profiles произошли заметные изменения:

- добавлена поддержка генерации template cache (проверена с ovz);

- обобщена поддержка различных типов порождаемых образов
  (flash ещё не прикручивал, но теперь это должно быть проще);

- собственно, три определяющие образ переменные наконец разделены:
  + класс задаётся префиксом цели (distro, ve);
  + суть задаётся именем цели (icewm, openvpn);
  + вид задаётся суффиксом цели (iso, tgz);
  + пример: make distro/icewm.iso или make ve/openvpn.tar;

- в процессе *.mk верхнего уровня переехали в lib/
  и местами изменились (image.mk к тому же стал build.mk);

- постобработка образов и создание удобных симлинков переехали
  из toplevel Makefile в сборочный каталог (поскольку сборка
  после генерации производного профиля может производиться и
  без метапрофиля);

- поправлен ряд замеченных ошибок и недоработок (например,
  сбой make clean|distclean в некоторых случаях или поздний
  коммит distcfg.mk вместе со stage1);

- слегка улучшена читаемость лога сборки;

- дополнена документация (в т.ч. добавлен QUICKSTART).

Обновлена страничка http://www.altlinux.org/Mkimage/Profiles/next

Из TODO (возможно, что-то пригодится и для m-p-d):

- интегрировать isomd5sum;
- делать apt-cdrom add только для дистрибутивов с DISK_*;
- реализовать создание образов VM;
- создать инфраструктуру для автоматических тестов;
- [ещё вагон всего, если кому надо -- могу прислать]...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Aleksey Novodvorsky]

22 октября 2011 г. 16:03 пользователь Michael Shigorin
<mike@osdn.org.ua> написал:
>        Здравствуйте.
> За эти две недели в mkimage-profiles произошли заметные изменения:

Миша, спасибо!
Кто бы еще подумал о:
-- web-интерфейсе. Не нужно сразу охватывать в нем все возможности,
лучше поставить цель создания кастомного дистрибутива с ограниченными
простыми изменениями в одном из стандартный профилей.
-- описание "для чайников" получения минимальных дистрибутивов и шаблонов VE.

Rgrds, Алексей

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Sat, Oct 22, 2011 at 04:09:03PM +0400, Aleksey Novodvorsky wrote:
> Кто бы еще подумал о:
> -- web-интерфейсе. Не нужно сразу охватывать в нем все
> возможности, лучше поставить цель создания кастомного
> дистрибутива с ограниченными простыми изменениями в одном
> из стандартный профилей.

Я стараюсь заранее оставлять под него зацепки -- например,
кое-где уже есть make help (см. ниже) и система тегов.

С веб-мордой проблемы такие:
- где положить? (могу у себя в интранете, но страшновато)
- из меня ныне плохой веб-разработчик
- пока недостаточно ясно, что именно давать модифицировать

Вы наверняка видели недавнее обсуждение в antique@,
на сегодня у меня это вся информация по последнему пункту:
http://lists.altlinux.org/pipermail/antique/2011-October/001811.html

По первому -- вот ориентиры по времени сборки на быстрой машине
(8 ядер X5570 @2.93GHz, 12Gb DDR3-1333 RAM):

distro/desktop-base.iso: 2:20
distro/dos.iso: 0:32
distro/icewm.iso: 2:12
distro/installer.iso: 1:57
distro/live.iso: 2:24
distro/rescue.iso: 2:32
distro/server-base.iso: 2:23
distro/server-mini.iso: 1:53
distro/server-ovz.iso: 3:34
distro/syslinux.iso: 0:33
ve/generic.tar: 0:31
ve/openvpn.tgz: 0:35

На ноутбуке для distro/icewm.iso: 7:07.41 116%CPU 475168k [RAM]

tmpfs надо относительно немного, с CLEAN=1 промежуточные стадии
после сборки и копирования результата "наверх" зачищаются.

Есть ещё минимум одна оптимизация (кэширование базового
инструментального чрута), которая может заметно помочь при
массовой сборке, но придётся в mkimage с напильником сходить.

> -- описание "для чайников" получения минимальных дистрибутивов
> и шаблонов VE.

Прямо сейчас это начало README в корне, плюс на днях написал
QUICKSTART по мотивам запихивания на сборочницу на лезвии :)

По "свежему взгляду" много помогают в antique@, но не помешает ещё.

---

n02:~/mkimage/mkimage-profiles> make help
** available distribution targets:
distro/desktop-base.iso  distro/dos.iso
distro/icewm.iso         distro/installer.iso
distro/live.iso          distro/rescue.iso
distro/server-base.iso
distro/server-mini.iso
distro/server-ovz.iso
distro/syslinux.iso

** available virtual environment targets:
ve/generic.tar  ve/openvpn.tar
ve/generic.tgz  ve/openvpn.tgz

---

n02:~/mkimage/mkimage-profiles/features.in> make help
** BUILDDIR not defined; available features:
00example/: use/00example 
bootloader/: use/bootloader use/bootloader/grub use/bootloader/lilo 
build-distro/: use/build-distro 
build-ve/: use/build-ve 
cleanup/: use/cleanup use/cleanup/installer use/cleanup/x11 use/cleanup/alterator use/cleanup/x11-alterator 
dos/: use/dos 
firmware/: use/firmware use/firmware/server use/firmware/wireless 
hdt/: use/hdt 
install2/: use/install2 
live/: use/live 
lowmem/: use/lowmem 
memtest/: use/memtest 
pack/: use/pack use/pack/iso use/pack/tar use/pack/tgz 
powerbutton/: use/powerbutton use/powerbutton/acpi use/powerbutton/powersave use/powerbutton/apm 
rescue/: use/rescue 
stage2/: use/stage2 
syslinux/: use/syslinux use/syslinux/ui-% use/syslinux/%.com use/syslinux/%.c32 use/syslinux/%.cfg 
x11/: use/x11/xorg use/x11/runlevel5 use/x11/xdm 

---

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Leo-sp50]

Не много пожеланий :

- в р6 нет installer-generic, из-за чего при попытке
"тестовой" сборки все останавливается (если следовать
описанию из QUICKSTART, где фигурирует р6),
может тогда либо его туда включить,
либо изменить дефолтный инсталятор на что-то общее ?

- добавить в QUICKSTART описание для чего нужен файл profiles.mk
(за что отвечают опции в нем)
и куда его запихивать в профиле пользователя при установке m-p

- так же в QUICKSTART добавить описание команды для сборки,
например make distro/icewm.iso
(заодно эта команда может быть использована для проверки
работоспособности системы сборки и правильности ее настройки)

Для обсуждения : может сделать готовый prm-пакет, с профилем m-p,
заодно привязать к нему в зависимости все необходимые для работы пакеты
(mkimage, git, hasher), заодно добавить создание у пользователя 
каталог .mkimage и укладывающий в него файл с преднастройками,
и разделить дефолтные описания с пользовательскими, помещая
пользовательские описания в отдельный каталог и файлы по дистрам.

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Sun, Oct 23, 2011 at 05:50:06PM +0400, Leo-sp50 wrote:
> Не много пожеланий :
> - в р6 нет installer-generic, из-за чего при попытке
> "тестовой" сборки все останавливается (если следовать
> описанию из QUICKSTART, где фигурирует р6),
> может тогда либо его туда включить,

Ой не, сейчас он совсем "инженерный".  Понял, подумаю
(там давно хочется сделать installer-steps.d/, но не сломать
ничего при этом не совсем просто).

> либо изменить дефолтный инсталятор на что-то общее ?

Как вариант -- для себя-то локально могу перебить из настроек.

> - добавить в QUICKSTART описание для чего нужен файл
> profiles.mk (за что отвечают опции в нем) и куда его запихивать
> в профиле пользователя при установке m-p

В смысле ~/.mkimage/profiles.mk?  Подразумевается, что кроме
совершенно необходимого QUICKSTART пользователь хотя бы заглянет
одним глазком в doc/, где есть variables.txt :)

А что именно оказалось критичным?  Этот файлик не должен быть
обязательным, по задумке.

> - так же в QUICKSTART добавить описание команды для сборки,
> например make distro/icewm.iso

Резонно, добавил.

> (заодно эта команда может быть использована для проверки
> работоспособности системы сборки и правильности ее настройки)

По этому пункту в TODO висит "[FR] hasher availability check",
но пока без хороших идей по реализации.  Вообще по уму это бы
сделать в mkimage и дёргать оттуда...

> Для обсуждения : может сделать готовый prm-пакет, с профилем m-p,

Спек сделать совсем недолго, но тут как: я подумывал, не
переписать ли начисто раннюю историю (которая вообще делалась
чисто технической и не предполагавшей публикации).  Из минусов
-- это прилично времени и ссылки побьются.

> заодно привязать к нему в зависимости все необходимые для
> работы пакеты (mkimage, git, hasher)

Разумеется.

> заодно добавить создание у пользователя каталог .mkimage и
> укладывающий в него файл с преднастройками

Это не должно требоваться.

> и разделить дефолтные описания с пользовательскими,
> помещая пользовательские описания в отдельный каталог
> и файлы по дистрам.

То есть хочется distro.d/, правильно понимаю?
(чтоб можно было забросить файлик по конкретному дистру)

Вообще для разработки вида "оттолкнуться и делать своё"
предполагается брать получившийся build/ и работать с ним:
такой профиль содержит всю нужную информацию для начала сборки
соответствующего дистрибутива и вполне обозрим, да и без
кодогенерации. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Leo-sp50]

> - слегка улучшена читаемость лога сборки;
>
Возможно ли реализовать ведение лога только "по требованию" ?
Т.е. если не активирована опция ведения лога, то лог вообще не ведется.
При частых пересборках "проверенного" профиля в логе нет необходимости,
а ресурсы на его ведение все время тратятся. 
Хорошо бы еще реализовать дублирование последних сообщений из лога
в консоль сборки, чаще всего ошибка там и описана и читать весь лог
нет необходимости, но сейчас приходиться переходить в "сборочник" 
и там смотреть последнюю часть лога на предмет полученной ошибки.

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Sun, Oct 23, 2011 at 07:08:00PM +0400, Leo-sp50 wrote:
> > - слегка улучшена читаемость лога сборки;
> Возможно ли реализовать ведение лога только "по требованию" ?

Да, конечно -- см. lib/log.mk, там можно >&/dev/null и всё.

> При частых пересборках "проверенного" профиля в логе нет
> необходимости, а ресурсы на его ведение все время тратятся. 

Это не ресурсы даже по сравнению с установкой мелкого пакета...
Другое дело, что копировать всем все архивные логи и конфиги
может быть просто спамом, если речь про ~/out/.

> Хорошо бы еще реализовать дублирование последних сообщений из лога
> в консоль сборки, чаще всего ошибка там и описана и читать весь лог
> нет необходимости, но сейчас приходиться переходить в "сборочник" 
> и там смотреть последнюю часть лога на предмет полученной ошибки.

При проблеме делается попытка отгрепать на предупреждения и
ошибки, см. lib/build.mk (там бы хорошо уточнить взятое с потолка
"tail -100").

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Leo-sp50]

[-- Attachment #1: Type: text/plain, Size: 282 bytes --]


> При проблеме делается попытка отгрепать на предупреждения и
> ошибки, см. lib/build.mk (там бы хорошо уточнить взятое с потолка
> "tail -100").
>
Посмотрю.

Кстати, может пригодятся файлы в прицепе с дифом 
и дополнениями в /pkg.in/lists/tagget для сборки десктопных "минималов".

[-- Attachment #2: out.txt --]
[-- Type: text/plain, Size: 1602 bytes --]

diff --git a/features.in/x11/config.mk b/features.in/x11/config.mk
index 1eb4242..d01272b 100644
--- a/features.in/x11/config.mk
+++ b/features.in/x11/config.mk
@@ -8,3 +8,7 @@ use/x11/runlevel5: use/x11/xorg
 ### xdm: see also #23108
 use/x11/xdm: use/x11/runlevel5
 	@$(call add,BASE_PACKAGES,xdm installer-feature-no-xconsole)
+
+### wdm
+use/x11/wdm: 
+	@$(call add,BASE_PACKAGES,wdm installer-feature-no-xconsole)
diff --git a/lib/distro.mk b/lib/distro.mk
index 8aedc6a..ed0f2b1 100644
--- a/lib/distro.mk
+++ b/lib/distro.mk
@@ -85,13 +85,25 @@ distro/server-ovz: distro/server-base \
 # desktop distributions
 
 distro/desktop-base: distro/installer sub/main \
-	use/syslinux/ui-vesamenu use/x11/xorg use/bootloader/grub
+	use/syslinux/ui-vesamenu use/x11/xorg use/bootloader/grub \
+	use/powerbutton/acpi use/x11/runlevel5
+	@$(call add,BASE_LISTS,$(call tags,base network))
+	@$(call add,BASE_LISTS,$(call tags,base l10n))
+	@$(call add,BASE_LISTS,$(call tags,system desktop))
 
 distro/icewm: distro/desktop-base \
-	use/lowmem use/x11/xdm use/x11/runlevel5 \
-	use/bootloader/lilo use/powerbutton/acpi \
-	use/cleanup/alterator
+	use/x11/xdm
 	@$(call add,BASE_LISTS,$(call tags,icewm desktop))
 
+distro/e17: distro/desktop-base \
+	use/x11/wdm
+	@$(call add,BASE_LISTS,$(call tags,e17 desktop))
+
+distro/small: distro/icewm \
+	use/x11/wdm
+	@$(call add,BASE_LISTS,$(call tags,small desktop))
+	@$(call add,BASE_LISTS,$(call tags,www desktop))
+	@$(call add,BASE_LISTS,$(call tags,alterator desktop))
+
 # NB: if there are too many screens above, it might make sense to distro.d/
 endif

[-- Attachment #3: desktop,alterator --]
[-- Type: application/octet-stream, Size: 205 bytes --]

[-- Attachment #4: desktop,e17 --]
[-- Type: application/octet-stream, Size: 31 bytes --]

[-- Attachment #5: desktop,icewm --]
[-- Type: application/octet-stream, Size: 6 bytes --]

[-- Attachment #6: desktop,small --]
[-- Type: application/octet-stream, Size: 162 bytes --]

[-- Attachment #7: desktop,system --]
[-- Type: application/octet-stream, Size: 48 bytes --]

[-- Attachment #8: desktop,www --]
[-- Type: application/octet-stream, Size: 23 bytes --]

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Sun, Oct 23, 2011 at 09:49:14PM +0400, Leo-sp50 wrote:
> Кстати, может пригодятся файлы в прицепе с дифом и дополнениями
> в /pkg.in/lists/tagget для сборки десктопных "минималов".

Может, пушнете свой репозиторий на github какой?  Так будет
гораздо удобнее обмениваться наработками, чем дёргать-класть
патчи.

(хорошо бы заархивировать и сделать git rebase на то, что сегодня
пушнул -- хотя должно и смержиться, но мержить мержи приводит к
вязанкам merge commit'ов, а мерж rebase'ного проходит гладко)

>  use/x11/xdm: use/x11/runlevel5
>  	@$(call add,BASE_PACKAGES,xdm installer-feature-no-xconsole)
> +
> +use/x11/wdm: 
> +	@$(call add,BASE_PACKAGES,wdm installer-feature-no-xconsole)

Видите, сколько общего в этих фрагментах?  Я как раз и хочу
избегать такого дублирования (а конкретно xconsole надо вообще
поотрывать везде, где оно забито безусловно гвоздями).

>  distro/desktop-base: distro/installer sub/main \
> -	use/syslinux/ui-vesamenu use/x11/xorg use/bootloader/grub
> +	use/syslinux/ui-vesamenu use/x11/xorg use/bootloader/grub \
> +	use/powerbutton/acpi use/x11/runlevel5

А если бы хоть к use/x11/wdm прицепили зависимость от
use/x11/runlevel5, то тут можно было бы не повторять.

> +	@$(call add,BASE_LISTS,$(call tags,base network))
> +	@$(call add,BASE_LISTS,$(call tags,base l10n))
> +	@$(call add,BASE_LISTS,$(call tags,system desktop))

Не уверен, что это всё есть смысл тянуть в base -- я бы
всё-таки сделал промежуточную цель (или перенёс совсем
базовое в desktop/bare).  Хотя это не высечено в камне.

>  distro/icewm: distro/desktop-base \
> -	use/lowmem use/x11/xdm use/x11/runlevel5 \
> -	use/bootloader/lilo use/powerbutton/acpi \
> -	use/cleanup/alterator
> +	use/x11/xdm

Дважды use/x11/xdm.

И тут ещё один момент: use/x11/xdm зависит от use/x11/runlevel5
(см. features.in/x11/config.mk), хотя вообще-то это для
организации runlevel 5 нужен какой-нибудь dm -- просто выразить
такую зависимость в терминах make без файловых целей у меня
не получается.

(а use/lowmem я уже починил :)

> +distro/e17: distro/desktop-base \
> +	use/x11/wdm
> +	@$(call add,BASE_LISTS,$(call tags,e17 desktop))
> +
> +distro/small: distro/icewm \
> +	use/x11/wdm

Опять же: видите, сколько общего?  Можно так выделить:

distro/: distro/desktop-base use/x11/wdm
distro/e17: distro/wdm
	# ...
distro/small: distro/wdm distro/icewm
	# ... [хотя вообще-то множественное наследование
	#      не рекомендуется по печальному опыту C++]

Как бы поясней это донести... http://vimeo.com/23522095 :)

> +	@$(call add,BASE_LISTS,$(call tags,small desktop))
> +	@$(call add,BASE_LISTS,$(call tags,www desktop))
> +	@$(call add,BASE_LISTS,$(call tags,alterator desktop))

А по сей часть в задумке такой финт ушами:
- где-то складываем в переменные теги вроде distro, desktop, iso;
- где-то смотрим на эти переменные, прибавляем к ним то, что было
  передано уже в явном виде, комбинируем и делаем выборку.

Чтоб можно было примерно так и yetanother попало в теги само:

distro/yetanother:
	@$(call add,BASE_TAGS,small www alterator)

...а где-то в коде отработало:
	BASE_LISTS += $(call tags,$(DISTRO_TAG) && base \
		&& $(call tags_or,$(BASE_TAGS))

и когда-то отрефакторилось, чтобы base/BASE не повторять
для других частей.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[devel-distro] I: mkimage-profiles.git 0.4.0

[Михаил Радюк]

Приветствую!
Парочка вопросов.
Для полноценного использования mkimage-profiles нужен ли именно
последний mkimage (0.2.0) из Сизифа или вполне подойдёт из
p6/t6(0.1.9)? Если нужен сизифный, может быть стоит прикрутить
начальную проверку версии mkimage (где-нибудь в будущем)?
Можно ли сейчас собирать дистры на бранчах или только на Сизифе?
Например, installer-distro-altlinux-generic имеется только в Сизифе.
Можно ли прикрутить конфигурационный файл по подобию APTCONF для
sources.list? Менять вручную не долго конечно, но весьма опасно, если
забыть поменять обратно.

-- 
С уважением, Михаил.

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Mon, Oct 24, 2011 at 12:28:47PM +0400, Михаил Радюк wrote:
> Для полноценного использования mkimage-profiles нужен ли именно
> последний mkimage (0.2.0) из Сизифа или вполне подойдёт из
> p6/t6(0.1.9)?

Лучше сизифный (отправил в t6 и запросил в p6), туда добрались
исправления ряда проблем в специфических случаях (например,
для syslinux.iso); hasher с фиксом #26217, к сожалению, пока
никуда не добрался (без этого исправления режутся логи).

> Если нужен сизифный, может быть стоит прикрутить
> начальную проверку версии mkimage (где-нибудь в будущем)?

Да, в тудушке было насчёт доступности hasher, дописал и это.

> Можно ли сейчас собирать дистры на бранчах или только на Сизифе?

Можно и на бранчах -- по крайней мере попытка оттащить на 5.1
была и в принципе это вопрос желания и времени.

Была задумка сделать бранч-специфичные пакаджлисты (bin/existor
в m-p-d), но вероятно, реализована она не будет -- на практике
меньше головной боли держать различные git-бранчи профиля для
существенно различных репозиториев.

> Например, installer-distro-altlinux-generic имеется только в Сизифе.

Уже некоторое время и в t6, плюс применим и как минимум
installer-distro-desktop.  Только он сейчас не generic,
а testonly: для настоящих дистрибутивов не годится.
Озадачился.

> Можно ли прикрутить конфигурационный файл по подобию APTCONF
> для sources.list? Менять вручную не долго конечно, но весьма
> опасно, если забыть поменять обратно.

Нет, к сожалению -- специфика апта... приходится разводить
парный зоопарк в ~/apt/ (как вариант, есть /etc/eterbuild/apt/
из etersoft-build-utils).

Если не задавать APTCONF, используется системная конфигурация.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Leo-sp50]

> Как вариант -- для себя-то локально могу перебить из настроек.
>
"Для себя" можно весь профиль перекроить до неузнаваемости,
была бы необходимость ... :)
Но речь про то, что-бы начинающий сборщик как можно меньше 
испытывал мелких "шероховатостей" и мог сосредоточиться на главной
цели - хороший и полезный дистр, а не тратить время на вникание в
"мелкие нюансы".


> Этот файлик не должен быть
> обязательным, по задумке.
>
Почему ?

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Leo-sp50]

> Может, пушнете свой репозиторий на github какой?  Так будет
> гораздо удобнее обмениваться наработками, чем дёргать-класть
> патчи.
>
Моих "наработок" там с гулькин хрен, и затевать ради пары строчек
создание и поддержание гита нет смысла. Тем более такие "наработки",
это варианты для обсуждения, а не готовые решения.

Re: [devel-distro] I: mkimage-profiles.git 0.4.0

[Michael Shigorin]

On Mon, Oct 24, 2011 at 08:39:04PM +0400, Leo-sp50 wrote:
> > Этот файлик не должен быть обязательным, по задумке.
> Почему ?

По вот этому же:

> Но речь про то, что-бы начинающий сборщик как можно меньше
> испытывал мелких "шероховатостей" и мог сосредоточиться на
> главной цели - хороший и полезный дистр, а не тратить время
> на вникание в "мелкие нюансы".

Если без лишних действий начинает работать сборка с системной
конфигурацией apt -- что ж в этом плохого? (той же цели служит
и bin/mktmpdir, кстати)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/