[devel-distro] Builder Live/Appliance

[devel-distro] Builder Live/Appliance

[Ildar Mulyukov]

	Коллеги,

поскольку я не нашёл документации на live-builder, то не знаю даже  
точно, какие идеи, а может даже и ТЗ, были вложены в него, и что он уже  
на самом деле умеет (т.к. не смог пока собрать образ).

Но я хотел бы поделиться некоторыми идеями, с прицелом на то, чтобы  
использовать live-builder для новых решений. Очень хотел бы  
конструктивно обсудить эти идеи.

Форма продукта
~~~~~~~~~~~~~~
Хочется видеть Builder в виде продукта, который быстро разворачивается  
и подготавливается к работе. То есть это файл и небольшая  
сопроводительная записка к нему, вроде пошагового списка инструкций.

Файл я предполагаю двух видов:

1. хорошо всем нам известный ISO LiveCD
2. Virtual Appliance, в котором LiveCD ISO и настройки виртуальной  
машины. (так сделали коллеги с ZeroShell[1], например)

Функционал
~~~~~~~~~~

1. Основная функциональность (сборка пакетов, например) доступна по ssh.
2. конфигурирование:
    . минимально мне хотелось бы иметь возможность загружать  
конфигурацию с флешки автоматически при загрузке
    . возможны более продвинутые варианты, например URL с конфигурацией
3. Возможности преднастройки.
    . подключение nfs/cifs для доступа к APT repo и чтобы положить  
результаты работы (/out). Эта информация берётся из конфигурации.
    . автоматическое подключение свап-разделов на доступных дисках.
    . автоматическое конфигурирование размера /tmp в соответствии с  
доступной виртуальной памятью (RAM+swap)

В результате должен получиться универсальный и легко тиражируемый  
инструмент с понятным входом (APT repo) и выходом (пакеты или образы из  
mkimage).

Следующим шагом будет прикрутить веб-морду, через которую пользователи  
смогут заказывать образы с нужными параметрами.

[1]  
http://mirror.switch.ch/ftp/mirror/zeroshell/ZeroShell-1.0.beta16-VMWARE.zip

Что думаете?

С уважением,
-- 
Ildar Mulyukov,
   free SW designer/programmer/packager
======================================
email: ildar@altlinux.ru
Jabber: ildar.mulyukov@gmail.com
ICQ: 4334029
ALT Linux http://packages.altlinux.org/ru/Sisyphus/maintainers/ildar/
======================================

Re: [devel-distro] Builder Live/Appliance

[Михаил Радюк]

Приветствую!
Полноценно обсудить идею я не смогу, скажу только то, что знаю.

> поскольку я не нашёл документации на live-builder, то не знаю даже точно,
> какие идеи, а может даже и ТЗ, были вложены в него, и что он уже на самом
> деле умеет (т.к. не смог пока собрать образ).
>

live-builder.iso -- <<живая сборочница>>, способная собрать себя сама при
доступности интернета, либо syslinux.iso -- автономно

>    . автоматическое подключение свап-разделов на доступных дисках.

умеет.

>    . автоматическое конфигурирование размера /tmp в соответствии с доступной
> виртуальной памятью (RAM+swap)

умеет.
Ещё умеет определять доступность Интернет.

Функционал был реализован "на будущее" (как раз для таких идей) и,
IMHO, косвенно указывает на зрелость m-p, как системы сборки.
На практике лично мне пригодился при физическом доступе к весьма
мощным серверам (и слабой локальной сборочнице), но без возможности
что-либо на них устанавливать.
На сколько мне известно, у тёзки есть мысли на счёт web-мордочки,
деталей не знаю.

--
С уважением, Михаил.

Re: [devel-distro] Builder Live/Appliance

[Michael Shigorin]

On Sat, Nov 10, 2012 at 10:00:37AM +0600, Ildar Mulyukov wrote:
> поскольку я не нашёл документации на live-builder, то не знаю
> даже  точно, какие идеи, а может даже и ТЗ, были вложены в
> него, и что он уже  на самом деле умеет (т.к. не смог пока
> собрать образ).

Документация покамест вся на вики (и это одна строчка),
надо хотя бы /etc/motd придумать туда полезный -- сейчас
приходится знать про /usr/share/mkimage-profiles или hsh-*,
чтоб применить по назначению.

ТЗ не было, а идея описана в названии: возможность получить
сборочную среду ALT на любом подручном железе, которое доступно
только временно.

Готовый образ можно взять вот здесь:
http://ftp.linux.kiev.ua/pub/Linux/ALT/people/mike/iso/mkimage-profiles/

> Но я хотел бы поделиться некоторыми идеями, с прицелом на то,
> чтобы  использовать live-builder для новых решений. Очень хотел
> бы  конструктивно обсудить эти идеи.

Спасибо :)

> То есть это файл и небольшая  сопроводительная записка к нему,
> вроде пошагового списка инструкций.

В случае исошки записку лучше туда же и класть, угу.

> Файл я предполагаю двух видов:
> 1. хорошо всем нам известный ISO LiveCD

Уже есть.

> 2. Virtual Appliance, в котором LiveCD ISO и настройки
> виртуальной  машины. (так сделали коллеги с ZeroShell[1],
> например)

Такой вариант знаком, но уже есть возможность просто выпечь
vm hdd image с совсем базовыми настройками; до генерации описания
конфигурации виртуальной машины не добрался, хотя в ту сторону
тоже с год тому копал.

См. тж. {conf.d,lib}/vm.mk и icewm-20120831-*.qcow2.xz по ссылке выше.

> 1. Основная функциональность (сборка пакетов, например) доступна по ssh.

openssh-server добавить недолго, а что делать с подъёмом sshd?
Как минимум придётся ставить пароль или класть ключик
пользователю altlinux (беспарольного не пустят).

> 2. конфигурирование:
>    . минимально мне хотелось бы иметь возможность загружать  
>      конфигурацию с флешки автоматически при загрузке

Если хочется rw overlay, есть смысл копнуть в сторону
портирования поддержки уже существующих наработок boyarsh@
(я в них заглядывал, но и не более -- возможно, просто работает,
возможно, что-то надо ещё доделать).

>    . возможны более продвинутые варианты, например URL с конфигурацией

Это же может быть полезно и live-webkiosk, кстати.

> 3. Возможности преднастройки.
>    . подключение nfs/cifs для доступа к APT repo и чтобы положить  
> результаты работы (/out). Эта информация берётся из конфигурации.
>    . автоматическое подключение свап-разделов на доступных дисках.
>    . автоматическое конфигурирование размера /tmp в соответствии с  
> доступной виртуальной памятью (RAM+swap)
> 
> В результате должен получиться универсальный и легко
> тиражируемый  инструмент с понятным входом (APT repo) и выходом
> (пакеты или образы из  mkimage).

Это всё лучше продублировать в виде FR на mkimage-profiles,
потому как локальные тудушки скоро догонят код по объёму...

> Следующим шагом будет прикрутить веб-морду, через которую
> пользователи  смогут заказывать образы с нужными параметрами.

Тем временем можно покрутить в руках alterator-mkimage
(qt based), который предоставляет самый базовый интерфейс
-- собственно, сделан в порядке эксперимента для выяснения,
какие ручки и в каком виде стоит высовывать.


On Sat, Nov 10, 2012 at 01:31:59PM +0400, Михаил Радюк wrote:
> live-builder.iso -- <<живая сборочница>>, способная собрать
> себя сама при доступности интернета, либо syslinux.iso --
> автономно

BTW "на автомате" в виртуалке с 4096M RAM (бишь когда под /tmp
отдаётся ~2G) уже не собирается -- надо или добавлять памяти,
или mount -o remount,size=3g /tmp какое делать.  В первом
варианте даже пересобрало себя, как встарь.

> На практике лично мне пригодился при физическом доступе к
> весьма мощным серверам (и слабой локальной сборочнице), но без
> возможности что-либо на них устанавливать.

Уже хорошо :)

> На сколько мне известно, у тёзки есть мысли на счёт
> web-мордочки, деталей не знаю.

А тут всё просто: веб-приложения умею примерно с такой же
низкой скоростью, как и сишный код.  Поэтому либо кто поможет,
либо оно когда-то в свободное время самозародится.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] Builder Live/Appliance

[Ildar Mulyukov]

On 10.11.2012 19:37:30, Michael Shigorin wrote:
> On Sat, Nov 10, 2012 at 10:00:37AM +0600, Ildar Mulyukov wrote:
> Такой вариант знаком, но уже есть возможность просто выпечь
> vm hdd image с совсем базовыми настройками; до генерации описания
> конфигурации виртуальной машины не добрался, хотя в ту сторону
> тоже с год тому копал.
> 
> См. тж. {conf.d,lib}/vm.mk и icewm-20120831-*.qcow2.xz по ссылке выше.

По форме --- пока не принципиально. С этим можно потом разобраться. Я  
об этом написал, чтобы обрисовать целевую аудиторию.

> > 1. Основная функциональность (сборка пакетов, например) доступна по  
> ssh.
> openssh-server добавить недолго, а что делать с подъёмом sshd?
> Как минимум придётся ставить пароль или класть ключик
> пользователю altlinux (беспарольного не пустят).

Ключ можно прописать в той конфигурации, о которой идёт речь ниже.

> > 2. конфигурирование:
> >    . минимально мне хотелось бы иметь возможность загружать
> >      конфигурацию с флешки автоматически при загрузке
> 
> Если хочется rw overlay, есть смысл копнуть в сторону
> портирования поддержки уже существующих наработок boyarsh@
> (я в них заглядывал, но и не более -- возможно, просто работает,
> возможно, что-то надо ещё доделать).

да, но нет. :)))
Честно говоря, хочется чего-нибудь попроще: файл, в котором прописано,  
какие шары куда монтировать. Для этого хватит и двух-пяти строк.

Это при условии, что:

а. задекларировано, откуда берутся файлы репозитария и куда кладутся  
выходные пакеты.
b. Всё остальное конфигурится автоматически.

> > 3. Возможности преднастройки.
> >    . подключение nfs/cifs для доступа к APT repo и чтобы положить
> > результаты работы (/out). Эта информация берётся из конфигурации.
> >    . автоматическое подключение свап-разделов на доступных дисках.
> >    . автоматическое конфигурирование размера /tmp в соответствии с
> > доступной виртуальной памятью (RAM+swap)
> >
> > В результате должен получиться универсальный и легко
> > тиражируемый  инструмент с понятным входом (APT repo) и выходом
> > (пакеты или образы из  mkimage).
> 
> Это всё лучше продублировать в виде FR на mkimage-profiles,
> потому как локальные тудушки скоро догонят код по объёму...

Оки, после того, как посмотрю тот live-builder.iso, который у меня  
только что собрался.

[...]

> On Sat, Nov 10, 2012 at 01:31:59PM +0400, Михаил Радюк wrote:
> > live-builder.iso -- <<живая сборочница>>, способная собрать
> > себя сама при доступности интернета, либо syslinux.iso --
> > автономно
> 
> BTW "на автомате" в виртуалке с 4096M RAM (бишь когда под /tmp
> отдаётся ~2G) уже не собирается -- надо или добавлять памяти,
> или mount -o remount,size=3g /tmp какое делать.  В первом
> варианте даже пересобрало себя, как встарь.

Вот это я и имел в виду. На обычной машине разумный размер tmpfs по  
умолчанию --- сколько-то процентов от физической RAM. На сборочнице  
можно поднять рабочий каталог для сборки до n*RAM (n > 1). При этом всё  
прекрасно и когда нужно свопится, это по моему опыту. Насколько я  
помню, сейчас основные хэшерницы работают именно в tmpfs.

[...]

> > На сколько мне известно, у тёзки есть мысли на счёт
> > web-мордочки, деталей не знаю.
> 
> А тут всё просто: веб-приложения умею примерно с такой же
> низкой скоростью, как и сишный код.  Поэтому либо кто поможет,
> либо оно когда-то в свободное время самозародится.

Да, тут всё ясно. Есть голубая мечта о таком сайте, который получив на  
вход несколько параметров, будет выпекать ISO и выгружать пользователю.  
Только пока сделать некому. Кстати, выглядит, как неплохая задачка для  
курсовой работы.

С уважением,
-- 
Ildar Mulyukov,
   free SW designer/programmer/packager
======================================
email: ildar@altlinux.ru
Jabber: ildar.mulyukov@gmail.com
ICQ: 4334029
ALT Linux http://packages.altlinux.org/ru/Sisyphus/maintainers/ildar/
======================================

Re: [devel-distro] Builder Live/Appliance

[Michael Shigorin]

On Sun, Nov 11, 2012 at 01:58:47AM +0600, Ildar Mulyukov wrote:
> >> 2. конфигурирование:
> >>    . минимально мне хотелось бы иметь возможность загружать
> >>      конфигурацию с флешки автоматически при загрузке
> >Если хочется rw overlay, есть смысл копнуть в сторону
> Честно говоря, хочется чего-нибудь попроще: файл, в котором
> прописано,  какие шары куда монтировать. Для этого хватит и
> двух-пяти строк.

Сделаете монтировалку, смотрящую в /image/etc/fstab, к примеру?
Пакетом.

> Это при условии, что:
> а. задекларировано, откуда берутся файлы репозитария

APTCONF

> и куда кладутся  выходные пакеты.

Ммм... см. image.in/Makefile про IMAGE_OUTDIR, а заодно
и doc/params.txt насчёт SORTDIR.  Это место пару раз
переутряхивалось, но явно неоптимально до сих пор.
Возможно, на него стоит писать отдельное ТЗ. :)

> Вот это я и имел в виду. На обычной машине разумный размер
> tmpfs по  умолчанию --- сколько-то процентов от физической RAM.
> На сборочнице  можно поднять рабочий каталог для сборки до
> n*RAM (n > 1). При этом всё  прекрасно и когда нужно свопится,
> это по моему опыту. Насколько я  помню, сейчас основные
> хэшерницы работают именно в tmpfs.

Да, но на автомате я согласен разве что сделать автоматику,
которая оставит не менее ~гига памяти под сборку (в моих тестах
вроде бы больше ~400M не задействовалось, но мало ли).  И будто
её уже даже делал когда-то...

> Есть голубая мечта о таком сайте, который получив на
> вход несколько параметров, будет выпекать ISO и выгружать
> пользователю.  Только пока сделать некому. Кстати, выглядит,
> как неплохая задачка для  курсовой работы.

Не исключено.  Но централизовать бы не хотелось, посмотрев на
OBS -- это скорее в помощь тем, кому намного сложней работать
с репозиториями или их кэшами.  А в остальном IMNSHO эту задачку
выгодней именно что распределять сразу.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] [Builder Live/Appliance] tmpfs

[Ildar Mulyukov]

On 11.11.2012 22:58:06, Michael Shigorin wrote:
> On Sun, Nov 11, 2012 at 01:58:47AM +0600, Ildar Mulyukov wrote:
> > Вот это я и имел в виду. На обычной машине разумный размер
> > tmpfs по  умолчанию --- сколько-то процентов от физической RAM.
> > На сборочнице  можно поднять рабочий каталог для сборки до
> > n*RAM (n > 1). При этом всё  прекрасно и когда нужно свопится,
> > это по моему опыту. Насколько я  помню, сейчас основные
> > хэшерницы работают именно в tmpfs.
> 
> Да, но на автомате я согласен разве что сделать автоматику,
> которая оставит не менее ~гига памяти под сборку (в моих тестах
> вроде бы больше ~400M не задействовалось, но мало ли).  И будто
> её уже даже делал когда-то...

Да, делал. Это livecd-tmpfs,
и мне кажется, тут надо подправить, т.к. цифры с большим запасом.

     39  guess_need()
     64          # some space must be set aside for the processes
     65          if [ "$RAM" -lt 4 ]; then DIFF=1; else DIFF=2; fi

это перебор. Для самого live-builder + gcc в hasher хватит и 0.5

     71                  # lower-memory systems will employ swap
     72                  if [ "$RAM" -lt 8 ]; then

ну и пусть... Тут весь фокус в том, чтобы доверить ядру, как  
распоряжаться памятью и свопом. [1]

ИМХО, надо оставить гарантированные 0.5G для процессов, а всю остальную  
VM="$(($RAM+$SWAP))" отдать под tmpfs. Это, однако, не значит, что ядро  
будет активно всё свапить, оно всё же довольно интеллектуальное в этом  
вопросе.
Впрочем, в этом месте хорошо было бы позвать эксперта, который сам  
держит и тюнит сборочницу (на ум приходит ldv@)

[1] Кстати, у ядра по свопу есть ещё кое-какие интересные "ручки":  
http://rudd-o.com/linux-and-free-software/tales-from-responsivenessland-why-linux-feels-slow-and-how-to-fix-that

-- 
Ildar

Re: [devel-distro] [Builder Live/Appliance] tmpfs

[Michael Shigorin]

On Fri, Nov 16, 2012 at 11:26:31AM +0600, Ildar Mulyukov wrote:
> Да, делал. Это livecd-tmpfs, и мне кажется, тут надо
> подправить, т.к. цифры с большим запасом.

Так, предлагаю в багзиллу, можно с патчем --
не хотелось бы потерять среди записок.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel-distro] [Builder Live/Appliance] tmpfs

[Ildar Mulyukov]

On 20.11.2012 03:48:14, Michael Shigorin wrote:
> On Fri, Nov 16, 2012 at 11:26:31AM +0600, Ildar Mulyukov wrote:
> > Да, делал. Это livecd-tmpfs, и мне кажется, тут надо
> > подправить, т.к. цифры с большим запасом.
> 
> Так, предлагаю в багзиллу, можно с патчем --
> не хотелось бы потерять среди записок.

https://bugzilla.altlinux.org/28007
-- 
Ildar