[devel] RFC: test packages

[devel] RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1681 bytes --]

On Mon, Apr 04, 2005 at 09:44:33PM +0400, Denis Smirnov wrote:
> В общем-то это и так всем ясно. Что это нужно, вряд ли кто-то будет
> спорить. Вопрос в другом -- как это сделать?

On Wed, Apr 06, 2005 at 01:24:21AM +0400, Dmitry V. Levin wrote:
> On Wed, Apr 06, 2005 at 12:52:08AM +0400, Alexey Tourbin wrote:
> > Есть какие-нибудь более конкретные идеи по поводу автоматического
> > тестирования сизифа?  Надо над инфраструктурой подумать, как это
> > в принципе может работать.
> 
> Не только как это может работать, но и как это может безопасно работать.

Вот что мне в голову пришло.  Можно создавать отдельные пакеты
специально для тестирования.  Они будут называться, скажем, test-*,
у них будет большой список BuildRequires и не будет секции %files.
Т.е. sole purpose этих пакетов -- выполнение неких манипуляций-тестов
в секции %build относительно других установленных пакетов.

Преимущество такого подхода в том, что не требуется отдельной
инфраструктуры, т.к. эти пакеты в числе прочих проходят регулярную
пересборку в сизифе.

Теперь по поводу тестирования перловых пакетов.  Суть этого тестирования
в том, что с помощью `apt-get source' из репозитария извлекаются
исходные пакеты, соответствующие установленным в системе.  Исходные
пакеты разворачиваются и над t/*.t и test.pl файлами, которые после
этого обнаруживаются, выполняется некоторая стандартная процедура.

Соответственно, встаёт вопрос о доступности репозатирая внутри чрута.
Если hasher сможет каким-нибудь образом обеспечить доступ к репозитарию
внутри чрута (к тому же самому репозитарию, на основе которого был
создан чрут), то в данном конкретном случае дело в шляпе.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] RFC: test packages

[Anton Farygin]

Alexey Tourbin wrote:

>On Mon, Apr 04, 2005 at 09:44:33PM +0400, Denis Smirnov wrote:
>  
>
>>В общем-то это и так всем ясно. Что это нужно, вряд ли кто-то будет
>>спорить. Вопрос в другом -- как это сделать?
>>    
>>
>
>On Wed, Apr 06, 2005 at 01:24:21AM +0400, Dmitry V. Levin wrote:
>  
>
>>On Wed, Apr 06, 2005 at 12:52:08AM +0400, Alexey Tourbin wrote:
>>    
>>
>>>Есть какие-нибудь более конкретные идеи по поводу автоматического
>>>тестирования сизифа?  Надо над инфраструктурой подумать, как это
>>>в принципе может работать.
>>>      
>>>
>>Не только как это может работать, но и как это может безопасно работать.
>>    
>>
>
>Вот что мне в голову пришло.  Можно создавать отдельные пакеты
>специально для тестирования.  Они будут называться, скажем, test-*,
>у них будет большой список BuildRequires и не будет секции %files.
>Т.е. sole purpose этих пакетов -- выполнение неких манипуляций-тестов
>в секции %build относительно других установленных пакетов.
>
>Преимущество такого подхода в том, что не требуется отдельной
>инфраструктуры, т.к. эти пакеты в числе прочих проходят регулярную
>пересборку в сизифе.
>
>Теперь по поводу тестирования перловых пакетов.  Суть этого тестирования
>в том, что с помощью `apt-get source' из репозитария извлекаются
>исходные пакеты, соответствующие установленным в системе.  Исходные
>пакеты разворачиваются и над t/*.t и test.pl файлами, которые после
>этого обнаруживаются, выполняется некоторая стандартная процедура.
>
>Соответственно, встаёт вопрос о доступности репозатирая внутри чрута.
>Если hasher сможет каким-нибудь образом обеспечить доступ к репозитарию
>внутри чрута (к тому же самому репозитарию, на основе которого был
>создан чрут), то в данном конкретном случае дело в шляпе.
>  
>
а hasher разве его не монтирует внутрь через bind ?

Rgds,
Rider

Re: [devel] RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 563 bytes --]

On Wed, Apr 06, 2005 at 10:06:54AM +0400, Anton Farygin wrote:
> Alexey Tourbin wrote:
> >Соответственно, встаёт вопрос о доступности репозатирая внутри чрута.
> >Если hasher сможет каким-нибудь образом обеспечить доступ к репозитарию
> >внутри чрута (к тому же самому репозитарию, на основе которого был
> >создан чрут), то в данном конкретном случае дело в шляпе.
> >
> а hasher разве его не монтирует внутрь через bind ?

Нет, это sandman его монтирует внутрь через bind, а hasher вычисляет
список файлов снаружи и копирует их внутрь.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 345 bytes --]

On Wed, Apr 06, 2005 at 02:40:44PM +0400, Dmitry V. Levin wrote:
> > а hasher разве его не монтирует внутрь через bind ?
> 
> Нет, это sandman его монтирует внутрь через bind, а hasher вычисляет
> список файлов снаружи и копирует их внутрь.

То есть исходники внутри чрута получить никак нельзя?
Это противоречит GPL. :)

> -- 
> ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 430 bytes --]

On Wednesday 06 April 2005 17:44, Alexey Tourbin wrote:
> On Wed, Apr 06, 2005 at 02:40:44PM +0400, Dmitry V. Levin wrote:
> > > а hasher разве его не монтирует внутрь через bind ?
> > Нет, это sandman его монтирует внутрь через bind, а hasher вычисляет
> > список файлов снаружи и копирует их внутрь.
> То есть исходники внутри чрута получить никак нельзя?
> Это противоречит GPL. :)
внутри чрута есть wget, хоть обполучайся :-)

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1050 bytes --]

On Wed, Apr 06, 2005 at 06:44:37PM +0400, Alexey Tourbin wrote:
> On Wed, Apr 06, 2005 at 02:40:44PM +0400, Dmitry V. Levin wrote:
> > > а hasher разве его не монтирует внутрь через bind ?
> > 
> > Нет, это sandman его монтирует внутрь через bind, а hasher вычисляет
> > список файлов снаружи и копирует их внутрь.
> 
> То есть исходники внутри чрута получить никак нельзя?

В hasher-priv-1.2.0-alt1 реализована возможность монтирования произвольных
файловых систем согласно /etc/hasher-priv/fstab.

Пока что это было сделано для расширения спектра возможностей использования
hasher'а как технологии виртуализации для безопасного выполнения приложений
(об этом я собираюсь рассказать на предстоящей конференции на Протве).

По первой своей специальности (технология безопасной сборки репозитория)
hasher пока не умеет использовать эту новую возможность в полном объёме.
Я пока ещё не придумал, как это можно было бы органично встроить в
hasher-сборщик, поскольку понятия независимого монтирования в нём
сейчас нет.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1293 bytes --]

On Sun, Jul 24, 2005 at 03:32:41AM +0400, Dmitry V. Levin wrote:
> > То есть исходники внутри чрута получить никак нельзя?
> В hasher-priv-1.2.0-alt1 реализована возможность монтирования произвольных
> файловых систем согласно /etc/hasher-priv/fstab.

Круто. :)
Кстати,

$ use_pty=1 /usr/libexec/hasher-priv/chrootuid1.sh /home/at/build/chroot /bin/runas -bash bash
mesg: (null): Operation not permitted
[rooter@solemn /]$

Что-то not permitted.
Негламурно.

> Пока что это было сделано для расширения спектра возможностей использования
> hasher'а как технологии виртуализации для безопасного выполнения приложений
> (об этом я собираюсь рассказать на предстоящей конференции на Протве).

Пожалуйста, положи куда-нибудь текст доклада.
Я как раз сейчас hasher "ковыряю".

> По первой своей специальности (технология безопасной сборки репозитория)
> hasher пока не умеет использовать эту новую возможность в полном объёме.
> Я пока ещё не придумал, как это можно было бы органично встроить в
> hasher-сборщик, поскольку понятия независимого монтирования в нём
> сейчас нет.

Пока это не надо.  Мой опыт (на примере создания роботов) показывает,
что удачные обобщения приходят только после создания как минимум
2 экземпляров чего-либо и сопутствующей медитации. :)

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 656 bytes --]

On Mon, Aug 01, 2005 at 06:04:09AM +0400, Alexey Tourbin wrote:
> On Sun, Jul 24, 2005 at 03:32:41AM +0400, Dmitry V. Levin wrote:
> > > То есть исходники внутри чрута получить никак нельзя?
> > В hasher-priv-1.2.0-alt1 реализована возможность монтирования произвольных
> > файловых систем согласно /etc/hasher-priv/fstab.
> 
> Круто. :)

hsh-run с опцией --rooter не монтирует.

$ hsh-run --mountpoints="$sisyphus" --rooter -- ~/build ls
sources.list
$ hsh-run --mountpoints="$sisyphus" -- ~/build ls
hasher-priv: mount: /raid/alt/sisyphus: mount point not supported
$

То есть у меня пока вообще не монтирует, но это дело наживное... :)

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1644 bytes --]

On Mon, Aug 01, 2005 at 07:12:59AM +0400, Alexey Tourbin wrote:
> hsh-run с опцией --rooter не монтирует.
> 
> $ hsh-run --mountpoints="$sisyphus" --rooter -- ~/build ls
> sources.list
> $ hsh-run --mountpoints="$sisyphus" -- ~/build ls
> hasher-priv: mount: /raid/alt/sisyphus: mount point not supported
> $
> 
> То есть у меня пока вообще не монтирует, но это дело наживное... :)

Не понял, как монтировать.

В /etc/hasher-priv/system добавил:
allowed_mountpoints=/raid/ALT/Sisyphus
В /etc/hasher-priv/fstab добавил:
/raid/ALT/Sisyphus /raid/ALT/Sisyphus reiserfs bind,ro 0 0

Идея в том, чтобы замонтировать в чрут /raid/ALT/Sisypus (по тому же
адресу) и завести внутри чрута apt.

#!/bin/sh -ef
sisyphus="/raid/ALT/Sisyphus"
workdir="$HOME/build"
aptbox="$workdir/aptbox"
chroot="$workdir/chroot"

hsh --no-stuff --initroot-only "$workdir"
hsh-install "$workdir" apt

install "$aptbox/etc/apt/apt.conf" "$aptbox/etc/apt/sources.list" "$chroot/.in/"
hsh-run --rooter -- "$workdir" \
	install /.in/apt.conf /.in/sources.list /etc/apt/
hsh-run --rooter -- "$workdir" \
	mkdir -p -- "$sisyphus"
hsh-run --rooter --mountpoints="$sisyphus" -- "$workdir" \
	apt-get update

Получаю:

+ hsh-run --rooter --mountpoints=/raid/ALT/Sisyphus -- /home/at/build apt-get update
E: Could not open lock file /home/at/build/aptbox/var/lib/apt/lists/lock - open (2 No such file or directory)
E: Unable to lock the list directory

При этом /raid/ALT/Sisyphus не монтируется:

$ hsh-run --rooter --mountpoints=/raid/ALT/Sisyphus -- /home/at/build \
	ls -Al /raid/ALT/Sisyphus
total 0
$

Скажите, я наивный? :)

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 605 bytes --]

On Mon, Aug 01, 2005 at 07:52:34AM +0400, Alexey Tourbin wrote:
> install "$aptbox/etc/apt/apt.conf" "$aptbox/etc/apt/sources.list" "$chroot/.in/"
> hsh-run --rooter -- "$workdir" \
> 	install /.in/apt.conf /.in/sources.list /etc/apt/

> + hsh-run --rooter --mountpoints=/raid/ALT/Sisyphus -- /home/at/build apt-get update
> E: Could not open lock file /home/at/build/aptbox/var/lib/apt/lists/lock - open (2 No such file or directory)
> E: Unable to lock the list directory

Здесь понял.  В aptbox/etc/apt/apt.conf прописаны пути относительно
aptbox, копировать нужно было только sources.list.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 216 bytes --]

On Mon, Aug 01, 2005 at 07:12:59AM +0400, Alexey Tourbin wrote:
> hsh-run с опцией --rooter не монтирует.

То есть монтирование поддерживается только в chrootuid2.sh,
но не в chrootuid1.sh.  Какой в этом смысл?

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 714 bytes --]

On Mon, Aug 01, 2005 at 06:04:09AM +0400, Alexey Tourbin wrote:
> $ use_pty=1 /usr/libexec/hasher-priv/chrootuid1.sh /home/at/build/chroot /bin/runas -bash bash
> mesg: (null): Operation not permitted
> [rooter@solemn /]$
> 
> Что-то not permitted.

Терминал нащупать не может.

> Негламурно.

Для придания глянца надо /dev/pts монтировать.

> > Пока что это было сделано для расширения спектра возможностей использования
> > hasher'а как технологии виртуализации для безопасного выполнения приложений
> > (об этом я собираюсь рассказать на предстоящей конференции на Протве).
> 
> Пожалуйста, положи куда-нибудь текст доклада.

На прежнем месте,
rpmquery --qf '%{URL}\n' hasher


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 385 bytes --]

On Mon, Aug 01, 2005 at 12:03:45PM +0400, Alexey Tourbin wrote:
> On Mon, Aug 01, 2005 at 07:12:59AM +0400, Alexey Tourbin wrote:
> > hsh-run с опцией --rooter не монтирует.
> 
> То есть монтирование поддерживается только в chrootuid2.sh,
> но не в chrootuid1.sh.  Какой в этом смысл?

Монтирование в chrootuid1.sh просто было ненужно.
Наверное, можно добавить.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1944 bytes --]

On Mon, Aug 01, 2005 at 04:48:35PM +0400, Dmitry V. Levin wrote:
> On Mon, Aug 01, 2005 at 12:03:45PM +0400, Alexey Tourbin wrote:
> > On Mon, Aug 01, 2005 at 07:12:59AM +0400, Alexey Tourbin wrote:
> > > hsh-run с опцией --rooter не монтирует.
> > 
> > То есть монтирование поддерживается только в chrootuid2.sh,
> > но не в chrootuid1.sh.  Какой в этом смысл?
> 
> Монтирование в chrootuid1.sh просто было ненужно.
> Наверное, можно добавить.

Апт в чруте у меня завёлся.  Для этого я сделал два изменения в
hasher-priv: монтирование в chrootuid1.sh и отключение tolower в
config.c.

--- config.c-	2005-07-23 00:39:32 +0000
+++ config.c	2005-08-01 17:37:50 +0000
@@ -244,8 +244,8 @@ parse_mountpoints (const char *value, co
 	char   *targets = xstrdup (value);
 	char   *target;
 
-	for (target = targets; *target; ++target)
-		*target = tolower (*target);
+//	for (target = targets; *target; ++target)
+//		*target = tolower (*target);
 	allowed_mountpoints = xstrdup (targets);
 
 	for (target = targets ? strtok (targets, " \t,") : 0; target;

Всё-таки монтируемые каталоги case-sensitive.
Теперь отрабатывает следующий скрипт:

#!/bin/sh -ef
sisyphus="/raid/ALT/Sisyphus"
workdir="$HOME/build"
aptbox="$workdir/aptbox"
chroot="$workdir/chroot"

hsh --no-stuff --initroot-only "$workdir"
hsh-install "$workdir" apt

install "$aptbox"/etc/apt/sources.list "$chroot"/.in/
install -d -g ${USER}_a "$chroot/$sisyphus"

hsh-run --rooter -- "$workdir" \
	install /.in/sources.list /etc/apt/
hsh-run --rooter --mountpoints="$sisyphus" -- "$workdir" \
	apt-get update
hsh-run --mountpoints="$sisyphus" -- "$workdir" \
	apt-get source rpm


Заканчивается всё вот чем:
E: Archive directory /var/cache/apt/archives/partial is missing.
E: Unable to find a source package for rpm-4.0.4-alt41.src.rpm

То есть там в чруте права на /var/cache/apt rooter:rooter и группы rpm
нету.

> -- 
> ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 558 bytes --]

On Mon, Aug 01, 2005 at 04:48:35PM +0400, Dmitry V. Levin wrote:
> > То есть монтирование поддерживается только в chrootuid2.sh,
> > но не в chrootuid1.sh.  Какой в этом смысл?
> 
> Монтирование в chrootuid1.sh просто было ненужно.
> Наверное, можно добавить.

Ещё бы неплохо в hsh-shell добавить опцию --rooter, как в hsh-run.

То есть стандартные скрипты должны давать полный набор операций (а не
ad hoc для сборки пакетов), тогда ими будет удобно пользоваться; иначе
возникает искушение запускать hasher-priv в обход скриптов.

> -- 
> ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1161 bytes --]

On Mon, Aug 01, 2005 at 04:47:39PM +0400, Dmitry V. Levin wrote:
> > Пожалуйста, положи куда-нибудь текст доклада.
> На прежнем месте,
> rpmquery --qf '%{URL}\n' hasher

Спасибо, прочитал.
Есть какие-нибудь реальные примеры виртуализации?
Ну, нетривиальные, когда дополнительные скрипты пришлось писать?

Сейчас один из недостатков для виртуализации в том, что для каждого
виртуализируемого приложения нужно создавать отдельную отдельную пару
псевдоюзеров.  То есть каждый раз требуется вмешательство
администратора.  Либо у пользователя появляется "выбор": остановить одно
виртуализируемое приложение и запустить вместо него другое.

Это связано с тем, что killuid убивает все процессы, до которых только
может дотянуться.  Следовательно, чтобы не убить процессы в других
чрутах, нужно, чтобы в каждом отдельном чруте процессы были запущены от
разных псевдоюзеров.

Я вот о чем подумал: а можно ли как-нибудь убивать процессы
избирательно, на основе информации из дескриптора процесса?  u.u_rdir
для этого идеально подходит (или как это в Линуксе называется; то есть
inode корневого каталога, он одинаковый для всех процессов в чруте).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 564 bytes --]

On Mon, Aug 01, 2005 at 11:10:36PM +0400, Alexey Tourbin wrote:
> Я вот о чем подумал: а можно ли как-нибудь убивать процессы
> избирательно, на основе информации из дескриптора процесса?  u.u_rdir
> для этого идеально подходит (или как это в Линуксе называется; то есть
> inode корневого каталога, он одинаковый для всех процессов в чруте).

С другой стороны, если в разных чрутах будут запущены процессы
с одинаковыми credentials, то они смогут обмениваться сигналами,
в том числе и без предварительной договоренности. :)

Я об этом сразу не подумал.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Денис Смирнов]

On Mon, Aug 01, 2005 at 11:19:09PM +0400, Алексей Турбин wrote:

>> Я вот о чем подумал: а можно ли как-нибудь убивать процессы
>> избирательно, на основе информации из дескриптора процесса?  u.u_rdir
>> для этого идеально подходит (или как это в Линуксе называется; то есть
>> inode корневого каталога, он одинаковый для всех процессов в чруте).
AT> С другой стороны, если в разных чрутах будут запущены процессы
AT> с одинаковыми credentials, то они смогут обмениваться сигналами,
AT> в том числе и без предварительной договоренности. :)
AT> Я об этом сразу не подумал.

vserver рулит.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Помнится, были жалобы на проблемы с последними релизами
libxml2/libxslt. Проблемы решились?
Если нет, можно попробовать новые релизы :)
		-- mhz in devel@

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 871 bytes --]

On Tue, Aug 02, 2005 at 01:07:03AM +0400, Денис Смирнов wrote:
> >> Я вот о чем подумал: а можно ли как-нибудь убивать процессы
> >> избирательно, на основе информации из дескриптора процесса?  u.u_rdir
> >> для этого идеально подходит (или как это в Линуксе называется; то есть
> >> inode корневого каталога, он одинаковый для всех процессов в чруте).
> AT> С другой стороны, если в разных чрутах будут запущены процессы
> AT> с одинаковыми credentials, то они смогут обмениваться сигналами,
> AT> в том числе и без предварительной договоренности. :)
> AT> Я об этом сразу не подумал.
> 
> vserver рулит.

Наверное.  С другой стороны, не у всех он есть и не всем он нужен (к
тому же, не все являются администраторами; и не все администраторы видят
веские причины ставить vserver).

Одно из преимуществ hasher -- в том, что это всё в пределах POSIX API.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 817 bytes --]

Hi Alexey!

Tuesday 02, at 01:20:39 AM you wrote:

> > vserver рулит.
> 
> Наверное.  С другой стороны, не у всех он есть и не всем он нужен (к
> тому же, не все являются администраторами; и не все администраторы видят
> веские причины ставить vserver).
если Денис уговорит меня собрать vserver в -wks, то лично я не вижу причин
поставить себе ядро с vserver патчем.

> 
> Одно из преимуществ hasher -- в том, что это всё в пределах POSIX API.
в vserver тоже все в пределах POSIX API (если я правильно понял эти
пределы) - он затрагивает только linux caps.

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test packages

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 387 bytes --]

On Tue, Aug 02, 2005 at 01:36:20AM +0400, Konstantin A. Lepikhov wrote:
> > Одно из преимуществ hasher -- в том, что это всё в пределах POSIX API.
> в vserver тоже все в пределах POSIX API (если я правильно понял эти
> пределы) - он затрагивает только linux caps.

Просто я не в курсе, что такое vserver.  По моим представлениям, это
какай-то хак на ядро.  Попробую просветиться.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] vserver

[Michael Shigorin]

On Tue, Aug 02, 2005 at 09:29:10AM +0400, Alexey Tourbin wrote:
> > > Одно из преимуществ hasher -- в том, что это всё в пределах
> > > POSIX API.
> > в vserver тоже все в пределах POSIX API (если я правильно
> > понял эти пределы) - он затрагивает только linux caps.
> Просто я не в курсе, что такое vserver.  По моим
> представлениям, это какай-то хак на ядро.  Попробую
> просветиться.

Это клёвый хак на ядро :-)  Уже все серверы посъезжали.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[devel] vserver, hasher, uml...

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 2843 bytes --]

On Tue, Aug 02, 2005 at 09:06:52AM +0300, Michael Shigorin wrote:
> On Tue, Aug 02, 2005 at 09:29:10AM +0400, Alexey Tourbin wrote:
> > > > Одно из преимуществ hasher -- в том, что это всё в пределах
> > > > POSIX API.
> > > в vserver тоже все в пределах POSIX API (если я правильно
> > > понял эти пределы) - он затрагивает только linux caps.
> > Просто я не в курсе, что такое vserver.  По моим
> > представлениям, это какай-то хак на ядро.  Попробую
> > просветиться.

> Это клёвый хак на ядро :-)  Уже все серверы посъезжали.

В докладе ldv перечислены некоторые популярные "виртуализаторы", но нет
сравнительного анализа.  Интересно, кому-нибудь попадался сравнительный
анализ?

Меня прежде всего интересует "виртуализация для разработчика", по
следующим критериям:

1) Минимально необходимые привилегии для порождения виртуальной среды.
В идеале, виртуальная среда должно порождаться без изменения credentials
вообще, и так же просто, как запуск /bin/vi.

В хешере используется суидный хелпер, но для получения доступа к нему
требуется разовое действие со стороны администратора (суидный хелпер в
любом случае необходим как минимум для вызова chroot(2)).

В vserver, как я подозреваю, для создания виртуальной среды требуются
права рута в хост-системе, что неприемлемо для сборочных серверов.

В UML требуются какие-нибудь права (в частности, для монтирования
внешних по отношению к среде каталогов)?

2) Максимально правдоподобная эмуляция внутри виртуальной среды.
То есть рут внутри виртуальной среды должен чувствовать себя рутом
(например, в части изменения ownership у файлов в среде).

У хешера с этим никак, ${USER}_a на самом деле бесправен даже по
отношению к ${USER}_b, просто используется fakeroot.  Пример:

$ hsh-run --rooter ~/build chgrp builder /var/cache/apt
$ hsh-run --rooter ~/build -- ls -dl /var/cache/apt
drwxrws---  3 root root 72 Aug  2 10:49 /var/cache/apt
$ hsh-run --save-fakeroot --rooter ~/build chgrp builder /var/cache/apt
fakeroot: database file `/.fakedata' does not exist.
$ touch ~/build/chroot/.fakedata
$ hsh-run --save-fakeroot --rooter ~/build chgrp builder /var/cache/apt
$ hsh-run --save-fakeroot --rooter ~/build -- ls -dl /var/cache/apt
drwxrws---  3 root root 72 Aug  2 10:49 /var/cache/apt
$

То есть никак.  (В этом примере я хочу отдать каталог /var/cache/apt
пользователю builder, чтобы он смог сделать "apt-get source").

В vserver и UML с этим, похоже, проблем нет; но это виртуализаторы
другого класса; все виртуализаторы на основе чрута будут этой проблеме
подвержены (потому что настоящего рута в чруте быть не должно; а рут в
системе всего один, притом настоящий).

3) Достаточно гибкие инструмены для передачи информации между
виртуальной и внешней средами; у хешера с этим хорошо; у UML,
я так подозреваю, что плохо.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: vserver, hasher, uml...

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 388 bytes --]

Alexey Tourbin пишет:

<skipped/>

> 3) Достаточно гибкие инструмены для передачи информации между
> виртуальной и внешней средами; у хешера с этим хорошо; у UML,
> я так подозреваю, что плохо.

У vserver с этим прекрасно, да и у UML должно быть хорошо, если
samba использовать (не проверял).

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

[devel] Re: vserver, hasher, uml...

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 643 bytes --]

On Tue, Aug 02, 2005 at 01:00:52PM +0400, Vitaly Ostanin wrote:
> > 3) Достаточно гибкие инструмены для передачи информации между
> > виртуальной и внешней средами; у хешера с этим хорошо; у UML,
> > я так подозреваю, что плохо.
> 
> У vserver с этим прекрасно,

vserver, кажется, для хранение виртуальных сред использует обычные
подкаталоги основной файловой системы.  В этом смысле действительно
хорошо.  Но нужно ещё продумать вопрос ownership при копировании без
изменения credentials (в хешере -- /.in и /.out).

> samba использовать (не проверял).
> да и у UML должно быть хорошо, если

Вот этого как раз не хотелось бы.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: vserver, hasher, uml...

[Konstantin A. Lepikhov]

<цитата от="Alexey Tourbin">
<skip>
>
> vserver, кажется, для хранение виртуальных
> сред использует обычные
> подкаталоги основной файловой системы.
> В этом смысле действительно
> хорошо.  Но нужно ещё продумать вопрос
> ownership при копировании без
> изменения credentials (в хешере -- /.in и /.out).
в последнем Chip Linux была статья про
устройство vserver. Советую просветиться.
Правда, скоро я планирую закинуть ее в
heap/

Насчет UML - это _очень_ большой overhead для
создания именно изолированной среды.

-- 
WBR et al.

[devel] [JT] Re: vserver, hasher, uml...

[Michael Shigorin]

On Tue, Aug 02, 2005 at 02:26:14PM +0400, Konstantin A. Lepikhov wrote:
> в последнем Chip Linux была статья про устройство vserver.
> Советую просветиться.  Правда, скоро я планирую закинуть ее в
> heap/

Спасибо, читал и размышлял, что бумажная пресса даже по ИТ себя
ещё не изжила ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[devel] Re: vserver, hasher, uml...

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 973 bytes --]

Alexey Tourbin пишет:
> On Tue, Aug 02, 2005 at 01:00:52PM +0400, Vitaly Ostanin wrote:
> 
>>>3) Достаточно гибкие инструмены для передачи информации между
>>>виртуальной и внешней средами; у хешера с этим хорошо; у UML,
>>>я так подозреваю, что плохо.
>>
>>У vserver с этим прекрасно,
> 
> vserver, кажется, для хранение виртуальных сред использует обычные
> подкаталоги основной файловой системы.  В этом смысле действительно
> хорошо.  Но нужно ещё продумать вопрос ownership при копировании без
> изменения credentials (в хешере -- /.in и /.out).

Это смотря чем копировать. Если хост и виртуальная система
используются как разные системы, то копировать нужно через samba,
там есть сопоставление uid/gid. Ну, или по nfs.

>>samba использовать (не проверял).
>>да и у UML должно быть хорошо, если

Прикольный порядок строк у цитаты^^^ :)

> Вот этого как раз не хотелось бы.

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

Re: [devel] Re: RFC: test packages

[Денис Смирнов]

On Tue, Aug 02, 2005 at 01:36:20AM +0400, Konstantin A. Lepikhov wrote:

>> Наверное.  С другой стороны, не у всех он есть и не всем он нужен (к
>> тому же, не все являются администраторами; и не все администраторы видят
>> веские причины ставить vserver).
KAL> если Денис уговорит меня собрать vserver в -wks, то лично я не вижу причин
KAL> поставить себе ядро с vserver патчем.

Эх... Как же тебя уговорить? Вот представь какое удовольствие собрать
очередной сервер у себя в отдельном vserver, и тестировать хоть на
собственном ноутбуке. Потом, после отладки, просто rsync'нуть этот vserver
на реальный бокс с кучей vserver'ов, и всё. Считаные минуты и после
отладки новый виртуальный сервер в строю.

Появилась какая-нибудь шибко странная задача. Например понадобился
какой-то хитрый сервис, которому мало доверяют -- замечательно. Можно его
поставить в отдельный vserver. А предварительно опять же отлаживать на
собственной рабочей машине (благо у админствующего люда обычно компьютер
выключается только ради апгрейдов). И момент переноса на реальный сервер
будет также с downtime меньше минуты:

1. rsync с рабочей станции на сервер "в горячую"
2. кладём сервер
3. ещё раз rsync с рабочей станции на сервер (для синхронизации того, что
успело изменится за время длительности предыдущей), он займёт уже
минимальное время.
4. поднимаем этот vserver на сервере

Так что удобство для администратора просто потрясающее.

А благодаря механизму, на основе которого работает vserver (по сути это
jail на стероидах, а никакая не полноценная виртуализация) этот механизм
для своей реализации требует минимальное количество ресурсов.

-- 
С уважением, Денис

http://freesource.info

Re: [devel] vserver, hasher, uml...

[Денис Смирнов]

On Tue, Aug 02, 2005 at 11:04:21AM +0400, Алексей Турбин wrote:

AT> В хешере используется суидный хелпер, но для получения доступа к нему
AT> требуется разовое действие со стороны администратора (суидный хелпер в
AT> любом случае необходим как минимум для вызова chroot(2)).
AT> В vserver, как я подозреваю, для создания виртуальной среды требуются
AT> права рута в хост-системе, что неприемлемо для сборочных серверов.

В vserver, аналогично, потребуется суидный хелпер.

AT> 2) Максимально правдоподобная эмуляция внутри виртуальной среды.
AT> То есть рут внутри виртуальной среды должен чувствовать себя рутом
AT> (например, в части изменения ownership у файлов в среде).

Так и есть. Вернее он фактически полноценный рут в системе, за исключением
того, что живёт в chroot и не может видеть процессы за пределами этого
vserver.

AT> 3) Достаточно гибкие инструмены для передачи информации между
AT> виртуальной и внешней средами; у хешера с этим хорошо; у UML,
AT> я так подозреваю, что плохо.

Внешний рутовый процесс может проделать действия, которые позволят ему
видеть все процессы в vserver. Или запустить любой код внутри этого
vserver.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Ну значит еще раз подтверждается, что с вами метод непрямой телепатии не
работает. Учтите это на будущее.
		-- wrar in community@

[devel] Re: vserver, hasher, uml...

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 753 bytes --]

Денис Смирнов пишет:

<skipped/>

> Так и есть. Вернее он фактически полноценный рут в системе, за исключением
> того, что живёт в chroot и не может видеть процессы за пределами этого
> vserver.

И не может делать некоторые системные вызовы. Например, mknod и
mount не работают внутри vserver на уровне ядра.

> AT> 3) Достаточно гибкие инструмены для передачи информации между
> AT> виртуальной и внешней средами; у хешера с этим хорошо; у UML,
> AT> я так подозреваю, что плохо.
> 
> Внешний рутовый процесс может проделать действия, которые позволят ему
> видеть все процессы в vserver. Или запустить любой код внутри этого
> vserver.

Почти любой, см. выше.

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

[devel] Re: RFC: test packages

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 992 bytes --]

Денис Смирнов пишет:
> On Tue, Aug 02, 2005 at 01:36:20AM +0400, Konstantin A. Lepikhov wrote:
> 
> 
>>>Наверное.  С другой стороны, не у всех он есть и не всем он нужен (к
>>>тому же, не все являются администраторами; и не все администраторы видят
>>>веские причины ставить vserver).
> 
> KAL> если Денис уговорит меня собрать vserver в -wks, то лично я не вижу причин
> KAL> поставить себе ядро с vserver патчем.
> 
> Эх... Как же тебя уговорить? Вот представь какое удовольствие собрать
> очередной сервер у себя в отдельном vserver, и тестировать хоть на
> собственном ноутбуке. Потом, после отладки, просто rsync'нуть этот vserver
> на реальный бокс с кучей vserver'ов, и всё. Считаные минуты и после
> отладки новый виртуальный сервер в строю.

Подписываюсь под каждым словом - очень не хватает. Если в wks vs
появится, я на него с std слезу :) Только сомневаюсь, что это
реально.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

[devel] Re: RFC: test packages

[Konstantin A. Lepikhov]

<цитата от="Vitaly Ostanin">
<skip>
> Подписываюсь под каждым словом - очень
> не хватает. Если в wks vs
> появится, я на него с std слезу :) Только
> сомневаюсь, что это
> реально.
>
> <skipped/>
все реально. При определенном объеме
свободного времени. Собственно все reject'ы
там не сильно критичные.

-- 
WBR et al.

[devel] Re: RFC: test packages

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 763 bytes --]

Konstantin A. Lepikhov пишет:
> <цитата от="Vitaly Ostanin">
> <skip>
> 
>>Подписываюсь под каждым словом - очень
>>не хватает. Если в wks vs
>>появится, я на него с std слезу :) Только
>>сомневаюсь, что это
>>реально.
>>
>><skipped/>
> 
> все реально. При определенном объеме
> свободного времени. Собственно все reject'ы
> там не сильно критичные.

Тогда начинаю ныть - Костя, уговорись, пожалуйста, нам нужен vs,
он рулит :)

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

[devel] merging kernels

[Michael Shigorin]

On Tue, Aug 02, 2005 at 06:40:38PM +0400, Vitaly Ostanin wrote:
> Тогда начинаю ныть - Костя, уговорись, пожалуйста, нам нужен
> vs, он рулит :)

Э, я б тоже поныл, но тогда ж начнётся нытьё в сторону vsu --
"хотим swsusp2 в Compact 3.0" ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] merging kernels

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 581 bytes --]

On Tue, Aug 02, 2005 at 06:11:50PM +0300, Michael Shigorin wrote:
> Э, я б тоже поныл, но тогда ж начнётся нытьё в сторону vsu --
> "хотим swsusp2 в Compact 3.0" ;-)
К моменту выхода swsusp2 будет в std26 :]

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Этот пакет [mozilla-plugins-common] появился против моей воли и обсуждать
что-либо связанное с ним я не буду. Я пытался составить полиси, но вместо
него был создан этот пакет... теперь я этим заниматься не стану, иначе
появится нечто такое, чему лучше не появляться.
		-- legion in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: vserver, hasher, uml...

[Денис Смирнов]

On Tue, Aug 02, 2005 at 06:03:44PM +0400, Vitaly Ostanin wrote:

VO> И не может делать некоторые системные вызовы. Например, mknod и
VO> mount не работают внутри vserver на уровне ядра.

Спасибо за уточнение.

Добавлю к нему разве что то, что это от vserver и требуется :)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
> Не так давно в Сизифе появился этот модуль: python-module-twisted
Он там появился по ошибке.
		-- morozov in sisyphus@

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 477 bytes --]

On Mon, Aug 01, 2005 at 10:38:12PM +0400, Alexey Tourbin wrote:
> On Mon, Aug 01, 2005 at 04:48:35PM +0400, Dmitry V. Levin wrote:
> > > То есть монтирование поддерживается только в chrootuid2.sh,
> > > но не в chrootuid1.sh.  Какой в этом смысл?
> > 
> > Монтирование в chrootuid1.sh просто было ненужно.
> > Наверное, можно добавить.
> 
> Ещё бы неплохо в hsh-shell добавить опцию --rooter, как в hsh-run.

Я планирую объединить hsh-shell и hsh-run.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1272 bytes --]

On Mon, Aug 01, 2005 at 10:01:49PM +0400, Alexey Tourbin wrote:
> On Mon, Aug 01, 2005 at 04:48:35PM +0400, Dmitry V. Levin wrote:
> > On Mon, Aug 01, 2005 at 12:03:45PM +0400, Alexey Tourbin wrote:
> > > On Mon, Aug 01, 2005 at 07:12:59AM +0400, Alexey Tourbin wrote:
> > > > hsh-run с опцией --rooter не монтирует.
> > > 
> > > То есть монтирование поддерживается только в chrootuid2.sh,
> > > но не в chrootuid1.sh.  Какой в этом смысл?
> > 
> > Монтирование в chrootuid1.sh просто было ненужно.
> > Наверное, можно добавить.
> 
> Апт в чруте у меня завёлся.  Для этого я сделал два изменения в
> hasher-priv: монтирование в chrootuid1.sh и отключение tolower в
> config.c.
[...]
> Всё-таки монтируемые каталоги case-sensitive.

Это наследие прошлого, когда обрабатывались идентификаторы, а не имена
каталогов.  Будет исправлено.

[...]
> Заканчивается всё вот чем:
> E: Archive directory /var/cache/apt/archives/partial is missing.
> E: Unable to find a source package for rpm-4.0.4-alt41.src.rpm
> 
> То есть там в чруте права на /var/cache/apt rooter:rooter и группы rpm
> нету.

Для этого предусмотрен файл ~/.hasher/install/post, который копируется
в initroot и запускается hsh-install(1).

См. тж. "FILES" в hsh(1).


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1336 bytes --]

On Mon, Aug 01, 2005 at 11:10:36PM +0400, Alexey Tourbin wrote:
[...]
> Есть какие-нибудь реальные примеры виртуализации?
> Ну, нетривиальные, когда дополнительные скрипты пришлось писать?

У меня есть несколько скриптов, но они тривиальные.

> Сейчас один из недостатков для виртуализации в том, что для каждого
> виртуализируемого приложения нужно создавать отдельную отдельную пару
> псевдоюзеров.

Это достоинство.

> То есть каждый раз требуется вмешательство администратора.

Пул псевдопользователей можно создать "с запасом" заранее.

> Либо у пользователя появляется "выбор": остановить одно
> виртуализируемое приложение и запустить вместо него другое.
> 
> Это связано с тем, что killuid убивает все процессы, до которых только
> может дотянуться.  Следовательно, чтобы не убить процессы в других
> чрутах, нужно, чтобы в каждом отдельном чруте процессы были запущены от
> разных псевдоюзеров.

Ну конечно.

> Я вот о чем подумал: а можно ли как-нибудь убивать процессы
> избирательно, на основе информации из дескриптора процесса?  u.u_rdir
> для этого идеально подходит (или как это в Линуксе называется; то есть
> inode корневого каталога, он одинаковый для всех процессов в чруте).

Можно, но применительно к hasher'у этого делать не стоит
(испортится модель безопасности).


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: RFC: test packages

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 391 bytes --]

On Tue, Aug 02, 2005 at 01:36:20AM +0400, Konstantin A. Lepikhov wrote:
> > Одно из преимуществ hasher -- в том, что это всё в пределах POSIX API.
> в vserver тоже все в пределах POSIX API (если я правильно понял эти
> пределы) - он затрагивает только linux caps.

Речь идёт о том, что hasher'у не требуется особым образом модифицированное
ядро, он работает на обычном.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] vserver, hasher, uml...

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 1140 bytes --]

On Tue, Aug 02, 2005 at 11:04:21AM +0400, Alexey Tourbin wrote:
[...]
> 2) Максимально правдоподобная эмуляция внутри виртуальной среды.
> То есть рут внутри виртуальной среды должен чувствовать себя рутом
> (например, в части изменения ownership у файлов в среде).
> 
> У хешера с этим никак, ${USER}_a на самом деле бесправен даже по
> отношению к ${USER}_b, просто используется fakeroot.  Пример:
> 
> $ hsh-run --rooter ~/build chgrp builder /var/cache/apt
> $ hsh-run --rooter ~/build -- ls -dl /var/cache/apt
> drwxrws---  3 root root 72 Aug  2 10:49 /var/cache/apt
> $ hsh-run --save-fakeroot --rooter ~/build chgrp builder /var/cache/apt
> fakeroot: database file `/.fakedata' does not exist.
> $ touch ~/build/chroot/.fakedata
> $ hsh-run --save-fakeroot --rooter ~/build chgrp builder /var/cache/apt
> $ hsh-run --save-fakeroot --rooter ~/build -- ls -dl /var/cache/apt
> drwxrws---  3 root root 72 Aug  2 10:49 /var/cache/apt
> $
> 
> То есть никак.  (В этом примере я хочу отдать каталог /var/cache/apt
> пользователю builder, чтобы он смог сделать "apt-get source").

Можно сделать chmod.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]