[devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Igor Vlasenko]

Уважаемые коллеги,

Чтобы упростить локальную сборку пакетов под aarch64/ppc64le
выложил пакет 
hsh-qemu-binfmt - register qemu for hasher chroot

Возможно, кто-то не знает, 
в hasher есть поддержка сборки пакетов под qemu.
Но чтобы ей пользоваться, qemu нужно регистрировать в
binfmt_misc не по /usr/bin пути, а по пути /.host/qemu-*.

пакет hsh-qemu-binfmt представляет собой сервис 
hsh-qemu-binfmt, который и автоматизирует эту операцию.

есть также скрипты для ручного управления
hsh-qemu-binfmt-status
hsh-qemu-binfmt-register
hsh-qemu-binfmt-unregister

устанавливаем пакет hsh-qemu-binfmt
запускаем сервис hsh-qemu-binfmt
и можно собираеть:
hsh --with-qemu=aarch64 --apt-config=/etc/apt/apt.conf.SS.aarch64 --target=aarch64 --with-stuff --mountpoints=/proc ...

Прошу замечания, улучшения.

-- 

I V

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Sergey Bolshakov]

>>>>> "Igor" == Igor Vlasenko <vlasenko-mwWcnE6MXDzNsqkvetdkXg@public.gmane.org> writes:

 > Уважаемые коллеги,
 > Чтобы упростить локальную сборку пакетов под aarch64/ppc64le
 > выложил пакет 
 > hsh-qemu-binfmt - register qemu for hasher chroot

 > Возможно, кто-то не знает, 
 > в hasher есть поддержка сборки пакетов под qemu.
 > Но чтобы ей пользоваться, qemu нужно регистрировать в
 > binfmt_misc не по /usr/bin пути, а по пути /.host/qemu-*.

Вовсе необязательно (обращаю внимание на flags):

$ cat /proc/sys/fs/binfmt_misc/aarch64
enabled
interpreter /usr/bin/qemu-aarch64.static
flags: F
offset 0
magic 7f454c460201010000000000000000000200b700
mask ffffffffffffff00fffffffffffffffffeffffff

-- 

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Michael Shigorin]

On Fri, Aug 09, 2019 at 05:00:25PM +0300, Igor Vlasenko wrote:
> hsh-qemu-binfmt - register qemu for hasher chroot

На вики бы упомянуть -- не соображу только, где именно...
и до кучи: видел livecd-qemu-arch?

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Igor Vlasenko]

On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> Вовсе необязательно (обращаю внимание на flags):
> 
> $ cat /proc/sys/fs/binfmt_misc/aarch64
> enabled
> interpreter /usr/bin/qemu-aarch64.static
> flags: F
> offset 0
> magic 7f454c460201010000000000000000000200b700
> mask ffffffffffffff00fffffffffffffffffeffffff

гм. тогда, подучается, достаточно починить
https://bugzilla.altlinux.org/37083

и hsh-qemu-binfmt не нужен.
Спасибо! Плюсуйте https://bugzilla.altlinux.org/37083,
а то из коробки связка hsh+qemu не работает.


-- 

I V

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Igor Vlasenko]

On Fri, Aug 09, 2019 at 05:24:13PM +0300, Michael Shigorin wrote:
> On Fri, Aug 09, 2019 at 05:00:25PM +0300, Igor Vlasenko wrote:
> > hsh-qemu-binfmt - register qemu for hasher chroot
> 
> На вики бы упомянуть -- не соображу только, где именно...
вроде бы оказалось, не нужный костыль:
поправить https://bugzilla.altlinux.org/37083
и бцдет все работать из коробки

> и до кучи: видел livecd-qemu-arch?
спасибо, посмотрю.

-- 

I V

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Leonid Krivoshein]

09.08.2019 18:48, Igor Vlasenko пишет:
> On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
>> Вовсе необязательно (обращаю внимание на flags):
>>
>> $ cat /proc/sys/fs/binfmt_misc/aarch64
>> enabled
>> interpreter /usr/bin/qemu-aarch64.static
>> flags: F
>> offset 0
>> magic 7f454c460201010000000000000000000200b700
>> mask ffffffffffffff00fffffffffffffffffeffffff
> гм. тогда, подучается, достаточно починить
> https://bugzilla.altlinux.org/37083
>
> и hsh-qemu-binfmt не нужен.
> Спасибо! Плюсуйте https://bugzilla.altlinux.org/37083,
> а то из коробки связка hsh+qemu не работает.

Ничего не понимаю. А как же тогда оно у нас на vb3 с --with-qemu= в 
хэшере работает?


-- 
Best regards,
Leonid Krivoshein.

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Alexey Shabalin]

сб, 10 авг. 2019 г. в 00:41, Leonid Krivoshein <klark.devel@gmail.com>:
>
>
> 09.08.2019 18:48, Igor Vlasenko пишет:
> > On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> >> Вовсе необязательно (обращаю внимание на flags):
> >>
> >> $ cat /proc/sys/fs/binfmt_misc/aarch64
> >> enabled
> >> interpreter /usr/bin/qemu-aarch64.static
> >> flags: F
> >> offset 0
> >> magic 7f454c460201010000000000000000000200b700
> >> mask ffffffffffffff00fffffffffffffffffeffffff
> > гм. тогда, подучается, достаточно починить
> > https://bugzilla.altlinux.org/37083
> >
> > и hsh-qemu-binfmt не нужен.
> > Спасибо! Плюсуйте https://bugzilla.altlinux.org/37083,
> > а то из коробки связка hsh+qemu не работает.
>
> Ничего не понимаю. А как же тогда оно у нас на vb3 с --with-qemu= в
> хэшере работает?

Чего не понятного? Работает с помощью пакета livecd-qemu-arch, упомянутого mike@

-- 
Alexey Shabalin

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Alexey Shabalin]

пт, 9 авг. 2019 г. в 18:48, Igor Vlasenko <vlasenko@imath.kiev.ua>:
>
> On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> > Вовсе необязательно (обращаю внимание на flags):
> >
> > $ cat /proc/sys/fs/binfmt_misc/aarch64
> > enabled
> > interpreter /usr/bin/qemu-aarch64.static
> > flags: F
> > offset 0
> > magic 7f454c460201010000000000000000000200b700
> > mask ffffffffffffff00fffffffffffffffffeffffff

Я подготовил сборку qemu-user-static-binfmt с добавлением флага F.
Но у меня возникли сомнения:

1) Что именно делает этот флаг "F"? загружает этот бинарник в
пространство ядра? когда он это делает, при регистрации или в момент
обращения к бинарному файлу другой архитектуры?
Дело в том, что в этом пакете находятся конфиги для всех возможных
архитектур, и мне бы не хотелось при загрузке компьютера принудительно
загружать в память все эти бинарники qemu-*static.
Зачастую компьютер разработчика используется и для повседневной работы
с Интернет, почтой и т.п.

2) Насколько это безопасно? Понятно, что этот пакет нужен
разработчикам, работающим со сторонними архитектурами. Этот пакет не
входит в установку по-умолчанию, кто его устанавливает, тот знает
зачем. Хотелось бы удобства - установил, и работает везде, хоть в
системе, хоть в контейнере. НО не получит ли разработчик на aarch64
сервере работающие вредоносные программы для x86_64?

Может я зря беспокоюсь? Развейте кто-нибудь мои сомнения :)
В fedora и debian этот флаг "F" установлен.
Но в debian видимо вообще ничего не боятся, у них еще и флаг "C"
стоит, что позволяет оставлять setuid на бинарниках.

Прочитать про флаги можно тут:
https://www.kernel.org/doc/Documentation/admin-guide/binfmt-misc.rst

-- 
Alexey Shabalin

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2538 bytes --]

On Fri, Aug 16, 2019 at 02:39:47AM +0300, Alexey Shabalin wrote:
> пт, 9 авг. 2019 г. в 18:48, Igor Vlasenko <vlasenko@imath.kiev.ua>:
> >
> > On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> > > Вовсе необязательно (обращаю внимание на flags):
> > >
> > > $ cat /proc/sys/fs/binfmt_misc/aarch64
> > > enabled
> > > interpreter /usr/bin/qemu-aarch64.static
> > > flags: F
> > > offset 0
> > > magic 7f454c460201010000000000000000000200b700
> > > mask ffffffffffffff00fffffffffffffffffeffffff
> 
> Я подготовил сборку qemu-user-static-binfmt с добавлением флага F.
> Но у меня возникли сомнения:
> 
> 1) Что именно делает этот флаг "F"? загружает этот бинарник в
> пространство ядра?

Нет, только открывает этот файл и помечает его таким образом,
что при попытке записи в него возникает ошибка ETXTBSY.

> когда он это делает, при регистрации или в момент
> обращения к бинарному файлу другой архитектуры?

При регистрации.

> Дело в том, что в этом пакете находятся конфиги для всех возможных
> архитектур, и мне бы не хотелось при загрузке компьютера принудительно
> загружать в память все эти бинарники qemu-*static.

Загрузка этих бинарников в память будет происходить не при регистрации,
а каждый раз при запуске, как и без "F".  Но файл, из которого будет
производиться загрузка, не будет открываться каждый раз заново.
В частности, при обновлении qemu без явной перерегистрации будут
использоваться старые интерпретаторы, зарегистрированные ранее.

> Зачастую компьютер разработчика используется и для повседневной работы
> с Интернет, почтой и т.п.

Неизвестно, что на самом деле опаснее, интернет с почтой в хост-системе
или произвольный код в чруте.

> 2) Насколько это безопасно? Понятно, что этот пакет нужен
> разработчикам, работающим со сторонними архитектурами. Этот пакет не
> входит в установку по-умолчанию, кто его устанавливает, тот знает
> зачем. Хотелось бы удобства - установил, и работает везде, хоть в
> системе, хоть в контейнере. НО не получит ли разработчик на aarch64
> сервере работающие вредоносные программы для x86_64?

Получит.  "F" даёт именно такой эффект - бинарники от других архитектур
будут запускаться и в контейнерах, где нет qemu.  Если зарегистрировать
интерпретаторы для всех поддерживаемых архитектур с "F", то можно будет
исполнять бинарники подо все эти архитектуры в контейнерах, где нет qemu.

Вопрос, зачем может быть нужно регистрировать интерпретаторы для всех
поддерживаемых архитектур сразу?


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Alexey Shabalin]

пт, 16 авг. 2019 г. в 04:48, Dmitry V. Levin <ldv@altlinux.org>:
>
> On Fri, Aug 16, 2019 at 02:39:47AM +0300, Alexey Shabalin wrote:
> > пт, 9 авг. 2019 г. в 18:48, Igor Vlasenko <vlasenko@imath.kiev.ua>:
> > >
> > > On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> > > > Вовсе необязательно (обращаю внимание на flags):
> > > >
> > > > $ cat /proc/sys/fs/binfmt_misc/aarch64
> > > > enabled
> > > > interpreter /usr/bin/qemu-aarch64.static
> > > > flags: F
> > > > offset 0
> > > > magic 7f454c460201010000000000000000000200b700
> > > > mask ffffffffffffff00fffffffffffffffffeffffff
> >
> > Я подготовил сборку qemu-user-static-binfmt с добавлением флага F.
> > Но у меня возникли сомнения:
> >
> > 1) Что именно делает этот флаг "F"? загружает этот бинарник в
> > пространство ядра?
>
> Нет, только открывает этот файл и помечает его таким образом,
> что при попытке записи в него возникает ошибка ETXTBSY.
>
> > когда он это делает, при регистрации или в момент
> > обращения к бинарному файлу другой архитектуры?
>
> При регистрации.
>
> > Дело в том, что в этом пакете находятся конфиги для всех возможных
> > архитектур, и мне бы не хотелось при загрузке компьютера принудительно
> > загружать в память все эти бинарники qemu-*static.
>
> Загрузка этих бинарников в память будет происходить не при регистрации,
> а каждый раз при запуске, как и без "F".  Но файл, из которого будет
> производиться загрузка, не будет открываться каждый раз заново.
> В частности, при обновлении qemu без явной перерегистрации будут
> использоваться старые интерпретаторы, зарегистрированные ранее.
>
> > Зачастую компьютер разработчика используется и для повседневной работы
> > с Интернет, почтой и т.п.
>
> Неизвестно, что на самом деле опаснее, интернет с почтой в хост-системе
> или произвольный код в чруте.
>
> > 2) Насколько это безопасно? Понятно, что этот пакет нужен
> > разработчикам, работающим со сторонними архитектурами. Этот пакет не
> > входит в установку по-умолчанию, кто его устанавливает, тот знает
> > зачем. Хотелось бы удобства - установил, и работает везде, хоть в
> > системе, хоть в контейнере. НО не получит ли разработчик на aarch64
> > сервере работающие вредоносные программы для x86_64?
>
> Получит.  "F" даёт именно такой эффект - бинарники от других архитектур
> будут запускаться и в контейнерах, где нет qemu.  Если зарегистрировать
> интерпретаторы для всех поддерживаемых архитектур с "F", то можно будет
> исполнять бинарники подо все эти архитектуры в контейнерах, где нет qemu.
>
> Вопрос, зачем может быть нужно регистрировать интерпретаторы для всех
> поддерживаемых архитектур сразу?

Может и не зачем, но сейчас устроенно именно так, все static файлы в
одном пакете, все конфиги для регистрации в другом пакете, при
установке которого отрабатывает filetrigger и регистрирует все
архитектуры. Если сделать множество отдельных пакетов, на спек qemu
будет смотреть еще больнее.
Основной вопрос, добавлять ли еще флаг "F"?

-- 
Alexey Shabalin

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 3671 bytes --]

On Fri, Aug 16, 2019 at 05:00:09AM +0300, Alexey Shabalin wrote:
> пт, 16 авг. 2019 г. в 04:48, Dmitry V. Levin <ldv@altlinux.org>:
> >
> > On Fri, Aug 16, 2019 at 02:39:47AM +0300, Alexey Shabalin wrote:
> > > пт, 9 авг. 2019 г. в 18:48, Igor Vlasenko <vlasenko@imath.kiev.ua>:
> > > >
> > > > On Fri, Aug 09, 2019 at 05:23:59PM +0300, Sergey Bolshakov wrote:
> > > > > Вовсе необязательно (обращаю внимание на flags):
> > > > >
> > > > > $ cat /proc/sys/fs/binfmt_misc/aarch64
> > > > > enabled
> > > > > interpreter /usr/bin/qemu-aarch64.static
> > > > > flags: F
> > > > > offset 0
> > > > > magic 7f454c460201010000000000000000000200b700
> > > > > mask ffffffffffffff00fffffffffffffffffeffffff
> > >
> > > Я подготовил сборку qemu-user-static-binfmt с добавлением флага F.
> > > Но у меня возникли сомнения:
> > >
> > > 1) Что именно делает этот флаг "F"? загружает этот бинарник в
> > > пространство ядра?
> >
> > Нет, только открывает этот файл и помечает его таким образом,
> > что при попытке записи в него возникает ошибка ETXTBSY.
> >
> > > когда он это делает, при регистрации или в момент
> > > обращения к бинарному файлу другой архитектуры?
> >
> > При регистрации.
> >
> > > Дело в том, что в этом пакете находятся конфиги для всех возможных
> > > архитектур, и мне бы не хотелось при загрузке компьютера принудительно
> > > загружать в память все эти бинарники qemu-*static.
> >
> > Загрузка этих бинарников в память будет происходить не при регистрации,
> > а каждый раз при запуске, как и без "F".  Но файл, из которого будет
> > производиться загрузка, не будет открываться каждый раз заново.
> > В частности, при обновлении qemu без явной перерегистрации будут
> > использоваться старые интерпретаторы, зарегистрированные ранее.
> >
> > > Зачастую компьютер разработчика используется и для повседневной работы
> > > с Интернет, почтой и т.п.
> >
> > Неизвестно, что на самом деле опаснее, интернет с почтой в хост-системе
> > или произвольный код в чруте.
> >
> > > 2) Насколько это безопасно? Понятно, что этот пакет нужен
> > > разработчикам, работающим со сторонними архитектурами. Этот пакет не
> > > входит в установку по-умолчанию, кто его устанавливает, тот знает
> > > зачем. Хотелось бы удобства - установил, и работает везде, хоть в
> > > системе, хоть в контейнере. НО не получит ли разработчик на aarch64
> > > сервере работающие вредоносные программы для x86_64?
> >
> > Получит.  "F" даёт именно такой эффект - бинарники от других архитектур
> > будут запускаться и в контейнерах, где нет qemu.  Если зарегистрировать
> > интерпретаторы для всех поддерживаемых архитектур с "F", то можно будет
> > исполнять бинарники подо все эти архитектуры в контейнерах, где нет qemu.
> >
> > Вопрос, зачем может быть нужно регистрировать интерпретаторы для всех
> > поддерживаемых архитектур сразу?
> 
> Может и не зачем, но сейчас устроенно именно так, все static файлы в
> одном пакете, все конфиги для регистрации в другом пакете, при
> установке которого отрабатывает filetrigger и регистрирует все
> архитектуры. Если сделать множество отдельных пакетов, на спек qemu
> будет смотреть еще больнее.

Можно открыть новые горизонты боли, заглянув, например, в
http://git.altlinux.org/gears/g/..git?p=gcc-defaults.git;a=blob_plain;f=gcc-defaults.spec

> Основной вопрос, добавлять ли еще флаг "F"?

Я не вижу никакой пользы в том, чтобы регистрировать интерпретаторы для
всех архитектур сразу, и тем более не вижу пользы в том, чтобы
регистрировать всю эту массу ещё и с "F".

Если же регистрировать интерпретаторы выборочно, то имеет смысл добавить "F".


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 540 bytes --]

On Fri, Aug 16, 2019 at 05:30:26AM +0300, Dmitry V. Levin wrote:
> On Fri, Aug 16, 2019 at 05:00:09AM +0300, Alexey Shabalin wrote:
[...]
> > Если сделать множество отдельных пакетов, на спек qemu
> > будет смотреть еще больнее.
> 
> Можно открыть новые горизонты боли, заглянув, например, в
> http://git.altlinux.org/gears/g/..git?p=gcc-defaults.git;a=blob_plain;f=gcc-defaults.spec

А если этого показалось мало, то
http://git.altlinux.org/people/ldv/packages/?p=gcc-defaults.git;a=blob_plain;f=gcc-defaults.spec


-- 
ldv

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 801 bytes --]

Re: [devel] hsh-qemu-binfmt - register qemu for aarch64/ppc64le hasher

[Alexey Shabalin]

пт, 16 авг. 2019 г. в 06:33, Dmitry V. Levin <ldv@altlinux.org>:
>
> On Fri, Aug 16, 2019 at 05:30:26AM +0300, Dmitry V. Levin wrote:
> > On Fri, Aug 16, 2019 at 05:00:09AM +0300, Alexey Shabalin wrote:
> [...]
> > > Если сделать множество отдельных пакетов, на спек qemu
> > > будет смотреть еще больнее.
> >
> > Можно открыть новые горизонты боли, заглянув, например, в
> > http://git.altlinux.org/gears/g/..git?p=gcc-defaults.git;a=blob_plain;f=gcc-defaults.spec
>
> А если этого показалось мало, то
> http://git.altlinux.org/people/ldv/packages/?p=gcc-defaults.git;a=blob_plain;f=gcc-defaults.spec

Можно посмотреть, что у меня получилось. Я отодвинул ваши горизонты
еще на чуть-чуть :) Сделать одну функцию у меня не получилось.
http://git.altlinux.org/people/shaba/packages/qemu.git
Буду рад предложениям по улучшению.

-- 
Alexey Shabalin