[sisyphus] Xen-4.7.0

[sisyphus] Xen-4.7.0

[Dmitriy D. Shadrinov]

Здравствуйте,
хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/

Отмечу, что с использованием последней сборки grub2-pc-2.00-alt21 загрузить Xen не удается, но прекрасно работает с предыдущей:

http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-common-2.00-alt20.x86_64.rpm
http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-pc-2.00-alt20.x86_64.rpm

Re: [sisyphus] Xen-4.7.0

[Michael Shigorin]

On Tue, Sep 27, 2016 at 09:04:32AM +0300, Dmitriy D. Shadrinov wrote:
> хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/
> Отмечу, что с использованием последней сборки grub2-pc-2.00-alt21 загрузить Xen не удается, но прекрасно работает с предыдущей:
> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-common-2.00-alt20.x86_64.rpm
> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-pc-2.00-alt20.x86_64.rpm

Интересно, почему бы -- за это время менялся gcc, а добавленные
патчи про (неадекватную) грубовую систему паролей вроде как не
должны влиять на Xen.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Xen-4.7.0

[Dmitriy D. Shadrinov]

27 сент. 2016 г., в 11:43, Michael Shigorin <mike@altlinux.org> написал(а):

> On Tue, Sep 27, 2016 at 09:04:32AM +0300, Dmitriy D. Shadrinov wrote:
>> хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/
>> Отмечу, что с использованием последней сборки grub2-pc-2.00-alt21 загрузить Xen не удается, но прекрасно работает с предыдущей:
>> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-common-2.00-alt20.x86_64.rpm
>> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-pc-2.00-alt20.x86_64.rpm
> 
> Интересно, почему бы -- за это время менялся gcc, а добавленные
> патчи про (неадекватную) грубовую систему паролей вроде как не
> должны влиять на Xen.

Наверное не должны, но факт :).
Попробую поразбираться

Re: [sisyphus] Xen-4.7.0

[Michael Shigorin]

On Tue, Sep 27, 2016 at 04:09:46PM +0300, Dmitriy D. Shadrinov wrote:
> >> хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/
> >> Отмечу, что с использованием последней сборки grub2-pc-2.00-alt21 загрузить Xen не удается, но прекрасно работает с предыдущей:
> >> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-common-2.00-alt20.x86_64.rpm
> >> http://ftp.altlinux.org/pub/distributions/archive/sisyphus/date/2015/12/15/x86_64/RPMS.classic/grub2-pc-2.00-alt20.x86_64.rpm
> > Интересно, почему бы -- за это время менялся gcc, а добавленные
> > патчи про (неадекватную) грубовую систему паролей вроде как не
> > должны влиять на Xen.
> Наверное не должны, но факт :).
> Попробую поразбираться

Можно попробовать пересобрать нынешний GRUB текущим
тулчейном времён предыдущей сборки.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Xen-4.7.0

[Alex Moskalenko]

27.09.2016 09:04, Dmitriy D. Shadrinov пишет:
> Здравствуйте,
> хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/
>
Здравствуйте!

А есть ли что-нибудь, мешающее скопировать эту сборку в P8? Хотелось бы 
тестировать/использовать ее в более стабильном окружении.

По результатам тестирования получилось следующее. Система - обновленный 
P8, ядра - 4.4.23-std-def и 4.7.7-un-def.

1. Насколько оправдана зависимость xen-runtime на xen-hypervisor-abi? 
xen-runtime требуется для функционирования "driver domain"'ов, а вот 
самому гипервизору там делать нечего;
2. На ядрах 4.4.23-std-def не запускается xl devd (вылетает на -ENOPERM 
при доступе к /dev/xen/privcmd), что не позволяет использовать Driver 
Domains (для сети например). На 4.7.7-un-def - ве отлично;
3. Не удалось запустить HVM-домены с Device Model Stub Domains - домен с 
device model падает, соответственно без него основной домен не 
запускается. Поведение (и логи) одинаковые как при Linux, так и при 
Windows. Лог падения следующий:
evtchn_open() -> 6
xenevtchn_bind_interdomain(28, 3) = 0
GPF rip: 96a4f, error_code=0
Thread: main
RIP: e030:[<0000000000096a4f>]
RSP: e02b:00000000005cf860  EFLAGS: 00010006
RAX: 0000200000006840 RBX: 0000000000000006 RCX: 0000000000000012
RDX: 0000000000000006 RSI: 0000000000000000 RDI: 0000000000000006
RBP: 00000000005cf880 R08: 000000000000000a R09: 0000000000000001
R10: 000000000014268b R11: 0000000000000000 R12: 0000000000000200
R13: 0000000000000006 R14: 000000000015daa0 R15: 0000000000001000
base is 0x5cf880 caller is 0xd342f
base is 0x5cf8a0 caller is 0xd59ca
base is 0x5cf8e0 caller is 0xd5a21
base is 0x5cf900 caller is 0xd5a80
base is 0x5cf910 caller is 0x96d62
base is 0x5cf960 caller is 0x218e7
base is 0x5cf990 caller is 0x2928e
base is 0x5cfa40 caller is 0x29fd9
base is 0x5cfa60 caller is 0x1d0e3
base is 0x5cfad0 caller is 0x901e
base is 0x5cfe10 caller is 0xd6772
base is 0x5cffe0 caller is 0x3423

5cf850: 60 f8 5c 00 00 00 00 00 2b e0 00 00 00 00 00 00
5cf860: 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
5cf870: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
5cf880: a0 f8 5c 00 00 00 00 00 2f 34 0d 00 00 00 00 00

5cf870: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
5cf880: a0 f8 5c 00 00 00 00 00 2f 34 0d 00 00 00 00 00
5cf890: 00 10 00 00 00 00 00 00 00 00 00 00 00 00 00 00
5cf8a0: e0 f8 5c 00 00 00 00 00 ca 59 0d 00 00 00 00 00

96a30: 05 48 c7 40 18 01 00 00 00 41 c7 84 24 f8 d9 15
96a40: 00 01 00 00 00 9c 41 5c 41 81 e4 00 02 00 00 fa
96a50: 48 8b 05 69 6f 0c 00 48 85 c0 74 19 0f 1f 40 00
96a60: 48 8b 58 10 48 8b 78 08 e8 cd 3a 04 00 48 85 db

4. На 4.4.23-std-def поймал сообщения от mptsas при активной работе с 
дисками:
Oct 13 23:26:52 testxen47 kernel: [129482.991324] mptsas 0000:10:00.0: 
swiotlb buffer is full (sz: 65536 bytes)
Oct 13 23:26:52 testxen47 kernel: [129482.991338] mptsas 0000:10:00.0: 
swiotlb buffer is full
Oct 13 23:26:52 testxen47 kernel: [129482.991437] mptsas 0000:10:00.0: 
swiotlb buffer is full (sz: 65536 bytes)
Oct 13 23:26:52 testxen47 kernel: [129482.991446] mptsas 0000:10:00.0: 
swiotlb buffer is full
Oct 13 23:26:52 testxen47 kernel: [129482.999807] mptsas 0000:10:00.0: 
swiotlb buffer is full (sz: 65536 bytes)
Oct 13 23:26:52 testxen47 kernel: [129482.999807] mptsas 0000:10:00.0: 
swiotlb buffer is full
Oct 13 23:26:52 testxen47 kernel: [129483.003336] mptsas 0000:10:00.0: 
swiotlb buffer is full (sz: 65536 bytes)
Oct 13 23:26:52 testxen47 kernel: [129483.003336] mptsas 0000:10:00.0: 
swiotlb buffer is full

В рассылках об этом пишут, вроде как не страшно, но работу замедляет. К 
тому же, через 3 дня нагрузочного тестирования (HVM Linux+HVM Windows+PV 
Linux+network driver domain) с помощью iometer и iperf получил полный 
фриз Domain0 (и всего остального соответственно) на попытках доступа к 
дискам;

5. на 4.4.23-std-def несколько раз поймал "skb rides the rocket" в 
xen-netfront. Сеть при этом правда не отвалилась, как часто происходило 
раньше на ядрах 3.х.


На данный момент тестирую все Linux-домены c 4.7.7-un-def и Windows 2012 
с последними PV-драйверами. Продвинутые методы работы с сетью (типа 
checksumming и scatter-gather) не отключал. Будет еще что-то интересное 
- отпишусь.

PS Хотелось бы оторвать зависимость xen-runtime на xen-hypervisor-abi и 
починить Device Model Stubdomains.

Re: [sisyphus] Xen-4.7.0

[Dmitriy D. Shadrinov]

14 окт. 2016 г., в 10:19, Alex Moskalenko <mav@elserv.msk.su> написал(а):

> 27.09.2016 09:04, Dmitriy D. Shadrinov пишет:
>> Здравствуйте,
>> хочу предложить сборку Xen-4.7.0: http://git.altlinux.org/tasks/169981/
>> 
> Здравствуйте!
> 
> А есть ли что-нибудь, мешающее скопировать эту сборку в P8? Хотелось бы тестировать/использовать ее в более стабильном окружении.

Я вижу на данный момент такие проблемы: не загружается гипервизор
с помощью grub2, собранного на свежей базе сизифа, я пытаюсь сейчас разобраться в чем проблема,
пока дошел только до того, что сломалась сборка c 25.10.2014 на 26.10.2014.

Последний grub2-2.00-alt21, собранный на базе Сизифа от 25.10.2014 работает.
и второе скрипт из grub2, генерирующий grub.cfg делает в нем синтаксическую ошибку
(забывает одну закрывающую фигурную скобку)

> По результатам тестирования получилось следующее. Система - обновленный P8, ядра - 4.4.23-std-def и 4.7.7-un-def.
> 
> ….
> PS Хотелось бы оторвать зависимость xen-runtime на xen-hypervisor-abi и починить Device Model Stubdomains.

Принимается, постараюсь разобраться, вышеописанное требует более глубокого осмысления,
по мере изменений буду отмечаться здесь

Re: [sisyphus] Xen-4.7.0

[Alex Moskalenko]

14.10.2016 15:38, Dmitriy D. Shadrinov пишет:
> А есть ли что-нибудь, мешающее скопировать эту сборку в P8? Хотелось бы тестировать/использовать ее в более стабильном окружении.
> Я вижу на данный момент такие проблемы: не загружается гипервизор
> с помощью grub2, собранного на свежей базе сизифа, я пытаюсь сейчас разобраться в чем проблема,
> пока дошел только до того, что сломалась сборка c 25.10.2014 на 26.10.2014.
>
> Последний grub2-2.00-alt21, собранный на базе Сизифа от 25.10.2014 работает.
> и второе скрипт из grub2, генерирующий grub.cfg делает в нем синтаксическую ошибку
> (забывает одну закрывающую фигурную скобку)
Тут не подскажу - использую extlinux.


>> По результатам тестирования получилось следующее. Система - обновленный P8, ядра - 4.4.23-std-def и 4.7.7-un-def.
>>
>> ….
>> PS Хотелось бы оторвать зависимость xen-runtime на xen-hypervisor-abi и починить Device Model Stubdomains.
> Принимается, постараюсь разобраться, вышеописанное требует более глубокого осмысления,
> по мере изменений буду отмечаться здесь
Скорее всего, есть смысл попытаться отделить собственно xl с нужными ей 
библиотеками от остального xen-runtime, чтобы не тянуть в driver domain 
кучу совсем не требующихся там библиотек типа qemu, xorg и т.п.


Так как ioemu-stubdom.gz - это по сути статически слинкованная ELFка, то 
попробовал с их вариантами из RPMов RawHide с rpmfind.net. 
ioemu-stubdom.gz из xen-runtime-4.7.0-6 тоже падает, а вот из 
xen-runtime-4.6.3-6 работает. Может, что-то поломали именно в самом 
xen-4.7.0?

PS Stubdomain нужен не только для деаггрегации Dom0, но и для 
возможности запуска HVM-доменов с дисками не в Dom0, а в Driver 
Domain'ах - если я правильно понял документацию, запуск HVM-доменов с 
дисками не в Dom0 невозможен по причине того, что qemu требуется 
физический доступ к файлам/устройствам дисков для обеспечения загрузки, 
а DeviceModel Stubdomain эту проблему решает. Поправьте меня, если это 
не так.

Re: [sisyphus] Xen-4.7.0

[Michael Shigorin]

On Fri, Oct 14, 2016 at 03:38:01PM +0300, Dmitriy D. Shadrinov wrote:
> > PS Хотелось бы оторвать зависимость xen-runtime на
> > xen-hypervisor-abi и починить Device Model Stubdomains.
> Принимается, постараюсь разобраться, вышеописанное требует
> более глубокого осмысления, по мере изменений буду отмечаться
> здесь

Кстати, если возникнет такое желание -- можете составить
и прислать список пакетов для добавления "галочки" про Xen
в серверный стартеркит.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info