[sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Nikolay A. Fetisov]

Здравствуйте!

По результатам обновления нескольких машин с t7 до Sisyphus,
возник один вопрос - а как предполагается сейчас работа
на реальном оборудовании систем на ядрах kernel-image-ovz-el ?


Сейчас в Sisyphus есть ядро 2.6.32-ovz-el-alt133. В нем есть 
некоторое число модулей, которые требуют BLOB'ы с firmware:
# find /lib/firmware/2.6.32-ovz-el-alt133/ -type f | wc -l
193

Начиная с udev-217, который в Sisyphus с 10.11.2014, из systemd 
убрана поддержка user-space firmware loader - т.к. ядра 3.3.7 
и выше загружать firmware умеют сами и сторонняя поддержка для 
этого им не нужна.

Сейчас в Sisyphus udev-219, запросы от ядра на загрузку firmware 
он не обрабатывает. Поддержки kernel-space firmware loader в
ядрах 2.6.32-ovz-el нет. Т.е., модули из kernel-image-ovz-el,
запрашивающие загрузку firmware, на текущем Sisyphus ничего не
получают.



Из трёх разным машин, которые были обновлены с t7 до Sisyphus,
две осталось без сети (модули bnx2 и e100), на третьей в модуль r8169
не загрузился "firmware patch" rtl_nic/rtl8168g-1.fw, но сетевой
интерфейс как-то работал.

Пока из идей (помимо отката до {systemd-utils,udev,udev-hwdb,
udev-rules}-216) - возврат к загрузке firmware внешним скриптом. 
Т.е., создание правила для udev вида

SUBSYSTEM=="firmware",ACTION=="add",RUN+="/usr/local/sbin/firmware.sh"

и вытаскивание firmware.sh из http://git.altlinux.org/people/shaba/pack
ages/udev.git?p=udev.git;a=blob_plain;f=extras/firmware/firmware.sh;hb=
66a4fc29f9c63743c36229962b10c95b8954d349

Из плюсов, наличие такого правила:
- не мешает работе с udev-216 - там эти запросы обрабатываются самим
udev и до внешних правил не доходят, 
- не мешает работе с ядрами 3.XX - там запросов на загрузку firmware в
udev вообще не идёт,
- и оно более-менее работает на udev>=217.
Из минусов - с udev-219 оно работает именно более-менее.

Как минимум для сервера с двумя картами Broadcom BCM5709 (bnx2) на 
этапе запуска udev поднимается только одна. Такое впечатление, что 
udev-219 загружает модули параллельно, и в ядре при этом возникает 
какой-то race condition - /sys$DEVPATH/loading создаётся только для 
одной сетевой карты, в случайном порядке. Это было решено через запрет 
на загрузку модуля udev'ом внесением его в blacklist, благо etcnet сам 
потом загружает модуль при поднятии интерфейса - но как универсальный 
вариант внешний скрипт загрузки firmware, по-видимому, сейчас тоже не 
годится.


Т.е., суммируя: появление на openvz.org репозитория с 
branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее даёт, 
но что делать сейчас?



-- 
С уважением,
Николай Фетисов

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Michael Shigorin]

On Sun, May 24, 2015 at 08:50:36AM +0300, Nikolay A. Fetisov wrote:
> Начиная с udev-217, который в Sisyphus с 10.11.2014, из systemd
> убрана поддержка user-space firmware loader - т.к. ядра 3.3.7 
> и выше загружать firmware умеют сами и сторонняя поддержка для 
> этого им не нужна.

Да, udev на одном таком хосте пришлось откатывать до p7.

> Т.е., суммируя: появление на openvz.org репозитория с
> branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее
> даёт, но что делать сейчас?

Как ещё один вариант,
http://git.altlinux.org/people/led/packages/?p=eudev.git

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Nikolay A. Fetisov]

Здравствуйте!

В Вс, 24/05/2015 в 10:43 +0300, Michael Shigorin пишет:
> On Sun, May 24, 2015 at 08:50:36AM +0300, Nikolay A. Fetisov wrote:
> > ...
> > Т.е., суммируя: появление на openvz.org репозитория с
> > branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее
> > даёт, но что делать сейчас?
> 
> Как ещё один вариант,
> http://git.altlinux.org/people/led/packages/?p=eudev.git
> 

Итого: ядро OpenVZ из Sisyphus в текущем Sisyphus работать не может.


eudev в Sisyphus нет; есть старый udev 150 в составе udev-initramfs -
но использовать его в качестве основного, наверное, ещё проблематичнее,
чем пробовать собирать и ставить eudev / uselessd / пр.

Частично работающий простой вариант - это реанимация скрипта загрузки
firmware образца 2010го года, но из-за параллельной загрузки модулей
в udev (которую отключить нельзя) с ним возможны неприятные проблемы.
Т.е., возможность обновления использующих OpenVZ систем t7/p7 до 
Sisyphus сейчас сильно зависит от используемого аппаратного обеспечения
и скорее отрицательна.


Остаётся вопрос, не имеет ли смысл добавить правило для загрузки 
firmware в состав kernel-image-2.6.32-ovz-el, чтобы хотя бы понизить 
вероятность получения нерабочей системы после 
apt-get dist-upgrade && kernel-update && reboot ?

-- 
С уважением,
Николай Фетисов

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Alexey Shabalin]

> Т.е., суммируя: появление на openvz.org репозитория с
> branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее даёт,
> но что делать сейчас?
прямо сейчас наверно стоит оставаться на p7.
и есть еще один вариант - systemd-nspawn :) есть успешный опыт
перевода под systemd-nspawn одной физической машины, и одного
контейнера openvz.

-- 
Alexey Shabalin

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Денис Смирнов]

On Mon, May 25, 2015 at 07:09:07PM +0300, Alexey Shabalin wrote:

> прямо сейчас наверно стоит оставаться на p7.
> и есть еще один вариант - systemd-nspawn :) есть успешный опыт
> перевода под systemd-nspawn одной физической машины, и одного
> контейнера openvz.

Поделись этим опытом ;)

В смысле создание, настройка, развертывание контейнера.

--
С уважением, Денис

http://mithraen.ru/

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Денис Смирнов]

On Wed, Jun 03, 2015 at 11:48:35PM +0300, Alexey Shabalin wrote:

> Вот тебе mini-howto. Развёрнут простейший вариант.

Спасибо! Работает!

> - внутри контейнера нужен /etc/os-release

Как именно он используется?

> - добавьте внутри контейнера в /etc/securetty
> pts/0
> pts/1
> pts/2
> pts/3

Это нужно только для machinectl login?

> - просмотр логов контейнера
> journalctl -M systemd-guest1

Кстати, в zsh для опции -M у journalctl autocomplete не работает :(

> Нужно иметь ввиду, что machinectl enable|start это просто надстройка над
> /lib/systemd/system/systemd-nspawn@.service, в котором происходит запуск
> /usr/bin/systemd-nspawn --quiet --keep-unit --boot --link-journal=try-guest
> --network-veth --machine=%I

А откуда при этом берутся MAC-адреса для veth?

Как вообще в такой конструкции авторами предполагалось настраивать сеть --
раздавать адреса по dhcpd, а далее роутинг и DNAT на HN?

> Если нужен другой тип сети (смотрите man systemd-nspawn), дополнительные
> опции (например --bind=, --bind-ro=), то надо этот unit-файл скопировать в
> /etc/systemd/system под нужным именем и поправить по потребностям, и дальше
> включать|выключать как отдельные сервис.
> Я писал в рассылку systemd-devel запрос на возможность конфигурирования
> этих параметров при старте, Ленар ответил что планирует добавить это в
> будущем.

--
С уважением, Денис

http://mithraen.ru/

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Sunday 24 May 2015, Nikolay A. Fetisov wrote:

> Т.е., суммируя: появление на openvz.org репозитория с 
> branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее даёт, 
 
А как, кстати, давно оно там появилось, и нет ли известности по
срокам у кого ? Что-то так вышло, что потребовалось правило tee
в iptables, а в kernel-image-ovz-el-2.6.32 этого ещё нет, похоже.

-- 
С уважением, Сергей.

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Gleb Fotengauer-Malinovskiy]

On Tue, Jun 02, 2015 at 07:04:45PM +0400, Sergey wrote:
> On Sunday 24 May 2015, Nikolay A. Fetisov wrote:
> 
> > Т.е., суммируя: появление на openvz.org репозитория с 
> > branch-rh7-3.10.0-123.1.2-ovz определённые надежды на будущее даёт, 
>  
> А как, кстати, давно оно там появилось, и нет ли известности по
> срокам у кого ?

У меня готов пакет с ядром. Только сегодня вышли утилиты. Без
них собирать ядро не было смысла.

> Что-то так вышло, что потребовалось правило tee
> в iptables, а в kernel-image-ovz-el-2.6.32 этого ещё нет, похоже.

-- 
glebfm

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:

> У меня готов пакет с ядром.

Что называется, вовремя. :-)

> Только сегодня вышли утилиты. Без них собирать ядро
> не было смысла.
 
Который в пакете vzctl ? Тогда, если так, есть вопрос:
они со старым ядром остаются совместимыми ?

-- 
Regards, Sergey

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Gleb Fotengauer-Malinovskiy]

[-- Attachment #1: Type: text/plain, Size: 902 bytes --]

On Wed, Jun 03, 2015 at 10:11:37AM +0400, Sergey wrote:
> On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:
> 
> > У меня готов пакет с ядром.
> 
> Что называется, вовремя. :-)
> 
> > Только сегодня вышли утилиты. Без них собирать ядро
> > не было смысла.
>  
> Который в пакете vzctl ?

Ну да, там теперь пачка кусков, один из которых называется vzctl.
Мне пока не удалось их просто даже собрать.

> Тогда, если так, есть вопрос:
> они со старым ядром остаются совместимыми ?

Я так понимаю, что пока нет. Если удастся собрать, проверю, естественно.

-- 
glebfm

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Евгений Терешков]

Gleb Fotengauer-Malinovskiy пишет:

>> On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:
>> > Только сегодня вышли утилиты. Без них собирать ядро
>> > не было смысла.
>> Который в пакете vzctl ?
> Ну да, там теперь пачка кусков, один из которых называется vzctl.
> Мне пока не удалось их просто даже собрать.

Судя по беглому осмотру этого vzctl и аннонсу в рассылке, его даже нет
смысла собирать. Патчить очень много, а удалить обещают через релиз :-)

Интереснее prlctl и сотоварищи собирать/тестить.

>> Тогда, если так, есть вопрос:
>> они со старым ядром остаются совместимыми ?
> Я так понимаю, что пока нет. Если удастся собрать, проверю, естественно.

Совместимости vzctl и не обещали. Наоборот, прямо заявили о несовестимости
(старое ядро работает только с ovz-legacy, новое только с новым ovz).

-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Gleb Fotengauer-Malinovskiy]

[-- Attachment #1: Type: text/plain, Size: 1098 bytes --]

On Wed, Jun 03, 2015 at 11:29:44PM +0700, Евгений Терешков wrote:
> Gleb Fotengauer-Malinovskiy пишет:
> 
> >> On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:
> >> > Только сегодня вышли утилиты. Без них собирать ядро
> >> > не было смысла.
> >> Который в пакете vzctl ?
> > Ну да, там теперь пачка кусков, один из которых называется vzctl.
> > Мне пока не удалось их просто даже собрать.
> 
> Судя по беглому осмотру этого vzctl и аннонсу в рассылке, его даже нет
> смысла собирать. Патчить очень много, а удалить обещают через релиз :-)

Смотреть надо на libvzctl, там больше знакомого. :)

> Интереснее prlctl и сотоварищи собирать/тестить.
Как-то страшно оно пока выглядит. (

-- 
glebfm

[-- Attachment #2: signature.asc --]
[-- Type: application/pgp-signature, Size: 181 bytes --]

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Евгений Терешков]

Gleb Fotengauer-Malinovskiy пишет:

>> >> On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:
>> >> > Только сегодня вышли утилиты. Без них собирать ядро
>> >> > не было смысла.
>> >> Который в пакете vzctl ?
>> > Ну да, там теперь пачка кусков, один из которых называется vzctl.
>> > Мне пока не удалось их просто даже собрать.
>> Судя по беглому осмотру этого vzctl и аннонсу в рассылке, его даже нет
>> смысла собирать. Патчить очень много, а удалить обещают через релиз :-)
> Смотреть надо на libvzctl, там больше знакомого. :)
>> Интереснее prlctl и сотоварищи собирать/тестить.
> Как-то страшно оно пока выглядит. (

Это про prl_ssl/prl_crypto и остальное содержимое пуза? Или всё ещё хуже?

-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Michael Shigorin]

On Wed, Jun 03, 2015 at 06:55:52PM +0300, Gleb Fotengauer-Malinovskiy wrote:
> > Тогда, если так, есть вопрос:
> > они со старым ядром остаются совместимыми ?
> Я так понимаю, что пока нет. Если удастся собрать, проверю, естественно.

Сообщали, что на ближайший цикл разработки vzctl остаётся
для совместимости, дальше предполагают выкинуть и оставить
prctl: http://www.opennet.ru/opennews/art.shtml?num=42343

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Wednesday 03 June 2015, Michael Shigorin wrote:

> Сообщали, что на ближайший цикл разработки vzctl остаётся
> для совместимости, дальше предполагают выкинуть и оставить
> prctl: http://www.opennet.ru/opennews/art.shtml?num=42343

Кое-что недавно обновлённое: 
http://download.openvz.org/virtuozzo/releases/7.0-beta2/source/SRPMS/v/

Что интересно, есть vzprocps-3.3.10-3.vz7.4.src.rpm

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Wednesday 03 June 2015, Gleb Fotengauer-Malinovskiy wrote:

> > Который в пакете vzctl ?
> 
> Ну да, там теперь пачка кусков, один из которых называется vzctl.
> Мне пока не удалось их просто даже собрать.
> 
> > Тогда, если так, есть вопрос:
> > они со старым ядром остаются совместимыми ?
> 
> Я так понимаю, что пока нет. Если удастся собрать, проверю, естественно.

Может, пора в Сизифе обновить хотябы ? p8 отбранчёван, туда это можно пока
не тащить, а уж до p9 должно устаканиться наверное ? :-)

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Wednesday 03 June 2015, Gleb Fotengauer-Malinovskiy wrote:
 
> > Тогда, если так, есть вопрос:
> > они со старым ядром остаются совместимыми ?
> 
> Я так понимаю, что пока нет. Если удастся собрать, проверю, естественно.

На https://openvz.org/Main_Page появились (25/07/2016‎) такие вот слова:

| New version of OpenVZ has been released! This new release focuses
| on merging OpenVZ and Virtuozzo source codebase, replacing our own
| hypervisor by KVM one. See release notes and additional information.
| Download OpenVZ 7.0 installation ISO image.   

Так что, наверное, совместимость нужна теперь только на уровне поддержки
старых контейнеров. Да и это не очень обязательно.

-- 
С уважением, Сергей.

Re: [sisyphus] Работа ядра 2.6.32-ovz-el на текущем Sisyphus

[Sergey]

On Tuesday 02 June 2015, Gleb Fotengauer-Malinovskiy wrote:

> > А как, кстати, давно оно там появилось, и нет ли известности
> > по срокам у кого ?
> 
> У меня готов пакет с ядром. Только сегодня вышли утилиты. Без
> них собирать ядро не было смысла.

Что-то слышно ? Очень надо iptables tee в OpenVZ ядре... А в 2.6
tee нет ещё.

-- 
С уважением, Сергей.