[sisyphus] LXC

[sisyphus] LXC

[Alexey Shabalin]

День добрый.
Попытался разобраться в текущем состоянии контейнерной виртуализации.
С точки зрения простого администратора, которому это использовать.
Что имеется:
1) openvz на ядрах ovz-el-2.6.32
   + работает.
   + готово для продакшена.
   + удобные утилиты администрирования (vzctl)
   + init скрипт для автостарта контейнеров
   - старое ядро?
   - отсутствуют некоторые лимиты, доступные в предыдущих версиях
2) LXC
   + поддержка в текущих ядрах (3.X)
   - я бы сказал, что не готово для продакшена
   - минимум утилит администрирования
   - конфиги контейнеров располагаются в директории, рядом с
контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
   - отсутствует init скрипт для автостарта контейнеров. Даже параметр
autostart прописать не где - не предусмотрен.
   - недостаточная изоляция контейнера от хоста. Во время
экспериментов несколько раз оставался без устройств tty на хосте,
после выключения контейнера. Выполнять poweroff и reboot внутри
контейнера просто опасно. Надо пользовать lxc-stop на хосте.

Возможно init скрипт и не нужет будет, в ближайшее будущее, если
предполагается стартовать lxc-контейнеры с помощью libvirt.
Но с текущим libvirt у меня так и не получилось нормально использовать
lxc (возможно в этом виноват systemd на хосте)

Ещё пару лет назад говорили, что lxc идёт на смену openvz. Слишком долго идёт.
А в свете последних новостей о назначении James Bottomley на должность
технического директора (СТО) в Parallels, предполагается включение
openvz в состав стандартного ядра Linux.
Так что мигрировать с openvz куда-то ещё пока смысла нет.


PS: to  dans@:  я сделал скрипт для создания шаблонов для lxc -
посмотрите у меня в git, возьмите что пожелаете нужным. Патч послал в
апстрим, но с тех времён ещё добавил изменений.

-- 
Alexey Shabalin

Re: [sisyphus] LXC

[Alexander Bokovoy]

2011/8/23 Alexey Shabalin <a.shabalin@gmail.com>:
> 2) LXC
>   + поддержка в текущих ядрах (3.X)
>   - я бы сказал, что не готово для продакшена
>   - минимум утилит администрирования
>   - конфиги контейнеров располагаются в директории, рядом с
> контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
Можно конкретные детали в виде ошибок в багзилу?

> Возможно init скрипт и не нужет будет, в ближайшее будущее, если
> предполагается стартовать lxc-контейнеры с помощью libvirt.
> Но с текущим libvirt у меня так и не получилось нормально использовать
> lxc (возможно в этом виноват systemd на хосте)
По идее, с systemd оно как раз должно работать.

> Ещё пару лет назад говорили, что lxc идёт на смену openvz. Слишком долго идёт.
> А в свете последних новостей о назначении James Bottomley на должность
> технического директора (СТО) в Parallels, предполагается включение
> openvz в состав стандартного ядра Linux.
> Так что мигрировать с openvz куда-то ещё пока смысла нет.
Я бы все-таки желаемое Parallels включение в upstream Linux не выдавал
за действительное. Когда включат, тогда будем говорить о состоявшемся
факте.

-- 
/ Alexander Bokovoy

Re: [sisyphus] LXC

[Alexey Shabalin]

23 августа 2011 г. 15:20 пользователь Alexander Bokovoy написал:
> 2011/8/23 Alexey Shabalin <a.shabalin@gmail.com>:
>> 2) LXC
>>   + поддержка в текущих ядрах (3.X)
>>   - я бы сказал, что не готово для продакшена
>>   - минимум утилит администрирования
>>   - конфиги контейнеров располагаются в директории, рядом с
>> контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
> Можно конкретные детали в виде ошибок в багзилу?
Да, конечно можно.
Я правда хотел сначала попробовать сам запатчить, что бы контейнеры
остались в /var/lib/lxc/$name/rootfs, а конфиги переместить из
/var/lib/lxc/$name/ в /etc/lxc/$name. И добавить параметр для
configure.
Возможно с патчем апстрим быстрее среагирует.

>
>> Возможно init скрипт и не нужет будет, в ближайшее будущее, если
>> предполагается стартовать lxc-контейнеры с помощью libvirt.
>> Но с текущим libvirt у меня так и не получилось нормально использовать
>> lxc (возможно в этом виноват systemd на хосте)
> По идее, с systemd оно как раз должно работать.

Насколько я понял, libvirt почти не использует проект lxc. стартует
контейнеры не спомощью lxc-start, а самостоятельно с помощью своего
хелпера libvirt_lxc. А он начинает монтировать/перемонтировать что его
не касается и затыкается на размонтировании .oldrootfs. Скорее всего
нужно сначала выполнить systemctl stop *.automount.


>> Ещё пару лет назад говорили, что lxc идёт на смену openvz. Слишком долго идёт.
>> А в свете последних новостей о назначении James Bottomley на должность
>> технического директора (СТО) в Parallels, предполагается включение
>> openvz в состав стандартного ядра Linux.
>> Так что мигрировать с openvz куда-то ещё пока смысла нет.
> Я бы все-таки желаемое Parallels включение в upstream Linux не выдавал
> за действительное. Когда включат, тогда будем говорить о состоявшемся
> факте.
Я предположил. Да, я не имею права утверждать, я там не работаю, и
планы и ситуацию изнутри не знаю.
Только вот и lxc сейчас пользоваться в текущем состоянии не возможно.

-- 
Alexey Shabalin

Re: [sisyphus] LXC

[Alexander Bokovoy]

2011/8/23 Alexey Shabalin <a.shabalin@gmail.com>:
> 23 августа 2011 г. 15:20 пользователь Alexander Bokovoy написал:
>> 2011/8/23 Alexey Shabalin <a.shabalin@gmail.com>:
>>> 2) LXC
>>>   + поддержка в текущих ядрах (3.X)
>>>   - я бы сказал, что не готово для продакшена
>>>   - минимум утилит администрирования
>>>   - конфиги контейнеров располагаются в директории, рядом с
>>> контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
>> Можно конкретные детали в виде ошибок в багзилу?
> Да, конечно можно.
> Я правда хотел сначала попробовать сам запатчить, что бы контейнеры
> остались в /var/lib/lxc/$name/rootfs, а конфиги переместить из
> /var/lib/lxc/$name/ в /etc/lxc/$name. И добавить параметр для
> configure.
> Возможно с патчем апстрим быстрее среагирует.
Да, с патчем будет быстрее. Я готов пообщаться с апстримом (все равно
приходится это делать по работе).

>>> Возможно init скрипт и не нужет будет, в ближайшее будущее, если
>>> предполагается стартовать lxc-контейнеры с помощью libvirt.
>>> Но с текущим libvirt у меня так и не получилось нормально использовать
>>> lxc (возможно в этом виноват systemd на хосте)
>> По идее, с systemd оно как раз должно работать.
>
> Насколько я понял, libvirt почти не использует проект lxc. стартует
> контейнеры не спомощью lxc-start, а самостоятельно с помощью своего
> хелпера libvirt_lxc. А он начинает монтировать/перемонтировать что его
> не касается и затыкается на размонтировании .oldrootfs. Скорее всего
> нужно сначала выполнить systemctl stop *.automount.
Скорее всего нужно помочь libvirt поддержкой systemd для этого скрипта.

>>> Так что мигрировать с openvz куда-то ещё пока смысла нет.
>> Я бы все-таки желаемое Parallels включение в upstream Linux не выдавал
>> за действительное. Когда включат, тогда будем говорить о состоявшемся
>> факте.
> Я предположил. Да, я не имею права утверждать, я там не работаю, и
> планы и ситуацию изнутри не знаю.
> Только вот и lxc сейчас пользоваться в текущем состоянии не возможно.
Это нормальная ситуация, когда компания хочет продвинуть свои
разработки и нанимает известного разработчика, не скрывая своих целей.
Вот только это не означает автоматически принятие этих разработок
апстримом как есть. Могут пройти еще годы, прежде чем долгожданное для
Parallels событие произойдет. Это так же нормально. :)


-- 
/ Alexander Bokovoy

Re: [sisyphus] LXC

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 327 bytes --]

23.08.2011 05:43, Alexey Shabalin пишет:
> 1) openvz на ядрах ovz-el-2.6.32
skip
>    - отсутствуют некоторые лимиты, доступные в предыдущих версиях
можно подробнее, что за лимиты отсутствуют?

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 4922 bytes --]

Re: [sisyphus] LXC

[Alexey Shabalin]

23 августа 2011 г. 16:42 пользователь Dubrovskiy Viacheslav
<slava@tangramltd.com> написал:
> 23.08.2011 05:43, Alexey Shabalin пишет:
>> 1) openvz на ядрах ovz-el-2.6.32
> skip
>>    - отсутствуют некоторые лимиты, доступные в предыдущих версиях
> можно подробнее, что за лимиты отсутствуют?
я имел ввиду --cpus и --cpulimit.
оказывается --cpulimit вернули, а --cpus нет.
http://wiki.openvz.org/Fairsched_API#Notes_2

-- 
Alexey Shabalin

Re: [sisyphus] LXC

[Alexey Shabalin]

23 августа 2011 г. 15:49 пользователь Alexander Bokovoy написал:
>>>>   - конфиги контейнеров располагаются в директории, рядом с
>>>> контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
>>> Можно конкретные детали в виде ошибок в багзилу?
>> Да, конечно можно.
>> Я правда хотел сначала попробовать сам запатчить, что бы контейнеры
>> остались в /var/lib/lxc/$name/rootfs, а конфиги переместить из
>> /var/lib/lxc/$name/ в /etc/lxc/$name. И добавить параметр для
>> configure.
>> Возможно с патчем апстрим быстрее среагирует.
> Да, с патчем будет быстрее. Я готов пообщаться с апстримом (все равно
> приходится это делать по работе).
Послал патч в список рассылки.

-- 
Alexey Shabalin

Re: [sisyphus] LXC

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 679 bytes --]

23.08.2011 10:14, Alexey Shabalin пишет:
>
>> 23.08.2011 05:43, Alexey Shabalin пишет:
>>> 1) openvz на ядрах ovz-el-2.6.32
>> skip
>>>    - отсутствуют некоторые лимиты, доступные в предыдущих версиях
>> можно подробнее, что за лимиты отсутствуют?
> я имел ввиду --cpus и --cpulimit.
> оказывается --cpulimit вернули, а --cpus нет.
> http://wiki.openvz.org/Fairsched_API#Notes_2
Ну вроде как у нас есть и ovz-el и ovz-smp
Так что можно сказать что все есть.

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 4903 bytes --]

Re: [sisyphus] LXC

[Alexey Shabalin]

23 августа 2011 г. 22:28 пользователь Dubrovskiy Viacheslav написал:
> 23.08.2011 10:14, Alexey Shabalin пишет:
>>
>>> 23.08.2011 05:43, Alexey Shabalin пишет:
>>>> 1) openvz на ядрах ovz-el-2.6.32
>>> skip
>>>>    - отсутствуют некоторые лимиты, доступные в предыдущих версиях
>>> можно подробнее, что за лимиты отсутствуют?
>> я имел ввиду --cpus и --cpulimit.
>> оказывается --cpulimit вернули, а --cpus нет.
>> http://wiki.openvz.org/Fairsched_API#Notes_2
> Ну вроде как у нас есть и ovz-el и ovz-smp
> Так что можно сказать что все есть.
Слава, что-то Вы откровенную чушь написали :)
от того что есть ovz-smp, поддержки --cpus в нем не появилось (боюсь и
поддержки --cpulimit в нем нет).

-- 
Alexey Shabalin

Re: [sisyphus] LXC

[Dubrovskiy Viacheslav]

[-- Attachment #1: Type: text/plain, Size: 1037 bytes --]

23.08.2011 15:06, Alexey Shabalin пишет:
> 23 августа 2011 г. 22:28 пользователь Dubrovskiy Viacheslav написал:
>> 23.08.2011 10:14, Alexey Shabalin пишет:
>>>> 23.08.2011 05:43, Alexey Shabalin пишет:
>>>>> 1) openvz на ядрах ovz-el-2.6.32
>>>> skip
>>>>>    - отсутствуют некоторые лимиты, доступные в предыдущих версиях
>>>> можно подробнее, что за лимиты отсутствуют?
>>> я имел ввиду --cpus и --cpulimit.
>>> оказывается --cpulimit вернули, а --cpus нет.
>>> http://wiki.openvz.org/Fairsched_API#Notes_2
>> Ну вроде как у нас есть и ovz-el и ovz-smp
>> Так что можно сказать что все есть.
> Слава, что-то Вы откровенную чушь написали :)
Не понял почему чушь?
Разве в ovz-el нет поддержки --cpus и --cpulimit?

-- 
WBR,
Dubrovskiy Viacheslav


[-- Attachment #2: Криптографическая подпись S/MIME --]
[-- Type: application/pkcs7-signature, Size: 4903 bytes --]

Re: [sisyphus] LXC

[Denis Pynkin]

Здравстуйте.
Отвечаю на письмо Alexey Shabalin от 2011-08-23 12:43:

> 2) LXC
>    + поддержка в текущих ядрах (3.X)
>    - я бы сказал, что не готово для продакшена
>    - минимум утилит администрирования
>    - конфиги контейнеров располагаются в директории, рядом с
> контейнером, а не в /etc. Пути зашиты жёстко в исходниках.
согласен.
>    - отсутствует init скрипт для автостарта контейнеров. Даже параметр
> autostart прописать не где - не предусмотрен.
угу. все собираюсь добавить, но руки не доходят :-( 

>    - недостаточная изоляция контейнера от хоста. Во время
> экспериментов несколько раз оставался без устройств tty на хосте,
> после выключения контейнера. 
есть такое.
добавьте в опции монтирования devpts параметр newinstance внутри контейнера.
в теории lxc.pts в конфиге должен помочь для "принудительной" изоляции, но в последний раз, когда я заглядывал - еще не было допилено.

> Выполнять poweroff и reboot внутри
> контейнера просто опасно. Надо пользовать lxc-stop на хосте.
УМВР ;-)

> Возможно init скрипт и не нужет будет, в ближайшее будущее, если
> предполагается стартовать lxc-контейнеры с помощью libvirt.
если честно - с libvirt я контейнеры не запускал. для моих нужд достаточно голого lxc.

> PS: to  dans@:  я сделал скрипт для создания шаблонов для lxc -
> посмотрите у меня в git, возьмите что пожелаете нужным. Патч послал в
> апстрим, но с тех времён ещё добавил изменений.
спасибо! посмотрю обязательно. только чуть позже, к сожалению.

-- 
wbr, d4s