[Sysadmins] Не работает cgroup на ядре с OpenVZ

[Sysadmins] Не работает cgroup на ядре с OpenVZ

[Васюк Максим Анатольевич]

Привет, Всем!

Есть у меня Хост с KVM на t7

# uname -r
3.10.32-std-def-alt1

# rpm -qa | grep qemu
qemu-aux-1.4.0-alt1.1
ipxe-roms-qemu-1.0.0-alt2.git174df77
qemu-common-1.4.0-alt1.1
libvirt-qemu-common-1.0.4-alt2
qemu-img-1.4.0-alt1.1
libvirt-daemon-driver-qemu-1.0.4-alt2
qemu-system-1.4.0-alt1.1

# findmnt -t cgroup
TARGET               SOURCE FSTYPE OPTIONS
/sys/fs/cgroup/cpu   cgroup cgroup rw,relatime,cpu
/sys/fs/cgroup/blkio cgroup cgroup rw,relatime,blkio

В конфиге гостя было выставлено:
<vcpu placement='static' cpuset='1'>1</vcpu>

И оно срабатывало.

Появился второй Хост с KVM и OpenVZ на t7
# uname -r
2.6.32-ovz-el-alt137

# rpm -qa | grep qemu
libvirt-qemu-common-1.0.4-alt2
qemu-aux-1.4.0-alt1.1
qemu-common-1.4.0-alt1.1
libvirt-daemon-driver-qemu-1.0.4-alt2
qemu-system-1.4.0-alt1.1
qemu-img-1.4.0-alt1.1
ipxe-roms-qemu-1.0.0-alt2.git174df77

# findmnt -t cgroup
TARGET               SOURCE      FSTYPE OPTIONS
/proc/vz/beancounter beancounter cgroup rw,relatime,blkio,name=beancounter
/proc/vz/container   container   cgroup 
rw,relatime,freezer,devices,name=container
/proc/vz/fairsched   fairsched   cgroup 
rw,relatime,cpuacct,cpu,cpuset,name=fairsched

При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при 
загрузке гостя сразу заругалось:
# virsh -c qemu:///system start tw1
ошибка: Не удалось запустить домен tw1
ошибка: Unable to set cpuset.cpus: Permission denied

Разбираться было некогда, поэтому просто убрал cpuset='1' из конфига.

Сейчас хост нагрузили и требуется настройка лимитов.

Вернул обратно cpuset='1' в конфиг.

При старте гостя в лог libvirt валится:
2015-12-04 13:36:30.517+0000: 5838: warning : qemuSetupCgroup:406 : 
Could not autoset a RSS limit for domain tw1
2015-12-04 13:36:31.506+0000: 5838: error : 
qemuSetupCgroupEmulatorPin:546 : Unable to set cpuset.cpus: Permission 
denied
2015-12-04 13:36:31.506+0000: 5838: error : 
virCgroupRemoveRecursively:732 : Unable to remove 
/proc/vz/fairsched/0/libvirt/qemu/tw1/vcp
-------------------
Тут еще несколько аналогичных строк
-------------------
2015-12-04 13:36:31.506+0000: 5838: error : 
virCgroupRemoveRecursively:732 : Unable to remove 
/proc/vz/beancounter/0/libvirt/qemu/tw1/

Убираю параметр, стартую гостя, в логе осталось только:
2015-12-04 13:44:12.065+0000: 5837: warning : qemuSetupCgroup:406 : 
Could not autoset a RSS limit for domain tw1

Но виртуалка грузится и работает.

В /proc/vz/fairsched/0/libvirt/qemu/ автоматом создался каталог tw1.

Пробую руками:
# echo 3 > /proc/vz/fairsched/0/libvirt/qemu/tw1/cpuset.cpus
bash: echo: ошибка записи: Отказано в доступе

# ls -l cpuset.cpus
-rw-r--r-- 1 root root 0 дек  4 19:47 cpuset.cpus

-- 
С уважением,
Васюк Максим

Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ

[Васюк Максим Анатольевич]

Нарыл вот чего:
https://bugzilla.altlinux.org/show_bug.cgi?id=28957
У меня похоже оно!
У кого-нибудь работает cgroup на ядре с OpenVZ?


04.12.2015 19:56, Васюк Максим Анатольевич пишет:
> Привет, Всем!
>
> Есть у меня Хост с KVM на t7
>
> # uname -r
> 3.10.32-std-def-alt1
>
> # rpm -qa | grep qemu
> qemu-aux-1.4.0-alt1.1
> ipxe-roms-qemu-1.0.0-alt2.git174df77
> qemu-common-1.4.0-alt1.1
> libvirt-qemu-common-1.0.4-alt2
> qemu-img-1.4.0-alt1.1
> libvirt-daemon-driver-qemu-1.0.4-alt2
> qemu-system-1.4.0-alt1.1
>
> # findmnt -t cgroup
> TARGET               SOURCE FSTYPE OPTIONS
> /sys/fs/cgroup/cpu   cgroup cgroup rw,relatime,cpu
> /sys/fs/cgroup/blkio cgroup cgroup rw,relatime,blkio
>
> В конфиге гостя было выставлено:
> <vcpu placement='static' cpuset='1'>1</vcpu>
>
> И оно срабатывало.
>
> Появился второй Хост с KVM и OpenVZ на t7
> # uname -r
> 2.6.32-ovz-el-alt137
>
> # rpm -qa | grep qemu
> libvirt-qemu-common-1.0.4-alt2
> qemu-aux-1.4.0-alt1.1
> qemu-common-1.4.0-alt1.1
> libvirt-daemon-driver-qemu-1.0.4-alt2
> qemu-system-1.4.0-alt1.1
> qemu-img-1.4.0-alt1.1
> ipxe-roms-qemu-1.0.0-alt2.git174df77
>
> # findmnt -t cgroup
> TARGET               SOURCE      FSTYPE OPTIONS
> /proc/vz/beancounter beancounter cgroup rw,relatime,blkio,name=beancounter
> /proc/vz/container   container   cgroup
> rw,relatime,freezer,devices,name=container
> /proc/vz/fairsched   fairsched   cgroup
> rw,relatime,cpuacct,cpu,cpuset,name=fairsched
>
> При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при
> загрузке гостя сразу заругалось:
> # virsh -c qemu:///system start tw1
> ошибка: Не удалось запустить домен tw1
> ошибка: Unable to set cpuset.cpus: Permission denied
>
> Разбираться было некогда, поэтому просто убрал cpuset='1' из конфига.
>
> Сейчас хост нагрузили и требуется настройка лимитов.
>
> Вернул обратно cpuset='1' в конфиг.
>
> При старте гостя в лог libvirt валится:
> 2015-12-04 13:36:30.517+0000: 5838: warning : qemuSetupCgroup:406 :
> Could not autoset a RSS limit for domain tw1
> 2015-12-04 13:36:31.506+0000: 5838: error :
> qemuSetupCgroupEmulatorPin:546 : Unable to set cpuset.cpus: Permission
> denied
> 2015-12-04 13:36:31.506+0000: 5838: error :
> virCgroupRemoveRecursively:732 : Unable to remove
> /proc/vz/fairsched/0/libvirt/qemu/tw1/vcp
> -------------------
> Тут еще несколько аналогичных строк
> -------------------
> 2015-12-04 13:36:31.506+0000: 5838: error :
> virCgroupRemoveRecursively:732 : Unable to remove
> /proc/vz/beancounter/0/libvirt/qemu/tw1/
>
> Убираю параметр, стартую гостя, в логе осталось только:
> 2015-12-04 13:44:12.065+0000: 5837: warning : qemuSetupCgroup:406 :
> Could not autoset a RSS limit for domain tw1
>
> Но виртуалка грузится и работает.
>
> В /proc/vz/fairsched/0/libvirt/qemu/ автоматом создался каталог tw1.
>
> Пробую руками:
> # echo 3 > /proc/vz/fairsched/0/libvirt/qemu/tw1/cpuset.cpus
> bash: echo: ошибка записи: Отказано в доступе
>
> # ls -l cpuset.cpus
> -rw-r--r-- 1 root root 0 дек  4 19:47 cpuset.cpus
>


-- 
С уважением,
Васюк Максим

Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ

[Васюк Максим Анатольевич]

07.12.2015 15:10, Васюк Максим Анатольевич пишет:
> Нарыл вот чего:
> https://bugzilla.altlinux.org/show_bug.cgi?id=28957
> У меня похоже оно!
> У кого-нибудь работает cgroup на ядре с OpenVZ?

Еще наткнулся на 
https://blog.hostonnet.com/virsh-error-unable-to-create-cgroup-for-x-no-such-file-or-directory

Выдержка:
The problem was cause by OpneVZ Kernel. Installing CentOS default kernel 
fixed it.

У меня такая же проблема:
# service cgconfig start
Checking cgconfig configuration: cgconfigparser; error loading 
/etc/cgconfig.conf: Cgroup mounting failed             [FAILED]

-- 
С уважением,
Васюк Максим

Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ

[Васюк Максим Анатольевич]

04.12.2015 19:56, Васюк Максим Анатольевич пишет:
> Привет, Всем!
>
> Есть у меня Хост с KVM на t7
>
> # uname -r
> 3.10.32-std-def-alt1
>
> В конфиге гостя было выставлено:
> <vcpu placement='static' cpuset='1'>1</vcpu>
>
> И оно срабатывало.
>
> Появился второй Хост с KVM и OpenVZ на t7
> # uname -r
> 2.6.32-ovz-el-alt137
>
> При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при
> загрузке гостя сразу заругалось:
> # virsh -c qemu:///system start tw1
> ошибка: Не удалось запустить домен tw1
> ошибка: Unable to set cpuset.cpus: Permission denied

Проблема в следующем:
OpenVZ сам монтирует cgroup в /proc/vz/fairsched
Libvirt видит это и начинает использовать
в /proc/vz/fairsched/0/libvirt
Из-за того что файл /proc/vz/fairsched/0/cpuset.cpus
пустой, у libvirt не получается заполнить свой cpuset.cpus для себя и 
раздавать уже гостям:
# echo 2-7> /proc/vz/fairsched/0/libvirt/cpuset.cpus
bash: echo: ошибка записи: Отказано в доступе

Делаю руками:
# echo 0-7> /proc/vz/fairsched/0/cpuset.cpus
затем опять руками
# echo 2-7> /proc/vz/fairsched/0/libvirt/cpuset.cpus
затем
# echo 2-7> /proc/vz/fairsched/0/libvirt/qemu/cpuset.cpus

и после этого в конфиг гостя добавляю:
<vcpu placement='static' cpuset='2'>1</vcpu>

После этого гость стартует и использует только указанное ядро.

Может кто подскажет, почему OpenVZ сам не заполняет файл 
/proc/vz/fairsched/0/cpuset.cpu и как это можно исправить?

-- 
С уважением,
Васюк Максим