* [Sysadmins] Не работает cgroup на ядре с OpenVZ
@ 2015-12-04 13:56 Васюк Максим Анатольевич
2015-12-07 9:10 ` Васюк Максим Анатольевич
2015-12-11 3:13 ` Васюк Максим Анатольевич
0 siblings, 2 replies; 4+ messages in thread
From: Васюк Максим Анатольевич @ 2015-12-04 13:56 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Привет, Всем!
Есть у меня Хост с KVM на t7
# uname -r
3.10.32-std-def-alt1
# rpm -qa | grep qemu
qemu-aux-1.4.0-alt1.1
ipxe-roms-qemu-1.0.0-alt2.git174df77
qemu-common-1.4.0-alt1.1
libvirt-qemu-common-1.0.4-alt2
qemu-img-1.4.0-alt1.1
libvirt-daemon-driver-qemu-1.0.4-alt2
qemu-system-1.4.0-alt1.1
# findmnt -t cgroup
TARGET SOURCE FSTYPE OPTIONS
/sys/fs/cgroup/cpu cgroup cgroup rw,relatime,cpu
/sys/fs/cgroup/blkio cgroup cgroup rw,relatime,blkio
В конфиге гостя было выставлено:
<vcpu placement='static' cpuset='1'>1</vcpu>
И оно срабатывало.
Появился второй Хост с KVM и OpenVZ на t7
# uname -r
2.6.32-ovz-el-alt137
# rpm -qa | grep qemu
libvirt-qemu-common-1.0.4-alt2
qemu-aux-1.4.0-alt1.1
qemu-common-1.4.0-alt1.1
libvirt-daemon-driver-qemu-1.0.4-alt2
qemu-system-1.4.0-alt1.1
qemu-img-1.4.0-alt1.1
ipxe-roms-qemu-1.0.0-alt2.git174df77
# findmnt -t cgroup
TARGET SOURCE FSTYPE OPTIONS
/proc/vz/beancounter beancounter cgroup rw,relatime,blkio,name=beancounter
/proc/vz/container container cgroup
rw,relatime,freezer,devices,name=container
/proc/vz/fairsched fairsched cgroup
rw,relatime,cpuacct,cpu,cpuset,name=fairsched
При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при
загрузке гостя сразу заругалось:
# virsh -c qemu:///system start tw1
ошибка: Не удалось запустить домен tw1
ошибка: Unable to set cpuset.cpus: Permission denied
Разбираться было некогда, поэтому просто убрал cpuset='1' из конфига.
Сейчас хост нагрузили и требуется настройка лимитов.
Вернул обратно cpuset='1' в конфиг.
При старте гостя в лог libvirt валится:
2015-12-04 13:36:30.517+0000: 5838: warning : qemuSetupCgroup:406 :
Could not autoset a RSS limit for domain tw1
2015-12-04 13:36:31.506+0000: 5838: error :
qemuSetupCgroupEmulatorPin:546 : Unable to set cpuset.cpus: Permission
denied
2015-12-04 13:36:31.506+0000: 5838: error :
virCgroupRemoveRecursively:732 : Unable to remove
/proc/vz/fairsched/0/libvirt/qemu/tw1/vcp
-------------------
Тут еще несколько аналогичных строк
-------------------
2015-12-04 13:36:31.506+0000: 5838: error :
virCgroupRemoveRecursively:732 : Unable to remove
/proc/vz/beancounter/0/libvirt/qemu/tw1/
Убираю параметр, стартую гостя, в логе осталось только:
2015-12-04 13:44:12.065+0000: 5837: warning : qemuSetupCgroup:406 :
Could not autoset a RSS limit for domain tw1
Но виртуалка грузится и работает.
В /proc/vz/fairsched/0/libvirt/qemu/ автоматом создался каталог tw1.
Пробую руками:
# echo 3 > /proc/vz/fairsched/0/libvirt/qemu/tw1/cpuset.cpus
bash: echo: ошибка записи: Отказано в доступе
# ls -l cpuset.cpus
-rw-r--r-- 1 root root 0 дек 4 19:47 cpuset.cpus
--
С уважением,
Васюк Максим
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ
2015-12-04 13:56 [Sysadmins] Не работает cgroup на ядре с OpenVZ Васюк Максим Анатольевич
@ 2015-12-07 9:10 ` Васюк Максим Анатольевич
2015-12-07 11:35 ` Васюк Максим Анатольевич
2015-12-11 3:13 ` Васюк Максим Анатольевич
1 sibling, 1 reply; 4+ messages in thread
From: Васюк Максим Анатольевич @ 2015-12-07 9:10 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Нарыл вот чего:
https://bugzilla.altlinux.org/show_bug.cgi?id=28957
У меня похоже оно!
У кого-нибудь работает cgroup на ядре с OpenVZ?
04.12.2015 19:56, Васюк Максим Анатольевич пишет:
> Привет, Всем!
>
> Есть у меня Хост с KVM на t7
>
> # uname -r
> 3.10.32-std-def-alt1
>
> # rpm -qa | grep qemu
> qemu-aux-1.4.0-alt1.1
> ipxe-roms-qemu-1.0.0-alt2.git174df77
> qemu-common-1.4.0-alt1.1
> libvirt-qemu-common-1.0.4-alt2
> qemu-img-1.4.0-alt1.1
> libvirt-daemon-driver-qemu-1.0.4-alt2
> qemu-system-1.4.0-alt1.1
>
> # findmnt -t cgroup
> TARGET SOURCE FSTYPE OPTIONS
> /sys/fs/cgroup/cpu cgroup cgroup rw,relatime,cpu
> /sys/fs/cgroup/blkio cgroup cgroup rw,relatime,blkio
>
> В конфиге гостя было выставлено:
> <vcpu placement='static' cpuset='1'>1</vcpu>
>
> И оно срабатывало.
>
> Появился второй Хост с KVM и OpenVZ на t7
> # uname -r
> 2.6.32-ovz-el-alt137
>
> # rpm -qa | grep qemu
> libvirt-qemu-common-1.0.4-alt2
> qemu-aux-1.4.0-alt1.1
> qemu-common-1.4.0-alt1.1
> libvirt-daemon-driver-qemu-1.0.4-alt2
> qemu-system-1.4.0-alt1.1
> qemu-img-1.4.0-alt1.1
> ipxe-roms-qemu-1.0.0-alt2.git174df77
>
> # findmnt -t cgroup
> TARGET SOURCE FSTYPE OPTIONS
> /proc/vz/beancounter beancounter cgroup rw,relatime,blkio,name=beancounter
> /proc/vz/container container cgroup
> rw,relatime,freezer,devices,name=container
> /proc/vz/fairsched fairsched cgroup
> rw,relatime,cpuacct,cpu,cpuset,name=fairsched
>
> При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при
> загрузке гостя сразу заругалось:
> # virsh -c qemu:///system start tw1
> ошибка: Не удалось запустить домен tw1
> ошибка: Unable to set cpuset.cpus: Permission denied
>
> Разбираться было некогда, поэтому просто убрал cpuset='1' из конфига.
>
> Сейчас хост нагрузили и требуется настройка лимитов.
>
> Вернул обратно cpuset='1' в конфиг.
>
> При старте гостя в лог libvirt валится:
> 2015-12-04 13:36:30.517+0000: 5838: warning : qemuSetupCgroup:406 :
> Could not autoset a RSS limit for domain tw1
> 2015-12-04 13:36:31.506+0000: 5838: error :
> qemuSetupCgroupEmulatorPin:546 : Unable to set cpuset.cpus: Permission
> denied
> 2015-12-04 13:36:31.506+0000: 5838: error :
> virCgroupRemoveRecursively:732 : Unable to remove
> /proc/vz/fairsched/0/libvirt/qemu/tw1/vcp
> -------------------
> Тут еще несколько аналогичных строк
> -------------------
> 2015-12-04 13:36:31.506+0000: 5838: error :
> virCgroupRemoveRecursively:732 : Unable to remove
> /proc/vz/beancounter/0/libvirt/qemu/tw1/
>
> Убираю параметр, стартую гостя, в логе осталось только:
> 2015-12-04 13:44:12.065+0000: 5837: warning : qemuSetupCgroup:406 :
> Could not autoset a RSS limit for domain tw1
>
> Но виртуалка грузится и работает.
>
> В /proc/vz/fairsched/0/libvirt/qemu/ автоматом создался каталог tw1.
>
> Пробую руками:
> # echo 3 > /proc/vz/fairsched/0/libvirt/qemu/tw1/cpuset.cpus
> bash: echo: ошибка записи: Отказано в доступе
>
> # ls -l cpuset.cpus
> -rw-r--r-- 1 root root 0 дек 4 19:47 cpuset.cpus
>
--
С уважением,
Васюк Максим
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ
2015-12-07 9:10 ` Васюк Максим Анатольевич
@ 2015-12-07 11:35 ` Васюк Максим Анатольевич
0 siblings, 0 replies; 4+ messages in thread
From: Васюк Максим Анатольевич @ 2015-12-07 11:35 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
07.12.2015 15:10, Васюк Максим Анатольевич пишет:
> Нарыл вот чего:
> https://bugzilla.altlinux.org/show_bug.cgi?id=28957
> У меня похоже оно!
> У кого-нибудь работает cgroup на ядре с OpenVZ?
Еще наткнулся на
https://blog.hostonnet.com/virsh-error-unable-to-create-cgroup-for-x-no-such-file-or-directory
Выдержка:
The problem was cause by OpneVZ Kernel. Installing CentOS default kernel
fixed it.
У меня такая же проблема:
# service cgconfig start
Checking cgconfig configuration: cgconfigparser; error loading
/etc/cgconfig.conf: Cgroup mounting failed [FAILED]
--
С уважением,
Васюк Максим
^ permalink raw reply [flat|nested] 4+ messages in thread
* Re: [Sysadmins] Не работает cgroup на ядре с OpenVZ
2015-12-04 13:56 [Sysadmins] Не работает cgroup на ядре с OpenVZ Васюк Максим Анатольевич
2015-12-07 9:10 ` Васюк Максим Анатольевич
@ 2015-12-11 3:13 ` Васюк Максим Анатольевич
1 sibling, 0 replies; 4+ messages in thread
From: Васюк Максим Анатольевич @ 2015-12-11 3:13 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
04.12.2015 19:56, Васюк Максим Анатольевич пишет:
> Привет, Всем!
>
> Есть у меня Хост с KVM на t7
>
> # uname -r
> 3.10.32-std-def-alt1
>
> В конфиге гостя было выставлено:
> <vcpu placement='static' cpuset='1'>1</vcpu>
>
> И оно срабатывало.
>
> Появился второй Хост с KVM и OpenVZ на t7
> # uname -r
> 2.6.32-ovz-el-alt137
>
> При переезде гостя с хоста где был один KVM на хост где KVM и OpenVZ при
> загрузке гостя сразу заругалось:
> # virsh -c qemu:///system start tw1
> ошибка: Не удалось запустить домен tw1
> ошибка: Unable to set cpuset.cpus: Permission denied
Проблема в следующем:
OpenVZ сам монтирует cgroup в /proc/vz/fairsched
Libvirt видит это и начинает использовать
в /proc/vz/fairsched/0/libvirt
Из-за того что файл /proc/vz/fairsched/0/cpuset.cpus
пустой, у libvirt не получается заполнить свой cpuset.cpus для себя и
раздавать уже гостям:
# echo 2-7> /proc/vz/fairsched/0/libvirt/cpuset.cpus
bash: echo: ошибка записи: Отказано в доступе
Делаю руками:
# echo 0-7> /proc/vz/fairsched/0/cpuset.cpus
затем опять руками
# echo 2-7> /proc/vz/fairsched/0/libvirt/cpuset.cpus
затем
# echo 2-7> /proc/vz/fairsched/0/libvirt/qemu/cpuset.cpus
и после этого в конфиг гостя добавляю:
<vcpu placement='static' cpuset='2'>1</vcpu>
После этого гость стартует и использует только указанное ядро.
Может кто подскажет, почему OpenVZ сам не заполняет файл
/proc/vz/fairsched/0/cpuset.cpu и как это можно исправить?
--
С уважением,
Васюк Максим
^ permalink raw reply [flat|nested] 4+ messages in thread
end of thread, other threads:[~2015-12-11 3:13 UTC | newest]
Thread overview: 4+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2015-12-04 13:56 [Sysadmins] Не работает cgroup на ядре с OpenVZ Васюк Максим Анатольевич
2015-12-07 9:10 ` Васюк Максим Анатольевич
2015-12-07 11:35 ` Васюк Максим Анатольевич
2015-12-11 3:13 ` Васюк Максим Анатольевич
ALT Linux sysadmins discussion
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
public-inbox-index sysadmins
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.sysadmins
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git