[Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Yuriy Al. Shirokov]

Здравствуйте.

В P9 с ядром std-def демон jackd не может задействовать RT-фичи
планировщика: пишет
Cannot create RT messagebuffer thread: Operation not permitted (1)

В таком режиме Ardour (ради которого я и запускаю jackd) работать отказывается.

Это лечится командой
sudo sysctl -w kernel.sched_rt_runtime_us=-1
но вряд ли это штатный способ заставить jackd работать.

Расскажите, пожалуйста, как штатно запускать приложения вроде jackd в
ядре, собранном с CONFIG_RT_GROUP_SCHED=y.

Задавал этот вопрос на форуме, там мне помочь не смогли:
https://forum.altlinux.org/index.php?topic=43887.0

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Michael Shigorin]

On Fri, May 08, 2020 at 06:00:29PM +0300, Yuriy Al. Shirokov wrote:
> Это лечится командой
> sudo sysctl -w kernel.sched_rt_runtime_us=-1
> но вряд ли это штатный способ заставить jackd работать.

Насколько понимаю, это попросту отключает RT:

---
/proc/sys/kernel/sched_rt_runtime_us:
  A global limit on how much time realtime scheduling may use.  Even without
  CONFIG_RT_GROUP_SCHED enabled, this will limit time reserved to realtime
  processes. With CONFIG_RT_GROUP_SCHED it signifies the total bandwidth
  available to all realtime groups.

  * Time is specified in us because the interface is s32. This gives an
    operating range from 1us to about 35 minutes.
  * sched_rt_period_us takes values from 1 to INT_MAX.
  * sched_rt_runtime_us takes values from -1 to (INT_MAX - 1).
  * A run time of -1 specifies runtime == period, ie. no limit.
--- http://www.kernel.org/doc/Documentation/scheduler/sched-rt-group.txt

Я бы почитал документацию jack -- насколько помню,
конфигурирование RT всегда было делом барским (root).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Yuriy Al. Shirokov]

пт, 8 мая 2020 г. в 20:53, Michael Shigorin <mike@altlinux.org>:
>> Это лечится командой
>> sudo sysctl -w kernel.sched_rt_runtime_us=-1
>> но вряд ли это штатный способ заставить jackd работать.
> Насколько понимаю, это попросту отключает RT:
...
> this will limit time reserved to realtime
> processes.
...
>   * A run time of -1 specifies runtime == period, ie. no limit.
> --- http://www.kernel.org/doc/Documentation/scheduler/sched-rt-group.txt

Хм, я понял процитированное (и прочую документацию на RT-возможности
ядра, а также код цепочки вызовов jackd → pthreads → ядро, см. то, что
я пересказываю в теме на форуме) с точностью до наборот — при значении
sched_rt_runtime_us, равном -1 RT-процессы могут отхватить себе любую
долю периода планирования, хоть весь — полностью прекратив исполнение
не-RT процессов.

> Я бы почитал документацию jack -- насколько помню,
> конфигурирование RT всегда было делом барским (root).

Конфигурируется-то понятно от рута. Вопрос и заключается в том, как
конфигурировать.

Я читал документацию jack ещё до того, как создать тему на форуме и
понял её так:
 - если ядро сконфигурировано _без_ CONFIG_RT_GROUP_SCHED=y,
RT-возможности настраиваются через параметр rtprio в
/etc/security/limits.d/ — в нашем джеке это есть «из коробки»;
 - если ядро сконфигурировано _с_ CONFIG_RT_GROUP_SCHED=y (для
текущего std-def это так), RT-возможности делегируются
непривилегированным пользователям через механизм cgroups:
«By default all bandwidth is assigned to the root group and new groups
get the period from /proc/sys/kernel/sched_rt_period_us and a run time
of 0. If you want to assign bandwidth to another group, reduce the
root group's bandwidth and assign some or all of the difference to
another group.

Realtime group scheduling means you have to assign a portion of total
CPU bandwidth to the group before it will accept realtime tasks.
Therefore you will not be able to run realtime tasks as any user other
than root until you have done that, even if the user has the rights to
run processes with realtime priority!»
(из того же https://www.kernel.org/doc/Documentation/scheduler/sched-rt-group.txt).

В документации на jack даже приведён пример конфигурирования через
cgroups! Вот здесь:
https://github.com/jackaudio/jackaudio.github.com/wiki/Cgroups

Есть только одна проблема — в Альте нет ни /etc/cgconfig.conf, ни
/etc/cgrules.conf, ни сервиса cgconfig в systemd. И вообще
документации по рулению cgroups в Альте я ни на вики, ни где-либо ещё
не нашёл.

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Yuriy Al. Shirokov]

Похоже, разобрался.

пт, 8 мая 2020 г. в 21:35, Yuriy Al. Shirokov <yuriy.shirokov@gmail.com>:
> Есть только одна проблема — в Альте нет ни /etc/cgconfig.conf, ни
> /etc/cgrules.conf, ни сервиса cgconfig в systemd.

На самом деле есть, просто пакет cgroup почему-то не поставился при
старте системы.

После его установки всё получилось _почти_ по этому рецепту:
https://github.com/jackaudio/jackaudio.github.com/wiki/Cgroups#method-2

Распишу подробно, что нужно сделать.

sudo apt-get install cgroup

После этого отредактировать в своём любимом редакторе
/etc/cgconfig.conf, дописав туда
group rtaudio {
        perm {
                task {
                        uid = root;
                        gid = audio;
                }
                admin {
                        uid = root;
                        gid = root;
                }
        }
        cpu {
                cpu.rt_runtime_us = 950000;
        }
}
и /etc/cgrules.conf, прописав туда
@audio   cpu    rtaudio/
(в документации на JACK предлагают писать "@audio:jackd cpu rtaudio/",
но вот как раз это у меня не сработало — а разбираться почему нет ни
знаний, ни мотивации).

После чего выполнить:
sudo systemctl enable cgred
sudo systemctl enable cgconfig
systemctl reboot

Всё, после перезагрузки JACK нормально запускается и работает. Да и
вообще любой процесс, запущенный пользователем из группы audio, может
пользоваться RT-возможностями ядра:
$ chrt -f 80 echo "I'm chrt'ed!"
I'm chrt'ed!
$
(в Альте из коробки вы получите «chrt: failed to set pid 0's policy:
Операция не позволена», даже если нарулили себе доступ к RT через
ulimit).

Отмечу только, что сам Поттеринг ещё в 2015 году попросил выключить
CONFIG_RT_GROUP_SCHED в ядре Fedora, признав (уникальный случай) всю
затею дурацкой и неработающей:
https://bugzilla.redhat.com/show_bug.cgi?id=1229700

Интересно, кто выставил CONFIG_RT_GROUP_SCHED=y в std-def, когда и
(главное) зачем?

Ну ладно. В какое Спортлото теперь написать, чтобы следующий
наступивший на эти грабли не проходил весь квест с нуля?

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Michael Shigorin]

On Sat, May 09, 2020 at 10:46:25PM +0300, Yuriy Al. Shirokov wrote:
> Похоже, разобрался.

Ура!

> пт, 8 мая 2020 г. в 21:35, Yuriy Al. Shirokov <yuriy.shirokov@gmail.com>:
> > Есть только одна проблема — в Альте нет ни /etc/cgconfig.conf, ни
> > /etc/cgrules.conf, ни сервиса cgconfig в systemd.
> На самом деле есть, просто пакет cgroup почему-то не поставился при
> старте системы.

Как думаете, есть смысл добавить его в зависимости джеку
(или в README.ALT)?  Т.е. есть ли смысл в jack _без_ него?

> После его установки всё получилось _почти_ по этому рецепту:
> https://github.com/jackaudio/jackaudio.github.com/wiki/Cgroups#method-2
> Распишу подробно, что нужно сделать.

Лучше даже на http://altlinux.org/jack -- спасибо!

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Alexey Shabalin]

сб, 9 мая 2020 г. в 23:01, Michael Shigorin <mike@altlinux.org>:
>
> On Sat, May 09, 2020 at 10:46:25PM +0300, Yuriy Al. Shirokov wrote:
> > Похоже, разобрался.
>
> Ура!
>
> > пт, 8 мая 2020 г. в 21:35, Yuriy Al. Shirokov <yuriy.shirokov@gmail.com>:
> > > Есть только одна проблема — в Альте нет ни /etc/cgconfig.conf, ни
> > > /etc/cgrules.conf, ни сервиса cgconfig в systemd.
> > На самом деле есть, просто пакет cgroup почему-то не поставился при
> > старте системы.
>
> Как думаете, есть смысл добавить его в зависимости джеку
> (или в README.ALT)?  Т.е. есть ли смысл в jack _без_ него?

Нет, я думаю стоит потратить еще время, и сделать тоже самое
средствами systemd без пакета cgroup.

>
> > После его установки всё получилось _почти_ по этому рецепту:
> > https://github.com/jackaudio/jackaudio.github.com/wiki/Cgroups#method-2
> > Распишу подробно, что нужно сделать.
>
> Лучше даже на http://altlinux.org/jack -- спасибо!
>



-- 
Alexey Shabalin

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Yuriy Al. Shirokov]

сб, 9 мая 2020 г. в 23:12, Alexey Shabalin <a.shabalin@gmail.com>:
> сб, 9 мая 2020 г. в 23:01, Michael Shigorin <mike@altlinux.org>:
>> Как думаете, есть смысл добавить его в зависимости джеку
>> (или в README.ALT)?  Т.е. есть ли смысл в jack _без_ него?
> Нет, я думаю стоит потратить еще время, и сделать тоже самое
> средствами systemd без пакета cgroup.

На всякий случай обозначу, что я этим заниматься не готов.

1)Исходно я просто хотел записывать музыку с помощью домашнего
компьютера. Для этого, вообще говоря, хватило бы и «sudo sysctl -w
kernel.sched_rt_runtime_us=-1», но дальше меня начало угнетать
непонимание происходящего. Однако теперь я примерно понимаю, что
происходит, а лимит времени, которое я готов был потратить на эту
задачу, пожалуй, исчерпан.
2)Я _очень_ плохо отношусь к господину Поттерингу и его поделиям и не
готов осваивать их добровольно сверх необходимости.
3)Поттериногоподелия традиционно отвратительно документированы, часто
лучшая документация на них это код; этот случай — не исключение. Я и
решение через cgconfig-то еле нашёл, а где читать про другие способы,
не представляю даже приблизительно.
4)Last but not least — совершенно не факт, что разрешать systemd лезть
в управление RT-фичами это хорошая идея. См. выше — даже сам Поттеринг
(!) уже в 2015 году попросил выключить CONFIG_RT_GROUP_SCHED в ядре
Fedora. Возможно, наилучший способ потратить время на улучшение
состояния JACK в Альте это _выключить CONFIG_RT_GROUP_SCHED в std-def_
(ну, если не найдётся человека, который _действительно_ использует
cgroups для ограничения доступа к RT).

-- 
С уважением,
Ю.А.Широков.

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Yuriy Al. Shirokov]

сб, 9 мая 2020 г. в 23:01, Michael Shigorin <mike@altlinux.org>:
>> просто пакет cgroup почему-то не поставился при
>> старте системы.
> Как думаете, есть смысл добавить его в зависимости джеку
> (или в README.ALT)?  Т.е. есть ли смысл в jack _без_ него?

Ну, если следовать логике авторов JACK, это предупреждение, а не ошибка.

Но вот Ardour, например, без RT не работает. И в целом нынешнее
состояние не очень дружественно к пользователю: я-то разобрался, а
новичок, который просто хочет нормальную DAW не ниже классом, чем
привычные ему по Windows или OS X, просто плюнет и поставит другой
дистрибутив (или ОС).

То есть мне кажутся разумными два решения:
 - либо прописать у jack-audio-connection-kit зависимость от cgroup и
притаскивать в пакете конфиги, настраивающие доступ к RT;
 - либо выяснить, кто и зачем включил CONFIG_RT_GROUP_SCHED=y в
std-def и использует ли хоть кто-то эту фичу сейчас (напомню, что даже
сам Поттеринг признал затею с рулением RT через cgroups идиотской и в
ядре Fedora эта настройка сейчас, AFAIK, выключена).

>> После его установки всё получилось _почти_ по этому рецепту:
>> https://github.com/jackaudio/jackaudio.github.com/wiki/Cgroups#method-2
>> Распишу подробно, что нужно сделать.
> Лучше даже на http://altlinux.org/jack -- спасибо!

Создал страничку, скопировал туда решение, ага (и ещё немного про сам
JACK написал).

-- 
С уважением,
Ю.А.Широков.

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Anton V. Boyarshinov]

В Sun, 10 May 2020 00:36:31 +0300
"Yuriy Al. Shirokov" <yuriy.shirokov@gmail.com> пишет:

> - либо выяснить, кто и зачем включил CONFIG_RT_GROUP_SCHED=y в
> std-def и использует ли хоть кто-то эту фичу сейчас (напомню, что даже
> сам Поттеринг признал затею с рулением RT через cgroups идиотской и в
> ядре Fedora эта настройка сейчас, AFAIK, выключена).

Кто -- вероятно, я. Зачем? Кто ж теперь вспомнит...

Однако у меня jackd+ardour работает без всего вышеописанного (ну то
есть пакет cgroup стоит, но ничего в cgconfig я не писал)

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Anton V. Boyarshinov]

Привет!

> В P9 с ядром std-def демон jackd не может задействовать RT-фичи
> планировщика: пишет
> Cannot create RT messagebuffer thread: Operation not permitted (1)
> 
> В таком режиме Ardour (ради которого я и запускаю jackd) работать отказывается.

Довольно странная история. Я сам регулярно использую использую связку
jackd+ardour на наших ядрах (вот и сегодня, например) и не сталкиваюсь с
такой проблемой. Jackd пишет, что запустился с Realtime Priority 20 и
всё работает. 

> Это лечится командой
> sudo sysctl -w kernel.sched_rt_runtime_us=-1
> но вряд ли это штатный способ заставить jackd работать.
> 
> Расскажите, пожалуйста, как штатно запускать приложения вроде jackd в
> ядре, собранном с CONFIG_RT_GROUP_SCHED=y.

Давай попробуем найти 10 отличий в наших конфигурациях... Запусти что
ли jackd под strace и пришли мне вывод...

Хотя, наверное, можно и опцию выключить, если никто за неё сейчас не
вступится...

Re: [Comm] JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED

[Anton V. Boyarshinov]

В Fri, 8 May 2020 18:00:29 +0300
"Yuriy Al. Shirokov" <yuriy.shirokov@gmail.com> пишет:

> Cannot create RT messagebuffer thread: Operation not permitted (1)
> 
> В таком режиме Ardour (ради которого я и запускаю jackd) работать отказывается.
> 
> Это лечится командой
> sudo sysctl -w kernel.sched_rt_runtime_us=-1
> но вряд ли это штатный способ заставить jackd работать.

Временное резюме личной переписки с Юрием: Проблема в чём-то другом в
свежей установке ALT Workstation 9 она не воспроизвелась.
Разбирательство продолжается.

На всякий случай замечу для истории, что между установкой jackd и его
запуском надо перелогиниться, чтоб применились настройки лимитов.
 
> Расскажите, пожалуйста, как штатно запускать приложения вроде jackd в
> ядре, собранном с CONFIG_RT_GROUP_SCHED=y.

Но опцию в ядре я всё равно выключил, будет в следующей сборке.

[Comm] config ядра для работы docker (Was:JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED)

[Alexey Shabalin]

> > ядре, собранном с CONFIG_RT_GROUP_SCHED=y.
>
> Но опцию в ядре я всё равно выключил, будет в следующей сборке.

Ну спасибо :)
Теперь варнингов в работе docker еще добавилось:
level=warning msg="Your kernel does not support cgroup rt period"
level=warning msg="Your kernel does not support cgroup rt runtime"

Еще, я подозреваю что из-за отсутствия CFQ есть такие варнинги:
level=warning msg="Your kernel does not support cgroup blkio weight"
level=warning msg="Your kernel does not support cgroup blkio weight_device"

Проверить, что нужно doker'у для ядра можно следующим скриптом:
https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh

Итого, что не хватает:
- Generally Necessary:
CONFIG_NF_NAT_IPV4
CONFIG_NF_NAT_NEEDED

- Optional Features:
CONFIG_IOSCHED_CFQ
CONFIG_CFQ_GROUP_IOSCHED
CONFIG_RT_GROUP_SCHED
CONFIG_EXT3_FS_XATTR
CONFIG_AUFS_FS
CONFIG_INET_XFRM_MODE_TRANSPORT

Я так понимаю, большинства параметров в наших ядрах 5.4 ждать не стоит.

-- 
Alexey Shabalin

Re: [Comm] config ядра для работы docker (Was:JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED)

[Alexey Shabalin]

пт, 22 мая 2020 г. в 01:38, Alexey Shabalin <a.shabalin@gmail.com>:
>
> > > ядре, собранном с CONFIG_RT_GROUP_SCHED=y.
> >
> > Но опцию в ядре я всё равно выключил, будет в следующей сборке.
>
> Ну спасибо :)
> Теперь варнингов в работе docker еще добавилось:
> level=warning msg="Your kernel does not support cgroup rt period"
> level=warning msg="Your kernel does not support cgroup rt runtime"
>
> Еще, я подозреваю что из-за отсутствия CFQ есть такие варнинги:
> level=warning msg="Your kernel does not support cgroup blkio weight"
> level=warning msg="Your kernel does not support cgroup blkio weight_device"
>
> Проверить, что нужно doker'у для ядра можно следующим скриптом:
> https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh
>
> Итого, что не хватает:
> - Generally Necessary:
> CONFIG_NF_NAT_IPV4
> CONFIG_NF_NAT_NEEDED
>
> - Optional Features:
> CONFIG_IOSCHED_CFQ
> CONFIG_CFQ_GROUP_IOSCHED
> CONFIG_RT_GROUP_SCHED
> CONFIG_EXT3_FS_XATTR
> CONFIG_AUFS_FS
> CONFIG_INET_XFRM_MODE_TRANSPORT
>

Забыл еще один параметр,  не знаю как он повлияет на наши livecd
CONFIG_OVERLAY_FS_REDIRECT_DIR
Без него
level=warning msg="Not using native diff for overlay2, this may cause
degraded performance for building images: kernel has
CONFIG_OVERLAY_FS_REDIRECT_DIR"

> Я так понимаю, большинства параметров в наших ядрах 5.4 ждать не стоит.

-- 
Alexey Shabalin

Re: [Comm] config ядра для работы docker (Was:JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED)

[Anton V. Boyarshinov]

В Fri, 22 May 2020 01:41:32 +0300
Alexey Shabalin <a.shabalin@gmail.com> пишет:

> Забыл еще один параметр,  не знаю как он повлияет на наши livecd
> CONFIG_OVERLAY_FS_REDIRECT_DIR
> Без него
> level=warning msg="Not using native diff for overlay2, this may cause
> degraded performance for building images: kernel has
> CONFIG_OVERLAY_FS_REDIRECT_DIR"

Насколько я понимаю, ему наоборот не нравится то, что этот параметр
установлен.

Re: [Comm] config ядра для работы docker (Was:JACK, /proc/sys/kernel/sched_rt_runtime_us, CONFIG_RT_GROUP_SCHED)

[Anton V. Boyarshinov]

В Fri, 22 May 2020 01:38:28 +0300
Alexey Shabalin <a.shabalin@gmail.com> пишет:

> > > ядре, собранном с CONFIG_RT_GROUP_SCHED=y.  
> >
> > Но опцию в ядре я всё равно выключил, будет в следующей сборке.  
> 
> Ну спасибо :)

А что ж ты не вступился за эту опцию, когда я написал "если никто не
вступится, выключу"?

> Теперь варнингов в работе docker еще добавилось:
> level=warning msg="Your kernel does not support cgroup rt period"
> level=warning msg="Your kernel does not support cgroup rt runtime"

А насколько весом этот warning?
 
> Еще, я подозреваю что из-за отсутствия CFQ есть такие варнинги:
> level=warning msg="Your kernel does not support cgroup blkio weight"
> level=warning msg="Your kernel does not support cgroup blkio weight_device"
> 
> Проверить, что нужно doker'у для ядра можно следующим скриптом:
> https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh
> 
> Итого, что не хватает:
> - Generally Necessary:
> CONFIG_NF_NAT_IPV4
> CONFIG_NF_NAT_NEEDED
Это предположительно можно включить.

> 
> - Optional Features:
> CONFIG_IOSCHED_CFQ
> CONFIG_CFQ_GROUP_IOSCHED
> CONFIG_RT_GROUP_SCHED

> CONFIG_EXT3_FS_XATTR
EXT3 ? правда?

> CONFIG_AUFS_FS
Ой нет, только не aufs опять...

> CONFIG_INET_XFRM_MODE_TRANSPORT
> 
> Я так понимаю, большинства параметров в наших ядрах 5.4 ждать не стоит.