[sisyphus] svlogd: запись stdout в журнал с ротацией

[sisyphus] svlogd: запись stdout в журнал с ротацией

[Paul Wolneykien]

  Всем привет. Мы столкнулись с проблемой, что нужно сохранять подробный
выхлоп от демона для последующего анализа. Systemd на удивление не
справился с задачей: при подключении к демону дополнительных клиентов,
запись в журнал (который потом можно читать через journalctl) становится
нестабильной — часть сообщений в журнал не попадает. Если же просто
перенаправить выхлоп в файл, то там всё сохраняется. Из этого я сделал
вывод, то systemd не выдерживает напора.
  Возможно, что я просто не умею готовить systemd. Но тем не менее, мы
решили пойти дальше именно по пути сброса в файл. Поэтому сделать
оставалось следующее: обеспечить запись в лог временной метки для
каждого сообщения и ротацию логов. И тогда я вспомнил о пакете runit. Он
почему-то не был у нас собран (сегодня я этот момент исправил —
runit-2.1.2-alt2).
  Пакет целиком представляет собой альтернативную систему запуска
системы — очень компактную, предназначенную, в первую очередь, для
встраиваемых систем. Но одно из достоинств в том, что входящие в пакет
программы можно использовать по отдельности. И одна из них —
замечательная программа svlogd (именно о ней я и вспомнил).
  svlogd — это фильтр-обработчик стандартного входа, с записью
результата в файл, с поддержкой ротации. Обработка настраивается простым
конфигурационным файлом. В результате мы добились записи временных меток
и ротации (со сжатием). Сейчас пробуем сократить объём логов, исключив
заведомо ненужные строчки, настроив фильтр.
  Я подозреваю, что svlogd — не единственная программа такого рода. Но
поскольку я уже знал, как ей пользоваться, то выбрал именно её.

  А вот, как была выполнена настройка:

$ cat /lib/systemd/system/pcscd.service
[Unit]
Description=PC/SC Smart Card Daemon
Requires=pcscd.socket

[Service]
ExecStart=/usr/sbin/pcscd.wrap --foreground --debug --apdu

[Install]
Also=pcscd.socket

---

$ cat /usr/sbin/pcscd.wrap
#!/bin/sh -efu

echo "Starting pcscd. See its logs in /var/log/pcscd" >&2
/usr/sbin/pcscd "$@" 2>&1 | svlogd -ttt /var/log/pcscd

---

$ cat /var/log/pcscd/config
s2000000
n500
!gzip

Re: [sisyphus] svlogd: запись stdout в журнал с ротацией

[Anton Farygin]

18.10.2018 15:40, Paul Wolneykien пишет:
>    Всем привет. Мы столкнулись с проблемой, что нужно сохранять подробный
> выхлоп от демона для последующего анализа. Systemd на удивление не
> справился с задачей: при подключении к демону дополнительных клиентов,
> запись в журнал (который потом можно читать через journalctl) становится
> нестабильной — часть сообщений в журнал не попадает. Если же просто
> перенаправить выхлоп в файл, то там всё сохраняется. Из этого я сделал
> вывод, то systemd не выдерживает напора.

А можешь дать пример ? интересно посмотреть.

Re: [sisyphus] svlogd: запись stdout в журнал с ротацией

[Paul Wolneykien]

18.10.2018 16:18, Anton Farygin пишет:
> 18.10.2018 15:40, Paul Wolneykien пишет:
>>    Всем привет. Мы столкнулись с проблемой, что нужно сохранять подробный
>> выхлоп от демона для последующего анализа. Systemd на удивление не
>> справился с задачей: при подключении к демону дополнительных клиентов,
>> запись в журнал (который потом можно читать через journalctl) становится
>> нестабильной — часть сообщений в журнал не попадает. Если же просто
>> перенаправить выхлоп в файл, то там всё сохраняется. Из этого я сделал
>> вывод, то systemd не выдерживает напора.
> 
> А можешь дать пример ? интересно посмотреть.

pcscd --foreground --debug --apdu

  Постоянным клиентом pcscd у нас является pkcs11_eventmgr — каждую
секунду (или 2) проверяет, вставлена ли карта. Клиент жаловался на то,
что когда запускаешь pkcs11_eventmgr, то информации об остальных
клиентах (которые запускаются от случая к случаю) в журнале не отображается.

Re: [sisyphus] svlogd: запись stdout в журнал с ротацией

[Евгений Терешков]

Paul Wolneykien пишет:

>>>    Всем привет. Мы столкнулись с проблемой, что нужно сохранять подробный
>>> выхлоп от демона для последующего анализа. Systemd на удивление не
>>> справился с задачей: при подключении к демону дополнительных клиентов,
>>> запись в журнал (который потом можно читать через journalctl) становится
>>> нестабильной — часть сообщений в журнал не попадает. Если же просто
>>> перенаправить выхлоп в файл, то там всё сохраняется. Из этого я сделал
>>> вывод, то systemd не выдерживает напора.
>> 
>> А можешь дать пример ? интересно посмотреть.
> pcscd --foreground --debug --apdu
>
>   Постоянным клиентом pcscd у нас является pkcs11_eventmgr — каждую
> секунду (или 2) проверяет, вставлена ли карта. Клиент жаловался на то,
> что когда запускаешь pkcs11_eventmgr, то информации об остальных
> клиентах (которые запускаются от случая к случаю) в журнале не отображается.

Возможно дело просто в том, что systemd-journald ограничивает размер
журнала (10% от диска и 15% от памяти, но не более 4Гб, судя по ману).
Конечно же этот лимит будет постоянно "терять" старые сообщения и хранить
только новые, т.е. наиболее часто возникающие.

Попробуйте просто увеличить лимит на дисковое/оперативное место журнала.


-- 
С уважением, Терешков Евгений.
Jabber ID: evg@altlinux.org, evg_krsk@jabber.ru