[devel] RFC/BINH: monit support in server packages

[devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Sat, Jun 06, 2009 at 07:58:56PM +0000, QA Team Robot wrote:
> monit - Process monitor and restart utility
> * Fri Jun 05 2009 Michael Shigorin <mike@altlinux> 5.0.3-alt2
[...]
> - call for server packagers: http://www.altlinux.org/Monit
> * Fri May 29 2009 Michael Shigorin <mike@altlinux> 5.0.3-alt1

Серьёзно: раз уж Server 5.0 откладывается, давайте хоть сделаем
его по возможности более удобным для работы "из коробки".
Нижеприведённые соображения предлагаются к обсуждению,
после которого надеюсь добавить их к вышеупомянутой страничке
на вики.


Известные "за":
- monit действительно мониторит сервисы;
- при необходимости можно определять зависимости между ними;
- кто как, а я обычно стараюсь на новоподнятом сервере/контейнере
  сразу (и по мере добавления) засовывать всё, что должно
  работать, под monit.

Известные "против":
- остановить сервис (например, для бэкапа базы или чтоб запустить
  руками с отладкой) может оказаться не так-то просто: его могут
  в неожиданный момент перезапустить;
- отключить -- аналогично;
- вообще если ставить и включать по умолчанию monit как есть сейчас
  и "просто" подбрасывать ему конфигурацию, то политика запуска
  служб окажется определяемой им, а не информацией в инитскриптах.


По размышлении мне кажутся относительно разумными такие варианты
(привожу в порядке предпочтительности по своему мнению):

=== I ===
- ставить упакованные кусочки конфигурации с особым суффиксом,
  например, /etc/monitrc.d/*.auto;
- добавить в дефолтный /etc/monitrc _закомментированную_ строчку
  include /etc/monitrc.d/*.auto;
- добавить в пакет monit control-файл, который будет управлять
  закомментированностью этой строчки.

=== II ===
- ставить кусочки в /etc/monitrc.d/available/ с тем, чтобы
  системный администратор мог более удобно включить мониторинг
  того, что реально установлено, просто скопировав их оттуда.

=== III ===
- ставить в /etc/monitrc.d/, обучить service и желательно
  chkconfig работе с monit.  Если с первым могу попробовать
  (и то monit unmonitor $service будет "забыт" после рестарта
  monit), то со вторым как-то совсем непонятно.


Ещё мне совсем сильно захотелось сделать наконец такое изменение
в пакетном /etc/monitrc:

-include /etc/monitrc.d/*
+include /etc/monitrc.d/*.conf

...только вот без обработки существующей конфигурации это может
оказаться неприятным сюрпризом для администраторов существующих
инсталяций, чего бы крайне не хотелось.  Понятно, что такое
изменение для предлагаемой схемы является обязательным, поэтому
буду благодарен за предложения по реализации.  Разумеется, анонс
в sysadmins@ и %pre предполагается.


Вот список уже готовых кусочков, которые можно будет растаскивать
по своим пакетам с добавлением Requires: monit-base (с чем берусь
при необходимости по мере возможности помогать); особо интересует
мнение их майнтейнеров и пользователей.

amavisd
apache
apache-mod_ssl
apcupsd
bind
clamd
clamsmtpd
crond
cupsd
dhcpd
drwebd
gpm
jabberd2-c2s
jabberd2-s2s
jabberd2-sm
klogd
mysql
nginx
nscd
ntpd
openvpn
policyd
postfix
postgresql
pptpd
privoxy
proftpd
rpc
rundm
samba
sendmail
slapd
smartd
snmpd
spamd
squid
sshd
syslogd
unfsd
wdm
xdm
xfs
xinetd

У нас есть не всё, представленное на
http://mmonit.com/wiki/Monit/ConfigurationExamples,
хотя есть и кое-что, чего там пока нет.

PS: если предложение будет принято, то для полного аккурату
хорошо бы ещё %define _monitdir %_sysconfdir/monitrc.d где-то.
Делать ради этого отдельный rpm-build-monit явно оверкилл :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Max Ivanov]

> Серьёзно: раз уж Server 5.0 откладывается, давайте хоть сделаем
> его по возможности более удобным для работы "из коробки".
> Нижеприведённые соображения предлагаются к обсуждению,
> после которого надеюсь добавить их к вышеупомянутой страничке
> на вики.

Мне гораздо более правильным кажется всем собраться и осилить upstart.
Авторестарт будет бесплатным дополнением к этому.

Re: [devel] RFC/BINH: monit support in server packages

[Mikhail Gusarov]

[-- Attachment #1: Type: text/plain, Size: 567 bytes --]


Twas brillig at 20:52:42 07.06.2009 UTC+04 when ivanov.maxim@gmail.com did gyre and gimble:

 MI> Мне гораздо более правильным кажется всем собраться и осилить
 MI> upstart.

Невзможно, до тех пор, пока нет механизма бороться с деструктивными
мнениями (подкреплёнными владением пакетами) вида (цитата) "прекрасный
пример благоглупостей и вкусовщины."

-- 

[-- Attachment #2: Type: application/pgp-signature, Size: 834 bytes --]

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Sun, Jun 07, 2009 at 08:52:42PM +0400, Max Ivanov wrote:
> > Серьёзно: раз уж Server 5.0 откладывается, давайте хоть
> > сделаем его по возможности более удобным для работы "из
> > коробки".  Нижеприведённые соображения предлагаются к
> > обсуждению, после которого надеюсь добавить их к
> > вышеупомянутой страничке на вики.
> Мне гораздо более правильным кажется всем собраться и осилить
> upstart.

Я тут просто не помощник, по факту.

> Авторестарт будет бесплатным дополнением к этому.

monit -- это гораздо больше.  Особенно на сервере.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

7 июня 2009 г. 18:14 пользователь Michael Shigorin  написал:
> Известные "против":
Так жн наблюдаю перезапуск сервиса (sshd) monit-ом
Подозреваю, что в момент совпадения времени очередной проверки с
атакой на сервис.
Если количество одновременных соединений достигнуто (атакуют в N смычков),
то будет перезапуск.
Наблюдаю совсем недавно, по этому багу вешать не тороплюсь.
Статистику набираю....

> Вот список уже готовых кусочков,...
А можно сюда же
+ cyrus-imap
+ ejabberd


-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Grigory Batalov]

On Sun, 7 Jun 2009 18:14:27 +0300, Michael Shigorin wrote:

> Известные "против":
> - остановить сервис (например, для бэкапа базы или чтоб запустить
>   руками с отладкой) может оказаться не так-то просто: его могут
>   в неожиданный момент перезапустить;

Есть же monit stop <service>

> - отключить -- аналогично;
> - вообще если ставить и включать по умолчанию monit как есть сейчас
>   и "просто" подбрасывать ему конфигурацию, то политика запуска
>   служб окажется определяемой им, а не информацией в инитскриптах.

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Sun, Jun 07, 2009 at 08:21:01PM +0300, Dmitriy Kruglikov wrote:
> > Вот список уже готовых кусочков,...
> А можно сюда же
> + cyrus-imap
> + ejabberd

Сделай и в багзиллу?  Первого на хозяйстве нет, а второй у меня
не падает.  Правда, чтоб его надёжно перестартовать --
в alterator-ejabberd пришлось поприседать, см.
http://preview.tinyurl.com/alterator-ejabberd-backend

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Sun, Jun 07, 2009 at 09:26:40PM +0400, Grigory Batalov wrote:
> > Известные "против":
> > - остановить сервис (например, для бэкапа базы или чтоб запустить
> >   руками с отладкой) может оказаться не так-то просто: его могут
> >   в неожиданный момент перезапустить;
> Есть же monit stop <service>

Есть, конечно.  Просто start/stop (или monitor/unmonitor)
надо тогда как-то увязывать хотя бы со /sbin/service.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

7 июня 2009 г. 20:36 пользователь Michael Shigorin  написал:
> On Sun, Jun 07, 2009 at 09:26:40PM +0400, Grigory Batalov wrote:
>> > Известные "против":
>> > - остановить сервис (например, для бэкапа базы или чтоб запустить
>> >   руками с отладкой) может оказаться не так-то просто: его могут
>> >   в неожиданный момент перезапустить;
>> Есть же monit stop <service>
>
> Есть, конечно.  Просто start/stop (или monitor/unmonitor)
> надо тогда как-то увязывать хотя бы со /sbin/service.
Допилить стартостопные скрипты каждого сервиса логикой типа
если "мониторится", то
   unmonitor сервис;
   стоп сервис;
иначе
   стоп сервис
хух


-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

7 июня 2009 г. 20:35 пользователь Michael Shigorin написал:
> On Sun, Jun 07, 2009 at 08:21:01PM +0300, Dmitriy Kruglikov wrote:
>> > Вот список уже готовых кусочков,...
>> А можно сюда же
>> + cyrus-imap
>> + ejabberd
>
> Сделай и в багзиллу?
 20358

> Первого на хозяйстве нет,
Ну, поделюсь ради такого дела ...

>  а второй у меня не падает.
- Чем вы лечите ваши вирусы ?
- А они у меня не болеют ...

У меня и первый-то не падает,
но все, что в продуктивной эксплуатации, должно быть оптичено ...


-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Led]

On Sunday, 07 June 2009 20:38:48 Dmitriy Kruglikov wrote:
> 7 июня 2009 г. 20:36 пользователь Michael Shigorin  написал:
> > On Sun, Jun 07, 2009 at 09:26:40PM +0400, Grigory Batalov wrote:
> >> > Известные "против":
> >> > - остановить сервис (например, для бэкапа базы или чтоб запустить
> >> >   руками с отладкой) может оказаться не так-то просто: его могут
> >> >   в неожиданный момент перезапустить;
> >>
> >> Есть же monit stop <service>
> >
> > Есть, конечно.  Просто start/stop (или monitor/unmonitor)
> > надо тогда как-то увязывать хотя бы со /sbin/service.
>
> Допилить стартостопные скрипты каждого сервиса логикой типа
> если "мониторится", то
>    unmonitor сервис;
>    стоп сервис;
> иначе
>    стоп сервис
> хух

Зачем "стартостопные скрипты каждого сервиса"? Достаточно дополнить этим 
stop_daemon() в /etc/rc.d/init.d/functions

-- 
Led

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

7 июня 2009 г. 20:53 пользователь Led написал:

> Зачем "стартостопные скрипты каждого сервиса"? Достаточно дополнить этим
> stop_daemon() в /etc/rc.d/init.d/functions
>
Так даже лучше ...


-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 2262 bytes --]

On Sun, Jun 07, 2009 at 06:14:27PM +0300, Michael Shigorin wrote:
> On Sat, Jun 06, 2009 at 07:58:56PM +0000, QA Team Robot wrote:
> > monit - Process monitor and restart utility
> > * Fri Jun 05 2009 Michael Shigorin <mike@altlinux> 5.0.3-alt2
> [...]
> > - call for server packagers: http://www.altlinux.org/Monit
> > * Fri May 29 2009 Michael Shigorin <mike@altlinux> 5.0.3-alt1
> 
> Серьёзно: раз уж Server 5.0 откладывается, давайте хоть сделаем
> его по возможности более удобным для работы "из коробки".
> Нижеприведённые соображения предлагаются к обсуждению,
> после которого надеюсь добавить их к вышеупомянутой страничке
> на вики.
> 
> 
> Известные "за":
> - monit действительно мониторит сервисы;
> - при необходимости можно определять зависимости между ними;

> - кто как, а я обычно стараюсь на новоподнятом сервере/контейнере
>   сразу (и по мере добавления) засовывать всё, что должно
>   работать, под monit.
автоматизировать добавление - с удовольствием. включение мониторинга пусть
делается вручную


> Известные "против":
> - остановить сервис (например, для бэкапа базы или чтоб запустить
>   руками с отладкой) может оказаться не так-то просто: его могут
>   в неожиданный момент перезапустить;
> - отключить -- аналогично;
значит, вшить в service stop и unmonit вызов, или как там его. нельзя,
чтобы программа делала, что одно, когда её просят обратное.

> - вообще если ставить и включать по умолчанию monit как есть сейчас
>   и "просто" подбрасывать ему конфигурацию, то политика запуска
>   служб окажется определяемой им, а не информацией в инитскриптах.
нет, не надо управления стартом через монит. переход на upstart здесь имеет
больше смысла. надо управление monit через service, и только если
разрешено.

> === I ===
> - ставить упакованные кусочки конфигурации с особым суффиксом,
>   например, /etc/monitrc.d/*.auto;
> - добавить в дефолтный /etc/monitrc _закомментированную_ строчку
>   include /etc/monitrc.d/*.auto;
> - добавить в пакет monit control-файл, который будет управлять
>   закомментированностью этой строчки.
данный вариант мне нравится много больше.

что от proftpd нужно? я monit как-то не знаю, все nagios+sh использую.
-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

7 июня 2009 г. 18:14 пользователь Michael Shigorin  написал:

> Известные "против":
Я вот тут решил немного подшаманить конфиги Postfix и совсем выпустил из
склероза, что main.cf мониторится ...
Сижу себе, творю...
А тут меня monit  и радует информацией ...

Как-то тут нужно продумать, как админу останавливать параноидальную
подозрительность.


-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Mon, Jun 08, 2009 at 11:25:12AM +0300, Dmitriy Kruglikov wrote:
> > Известные "против":
> Я вот тут решил немного подшаманить конфиги Postfix и совсем
> выпустил из склероза, что main.cf мониторится ...  Сижу себе,
> творю...  А тут меня monit  и радует информацией ...
> Как-то тут нужно продумать, как админу останавливать
> параноидальную подозрительность.

Это как раз вопрос разумности дефолтов -- можно по умолчанию
ремарить depend на конфиги.  В принципе стоило бы и тут над
control-изацией подумать, но что-то сейчас не очень выходит.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Dmitriy Kruglikov]

8 июня 2009 г. 13:41 пользователь Michael Shigorin  написал:

>
> Это как раз вопрос разумности дефолтов -- можно по умолчанию
> ремарить depend на конфиги.
В первом приближении - unmonitor при изменении контрольной суммы и алерт ...
Буду думать ...

-- 
Как правильно задавать вопросы:
http://maddog.sitengine.ru/smart-question-ru.html

Помогает:
http://search.altlinux.org

Best regards,
 Dmitriy Kruglikov
 Dmitriy.Kruglikov_at_gmail_dot_com
 XMPP: Dmitriy.Kruglikov_at_gmail_dot_com

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Sun, Jun 07, 2009 at 08:53:51PM +0300, Led wrote:
> > > Есть, конечно. Просто start/stop (или monitor/unmonitor)
> > > надо тогда как-то увязывать хотя бы со /sbin/service.
> > Допилить стартостопные скрипты каждого сервиса
> Зачем "стартостопные скрипты каждого сервиса"? Достаточно
> дополнить этим stop_daemon() в /etc/rc.d/init.d/functions

Надо будет посмотреть по месту -- в худшем случае может либо
набраться сервисо-специфических вещей, либо оверхед в общем месте
неприемлемый получиться.


On Mon, Jun 08, 2009 at 12:37:19AM +0400, Afanasov Dmitry wrote:
> > - остановить сервис (например, для бэкапа базы или чтоб
> >   запустить руками с отладкой) может оказаться не так-то
> >   просто: его могут в неожиданный момент перезапустить;
> > - отключить -- аналогично;
> значит, вшить в service stop и unmonit вызов, или как там его.
> нельзя, чтобы программа делала, что одно, когда её просят
> обратное.

Потому и описал.

> > - вообще если ставить и включать по умолчанию monit как есть сейчас
> >   и "просто" подбрасывать ему конфигурацию, то политика запуска
> >   служб окажется определяемой им, а не информацией в инитскриптах.
> нет, не надо управления стартом через монит. переход на upstart
> здесь имеет больше смысла. надо управление monit через service,
> и только если разрешено.

Переход на upstart у нас немного не завершился, так или иначе.
И monit является чем-то третьим, поскольку занимается не только
упорядочиванием/стартом/остановом сервисов, а и развесистым
мониторингом.  У меня одно время была шальная мысль перетащить
вообще дефолтный запуск всего и вся на monit, но это для десктопа
точно оверкилл.

> > === I ===
> > - ставить упакованные кусочки конфигурации с особым суффиксом,
> >   например, /etc/monitrc.d/*.auto;
> > - добавить в дефолтный /etc/monitrc _закомментированную_ строчку
> >   include /etc/monitrc.d/*.auto;
> > - добавить в пакет monit control-файл, который будет управлять
> >   закомментированностью этой строчки.
> данный вариант мне нравится много больше.

Вот и у меня он первым.

> что от proftpd нужно? я monit как-то не знаю, все nagios+sh использую.

Пока беру ещё некоторый таймаут на доточку monit и рекомендаций
на http://www.altlinux.org/Monit, а вообще monit-файлик готов,
останется его положить в пакет.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] RFC/BINH: monit support in server packages

[Afanasov Dmitry]

[-- Attachment #1: Type: text/plain, Size: 1701 bytes --]

On Mon, Jun 15, 2009 at 06:19:05PM +0300, Michael Shigorin wrote:
> On Mon, Jun 08, 2009 at 12:37:19AM +0400, Afanasov Dmitry wrote:
> > > - остановить сервис [...] может оказаться не так-то просто
> > значит, вшить в service stop и unmonit вызов, или как там его.
> > нельзя, чтобы программа делала, что одно, когда её просят
> > обратное.
> 
> Потому и описал.
а я выразил поддержку озвученной осторожности :)

> > > - вообще если ставить и включать по умолчанию monit как есть сейчас
> > >   и "просто" подбрасывать ему конфигурацию, то политика запуска
> > >   служб окажется определяемой им, а не информацией в инитскриптах.
> > нет, не надо управления стартом через монит. переход на upstart
> > здесь имеет больше смысла. надо управление monit через service,
> > и только если разрешено.
> 
> Переход на upstart у нас немного не завершился, так или иначе.
грустно это. но дай бог доберемся.

> У меня одно время была шальная мысль перетащить
> вообще дефолтный запуск всего и вся на monit, но это для десктопа
> точно оверкилл.
я не озвучил ещё одну мысль. сервисы уже сколько лет и в скольки местах
управляются через /etc/init.d либо service. пусть так и отсаётся. это же
chkconfig, гуй-морды переписывать. да очередной alt-specific на ровном
месте.

и, да - "monit является чем-то третьим". сервисы не его задача, пусть эта
мысль и остается шальной :)


> > что от proftpd нужно? я monit как-то не знаю, все nagios+sh использую.
> 
> Пока беру ещё некоторый таймаут на доточку monit и рекомендаций
> на http://www.altlinux.org/Monit, а вообще monit-файлик готов,
> останется его положить в пакет.
значит - ждем :)

-- 
 С уважением
 Афанасов Дмитрий

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [devel] RFC/BINH: monit support in server packages

[Michael Shigorin]

On Mon, Jun 15, 2009 at 09:39:47PM +0400, Afanasov Dmitry wrote:
> и, да - "monit является чем-то третьим". сервисы не его задача

"Системный запуск" -- не его, мониторинг -- его.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/