[sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Gennady Kovalev]

Привет.

Наконуне я на одном из серваком проапдейтил самбу, и совсем забыл про типовую 
процедуру её установки, а именно изменить руками initscript в сторну вставки 

sleep 5 

между stop и start в restart()

(Это собственно #9884 от 2006-08-16)

Утром конечно же звонок от больных пользователей, которые зачем-то приходят на 
работу раньше, чем я просыпаюсь.

Пока вот вспоминаю где я еще мог забыть вставить sleep, и самое главное, 
вставил ли я это в те самбы, которые работают в сетях, отключенных от 
интернета напрочь, и куда придется ехать и спросонья улыбаться в офисе.

По сути.

Баг проявляется периодически, не ритмично на серверах с разным железом, разной 
нагрузкой, разной производительностью.

Есть сети, где самба не стартует примерно раз в неделю, в разные дни.

Падает все это из-за logrotate в 4 часа утра:

12:49:26 root@rat /etc/logrotate.d
> grep -A 1 postrotate /etc/logrotate.d/samba
    postrotate
        /sbin/service smb condrestart > /dev/null 2>&1

12:51:08 root@rat /etc/logrotate.d
> grep -A 3 condrestart\) /etc/init.d/smb
        condrestart)
                if [ -e "$LOCKFILE" ]; then
                        restart
                fi

Собственно самба рестартует достаточно жестким методом в 4 утра. Надо 
заметить, что если руками запускать service smb restart, то срабатывает оно 
не всегда. Иногда, судя по всему, не успевают сдохнуть старые процессы, и 
самба не старнует.

Получается две разные проблемы:

1. Действительно ли для logrotate надо так жестко рестартовать? Вроде бы 
многие по -HUP умеют закрывать-открывать файлы, перечитывать конфиги. Для 
этого не обязательно дропать открытые файлы и т.д.

2. Может все-таки модифицировать initscript? Что-нибудь типа 
wait_for_pid_shutdown_15_seconds_then_kill_it(), или 
wait_for_lockfile_to_be_removed_15_seconds_then start() ?

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Alexander Bokovoy]

Gennady Kovalev пишет:
> По сути.
> 
> Баг проявляется периодически, не ритмично на серверах с разным
> железом, разной нагрузкой, разной производительностью.
> 
> Есть сети, где самба не стартует примерно раз в неделю, в разные дни.
> 
> 
> Падает все это из-за logrotate в 4 часа утра:
> 
> 12:49:26 root@rat /etc/logrotate.d
>> grep -A 1 postrotate /etc/logrotate.d/samba
> postrotate /sbin/service smb condrestart > /dev/null 2>&1
> 
> 12:51:08 root@rat /etc/logrotate.d
>> grep -A 3 condrestart\) /etc/init.d/smb
> condrestart) if [ -e "$LOCKFILE" ]; then restart fi
> 
> Собственно самба рестартует достаточно жестким методом в 4 утра. Надо
>  заметить, что если руками запускать service smb restart, то
> срабатывает оно не всегда. Иногда, судя по всему, не успевают
> сдохнуть старые процессы, и самба не старнует.
Скорее всего. Sleep с конкретным указанием времени тут не спасет, потому
что всегда может быть система с нагрузкой, приводящей к более длительным
задержкам. Надо посмотреть внутренности. В Debian спят секунду между
действиями, но я не думаю, что это хороший вариант.

> Получается две разные проблемы:
> 
> 1. Действительно ли для logrotate надо так жестко рестартовать? Вроде
> бы многие по -HUP умеют закрывать-открывать файлы, перечитывать
> конфиги. Для этого не обязательно дропать открытые файлы и т.д.
В RHEL делают следующее:
/var/log/samba/*.log /var/log/samba/log.smbd /var/log/samba/log.nmbd {
     notifempty
     missingok
     sharedscripts
     copytruncate
     postrotate
     /bin/kill -HUP `cat /var/run/smbd.pid /var/run/nmbd.pid \
/var/run/winbindd.pid 2> /dev/null` 2> /dev/null || true
     endscript
}
Думаю, что и нам надо также поступить.

> 
> 2. Может все-таки модифицировать initscript? Что-нибудь типа 
> wait_for_pid_shutdown_15_seconds_then_kill_it(), или 
> wait_for_lockfile_to_be_removed_15_seconds_then start() ?
> 
Я подумаю. Вообще, надо скорее всего написать скрипт, который будет по
набору pid-файлов следить за наличием процессов и ждать, пока они все
помрут либо pid-файлы исчезнут. Там есть несколько потенциальных
проблем, но в целом задача решаемая.

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Gennady Kovalev]

В сообщении от Tuesday 25 December 2007 13:19:38 Alexander Bokovoy написал(а):
> В RHEL делают следующее:
> /var/log/samba/*.log /var/log/samba/log.smbd /var/log/samba/log.nmbd {
>      notifempty
>      missingok
>      sharedscripts
>      copytruncate
>      postrotate
>      /bin/kill -HUP `cat /var/run/smbd.pid /var/run/nmbd.pid \
> /var/run/winbindd.pid 2> /dev/null` 2> /dev/null || true
>      endscript
> }
> Думаю, что и нам надо также поступить.

Ну да. Во всяком случае проблему это должно решить.  Бывают еще кстати 
пользователи, которые на ночь оставляют открытые файлы. Например 1с таже 
самая. Поэтому рестарт, как с услышал тут, ф топпку.

> > 2. Может все-таки модифицировать initscript? Что-нибудь типа
> > wait_for_pid_shutdown_15_seconds_then_kill_it(), или
> > wait_for_lockfile_to_be_removed_15_seconds_then start() ?
>
> Я подумаю. Вообще, надо скорее всего написать скрипт, который будет по
> набору pid-файлов следить за наличием процессов и ждать, пока они все
> помрут либо pid-файлы исчезнут. Там есть несколько потенциальных
> проблем, но в целом задача решаемая.

Да, но надо так же учесть, что бывают еще подвисшие процессы. Я такие видел. 
То есть кто-то подвис, и сисадмин делает рестарт как раз для того чтобы 
оживить самбу. Поэтому вечно ждать завершение процессов тоже не надо. То есть 
какой-то таймаут нужен все-таки. Другое дело, что он может быть достаточно 
большой. А потом уже вплоть до kill -9.

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Alexander Bokovoy]

Gennady Kovalev пишет:
> В сообщении от Tuesday 25 December 2007 13:19:38 Alexander Bokovoy
> написал(а):
>> Думаю, что и нам надо также поступить.
> 
> Ну да. Во всяком случае проблему это должно решить.  Бывают еще
> кстати пользователи, которые на ночь оставляют открытые файлы.
> Например 1с таже самая. Поэтому рестарт, как с услышал тут, ф топпку
угу.
.
>>> 2. Может все-таки модифицировать initscript? Что-нибудь типа 
>>> wait_for_pid_shutdown_15_seconds_then_kill_it(), или 
>>> wait_for_lockfile_to_be_removed_15_seconds_then start() ?
>> Я подумаю. Вообще, надо скорее всего написать скрипт, который будет
>> по набору pid-файлов следить за наличием процессов и ждать, пока
>> они все помрут либо pid-файлы исчезнут. Там есть несколько
>> потенциальных проблем, но в целом задача решаемая.
> 
> Да, но надо так же учесть, что бывают еще подвисшие процессы. Я такие
> видел. То есть кто-то подвис, и сисадмин делает рестарт как раз для
> того чтобы оживить самбу. Поэтому вечно ждать завершение процессов
> тоже не надо. То есть какой-то таймаут нужен все-таки. Другое дело,
> что он может быть достаточно большой. А потом уже вплоть до kill -9.
Я это и имел в виду под  "потенциальными проблемами".
После праздников обновлю, все равно Сизиф закроется на переучет на
выходные. :-)

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Gennady Kovalev]

В сообщении от Tuesday 25 December 2007 14:49:01 Alexander Bokovoy написал(а):
> Я это и имел в виду под  "потенциальными проблемами".
> После праздников обновлю, все равно Сизиф закроется на переучет на
> выходные. :-)

И снова доброго утра, коллеги!

Александр, у меня силы конечно скромные, но может я помогу чем?

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Alexander Bokovoy]

Gennady Kovalev пишет:
> В сообщении от Tuesday 25 December 2007 14:49:01 Alexander Bokovoy
> написал(а):
>> Я это и имел в виду под  "потенциальными проблемами". После
>> праздников обновлю, все равно Сизиф закроется на переучет на 
>> выходные. :-)
> 
> И снова доброго утра, коллеги!
> 
> Александр, у меня силы конечно скромные, но может я помогу чем?
> 
Например, напишите указанную процедуру. Я собираюсь к 12-13 января
заняться очередной сборкой и тестированием. Успеете?

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Gennady Kovalev]

В сообщении от Wednesday 09 January 2008 12:42:43 Alexander Bokovoy 
написал(а):
> Gennady Kovalev пишет:
> > В сообщении от Tuesday 25 December 2007 14:49:01 Alexander Bokovoy
> >
> > написал(а):
> >> Я это и имел в виду под  "потенциальными проблемами". После
> >> праздников обновлю, все равно Сизиф закроется на переучет на
> >> выходные. :-)
> >
> > И снова доброго утра, коллеги!
> >
> > Александр, у меня силы конечно скромные, но может я помогу чем?
>
> Например, напишите указанную процедуру. Я собираюсь к 12-13 января
> заняться очередной сборкой и тестированием. Успеете?

Ну поковыряться точно успею. У меня опыта скриптина с sh мало, попробую 
сделать хорошо.

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Anton Farygin]

Alexander Bokovoy пишет:
> Gennady Kovalev пишет:
>> По сути.
>>
>> Баг проявляется периодически, не ритмично на серверах с разным
>> железом, разной нагрузкой, разной производительностью.
>>
<skip>
> Я подумаю. Вообще, надо скорее всего написать скрипт, который будет по
> набору pid-файлов следить за наличием процессов и ждать, пока они все
> помрут либо pid-файлы исчезнут. Там есть несколько потенциальных
> проблем, но в целом задача решаемая.
> 

Саш, посмотри на inotify, в частности на inotifywait - оно умеет ждать 
пока с сокетом/файлом чего-нить не случится.

Единственный минус - этот скрипт не будет работать на ядрах младше 
2.6.9, но IMHO это уже совсем не актуально.

Плюсы перевешивают.

Rgds,
Rider

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Ildar Mulyukov]

On 25.12.2007 16:19:38, Alexander Bokovoy wrote:
> Gennady Kovalev пишет:
>> 2. Может все-таки модифицировать initscript? Что-нибудь типа  
>> wait_for_pid_shutdown_15_seconds_then_kill_it(), или  
>> wait_for_lockfile_to_be_removed_15_seconds_then start() ?
> >
> Я подумаю. Вообще, надо скорее всего написать скрипт, который будет  
> по набору pid-файлов следить за наличием процессов и ждать, пока они  
> все помрут либо pid-файлы исчезнут. Там есть несколько потенциальных  
> проблем, но в целом задача решаемая.

наверное, было бы логично тут использовать monit. Если бы он мог.  
Впрочем, я не совсем уверен, что он может, а что - нет. Может, позовём  
опытных? Ма-а-а-а-айк!
-- 
Ildar  Mulyukov,  free SW designer/programmer/packager
=========================================
email: ildar@altlinux.ru
Jabber: ildar@jabber.ru
ICQ: 4334029
ALT Linux Sisyphus http://www.sisyphus.ru
=========================================

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Gennady Kovalev]

В сообщении от Thursday 03 January 2008 14:22:31 Ildar Mulyukov написал(а):

> наверное, было бы логично тут использовать monit. Если бы он мог.
> Впрочем, я не совсем уверен, что он может, а что - нет. Может, позовём
> опытных? Ма-а-а-а-айк!

ИМХО samba должна уметь правильно работать и без monit.

-- 
Gennady Kovalev, 
BIGUR, ALT Linux Team.

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Mikhail Gusarov]

Twas brillig at 17:22:31 03.01.2008 UTC+06 when Ildar Mulyukov did gyre and gimble:

 IM> наверное, было бы логично тут использовать monit.

Логично было бы использовать другую инитсистему, нежели sysv
initscripts, которая это умеет. Но это всё перелопачивать надо.

-- 
JID: dottedmag@jabber.dottedmag.net

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Michael Shigorin]

On Thu, Jan 03, 2008 at 05:22:31PM +0600, Ildar Mulyukov wrote:
> >> 2. Может все-таки модифицировать initscript? Что-нибудь типа  
> >> wait_for_pid_shutdown_15_seconds_then_kill_it(), или  
> >> wait_for_lockfile_to_be_removed_15_seconds_then start() ?
> > Я подумаю. Вообще, надо скорее всего написать скрипт, который
> > будет  по набору pid-файлов следить за наличием процессов и
> > ждать, пока они  все помрут либо pid-файлы исчезнут. Там есть
> > несколько потенциальных  проблем, но в целом задача решаемая.
> наверное, было бы логично тут использовать monit. Если бы он
> мог.  Впрочем, я не совсем уверен, что он может, а что - нет.
> Может, позовём  опытных? Ма-а-а-а-айк!

А что Майк, что Майк... сами бы уже всё и сделали...
:)

Только комплектовать каждую самбу монитом кажется немного того,
overkill.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Alexander Bokovoy]

Michael Shigorin пишет:
> On Thu, Jan 03, 2008 at 05:22:31PM +0600, Ildar Mulyukov wrote:
>>>> 2. Может все-таки модифицировать initscript? Что-нибудь типа 
>>>> wait_for_pid_shutdown_15_seconds_then_kill_it(), или 
>>>> wait_for_lockfile_to_be_removed_15_seconds_then start() ?
>>> Я подумаю. Вообще, надо скорее всего написать скрипт, который 
>>> будет  по набору pid-файлов следить за наличием процессов и 
>>> ждать, пока они  все помрут либо pid-файлы исчезнут. Там есть 
>>> несколько потенциальных  проблем, но в целом задача решаемая.
>> наверное, было бы логично тут использовать monit. Если бы он мог.
>> Впрочем, я не совсем уверен, что он может, а что - нет. Может,
>> позовём  опытных? Ма-а-а-а-айк!
> 
> А что Майк, что Майк... сами бы уже всё и сделали... :)
> 
> Только комплектовать каждую самбу монитом кажется немного того, 
> overkill.
Желающие сделать опциональную поддержку Monit -- делайте. Будет работать
как дополнительная опция -- подумаю над включением в пакет.

-- 
/ Alexander Bokovoy
Samba Team                      http://www.samba.org/
ALT Linux Team                  http://www.altlinux.org/
Midgard Project Ry              http://www.midgard-project.org/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Michael Shigorin]

On Fri, Jan 04, 2008 at 12:52:12PM +0300, Alexander Bokovoy wrote:
> >>наверное, было бы логично тут использовать monit. Если бы он мог.
> >Только комплектовать каждую самбу монитом кажется немного
> >того, overkill.
> Желающие сделать опциональную поддержку Monit -- делайте. Будет
> работать как дополнительная опция -- подумаю над включением в
> пакет.

Ну вообще-то в monit всё готово к тому, чтобы можно было
растаскивать по пакетам его примеры: выделен отдельный
monit-base, содержащий только каталог /etc/monitrc.d, 
и сами примеры давно раздёрганы по отдельным файликам.

Так что если хочешь -- можешь взять в пакет
/usr/share/doc/monit-4.*/examples/samba, добавить
Requires: monit-base -- и после установки всё будет на
месте.  Дёргать monit после установки скорее не стоит,
это лучше ручку к alterator-services прикрутить (или к
chkconfig, если SysV initscripts у нас ещё несколько лет
просуществуют)...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] samba: уменьшение сна на 2 часа , появление морщин , истребление кофе

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1146 bytes --]

On Fri, Jan 04, 2008 at 12:07:18PM +0200, Michael Shigorin wrote:

MS> Так что если хочешь -- можешь взять в пакет
MS> /usr/share/doc/monit-4.*/examples/samba, добавить
MS> Requires: monit-base -- и после установки всё будет на
MS> месте.  Дёргать monit после установки скорее не стоит,
MS> это лучше ручку к alterator-services прикрутить (или к
MS> chkconfig, если SysV initscripts у нас ещё несколько лет
MS> просуществуют)...

Лучше бы мигрировать потихоньку все наши initscript'ы к LSB-виду. Чтобы
можно было параллельную загрузку прикручивать.

IMHO десктоп от момента появления консоли lilo то появления логина в
систему должен тормозить максимум 10 секунд на современном оборудовании.

А когда на моем монстрике на время загрузки можно чуть ли не на перекур
уходить, это вызывает смешаные чувства. Особенно помня сколько времени
какой-нибудь BeOS стартовал с где-то на порядок более слабой машинкой :)

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Неопределимые ошибки бесконечны, а определимые ограничены способностями
компилятора.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]