[Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Ivan Adzhubey]

Доброго времени суток всем!

Добавил на кластере nmi_watchdog=2 к опциям загрузки ядра (=1 не сработало), 
судя по /proc/interrupts NMI запустились, но вот только что опять нода умерла 
и даже не думает перегружаться. Насколько вообще эффективен этот kernel NMI 
handler? Или без аппаратного watchdog все равно не обойтись? Если у кого-то 
есть опыт, поделитесь пожалуйста.

-- 
Иван

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 628 bytes --]

On Sat, Jul 03, 2004 at 11:48:51PM -0400, Ivan Adzhubey wrote:
> Добавил на кластере nmi_watchdog=2 к опциям загрузки ядра (=1 не сработало), 
> судя по /proc/interrupts NMI запустились, но вот только что опять нода умерла 
> и даже не думает перегружаться. Насколько вообще эффективен этот kernel NMI 
> handler? Или без аппаратного watchdog все равно не обойтись? Если у кого-то 
> есть опыт, поделитесь пожалуйста.

nmi_watchdog отлавливает только ситуации зацикливания с запрещёнными
прерываниями.  Можно к нему добавить ещё softdog; впрочем, в случае
действительно аппаратного зависания это всё равно не поможет.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Ivan Adzhubey]

On Sunday 04 July 2004 09:17 am, Sergey Vlasov wrote:
> On Sat, Jul 03, 2004 at 11:48:51PM -0400, Ivan Adzhubey wrote:
> > Добавил на кластере nmi_watchdog=2 к опциям загрузки ядра (=1 не
> > сработало), судя по /proc/interrupts NMI запустились, но вот только что
> > опять нода умерла и даже не думает перегружаться. Насколько вообще
> > эффективен этот kernel NMI handler? Или без аппаратного watchdog все
> > равно не обойтись? Если у кого-то есть опыт, поделитесь пожалуйста.
>
> nmi_watchdog отлавливает только ситуации зацикливания с запрещёнными
> прерываниями.  Можно к нему добавить ещё softdog; впрочем, в случае
> действительно аппаратного зависания это всё равно не поможет.

Это все так, в теории, но вот я неполенился сходить на работу посмотреть на 
умершую ноду. На консоли написано: NMI Watchdog detected lockup on CPU0, 
потом идет дамп регистров и в конце: Shutting up console... И все, висим. То 
есть watchdog вроде бы сработал, но почему машину не перегрузил?? В 
параметрах загрузки ядра стоит: panic=30, то есть должны через тридцать 
секунд после oops'а перегрузиться автоматом. Фиг вам. И как это понимать?

-- 
Иван

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1699 bytes --]

On Sun, Jul 04, 2004 at 08:56:52PM -0400, Ivan Adzhubey wrote:
> On Sunday 04 July 2004 09:17 am, Sergey Vlasov wrote:
> > On Sat, Jul 03, 2004 at 11:48:51PM -0400, Ivan Adzhubey wrote:
> > > Добавил на кластере nmi_watchdog=2 к опциям загрузки ядра (=1 не
> > > сработало), судя по /proc/interrupts NMI запустились, но вот только что
> > > опять нода умерла и даже не думает перегружаться. Насколько вообще
> > > эффективен этот kernel NMI handler? Или без аппаратного watchdog все
> > > равно не обойтись? Если у кого-то есть опыт, поделитесь пожалуйста.
> >
> > nmi_watchdog отлавливает только ситуации зацикливания с запрещёнными
> > прерываниями.  Можно к нему добавить ещё softdog; впрочем, в случае
> > действительно аппаратного зависания это всё равно не поможет.
> 
> Это все так, в теории, но вот я неполенился сходить на работу посмотреть на 
> умершую ноду. На консоли написано: NMI Watchdog detected lockup on CPU0, 
> потом идет дамп регистров и в конце: Shutting up console... И все, висим. То 
> есть watchdog вроде бы сработал, но почему машину не перегрузил?? В 
> параметрах загрузки ядра стоит: panic=30, то есть должны через тридцать 
> секунд после oops'а перегрузиться автоматом. Фиг вам. И как это понимать?

Там делается не panic, а do_exit(SIGSEGV) - т.е., если зависание произошло
в контексте какого-либо процесса, убивается только этот процесс.  Впрочем,
убивается он достаточно грубо, так что система всё равно вряд ли продолжит
работу после этого.

nmi_watchdog - это в первую очередь отладочный инструмент; по выданному в
результате его срабатывания backtrace нужно смотреть, на чём именно
повисло (как правило, это какой-то spinlock), и по этим данным искать
ошибку.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Ivan Adzhubey]

On Monday 05 July 2004 06:24 am, Sergey Vlasov wrote:
> On Sun, Jul 04, 2004 at 08:56:52PM -0400, Ivan Adzhubey wrote:
> > Это все так, в теории, но вот я неполенился сходить на работу посмотреть
> > на умершую ноду. На консоли написано: NMI Watchdog detected lockup on
> > CPU0, потом идет дамп регистров и в конце: Shutting up console... И все,
> > висим. То есть watchdog вроде бы сработал, но почему машину не
> > перегрузил?? В параметрах загрузки ядра стоит: panic=30, то есть должны
> > через тридцать секунд после oops'а перегрузиться автоматом. Фиг вам. И
> > как это понимать?
>
> Там делается не panic, а do_exit(SIGSEGV) - т.е., если зависание произошло
> в контексте какого-либо процесса, убивается только этот процесс.  Впрочем,
> убивается он достаточно грубо, так что система всё равно вряд ли продолжит
> работу после этого.

Угу, я уже сам слазил в исходники и посмотрел. А документация на сайте RedHat 
врет...

> nmi_watchdog - это в первую очередь отладочный инструмент; по выданному в
> результате его срабатывания backtrace нужно смотреть, на чём именно
> повисло (как правило, это какой-то spinlock), и по этим данным искать
> ошибку.

Значит попробуем softdog. Но как я понимаю, к модулю кернеля нужен еще и 
userspace daemon, а в Сизифе ничего такого нет. Да и вообще, кроме старого 
дебиановского проекта watchdog я ничего в сети не нашел, как не старался. Не 
ставить же HA-linux только ради этого демона. Грустная картина. Неужто ни у 
кого серверы не виснут?

-- 
Иван

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Michael Shigorin]

On Mon, Jul 05, 2004 at 01:39:14PM -0400, Ivan Adzhubey wrote:
> Грустная картина. Неужто ни у кого серверы не виснут?

Серверы работают.  Знакомый народ с большими парками пользует
разнообразные аппаратные штуки; в частности, их есть на
inpc.kiev.ua.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Ivan Adzhubey]

On Wednesday 07 July 2004 02:11 am, Michael Shigorin wrote:
> On Mon, Jul 05, 2004 at 01:39:14PM -0400, Ivan Adzhubey wrote:
> > Грустная картина. Неужто ни у кого серверы не виснут?
>
> Серверы работают.  Знакомый народ с большими парками пользует
> разнообразные аппаратные штуки; в частности, их есть на
> inpc.kiev.ua.

А каким софтом пользуетесь? Мне бы найти хорошего демона, а с железками у нас 
на массачусеттсене проблем нету. Не то что бы уж очень часто виснет, но у 
меня под крылом несколько серверов в MIT и в Гарварде и мотаться по городу 
бывает напряжно. Попробую собрать этот дебиановский watchdog, вот только 
смущает, что проект в заброшеном состоянии.

Да и в Сизифе хорошо было бы иметь хотя бы что-то на тему high availability.

-- 
Иван

Re: [Hardware] Кто-нибудь имеет статистику по эффективности nmi_watchdog?

[Michael Shigorin]

On Wed, Jul 07, 2004 at 02:33:14AM -0400, Ivan Adzhubey wrote:
> А каким софтом пользуетесь?

Так я ж говорю -- не пользуюсь, нет настолько критичного
[сейчас].  А когда было -- работало себе, по форс-мажорам на
площадке даунтайм только был, по сути.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/