[sisyphus] Зависания сервера HP DL380G4

[sisyphus] Зависания сервера HP DL380G4

[astroiLL]

[-- Attachment #1: Type: text/plain, Size: 1347 bytes --]

Подскажите, плиз, направления диагностики машины.
Симптомы такие. Работает, работает, потом бац и все сервисы зависли, на 
экране никаких изменений (не могу точно сказать, т.к. не вижу экран), 
пинг еще идет, а по ssh уже не зайти, в логах ничего.
Может несколько дней проработать, может несколько часов.
Осложняется тем, что машина сейчас далеко, доступ к ней только по ssh 
или через iLo (чтобы перезагрузить).
Вывод log/kernel во вложении.
Почти последний Сизиф.
# uname -a
Linux fs01-psh.psh.ru 3.0.1-std-def-alt1 #1 SMP Sat Aug 6 10:18:36 UTC 
2011 x86_64 GNU/Linux
С предыдущим ядром (2.6.39-std-def-alt3) было то же самое.

Само железо не новое, долго работало в вышестоящей организации под 
сервером баз данных. Прислали нам, я подвоха не ожидал поставил систему, 
все заработало, отвез, поставил, собрался настраивать/запускать, а она 
начала зависать.
Другие похожие машины, старше и новее работают и такого не проявляют.
Если что-то дохнет или валится, то в логах хоть видно и понятно 
направление лечения. А тут шайтан.

Через время поеду, заберу/заменю, но пока хотелось бы выяснить, что 
происходит.
Хочу помощи в направлении удаленной диагностики, т.к. в логах ничего.
Как повысить информативность логов?

ЗЫ."Политические" темы, что "надо сначала тестировать, а потом ставить 
стабильную систему, а не Сизиф" просьба не поднимать.

[-- Attachment #2: psh-kernel.log.bz2 --]
[-- Type: application/x-bzip, Size: 15787 bytes --]

Re: [sisyphus] Зависания сервера HP DL380G4

[thecrux]

On Thu, Aug 25, 2011 at 11:56:47AM +0400, astroiLL wrote:
> Подскажите, плиз, направления диагностики машины.
> Симптомы такие. Работает, работает, потом бац и все сервисы зависли, на 
> экране никаких изменений (не могу точно сказать, т.к. не вижу экран), 
> пинг еще идет, а по ssh уже не зайти, в логах ничего.
...
> Само железо не новое, долго работало в вышестоящей организации под 
> сервером баз данных. Прислали нам, я подвоха не ожидал поставил систему, 
> все заработало, отвез, поставил, собрался настраивать/запускать, а она 
> начала зависать.

Были схожие симптомы с таким же сервером, но более младшей модели (G3),
когда начал отказывать SCSI-контроллер (smart array 6i кажется).
При зависании системы на передней панели было видно, что якобы разом
отказали все диски (горели красные лампочки). Ребут какое-то время лечил
проблему, но затем  в определённый момент диски перестали быть видны и в
BIOS при загрузке.
Отправили в утиль.

-- 
Vladimir Lettiev aka crux ✉ theCrux@gmail.com

Re: [sisyphus] Зависания сервера HP DL380G4

[astroiLL]

25.08.2011 13:07, thecrux@gmail.com пишет:
> On Thu, Aug 25, 2011 at 11:56:47AM +0400, astroiLL wrote:
>> Подскажите, плиз, направления диагностики машины.
>> Симптомы такие. Работает, работает, потом бац и все сервисы зависли, на
>> экране никаких изменений (не могу точно сказать, т.к. не вижу экран),
>> пинг еще идет, а по ssh уже не зайти, в логах ничего.
> ...
>> Само железо не новое, долго работало в вышестоящей организации под
>> сервером баз данных. Прислали нам, я подвоха не ожидал поставил систему,
>> все заработало, отвез, поставил, собрался настраивать/запускать, а она
>> начала зависать.
>
> Были схожие симптомы с таким же сервером, но более младшей модели (G3),
> когда начал отказывать SCSI-контроллер (smart array 6i кажется).
> При зависании системы на передней панели было видно, что якобы разом
> отказали все диски (горели красные лампочки). Ребут какое-то время лечил
> проблему, но затем  в определённый момент диски перестали быть видны и в
> BIOS при загрузке.
> Отправили в утиль.
Спасибо, надо будет посмотреть.
Но вроде через iLo в диагностике ничего криминального не пишет.
Попробую как-то выловить сбой SCSI-контроллера записывая лог на внешний 
диск, может получиться.

ЗЫ. Кстати почему-то iLo не дает remote-console, пишет, что "The 
single-cursor remote console feature requires JVM 1.4.2 or later." Хотя 
java-1.6.0

Re: [sisyphus] Зависания сервера HP DL380G4

[Denis Nazarov]

25.08.2011 14:42, astroiLL пишет:
> 25.08.2011 13:07, thecrux@gmail.com пишет:
>> On Thu, Aug 25, 2011 at 11:56:47AM +0400, astroiLL wrote:
>>> Подскажите, плиз, направления диагностики машины.
>>> Симптомы такие. Работает, работает, потом бац и все сервисы зависли, на
>>> экране никаких изменений (не могу точно сказать, т.к. не вижу экран),
>>> пинг еще идет, а по ssh уже не зайти, в логах ничего.
>> ...
>>> Само железо не новое, долго работало в вышестоящей организации под
>>> сервером баз данных. Прислали нам, я подвоха не ожидал поставил 
>>> систему,
>>> все заработало, отвез, поставил, собрался настраивать/запускать, а она
>>> начала зависать.
>>
>> Были схожие симптомы с таким же сервером, но более младшей модели (G3),
>> когда начал отказывать SCSI-контроллер (smart array 6i кажется).
>> При зависании системы на передней панели было видно, что якобы разом
>> отказали все диски (горели красные лампочки). Ребут какое-то время лечил
>> проблему, но затем  в определённый момент диски перестали быть видны и в
>> BIOS при загрузке.
>> Отправили в утиль.
> Спасибо, надо будет посмотреть.
> Но вроде через iLo в диагностике ничего криминального не пишет.
> Попробую как-то выловить сбой SCSI-контроллера записывая лог на 
> внешний диск, может получиться.
>
> ЗЫ. Кстати почему-то iLo не дает remote-console, пишет, что "The 
> single-cursor remote console feature requires JVM 1.4.2 or later." 
> Хотя java-1.6.0

если машинка старая то я бы просто тупо перебрал все железо, потом на 
диагностику,  вполне
возможен банальный неконтакт из-за окисления. За последние пару лет 
попадались
машины на 478 сокете, которые отказывались стартовать, элементарное 
"вынул-вставил проц" помогало :)

Re: [sisyphus] Зависания сервера HP DL380G4

[Grigory Milev]

[-- Attachment #1: Type: text/plain, Size: 533 bytes --]

У меня точно так-же виснет ноут Lenovo x201s/i7 с этим же ядром и именно 64bit, вариант 32бит -
полет отличный.
>
> _______________________________________________
> Sisyphus mailing list
> Sisyphus@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sisyphus


-- 
+--------------------------------------------------------+
Grigory Milev	mailto:week@altlinux.ru
ALT Linux Team	http://www.altlinux.ru
+--------------------------------------------------------+
Life too beautiful and interesting. Don't worry, be happy.


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 254 bytes --]

Re: [sisyphus] Зависания сервера HP DL380G4

[Sergey Alembekov]

Были похожие проблемы с DL380G6. После обновления прошивки контроллера и 
BIOS вылечилось.

25.08.2011 11:56, astroiLL пишет:
> Подскажите, плиз, направления диагностики машины.
> Симптомы такие. Работает, работает, потом бац и все сервисы зависли, на
> экране никаких изменений (не могу точно сказать, т.к. не вижу экран),
> пинг еще идет, а по ssh уже не зайти, в логах ничего.
> Может несколько дней проработать, может несколько часов.
> Осложняется тем, что машина сейчас далеко, доступ к ней только по ssh
> или через iLo (чтобы перезагрузить).
> Вывод log/kernel во вложении.
> Почти последний Сизиф.
> # uname -a
> Linux fs01-psh.psh.ru 3.0.1-std-def-alt1 #1 SMP Sat Aug 6 10:18:36 UTC
> 2011 x86_64 GNU/Linux
> С предыдущим ядром (2.6.39-std-def-alt3) было то же самое.
>
> Само железо не новое, долго работало в вышестоящей организации под
> сервером баз данных. Прислали нам, я подвоха не ожидал поставил систему,
> все заработало, отвез, поставил, собрался настраивать/запускать, а она
> начала зависать.
> Другие похожие машины, старше и новее работают и такого не проявляют.
> Если что-то дохнет или валится, то в логах хоть видно и понятно
> направление лечения. А тут шайтан.
>
> Через время поеду, заберу/заменю, но пока хотелось бы выяснить, что
> происходит.
> Хочу помощи в направлении удаленной диагностики, т.к. в логах ничего.
> Как повысить информативность логов?
>
> ЗЫ."Политические" темы, что "надо сначала тестировать, а потом ставить
> стабильную систему, а не Сизиф" просьба не поднимать.
>
>
>
> _______________________________________________
> Sisyphus mailing list
> Sisyphus@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sisyphus


-- 
Regards, Sergey Alembekov
ALTLinux Team
xmpp: rt@jabber.ru