[Comm] Зависание Арк-сервера

[Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

Здравствуйте!

В последние 1.5--2 недели почти ежедневно происходит зависание 
Ark-сервера (5.0.1 + бранч p5) в начале пятого утра. На экране --- 
темнота. В /var/log/messages --- следующее:

сегодня:

Jun 25 03:55:18 plkv -- MARK --
Jun 25 04:01:01 plkv crond[17703]: (root) CMD (run-parts /etc/cron.hourly)
Jun 25 04:02:01 plkv crond[17706]: (root) CMD (run-parts /etc/cron.daily)
Jun 25 04:02:02 plkv anacron[17708]: Updated timestamp for job 
`cron.daily' to `2010-06-25 04:02:02'
Jun 25 04:02:04 plkv osec[17807]: Started
Jun 25 09:08:31 plkv syslogd 1.4.1: restart.

вчера:

Jun 24 03:44:42 plkv -- MARK --
Jun 24 04:01:02 plkv crond[14067]: (root) CMD (run-parts /etc/cron.hourly)
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@Jun 24 
09:15:18 plkv syslogd 1.4.1: restart.

22-го и 23-го зависа не было.

21-го:

Jun 21 03:42:44 plkv -- MARK --
Jun 21 04:01:01 plkv crond[15162]: (root) CMD (run-parts /etc/cron.hourly)
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@
^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@Jun 21 09:37:20 plkv 
syslogd 1.4.1: restart.

и т.д.

Подскажите, пожалуйста, что это может быть?

-- 
	С уважением,
		Владимир.

Re: [Comm] Зависание Арк-сервера

[Anton Gorlov]

проверьте память на сервере и посмотрите - не перегревается ли. и ещё 
посмотрите на всякий состояние дисков.


Vladimir Karpinsky пишет:
> Здравствуйте!
> 
> В последние 1.5--2 недели почти ежедневно происходит зависание 
> Ark-сервера (5.0.1 + бранч p5) в начале пятого утра. На экране --- 
> темнота. В /var/log/messages --- следующее:
> 
> сегодня:
> 
> Jun 25 03:55:18 plkv -- MARK --
> Jun 25 04:01:01 plkv crond[17703]: (root) CMD (run-parts /etc/cron.hourly)
> Jun 25 04:02:01 plkv crond[17706]: (root) CMD (run-parts /etc/cron.daily)
> Jun 25 04:02:02 plkv anacron[17708]: Updated timestamp for job 
> `cron.daily' to `2010-06-25 04:02:02'
> Jun 25 04:02:04 plkv osec[17807]: Started
> Jun 25 09:08:31 plkv syslogd 1.4.1: restart.
> 
> вчера:
> 
> Jun 24 03:44:42 plkv -- MARK --
> Jun 24 04:01:02 plkv crond[14067]: (root) CMD (run-parts /etc/cron.hourly)
> ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ 

Re: [Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

25.06.2010 9:51, Anton Gorlov пишет:
> проверьте память на сервере и посмотрите - не перегревается ли. и ещё
> посмотрите на всякий состояние дисков.

Перегрев смотрел. С дисками была проблема --- один из дисков "зеркального" 
RAID'а помер, я его заменил, и было обрадовался, что нашёл причину, но это 
было 3 дня назад...

Память, как-нибудь проверю, но мне не нравится то, что, если вис и 
происходит, то происходит в одно и то же время, трудно ожидать такого от 
памяти.

Cron там ещё отрабатывает:

# sudo cat /etc/crontab
# run-parts
01 * * * * root run-parts /etc/cron.hourly
02 4 * * * root run-parts /etc/cron.daily
22 4 * * 0 root run-parts /etc/cron.weekly
42 4 1 * * root run-parts /etc/cron.monthly

# sudo ls /etc/cron.daily/
000anacron  logrotate  makewhatis  osec  postfix  squidmill 
squirrelmail.cron  stmpclean

-- 
	С уважением,
		Владимир.

Re: [Comm] Зависание Арк-сервера

[Sergey]

On Friday 25 June 2010, Vladimir Karpinsky wrote:

> Память, как-нибудь проверю, но мне не нравится то, что, если
> вис и происходит, то происходит в одно и то же время, трудно
> ожидать такого от памяти.
 
Почему же ? Если памяти много и она не используется почти,
а всякие логротейты и т.п., вдруг, являются ощутимо жрущими
приложениями относительно работающих в обычном режиме, то
весьма возможно.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Comm] Зависание Арк-сервера

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 717 bytes --]

On Fri, Jun 25, 2010 at 09:31:40AM +0400, Vladimir Karpinsky wrote:
> В последние 1.5--2 недели почти ежедневно 
> происходит зависание Ark-сервера (5.0.1 + 
> бранч p5) в начале пятого утра. На экране --- 
> темнота.

Возможно, увидеть что-то, кроме темноты, поможет запись в
/etc/sysconfig/console/setterm строки:

-blank 0 -powerdown 0

Ну и в /etc/sysconfig/consolefont (чтобы больше влезло на экран):

SYSFONT=UniCyr_8x8

А вот vesafb, возможно, придётся выключить (vga=normal) - в некоторых
случаях вывод oops через vesafb не проходит (хотя это чаще относится к
случаю ошибок на раннем этапе загрузки ядра).

Идеальный вариант, как обычно, serial console, если есть куда подключить
кабель.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

25.06.2010 12:26, Sergey пишет:
> On Friday 25 June 2010, Vladimir Karpinsky wrote:
>
>> Память, как-нибудь проверю, но мне не нравится то, что, если
>> вис и происходит, то происходит в одно и то же время, трудно
>> ожидать такого от памяти.
>
> Почему же ? Если памяти много и она не используется почти,
> а всякие логротейты и т.п., вдруг, являются ощутимо жрущими
> приложениями относительно работающих в обычном режиме, то
> весьма возможно.


Памяти не много, хотя и нагрузка низкая.

# free
              total       used       free     shared    buffers     cached
Mem:        479228     309080     170148          0      47564     148360
-/+ buffers/cache:     113156     366072
Swap:       955704          0     955704

Я пытался запускать задачи из cron'а руками, никаких сбоев выявлено не было.

Память, конечно надо проверить, только время выбрать для хорошей проверки...

-- 
	С уважением,
		Владимир.

Re: [Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

25.06.2010 14:00, Sergey Vlasov пишет:
> On Fri, Jun 25, 2010 at 09:31:40AM +0400, Vladimir Karpinsky wrote:
>> В последние 1.5--2 недели почти ежедневно
>> происходит зависание Ark-сервера (5.0.1 +
>> бранч p5) в начале пятого утра. На экране ---
>> темнота.
>
> Возможно, увидеть что-то, кроме темноты, поможет запись в
> /etc/sysconfig/console/setterm строки:
>
> -blank 0 -powerdown 0

> SYSFONT=UniCyr_8x8

> Ну и в /etc/sysconfig/consolefont (чтобы больше влезло на экран):
>
> SYSFONT=UniCyr_8x8
>

Вписал, нужно ли что-то после этого перезапустить?

 > А вот vesafb, возможно, придётся выключить (vga=normal)

Это в lilo.conf, как я понимаю?

Заодно перенёс задачи cron'а с 4 на 5, посмотрю изменится ли время зависания.

-- 
	С уважением,
		Владимир.

Re: [Comm] Зависание Арк-сервера

[Anton Gorlov]

25.06.2010 14:36, Vladimir Karpinsky пишет:

> Памяти не много, хотя и нагрузка низкая.

Кстати ещё может сбоить память рейда.. если он аппаратный со своей памятью.

Re: [Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

25.06.2010 17:55, Anton Gorlov пишет:
> 25.06.2010 14:36, Vladimir Karpinsky пишет:
>
>> Памяти не много, хотя и нагрузка низкая.
>
> Кстати ещё может сбоить память рейда.. если он аппаратный со своей памятью.

Не-е, там ничего такого нет, обычный компьютер 5--7 летней давности, RAID 
программный. До последнего времени никаких проблем не было. Сейчас 
посмотрю, переедет ли завис с 4 на 5 утра, а потом на какую-нибудь ночь 
memtest запущу --- будет пища для размышления.

-- 
	С уважением,
		Владимир.

Re: [Comm] Зависание Арк-сервера

[Vladimir Karpinsky]

25.06.2010 9:51, Anton Gorlov пишет:
> проверьте память на сервере и посмотрите - не перегревается ли. и ещё
> посмотрите на всякий состояние дисков.

Наблюдения за живой природой следующие:

1. Сменил cron.daily на 5 утра, завис произошёл в назначенное время. После 
этого, 3 раза за день менял время cron'а --- зависов не случилось.

2. Оставил memtest на ночь --- пришёл, увидел чёрный экран. Днём же 3 цикла 
memtest'а прошли без ошибок.

Есть ли какие-нибудь соображения по методам разоблачения преступника?

-- 
	С уважением,
		Владимир.

Re: [Comm] [JT]Зависание Арк-сервера

[Anton A. Vinogradov]

27.06.2010 21:33, Vladimir Karpinsky пишет:
> Есть ли какие-нибудь соображения по методам разоблачения преступника?
Местный электрик? :)

Re: [Comm] [JT]Зависание Арк-сервера

[Alexandr Petukhov]

27.06.2010 23:08, Anton A. Vinogradov пишет:
> 27.06.2010 21:33, Vladimir Karpinsky пишет:
>> Есть ли какие-нибудь соображения по методам разоблачения преступника?
> Местный электрик? :)
Перегрев?

Re: [Comm] [JT]Зависание Арк-сервера

[Vladimir Karpinsky]

27.06.2010 23:54, Alexandr Petukhov пишет:
> 27.06.2010 23:08, Anton A. Vinogradov пишет:
>> 27.06.2010 21:33, Vladimir Karpinsky пишет:
>>> Есть ли какие-нибудь соображения по методам разоблачения преступника?
>> Местный электрик? :)
> Перегрев?

Как я уже писал перегрева не вижу. 11.6 В вместо 12 В --- это критично? 
Попробовать БП поменять?

-- 
	С уважением,
		Владимир.

Re: [Comm] [JT]Зависание Арк-сервера

[Alexandr Petukhov]

28.06.2010 00:25, Vladimir Karpinsky пишет:
> 27.06.2010 23:54, Alexandr Petukhov пишет:
>> Перегрев?
>
> Как я уже писал перегрева не вижу. 11.6 В вместо 12 В --- это 
> критично? Попробовать БП поменять?
>
А работает ли ночью вентиляция/кондиционирование? Настораживают именно 
"сезонные" зависания...

Re: [Comm] [JT]Зависание Арк-сервера

[Anton A. Vinogradov]

28.06.2010 00:38, Alexandr Petukhov пишет:
> 28.06.2010 00:25, Vladimir Karpinsky пишет:
>> 27.06.2010 23:54, Alexandr Petukhov пишет:
>>> Перегрев?
>>
>> Как я уже писал перегрева не вижу. 11.6 В вместо 12 В --- это
>> критично? Попробовать БП поменять?
>>
> А работает ли ночью вентиляция/кондиционирование? Настораживают именно
> "сезонные" зависания...
предлагаю перевести часы на сервере. ;)

Re: [Comm] [JT]Зависание Арк-сервера

[Konstantin Orloff]

Здравствуйте, Vladimir Karpinsky.

Вы писали 28 июня 2010 г., 0:25:25:

> Как я уже писал перегрева не вижу. 11.6 В вместо 12 В --- это критично?
Повод  задуматься о состоянии БП. Еще не мешало бы напряжения померять
нормальным вольтметром, а не пользоваться биосовольтметром.
> Попробовать БП поменять?
Обнозначно  при возможности, а так же обратить пристальное внимание на
состояние  конденсаторов  на маме, при её пятилетнем возрасте возможны
вздутия  и  утечка  электролита  в  них.  Про чистоту системного блока
промолчу.


-- 
С уважением,
зам.нач.ИВЦ ОАО Каменскволокно
Константин Орлов

Re: [Comm] [JT]Зависание Арк-сервера

[MisHel64]

Здравствуйте.

>> Как я уже писал перегрева не вижу. 11.6 В вместо 12 В --- это критично?

5%  отклонения  по  питанию,  в  пределах  нормы  и стандарта.  Но вот
посмотреть  броски  по питанию, было бы не плохо.  Осциографом, или на
худой конец стрелочным вольтметром.


-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru