[Comm] странные зависания

[Comm] странные зависания

[Andrey Kutuzov]

Здравствуйте,

Вот уже несколько месяцев, как комп (Branch P6) испытывает некие
странные и иррациональные зависания. Происходит это в случайные моменты
времени, никакой закономерности не прослеживается. Может две недели
аптайма пройти, а может повиснуть сразу после загрузки. Симптомы следующие:
Приложения в иксах перестают закрываться и выполнять любые операции,
требующие записи на диск. Через некоторое время виснут вовсе (попадают в
статус D, если смотреть через top). При этом невозможно запустить
никакое новое приложение, более того, невозможно даже залогиниться в
текстовой консоли. ОС даёт набрать root, потом спрашивает пароль, и на
этом всё заканчивается. Странно, что на 12 консоли при этом сообщают,
что root succesffully logged in.

Если подождать минутку, то на 12 консоль начинают сыпаться сообщения,
подобные приведенным ниже. Там не обязательно про plasma и nepomuk -
может ругаться на любое приложение из открытых. После этого ситуацию
спасает уже только reset. Хотя если его не делать, то на 12 консоли
видно, что система в принципе работает - в логи пишется --MARK--, идут
сообщения от smartd, стучатся скрипт-киддиз в ssh. Но пользоваться-то
системой при этом нельзя.

В общем, интересует, сталкивался ли с этим кто-нибудь и каковы могут
быть гипотезы - это железо или софт? И как это проверить?

Заранее спасибо, лог ниже.


Apr 27 13:45:12 neverland kernel: [  240.324048] INFO: task
plasma-desktop:7902 blocked for more than 120 seconds.
Apr 27 13:45:12 neverland kernel: [  240.324053] "echo 0 >
/proc/sys/kernel/hung_task_timeout_secs" disables this message.
Apr 27 13:45:12 neverland kernel: [  240.324057] plasma-desktop  D
f1d5dd0c     0  7902      1 0x00000000
Apr 27 13:45:12 neverland kernel: [  240.324065]  f1d5dd18 00200082
f1d5dd4c f1d5dd0c f1d5dcc0 f946886f 00000001 f1d2ab00
Apr 27 13:45:12 neverland kernel: [  240.324075]  c15b2b80 f47f1100
c15b2b80 c15b2b80 24ebf858 0000001b c15b2b80 f5805b80
Apr 27 13:45:12 neverland kernel: [  240.324085]  f47f1100 f1725300
f9468b24 f1d5dd4c 00000000 00000003 00000003 f1d2ae00
Apr 27 13:45:12 neverland kernel: [  240.324095] Call Trace:
Apr 27 13:45:12 neverland kernel: [  240.324112]  [<f946886f>] ?
search_by_entry_key+0x1f/0x260 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324124]  [<f9468b24>] ?
reiserfs_find_entry+0x74/0x300 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324133]  [<c137a5a8>] ?
_raw_spin_lock+0x8/0x10
Apr 27 13:45:12 neverland kernel: [  240.324140]  [<c1025d98>] ?
default_spin_lock_flags+0x8/0x10
Apr 27 13:45:12 neverland kernel: [  240.324147]  [<c137a71a>] ?
_raw_spin_lock_irqsave+0x2a/0x40
Apr 27 13:45:12 neverland kernel: [  240.324166]  [<c1378a74>]
schedule+0x34/0x50
Apr 27 13:45:12 neverland kernel: [  240.324179]  [<f9482d3a>]
queue_log_writer+0x6a/0xa0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324187]  [<c103f4a0>] ?
try_to_wake_up+0x220/0x220
Apr 27 13:45:12 neverland kernel: [  240.324207]  [<f94881e4>]
do_journal_begin_r+0x1d4/0x2e0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324211]  [<c11a0dad>] ?
security_inode_init_security+0x2d/0x40
Apr 27 13:45:12 neverland kernel: [  240.324218]  [<f9488370>]
journal_begin+0x80/0x160 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324224]  [<f948cd44>] ?
reiserfs_cache_default_acl+0x44/0x160 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324229]  [<f946a2c0>]
reiserfs_create+0xa0/0x200 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324232]  [<c137a5a8>] ?
_raw_spin_lock+0x8/0x10
Apr 27 13:45:12 neverland kernel: [  240.324235]  [<c1128114>] ?
__d_lookup+0x114/0x140
Apr 27 13:45:12 neverland kernel: [  240.324242]  [<f948b7c0>] ?
reiserfs_listxattr+0xd0/0xd0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324244]  [<c11a1418>] ?
security_inode_permission+0x18/0x20
Apr 27 13:45:12 neverland kernel: [  240.324247]  [<c111fd23>]
vfs_create+0x93/0xf0
Apr 27 13:45:12 neverland kernel: [  240.324250]  [<c11205c3>]
do_last+0x463/0x7b0
Apr 27 13:45:12 neverland kernel: [  240.324252]  [<c11209a8>]
path_openat+0x98/0x360
Apr 27 13:45:12 neverland kernel: [  240.324255]  [<c1120cba>] ?
user_path_at_empty+0x4a/0x80
Apr 27 13:45:12 neverland kernel: [  240.324257]  [<c1120d40>]
do_filp_open+0x30/0x80
Apr 27 13:45:12 neverland kernel: [  240.324260]  [<c112b8eb>] ?
alloc_fd+0x9b/0xe0
Apr 27 13:45:12 neverland kernel: [  240.324263]  [<c111318b>]
do_sys_open+0xeb/0x1b0
Apr 27 13:45:12 neverland kernel: [  240.324265]  [<c1113279>]
sys_open+0x29/0x40
Apr 27 13:45:12 neverland kernel: [  240.324268]  [<c137a829>]
syscall_call+0x7/0xb
Apr 27 13:45:12 neverland kernel: [  240.324271]  [<c1370000>] ?
calibrate_delay+0x28c/0x386
Apr 27 13:45:12 neverland kernel: [  240.324284] INFO: task
nepomukservices:8120 blocked for more than 120 seconds.
Apr 27 13:45:12 neverland kernel: [  240.324286] "echo 0 >
/proc/sys/kernel/hung_task_timeout_secs" disables this message.
Apr 27 13:45:12 neverland kernel: [  240.324288] nepomukservices D
f11cde18     0  8120   8036 0x00000000
Apr 27 13:45:12 neverland kernel: [  240.324291]  f11cde28 00000082
00000002 f11cde18 00000001 f11cdeac f27eb790 00000000
Apr 27 13:45:12 neverland kernel: [  240.324295]  c15b2b80 f1ce6130
c15b2b80 c15b2b80 4b6b50c5 0000001b c15b2b80 f5905b80
Apr 27 13:45:12 neverland kernel: [  240.324300]  f1ce6130 f4ca8e00
c11e81ae f11cdf90 00000028 081b4950 f11cde0c c1123534
Apr 27 13:45:12 neverland kernel: [  240.324304] Call Trace:
Apr 27 13:45:12 neverland kernel: [  240.324307]  [<c11e81ae>] ?
copy_to_user+0x2e/0x50
Apr 27 13:45:12 neverland kernel: [  240.324310]  [<c1123534>] ?
filldir64+0xa4/0xf0
Apr 27 13:45:12 neverland kernel: [  240.324312]  [<c1025d98>] ?
default_spin_lock_flags+0x8/0x10
Apr 27 13:45:12 neverland kernel: [  240.324315]  [<c137a71a>] ?
_raw_spin_lock_irqsave+0x2a/0x40
Apr 27 13:45:12 neverland kernel: [  240.324319]  [<c1378a74>]
schedule+0x34/0x50
Apr 27 13:45:12 neverland kernel: [  240.324325]  [<f9482d3a>]
queue_log_writer+0x6a/0xa0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324328]  [<c103f4a0>] ?
try_to_wake_up+0x220/0x220
Apr 27 13:45:12 neverland kernel: [  240.324335]  [<f94881e4>]
do_journal_begin_r+0x1d4/0x2e0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324342]  [<f9488370>]
journal_begin+0x80/0x160 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324348]  [<f9476247>]
reiserfs_dirty_inode+0x37/0xc0 [reiserfs]
Apr 27 13:45:12 neverland kernel: [  240.324351]  [<c1125bdd>] ?
dget_parent+0x3d/0x70
Apr 27 13:45:12 neverland kernel: [  240.324354]  [<c11349b9>]
__mark_inode_dirty+0x29/0x1d0
Apr 27 13:45:12 neverland kernel: [  240.324357]  [<c1128db0>]
touch_atime+0xf0/0x140
Apr 27 13:45:12 neverland kernel: [  240.324359]  [<c11237d9>]
vfs_readdir+0x99/0xa0
Apr 27 13:45:12 neverland kernel: [  240.324362]  [<c1123490>] ?
sys_ioctl+0x90/0x90
Apr 27 13:45:12 neverland kernel: [  240.324364]  [<c1123955>]
sys_getdents64+0x65/0xb0
Apr 27 13:45:12 neverland kernel: [  240.324367]  [<c137a829>]
syscall_call+0x7/0xb
Apr 27 13:45:12 neverland kernel: [  240.324369]  [<c1370000>] ?
calibrate_delay+0x28c/0x386

-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Vladimir Karpinsky]

27.04.2012 12:18, Andrey Kutuzov написал:
> Вот уже несколько месяцев, как комп (Branch P6) испытывает некие
> странные и иррациональные зависания. Происходит это в случайные моменты
> времени, никакой закономерности не прослеживается. Может две недели
> аптайма пройти, а может повиснуть сразу после загрузки.

Не могу сказать, что у меня были такие же симптомы, но тоже странные и 
иррациональные, помогла замена БП.

-- 
	С уважением,
		Владимир.

Re: [Comm] странные зависания

[Denis Nazarov]

27.04.2012 14:27, Vladimir Karpinsky написал:
> 27.04.2012 12:18, Andrey Kutuzov написал:
>> Вот уже несколько месяцев, как комп (Branch P6) испытывает некие
>> странные и иррациональные зависания. Происходит это в случайные моменты
>> времени, никакой закономерности не прослеживается. Может две недели
>> аптайма пройти, а может повиснуть сразу после загрузки.
>
> Не могу сказать, что у меня были такие же симптомы, но тоже странные и 
> иррациональные, помогла замена БП.
>
и очень желательно протестить память длительным прогоном

Re: [Comm] странные зависания

[Алексей Синицын]

27 апреля 2012 г. 12:38 пользователь Denis Nazarov <marsden@mail.ru> написал:
> 27.04.2012 14:27, Vladimir Karpinsky написал:
>
>> 27.04.2012 12:18, Andrey Kutuzov написал:
>>>
>>> Вот уже несколько месяцев, как комп (Branch P6) испытывает некие
>>> странные и иррациональные зависания. Происходит это в случайные моменты
>>> времени, никакой закономерности не прослеживается. Может две недели
>>> аптайма пройти, а может повиснуть сразу после загрузки.
>>
>>
>> Не могу сказать, что у меня были такие же симптомы, но тоже странные и
>> иррациональные, помогла замена БП.
>>
> и очень желательно протестить память длительным прогоном
>

 Оно и диском может быть, или его контроллером на матери (кажется в
логе было что то про ФС, блоки, раскручивание и тому подобное). Если
есть возможность, то самый надёжный тест железа это переткнуть
винчестер в другую машину. Да, и провода старые при этом не тащить за
собой: разъёмы, все дела.

Re: [Comm] странные зависания

[Andrey Kutuzov]

27.04.2012 14:38, Denis Nazarov пишет:
>> Не могу сказать, что у меня были такие же симптомы, но тоже странные и
>> иррациональные, помогла замена БП.
> и очень желательно протестить память длительным прогоном
Тестил на всю ночь мемтестом, ни одной ошибки.
Есть какое-то смутное ощущение, что зависания как-то связаны с KDE4.

-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Andrey Kutuzov]

27.04.2012 15:43, Алексей Синицын пишет:
>  Оно и диском может быть, или его контроллером на матери (кажется в
> логе было что то про ФС, блоки, раскручивание и тому подобное). Если
> есть возможность, то самый надёжный тест железа это переткнуть
> винчестер в другую машину. Да, и провода старые при этом не тащить за
> собой: разъёмы, все дела.
Такой возможности пока нет, да и перетыкать придётся три винчестера.
А может, есть какая-нибудь утилита, которая выполняет стресс-тест
конкретно контроллера жестких дисков?

-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Алексей Синицын]

28 апреля 2012 г. 19:22 пользователь Andrey Kutuzov
<akutuzov72@gmail.com> написал:
> 27.04.2012 15:43, Алексей Синицын пишет:
>>  Оно и диском может быть, или его контроллером на матери (кажется в
>> логе было что то про ФС, блоки, раскручивание и тому подобное). Если
>> есть возможность, то самый надёжный тест железа это переткнуть
>> винчестер в другую машину. Да, и провода старые при этом не тащить за
>> собой: разъёмы, все дела.
> Такой возможности пока нет, да и перетыкать придётся три винчестера.
> А может, есть какая-нибудь утилита, которая выполняет стресс-тест
> конкретно контроллера жестких дисков?
>

 Есть возможность временно отключить два из трёх дисков? Вполне
возможно что действительно не хватает именно питания.

Re: [Comm] странные зависания

[Andrey Kutuzov]

28.04.2012 22:47, Алексей Синицын пишет:
>  Есть возможность временно отключить два из трёх дисков? Вполне
> возможно что действительно не хватает именно питания.
Хм, ну можно попробовать.

-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Maksim Vasyuk]

Andrey Kutuzov пишет:
> Здравствуйте,
>
> Вот уже несколько месяцев, как комп (Branch P6) испытывает некие
> странные и иррациональные зависания. Происходит это в случайные моменты
> времени, никакой закономерности не прослеживается. Может две недели
> аптайма пройти, а может повиснуть сразу после загрузки. Симптомы следующие:
> Приложения в иксах перестают закрываться и выполнять любые операции,
> требующие записи на диск. Через некоторое время виснут вовсе (попадают в
> статус D, если смотреть через top). При этом невозможно запустить
> никакое новое приложение, более того, невозможно даже залогиниться в
> текстовой консоли. ОС даёт набрать root, потом спрашивает пароль, и на
> этом всё заканчивается. Странно, что на 12 консоли при этом сообщают,
> что root succesffully logged in.
>
> Если подождать минутку, то на 12 консоль начинают сыпаться сообщения,
> подобные приведенным ниже. Там не обязательно про plasma и nepomuk -
> может ругаться на любое приложение из открытых. После этого ситуацию
> спасает уже только reset. Хотя если его не делать, то на 12 консоли
> видно, что система в принципе работает - в логи пишется --MARK--, идут
> сообщения от smartd, стучатся скрипт-киддиз в ssh. Но пользоваться-то
> системой при этом нельзя.
>
> В общем, интересует, сталкивался ли с этим кто-нибудь и каковы могут
> быть гипотезы - это железо или софт? И как это проверить?
>
> Заранее спасибо, лог ниже.
После обновления до t6 была очень похожая хрень. В ps xa было очень 
много процессов толи аракнид толи анаконда уже не помню. Но из-за этих 
процессов происходило все очень похоже как у Вас. Если процессы 
поубивать то можно было более-менее как-то продолжить работу или 
завершить работу корректно.
Но я систему тащил еще, если не соврать, с четвертого бранча, притом 4 
кеды притормаживали.
Я поставил лайт от Droolя. Сижу на 3их кедах радуюсь жизни. ;)

Re: [Comm] странные зависания

[Andrey Kutuzov]

28.04.2012 22:47, Алексей Синицын пишет:
>  Есть возможность временно отключить два из трёх дисков? Вполне
> возможно что действительно не хватает именно питания.
Отключил один из винчестеров, самый жручий. Ситуация не изменилась,
зависания продолжаются.
Главное, чего я не могу понять - как система при этом умудряется
продолжать писать логи в /var/log/messages? Ведь вроде как все
приложения виснут как раз из-за невозможности записать на диск.


-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Michael Shigorin]

On Sat, Apr 28, 2012 at 09:22:15PM +0600, Andrey Kutuzov wrote:
> > Да, и провода старые при этом не тащить за собой: разъёмы,
> Такой возможности пока нет, да и перетыкать придётся три винчестера.

Всё-таки лучше хотя бы проверить, а лучше и впрямь заменить
дата-кабели.  Если есть возможность -- прислушайтесь, нет ли
щелчков с разгоном дисков: когда-то напоролся на искривший кабель
питания, ой как долго искал проблемное место.

Электроника -- наука о контактах...

> А может, есть какая-нибудь утилита, которая выполняет
> стресс-тест конкретно контроллера жестких дисков?

bonnie++ прогрузит всю дисковую.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] странные зависания

[Алексей Синицын]

3 мая 2012 г. 23:55 пользователь Michael Shigorin <mike@osdn.org.ua> написал:
> On Sat, Apr 28, 2012 at 09:22:15PM +0600, Andrey Kutuzov wrote:
>> > Да, и провода старые при этом не тащить за собой: разъёмы,
>> Такой возможности пока нет, да и перетыкать придётся три винчестера.
>
> Всё-таки лучше хотя бы проверить, а лучше и впрямь заменить
> дата-кабели.  Если есть возможность -- прислушайтесь, нет ли
> щелчков с разгоном дисков: когда-то напоролся на искривший кабель
> питания, ой как долго искал проблемное место.
>
> Электроника -- наука о контактах...
>
>> А может, есть какая-нибудь утилита, которая выполняет
>> стресс-тест конкретно контроллера жестких дисков?
>
> bonnie++ прогрузит всю дисковую.
>

Там выше упоминали про аконади, который у кого то съедал всю систему.
Может имеет смысл посмотреть iotop?

Re: [Comm] странные зависания

[Michael Shigorin]

On Fri, May 04, 2012 at 09:41:18AM +0400, Алексей Синицын wrote:
> Может имеет смысл посмотреть iotop?

Да смысл-то может быть и collectd запустить со складированием
на соседний хост через network-плагин (выключив локальный rrd),
если есть куда -- а потом на принимающем хосте при помощи
collectd-cgi рассмотреть динамику изменения параметров VM/IO
в районе интересующей точки.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] странные зависания

[Andrey Kutuzov]

После переезда с KDE4 на XFCE зависания пропали.
То есть, видимо, это не диски, и вообще не железо. Или всё-таки может
быть оно?
Хочется-то KDE4 пользовать, машина позволяет.

-- 
Solve et coagula!
Andrey

Re: [Comm] странные зависания

[Michael Shigorin]

On Wed, May 23, 2012 at 02:00:11AM +0600, Andrey Kutuzov wrote:
> После переезда с KDE4 на XFCE зависания пропали.
> То есть, видимо, это не диски, и вообще не железо.
> Или всё-таки может быть оно?
> Хочется-то KDE4 пользовать, машина позволяет.

Поставьте collectd, включите плагины cpu, memory, processes
и rrd (либо network и сконфигурированный collectd-сервер на
соседнем хосте) да запишите пару таких сессий -- возможно,
на графиках высокого временнОго разрешения получится заметить
какие закономерности вроде плавного роста потребления памяти.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/