[Sysadmins] Возможный регресс MySQL в p6

[Sysadmins] Возможный регресс MySQL в p6

[Dank Bagryantsev]

Здравствуйте.

Проапгрейдил я недавно OVZ-контейнер с MySQL под бранчем 5.1 до p6.
Версия MySQL сменилась с 5.0.89-alt1 на 5.1.56-alt4
И начались проблемы с MySQL:
В течении суток-двое после старта-рестарта MySQL, он перестает
принимать коннекты и нагрузка по CPU поэтапно достигает ~90-100%.
В процессе диагностики выяснилось, что похоже в какие-то произвольные
моменты времени "подвисают" нити MySQL (я видел в состоянии "Sending data" или
"Waiting table") с загрузкой CPU 99% по каждой нити. Как только
количество "зависших" нитей становится равно значению
thread_concurrency (как я понял), то MySQL перестает принимать коннекты.
Проблема наблюдалась в основном с InnoDB, для MyISAM почти нет.
В логах никаких сообщений по этой проблеме не было.
Для InnoDB есть и другая проблема: тоже в течении суток-двое после
старта-рестарта MySQL, он выдает в логах ошибку выделения памяти и
перестает работать.
В конце-концов пришлось откатится обратно на бранч 5.1.
Подчеркиваю: параметры OVZ-контейнера и MySQL в обоих случаях абсолютно одинаковы.
Но в 5.1 MySQL работает нормально, а в p6 - MySQL работает как-то
нестабильно.

У кого-то еще такое наблюдается с MySQL?

-- 
С уважением,
 Dank

Re: [Sysadmins] Возможный регресс MySQL в p6

[Дмитрий Дегтярев]

05.07.2011 08:46, Dank Bagryantsev пишет:
> метры OVZ-контейнер
посмотри чём заняты процессы...
strace и gdb

Re: [Sysadmins] Возможный регресс MySQL в p6

[Dank Bagryantsev]

Здравствуйте, Дмитрий.

Вы писали 5 июля 2011 г., 7:56:37:

ДД> 05.07.2011 08:46, Dank Bagryantsev пишет:
>> метры OVZ-контейнер
ДД> посмотри чём заняты процессы...
ДД> strace и gdb

В таком случае: как подключится strace и gdb к уже зависшей нити? Как
отфильтровать эту нить от всех остальных?
Также учтите, что MySQL в OVZ-контейнере работает на удаленном
сервере без физического доступа к нему.


-- 
С уважением,
 Dank

Re: [Sysadmins] Возможный регресс MySQL в p6

[Rinat Bikov]

5 июля 2011 г. 9:39 Dank Bagryantsev написал:
> В таком случае: как подключится strace и gdb к уже зависшей нити?
strace никак не подключить к зависшей нити, тем более на рабочем сервере.
Зато можно попробовать запустить с
strace -ff
на каком-нибудь тестовом сервере, и, если есть время и желание,
разобраться в этом.

-- 
С уважением, Ринат Биков.

Re: [Sysadmins] Возможный регресс MySQL в p6

[Dank Bagryantsev]

Здравствуйте, Rinat.

Вы писали 5 июля 2011 г., 9:04:28:

RB> Зато можно попробовать запустить с
RB> strace -ff
RB> на каком-нибудь тестовом сервере, и, если есть время и желание,
RB> разобраться в этом.

На тестовом скорее всего не получится - проблема возникала на
продакшене при MySQL-трафике 40-60 Мбит/с и минимум через несколько часов.
В предварительных тестах, перед апгрейдом на продакшене, проблем я не
наблюдал (но и трафик был гораздо меньше в тестах).
Сейчас у меня нет возможности создать тестовый стенд и сгенерировать
такой трафик.

-- 
С уважением,
 Dank

Re: [Sysadmins] Возможный регресс MySQL в p6

[Дмитрий Дегтярев]

05.07.2011 11:39, Dank Bagryantsev пишет:
> Здравствуйте, Дмитрий.
>
> Вы писали 5 июля 2011 г., 7:56:37:
>
> ДД>  05.07.2011 08:46, Dank Bagryantsev пишет:
>>> метры OVZ-контейнер
> ДД>  посмотри чём заняты процессы...
> ДД>  strace и gdb
>
> В таком случае: как подключится strace и gdb к уже зависшей нити? Как
> отфильтровать эту нить от всех остальных?
> Также учтите, что MySQL в OVZ-контейнере работает на удаленном
> сервере без физического доступа к нему.
>
ps aux | grep mysql и т.п. top... то что вызывает подозрение

потом strace -p номер процесса

так же для gdb

man strace gdb

Re: [Sysadmins] Возможный регресс MySQL в p6

[Michael Shigorin]

On Tue, Jul 05, 2011 at 05:46:10AM +0300, Dank Bagryantsev wrote:
> Проапгрейдил я недавно OVZ-контейнер с MySQL под бранчем 5.1 до p6.
> Версия MySQL сменилась с 5.0.89-alt1 на 5.1.56-alt4
> И начались проблемы с MySQL:
[...]
> У кого-то еще такое наблюдается с MySQL?

Пока не натыкался, но если есть интерес --
может иметь смысл закатать рукава и попробовать:
- собрать бэкпорт 5.1.x на 5.1/branch (чтобы убедиться,
  что дело именно в MySQL, а не в окружении);
- собрать MySQL 5.5, который сейчас рекомендуется апстримом.


On Tue, Jul 05, 2011 at 10:04:28AM +0400, Rinat Bikov wrote:
> > В таком случае: как подключится strace и gdb к уже зависшей нити?
> strace никак не подключить к зависшей нити, тем более на рабочем сервере.

strace -p PID подключится, только если она уже ничего не делает,
то и вызовов не будет. (до кучи: -o logfile полезно)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/