ALT Linux Sisyphus discussions
 help / color / mirror / Atom feed
* [sisyphus] q: mysql shutdown and index corruption
@ 2005-11-15 12:52 Michael Shigorin
  2005-11-15 13:58 ` Dmitry Lebkov
  0 siblings, 1 reply; 24+ messages in thread
From: Michael Shigorin @ 2005-11-15 12:52 UTC (permalink / raw)
  To: community; +Cc: sisyphus

	Здравствуйте.
Дошло тут (после часа ковыряния в коде, сопоставления с бэкапом
на песочнице и размышлений о жизни), что проблемы с сайтом в
подписи утром возникли не из-за изменений в коде, а из-за проблем
с базой.

База (~700M) лежит в MySQL-server-4.0.24-alt0.M24.2; его как раз 
сегодня утром рестартовал, чуточку изменив конфигурацию (подняв
лимит по соединениям).

Вопрос: никто не замечал такого, чтобы наш mysqld криво
перестартовывался (слишком быстро останавливаясь, видимо)?

PS: на всякий даю Cc: sisyphus@, поскольку там тот же 4.0.24.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-15 12:52 [sisyphus] q: mysql shutdown and index corruption Michael Shigorin
@ 2005-11-15 13:58 ` Dmitry Lebkov
  2005-11-15 20:29   ` Vladimir Lettiev
  2005-11-16  9:29   ` [sisyphus] " Michael Shigorin
  0 siblings, 2 replies; 24+ messages in thread
From: Dmitry Lebkov @ 2005-11-15 13:58 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

Michael Shigorin wrote:
> 	Здравствуйте.
> Дошло тут (после часа ковыряния в коде, сопоставления с бэкапом
> на песочнице и размышлений о жизни), что проблемы с сайтом в
> подписи утром возникли не из-за изменений в коде, а из-за проблем
> с базой.
> 
> База (~700M) лежит в MySQL-server-4.0.24-alt0.M24.2; его как раз 
> сегодня утром рестартовал, чуточку изменив конфигурацию (подняв
> лимит по соединениям).
> 
> Вопрос: никто не замечал такого, чтобы наш mysqld криво
> перестартовывался (слишком быстро останавливаясь, видимо)?

Какая FS на разделе с базами? Какое ядро?

В чем-то похожий "подземный стук" у меня происходит с LDAP. Из
баз (master + many slaves) изредка пропадают объекты. Ни перезагрузок,
ни сбоев по питанию не наблюдается. По логам - операций DELETE не
производилось. Но вот был объект - хлоп, и исчез ... =\
И исчезнуть может или в в master'е, или в одном из slave'ов, или
везде одновременно.

-- 
WBR, Dmitry Lebkov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-15 13:58 ` Dmitry Lebkov
@ 2005-11-15 20:29   ` Vladimir Lettiev
  2005-11-15 21:38     ` Sviataslau Svirydau
  2005-11-16  6:00     ` Alexey V. Novikov
  2005-11-16  9:29   ` [sisyphus] " Michael Shigorin
  1 sibling, 2 replies; 24+ messages in thread
From: Vladimir Lettiev @ 2005-11-15 20:29 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

Dmitry Lebkov пишет:
> В чем-то похожий "подземный стук" у меня происходит с LDAP. Из
> баз (master + many slaves) изредка пропадают объекты. Ни перезагрузок,
> ни сбоев по питанию не наблюдается.

На ALM24 такая картина наблюдается после внезапного отключения питания. 
Спасает регулярный бэкап или db_recover запущеный в каталоге базы LDAP. 
Аналогично ломается и база subversion, только там db_recover вообще 
убивает данные, лечит svnadmin (recover?). Грешу на berkeley db...

-- 
С уважением, Владимир Леттиев aka crux <crux@gorodmasterov.com>


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-15 20:29   ` Vladimir Lettiev
@ 2005-11-15 21:38     ` Sviataslau Svirydau
  2005-11-16  6:00     ` Alexey V. Novikov
  1 sibling, 0 replies; 24+ messages in thread
From: Sviataslau Svirydau @ 2005-11-15 21:38 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

Vladimir Lettiev wrote:
> Аналогично ломается и база subversion, только там db_recover вообще 
> убивает данные, лечит svnadmin (recover?). Грешу на berkeley db...
Для избавления от этого можно перевести svn-репозиторий на fsfs (через 
svnamin dump/load).

-- 
Best regards,
Sviatoslav Sviridov
--
Asynchronous inputs are at the root of our race problems.
		-- D. Winker and F. Prosser



^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-15 20:29   ` Vladimir Lettiev
  2005-11-15 21:38     ` Sviataslau Svirydau
@ 2005-11-16  6:00     ` Alexey V. Novikov
  2005-11-16 10:33       ` Mikhail Zabaluev
  1 sibling, 1 reply; 24+ messages in thread
From: Alexey V. Novikov @ 2005-11-16  6:00 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

15.11.2005 23:29, Vladimir Lettiev пишет:
> Dmitry Lebkov пишет:
> 
>> В чем-то похожий "подземный стук" у меня происходит с LDAP. Из
>> баз (master + many slaves) изредка пропадают объекты. Ни перезагрузок,
>> ни сбоев по питанию не наблюдается.
> 
> 
> На ALM24 такая картина наблюдается после внезапного отключения питания. 
> Спасает регулярный бэкап или db_recover запущеный в каталоге базы LDAP. 
> Аналогично ломается и база subversion, только там db_recover вообще 
> убивает данные, лечит svnadmin (recover?). Грешу на berkeley db...

У меня тоже грохалась база LDAP на ALM24 при пропадании питания.
ФС там ext3 с data=journal. db_recover не помог.:(
Кстати, нашел в man slapd.conf(5) параметр "readonly",
кто-нибудь его пробовал? Не в смысле блокирования
изменений, а в смысле устойчивости к сбоям.
Просто у меня в ldap лежат лишь пользователи и меняются
они достаточно редко, т.ч. меня это бы устроило.

-- 
WBR, Alexey V. Novikov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-15 13:58 ` Dmitry Lebkov
  2005-11-15 20:29   ` Vladimir Lettiev
@ 2005-11-16  9:29   ` Michael Shigorin
  2005-11-16 11:02     ` Dmitry Lebkov
  2005-11-17  6:24     ` Ivan Adzhubey
  1 sibling, 2 replies; 24+ messages in thread
From: Michael Shigorin @ 2005-11-16  9:29 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Tue, Nov 15, 2005 at 11:58:54PM +1000, Dmitry Lebkov wrote:
> >Вопрос: никто не замечал такого, чтобы наш mysqld криво
> >перестартовывался (слишком быстро останавливаясь, видимо)?
> Какая FS на разделе с базами? Какое ядро?

ext3 (сервер строил другой человек); 2.4.26-vs-smp-alt12.1

> В чем-то похожий "подземный стук" у меня происходит с LDAP.
> Из баз (master + many slaves) изредка пропадают объекты.
> Ни перезагрузок, ни сбоев по питанию не наблюдается.

Аптайм там несколько месяцев (специально протёр глаза тоже).

PS: тут Женя говорит, что MyISAM в 4.x порой крошился непонятным
образом -- в итоге в 5.0 этот кусок вообще переписали, но прыгать
туда сломя голову именно ради этого совсем неохота.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-16  6:00     ` Alexey V. Novikov
@ 2005-11-16 10:33       ` Mikhail Zabaluev
  2005-11-16 10:56         ` Alexey V. Novikov
  0 siblings, 1 reply; 24+ messages in thread
From: Mikhail Zabaluev @ 2005-11-16 10:33 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

[-- Attachment #1: Type: text/plain, Size: 1462 bytes --]

В Срд, 16/11/2005 в 09:00 +0300, Alexey V. Novikov пишет:
> > На ALM24 такая картина наблюдается после внезапного отключения питания. 
> > Спасает регулярный бэкап или db_recover запущеный в каталоге базы LDAP. 
> > Аналогично ломается и база subversion, только там db_recover вообще 
> > убивает данные, лечит svnadmin (recover?). Грешу на berkeley db...
> 
> У меня тоже грохалась база LDAP на ALM24 при пропадании питания.
> ФС там ext3 с data=journal. db_recover не помог.:(

Это может зависеть не только от сервера и файловой системы.
Многие жесткие диски и RAID-контроллеры (обычно дешевые) имеют кэши типа
"запишем завтра, если погода будет хорошая" (AKA write back), не
подстрахованные независимым питанием.
Об этом можно почитать здесь:
http://www.postgresql.org/docs/8.1/interactive/wal.html
Обратите также внимание на комментарий пользователя, может пригодиться
для разбирательства с вашими проблемами.

[-- Attachment #2: Эта часть сообщения подписана цифровой подписью --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-16 10:33       ` Mikhail Zabaluev
@ 2005-11-16 10:56         ` Alexey V. Novikov
  2005-11-16 11:16           ` Epiphanov Sergei
  2005-11-16 11:19           ` [sisyphus] " Olvin
  0 siblings, 2 replies; 24+ messages in thread
From: Alexey V. Novikov @ 2005-11-16 10:56 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

16.11.2005 13:33, Mikhail Zabaluev пишет:
> В Срд, 16/11/2005 в 09:00 +0300, Alexey V. Novikov пишет:
> 
>>>На ALM24 такая картина наблюдается после внезапного отключения питания. 
>>>Спасает регулярный бэкап или db_recover запущеный в каталоге базы LDAP. 
>>>Аналогично ломается и база subversion, только там db_recover вообще 
>>>убивает данные, лечит svnadmin (recover?). Грешу на berkeley db...
>>
>>У меня тоже грохалась база LDAP на ALM24 при пропадании питания.
>>ФС там ext3 с data=journal. db_recover не помог.:(
> 
> 
> Это может зависеть не только от сервера и файловой системы.
> Многие жесткие диски и RAID-контроллеры (обычно дешевые) имеют кэши типа
> "запишем завтра, если погода будет хорошая" (AKA write back), не
> подстрахованные независимым питанием.
> Об этом можно почитать здесь:
> http://www.postgresql.org/docs/8.1/interactive/wal.html
> Обратите также внимание на комментарий пользователя, может пригодиться
> для разбирательства с вашими проблемами.
Мда... Спасибо! Наверное надо будет для ldap сделать отдельную
физическую партицию на диске и монтировать ее в ro. Все-таки
мало приятного, когда из пользователей пускают лишь рута,
причем с консоли, а сервак эдак за ~20км от тебя.:(

-- 
WBR, Alexey V. Novikov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16  9:29   ` [sisyphus] " Michael Shigorin
@ 2005-11-16 11:02     ` Dmitry Lebkov
  2005-11-16 12:05       ` Michael Shigorin
  2005-11-17  6:24     ` Ivan Adzhubey
  1 sibling, 1 reply; 24+ messages in thread
From: Dmitry Lebkov @ 2005-11-16 11:02 UTC (permalink / raw)
  To: shigorin, ALT Linux Sisyphus discussion list

Michael Shigorin wrote:
> On Tue, Nov 15, 2005 at 11:58:54PM +1000, Dmitry Lebkov wrote:
> 
>>>Вопрос: никто не замечал такого, чтобы наш mysqld криво
>>>перестартовывался (слишком быстро останавливаясь, видимо)?
>>
>>Какая FS на разделе с базами? Какое ядро?
> 
> 
> ext3 (сервер строил другой человек); 2.4.26-vs-smp-alt12.1
> 
> 
>>В чем-то похожий "подземный стук" у меня происходит с LDAP.
>>Из баз (master + many slaves) изредка пропадают объекты.
>>Ни перезагрузок, ни сбоев по питанию не наблюдается.
> 
> 
> Аптайм там несколько месяцев (специально протёр глаза тоже).

Вот один из, на котором "крошится" LDAP.
$ uptime
  20:47:21 up 406 days, 42 min,  1 user,  load average: 0.16, 0.13, 0.10

А вот то, где иногда рушатся MyISAM-таблицы. Но здесь я грешил
на ReiserFS. Сам MySQL-сервер используется интенсивно, с редкими
рестартами. Но проблемы всплывали обычно не после рестартов.

$ uptime
  20:52:48 up 369 days, 10:53,  6 users,  load average: 0.20, 0.27, 0.22

> PS: тут Женя говорит, что MyISAM в 4.x порой крошился непонятным
> образом -- в итоге в 5.0 этот кусок вообще переписали, но прыгать
> туда сломя голову именно ради этого совсем неохота.

Уууу, как интересно ... =\ Таки буду смотреть в сторону PgSQL.

-- 
WBR, Dmitry Lebkov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-16 10:56         ` Alexey V. Novikov
@ 2005-11-16 11:16           ` Epiphanov Sergei
  2005-11-16 18:01             ` [sisyphus] " Michael Shigorin
  2005-11-16 11:19           ` [sisyphus] " Olvin
  1 sibling, 1 reply; 24+ messages in thread
From: Epiphanov Sergei @ 2005-11-16 11:16 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

В сообщении от Wednesday 16 November 2005 13:56 Alexey V. Novikov написал(a):
> Мда... Спасибо! Наверное надо будет для ldap сделать отдельную
> физическую партицию на диске и монтировать ее в ro. Все-таки
> мало приятного, когда из пользователей пускают лишь рута,
> причем с консоли, а сервак эдак за ~20км от тебя.:(

А если сервак за 10000 км от тебя? Будешь как раскалённой плите. :)

-- 
С уважением, Епифанов Сергей



^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] q: mysql shutdown and index corruption
  2005-11-16 10:56         ` Alexey V. Novikov
  2005-11-16 11:16           ` Epiphanov Sergei
@ 2005-11-16 11:19           ` Olvin
  1 sibling, 0 replies; 24+ messages in thread
From: Olvin @ 2005-11-16 11:19 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

Alexey V. Novikov wrote:
>>>> На ALM24 такая картина наблюдается после внезапного отключения 
>>>> питания. Спасает регулярный бэкап или db_recover запущеный в 
>>>> каталоге базы LDAP. Аналогично ломается и база subversion, только 
>>>> там db_recover вообще убивает данные, лечит svnadmin (recover?). 
>>>> Грешу на berkeley db...
>>> У меня тоже грохалась база LDAP на ALM24 при пропадании питания.
>>> ФС там ext3 с data=journal. db_recover не помог.:(
>> Это может зависеть не только от сервера и файловой системы.
>> Многие жесткие диски и RAID-контроллеры (обычно дешевые) имеют кэши типа
>> "запишем завтра, если погода будет хорошая" (AKA write back), не
>> подстрахованные независимым питанием.
>> Об этом можно почитать здесь:
>> http://www.postgresql.org/docs/8.1/interactive/wal.html
>> Обратите также внимание на комментарий пользователя, может пригодиться
>> для разбирательства с вашими проблемами.
> Мда... Спасибо! Наверное надо будет для ldap сделать отдельную
> физическую партицию на диске и монтировать ее в ro. Все-таки
> мало приятного, когда из пользователей пускают лишь рута,
> причем с консоли, а сервак эдак за ~20км от тебя.:(

Это не спасёт. Сказано же: write back на контроллере. Это ни от 
операционки не зависит, ни от винта. Это контроллер. Я на сервере такое 
выключил нафиг, ибо пришлось пересоздавать после одной аварии RAID.
Кстати, винты сами по себе тоже могут иметь такую опцию, по умолчанию 
(на моих винтах) отключена.


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16 11:02     ` Dmitry Lebkov
@ 2005-11-16 12:05       ` Michael Shigorin
  2005-11-16 13:37         ` Dmitry Lebkov
  0 siblings, 1 reply; 24+ messages in thread
From: Michael Shigorin @ 2005-11-16 12:05 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Wed, Nov 16, 2005 at 09:02:41PM +1000, Dmitry Lebkov wrote:
> >PS: тут Женя говорит, что MyISAM в 4.x порой крошился
> >непонятным образом -- в итоге в 5.0 этот кусок вообще
> >переписали, но прыгать туда сломя голову именно ради этого
> >совсем неохота.
> Уууу, как интересно ... =\ Таки буду смотреть в сторону PgSQL.

А там своя веселуха...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16 12:05       ` Michael Shigorin
@ 2005-11-16 13:37         ` Dmitry Lebkov
  2005-11-16 14:33           ` Michael Shigorin
  0 siblings, 1 reply; 24+ messages in thread
From: Dmitry Lebkov @ 2005-11-16 13:37 UTC (permalink / raw)
  To: shigorin, ALT Linux Sisyphus discussion list

Michael Shigorin wrote:
> On Wed, Nov 16, 2005 at 09:02:41PM +1000, Dmitry Lebkov wrote:
> 
>>>PS: тут Женя говорит, что MyISAM в 4.x порой крошился
>>>непонятным образом -- в итоге в 5.0 этот кусок вообще
>>>переписали, но прыгать туда сломя голову именно ради этого
>>>совсем неохота.
>>
>>Уууу, как интересно ... =\ Таки буду смотреть в сторону PgSQL.
> 
> А там своя веселуха...

В чём? =\

За год эксплуатации в качестве хранилища для aggregated netflow
и radius accounting'а нареканий пока нет. В отличие от. %)

-- 
WBR, Dmitry Lebkov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16 13:37         ` Dmitry Lebkov
@ 2005-11-16 14:33           ` Michael Shigorin
  2005-11-16 16:35             ` Dmitry Lebkov
  0 siblings, 1 reply; 24+ messages in thread
From: Michael Shigorin @ 2005-11-16 14:33 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Wed, Nov 16, 2005 at 11:37:32PM +1000, Dmitry Lebkov wrote:
> >>Уууу, как интересно ... =\ Таки буду смотреть в сторону PgSQL.
> >А там своя веселуха...
> В чём? =\

В апгрейдах.  См. рядом (в devel@?).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16 14:33           ` Michael Shigorin
@ 2005-11-16 16:35             ` Dmitry Lebkov
  0 siblings, 0 replies; 24+ messages in thread
From: Dmitry Lebkov @ 2005-11-16 16:35 UTC (permalink / raw)
  To: shigorin, ALT Linux Sisyphus discussion list

Michael Shigorin wrote:
> On Wed, Nov 16, 2005 at 11:37:32PM +1000, Dmitry Lebkov wrote:
> 
>>>>Уууу, как интересно ... =\ Таки буду смотреть в сторону PgSQL.
>>>
>>>А там своя веселуха...
>>
>>В чём? =\
> 
> В апгрейдах.  См. рядом (в devel@?).

Ааа, ну эт да. %) Вот если в результате того обсуждения прикрутят
неестественный интелект в виде dump/restore в процессе обновления
- вот это будет "весело" ... =\

-- 
WBR, Dmitry Lebkov



^ permalink raw reply	[flat|nested] 24+ messages in thread

* [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16 11:16           ` Epiphanov Sergei
@ 2005-11-16 18:01             ` Michael Shigorin
  0 siblings, 0 replies; 24+ messages in thread
From: Michael Shigorin @ 2005-11-16 18:01 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Wed, Nov 16, 2005 at 02:16:57PM +0300, Epiphanov Sergei wrote:
> > Мда... Спасибо! Наверное надо будет для ldap сделать
> > отдельную физическую партицию на диске и монтировать ее в ro.
> > Все-таки мало приятного, когда из пользователей пускают лишь
> > рута, причем с консоли, а сервак эдак за ~20км от тебя.:(
> А если сервак за 10000 км от тебя? Будешь как раскалённой
> плите. :)

Бывает полезно держать один из привелегированных (sudo nopasswd)
пользователей в tcb, вот только от нюансов с pam это может не
спасать (ну вроде упомянутого в sisyphus changes; причём тут даже
monit не помощник).

Собственно, оригинальный вопрос был пр mysql, про BBU как бы 
на базе в курсе.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-16  9:29   ` [sisyphus] " Michael Shigorin
  2005-11-16 11:02     ` Dmitry Lebkov
@ 2005-11-17  6:24     ` Ivan Adzhubey
  2005-11-17  7:48       ` Eugene Ostapets
  1 sibling, 1 reply; 24+ messages in thread
From: Ivan Adzhubey @ 2005-11-17  6:24 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Wednesday 16 November 2005 04:29 am, Michael Shigorin wrote:
> On Tue, Nov 15, 2005 at 11:58:54PM +1000, Dmitry Lebkov wrote:
> > >Вопрос: никто не замечал такого, чтобы наш mysqld криво
> > >перестартовывался (слишком быстро останавливаясь, видимо)?
> >
> > Какая FS на разделе с базами? Какое ядро?
>
> ext3 (сервер строил другой человек); 2.4.26-vs-smp-alt12.1
>
> > В чем-то похожий "подземный стук" у меня происходит с LDAP.
> > Из баз (master + many slaves) изредка пропадают объекты.
> > Ни перезагрузок, ни сбоев по питанию не наблюдается.
>
> Аптайм там несколько месяцев (специально протёр глаза тоже).
>
> PS: тут Женя говорит, что MyISAM в 4.x порой крошился непонятным
> образом -- в итоге в 5.0 этот кусок вообще переписали, но прыгать
> туда сломя голову именно ради этого совсем неохота.

А можно поподробнее? Личной почтой если полагаете что оффтопик здесь. А то я 
тоже последние 2 недели бьюсь с MySQL (4.0.24-alt1, Сизиф актуальный) и уже 
отчаялся понять в чем дело. Тоже сначала грешил на свои скрипты, но 
постепенно осознал, что дело хуже. Чудовищные проблемы с индексами - 
произвольным образом их размер (MYI файлов, движок MyISAM) меняется в тысячу 
раз 8-(). База довольно большая, несколько табличек по 20 с лишним миллионов 
строк, но не рекордная, я работал в свое время с БД почти в 10 раз больше, 
стояла она под 2.3.2x и таких проблем не было. А тут... имеем индекс размером 
около 500МБ, добавляем к нему еще один ключ (типа double) и MYI файл внезапно 
увеличивается аж до 6 гигабайт! При этом - явные race conditions при 
выполнении запросов. Понятно, что памяти не хватает (на севере 2 гигабайта), 
но такие чудовищные тормоза, диск трещит часами не переставая, вся система 
засыпает, не отрабатывает ни ps ни top, сервер полностью неуправляемый. 
Настройки переменных сервера менял, не помогает. Такого не видел никогда 
раньше, хотя случалось конечно запустить явно невыполнимый запрос, и не раз, 
и даже на гораздо более хилом железе. А тут... похоже эта версия MySQL просто 
нерабочая.

Ядро 2.4.29, reiserfs. Пробовал держать базу и на системном диске (160GB 
Hitachi/IBM SATA, доступ через libata/ide-scsi) и на RAID (3Ware 8506), 
никакой разницы.

-- 
Иван



^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17  6:24     ` Ivan Adzhubey
@ 2005-11-17  7:48       ` Eugene Ostapets
  2005-11-17  7:59         ` Ivan Adzhubey
  0 siblings, 1 reply; 24+ messages in thread
From: Eugene Ostapets @ 2005-11-17  7:48 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

17.11.05, Ivan Adzhubey<iadzhubey rics.bwh.harvard.edu> написал(а):
> On Wednesday 16 November 2005 04:29 am, Michael Shigorin wrote:
> > PS: тут Женя говорит, что MyISAM в 4.x порой крошился непонятным
> > образом -- в итоге в 5.0 этот кусок вообще переписали, но прыгать
> > туда сломя голову именно ради этого совсем неохота.
>
> А можно поподробнее? Личной почтой если полагаете что оффтопик здесь.
Ну кроме отсылки в архивам листов на mysql.org больших подробностей я
дать не могу... Но жалобы на движок myisam начались еще в 3.x, но
ситуации были редкие и невоспроизводимые. 4.x считается почти не
рабочей с большими myisam таблицами... И где-то я видел сообщение что
рейсы смогли победить только в 5-ке, полностью переписав кусок кода,
на который были подозрения...

--
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17  7:48       ` Eugene Ostapets
@ 2005-11-17  7:59         ` Ivan Adzhubey
  2005-11-17  9:42           ` Eugene Ostapets
  2005-11-17 20:55           ` Konstantin A. Lepikhov
  0 siblings, 2 replies; 24+ messages in thread
From: Ivan Adzhubey @ 2005-11-17  7:59 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Thursday 17 November 2005 02:48 am, Eugene Ostapets wrote:
> 17.11.05, Ivan Adzhubey<iadzhubey rics.bwh.harvard.edu> написал(а):
> > On Wednesday 16 November 2005 04:29 am, Michael Shigorin wrote:
> > > PS: тут Женя говорит, что MyISAM в 4.x порой крошился непонятным
> > > образом -- в итоге в 5.0 этот кусок вообще переписали, но прыгать
> > > туда сломя голову именно ради этого совсем неохота.
> >
> > А можно поподробнее? Личной почтой если полагаете что оффтопик здесь.
>
> Ну кроме отсылки в архивам листов на mysql.org больших подробностей я
> дать не могу... Но жалобы на движок myisam начались еще в 3.x, но
> ситуации были редкие и невоспроизводимые. 4.x считается почти не
> рабочей с большими myisam таблицами... И где-то я видел сообщение что
> рейсы смогли победить только в 5-ке, полностью переписав кусок кода,
> на который были подозрения...

Грустно это... InnoDB можно бы попробовать, но там размер таблиц раз в пять 
больше насколько я помню по своему прежнему опыту. Придется видимо на Pg 
переходить. А что у нас насчет MySQL 5 в Сизифе?

-- 
Иван


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17  7:59         ` Ivan Adzhubey
@ 2005-11-17  9:42           ` Eugene Ostapets
  2005-11-17 10:32             ` Alexey V. Novikov
  2005-11-17 20:55           ` Konstantin A. Lepikhov
  1 sibling, 1 reply; 24+ messages in thread
From: Eugene Ostapets @ 2005-11-17  9:42 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

17.11.05, Ivan Adzhubey<iadzhubey rics.bwh.harvard.edu> написал(а):
> > > А можно поподробнее? Личной почтой если полагаете что оффтопик здесь.
> >
> > Ну кроме отсылки в архивам листов на mysql.org больших подробностей я
> > дать не могу... Но жалобы на движок myisam начались еще в 3.x, но
> > ситуации были редкие и невоспроизводимые. 4.x считается почти не
> > рабочей с большими myisam таблицами... И где-то я видел сообщение что
> > рейсы смогли победить только в 5-ке, полностью переписав кусок кода,
> > на который были подозрения...
>
> Грустно это... InnoDB можно бы попробовать, но там размер таблиц раз в пять
> больше насколько я помню по своему прежнему опыту. Придется видимо на Pg
> переходить. А что у нас насчет MySQL 5 в Сизифе?
С InnoDB ситуация непонятна, после покупки ее разработчиков Ораклом...
Но с Pg ситуация не сильно лучше... :( Имеет смысл, возможно,
посмотреть на FireBird...

--
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17  9:42           ` Eugene Ostapets
@ 2005-11-17 10:32             ` Alexey V. Novikov
  2005-11-17 10:42               ` Eugene Ostapets
  0 siblings, 1 reply; 24+ messages in thread
From: Alexey V. Novikov @ 2005-11-17 10:32 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

17.11.2005 12:42, Eugene Ostapets пишет:
> 17.11.05, Ivan Adzhubey<iadzhubey rics.bwh.harvard.edu> написал(а):
>>Грустно это... InnoDB можно бы попробовать, но там размер таблиц раз в пять
>>больше насколько я помню по своему прежнему опыту. Придется видимо на Pg
>>переходить. А что у нас насчет MySQL 5 в Сизифе?
> 
> С InnoDB ситуация непонятна, после покупки ее разработчиков Ораклом...
> Но с Pg ситуация не сильно лучше... :( Имеет смысл, возможно,
> посмотреть на FireBird...
У них (FB) до сих пор вся база в одном файле?
Если да, то нафик оно такое счастье надо.
И по количеству фич он от Pg очень далеко.:(

-- 
WBR, Alexey V. Novikov


^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17 10:32             ` Alexey V. Novikov
@ 2005-11-17 10:42               ` Eugene Ostapets
  2005-11-17 12:45                 ` Slava Grecea
  0 siblings, 1 reply; 24+ messages in thread
From: Eugene Ostapets @ 2005-11-17 10:42 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

17.11.05, Alexey V. Novikov<shader yandex.ru> написал(а):
> > С InnoDB ситуация непонятна, после покупки ее разработчиков Ораклом...
> > Но с Pg ситуация не сильно лучше... :( Имеет смысл, возможно,
> > посмотреть на FireBird...
> У них (FB) до сих пор вся база в одном файле?
> Если да, то нафик оно такое счастье надо.
> И по количеству фич он от Pg очень далеко.:(
Ну так и MySQL на базах myisam не ближе, а дальше... Т.е. FirBird, на
мой взгляд, намного более интересная замена в данном случае чем Pg...

--
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

^ permalink raw reply	[flat|nested] 24+ messages in thread

* Re: [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17 10:42               ` Eugene Ostapets
@ 2005-11-17 12:45                 ` Slava Grecea
  0 siblings, 0 replies; 24+ messages in thread
From: Slava Grecea @ 2005-11-17 12:45 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

On Thursday 17 November 2005 12:42, Eugene Ostapets wrote:
> Ну так и MySQL на базах myisam не ближе, а дальше... Т.е. FirBird, на
> мой взгляд, намного более интересная замена в данном случае чем Pg...
+1

^ permalink raw reply	[flat|nested] 24+ messages in thread

* [sisyphus] Re: q: mysql shutdown and index corruption
  2005-11-17  7:59         ` Ivan Adzhubey
  2005-11-17  9:42           ` Eugene Ostapets
@ 2005-11-17 20:55           ` Konstantin A. Lepikhov
  1 sibling, 0 replies; 24+ messages in thread
From: Konstantin A. Lepikhov @ 2005-11-17 20:55 UTC (permalink / raw)
  To: ALT Linux Sisyphus discussion list

Hi Ivan!

Thursday 17, at 02:59:34 AM you wrote:

<skip>
> > рейсы смогли победить только в 5-ке, полностью переписав кусок кода,
> > на который были подозрения...
> 
> Грустно это... InnoDB можно бы попробовать, но там размер таблиц раз в пять 
> больше насколько я помню по своему прежнему опыту. Придется видимо на Pg 
> переходить. А что у нас насчет MySQL 5 в Сизифе?
есть только 4.1 в Дедале. Думаю, если еще поотхачить спек, можно и 5.x
запаковать.

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR


^ permalink raw reply	[flat|nested] 24+ messages in thread

end of thread, other threads:[~2005-11-17 20:55 UTC | newest]

Thread overview: 24+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2005-11-15 12:52 [sisyphus] q: mysql shutdown and index corruption Michael Shigorin
2005-11-15 13:58 ` Dmitry Lebkov
2005-11-15 20:29   ` Vladimir Lettiev
2005-11-15 21:38     ` Sviataslau Svirydau
2005-11-16  6:00     ` Alexey V. Novikov
2005-11-16 10:33       ` Mikhail Zabaluev
2005-11-16 10:56         ` Alexey V. Novikov
2005-11-16 11:16           ` Epiphanov Sergei
2005-11-16 18:01             ` [sisyphus] " Michael Shigorin
2005-11-16 11:19           ` [sisyphus] " Olvin
2005-11-16  9:29   ` [sisyphus] " Michael Shigorin
2005-11-16 11:02     ` Dmitry Lebkov
2005-11-16 12:05       ` Michael Shigorin
2005-11-16 13:37         ` Dmitry Lebkov
2005-11-16 14:33           ` Michael Shigorin
2005-11-16 16:35             ` Dmitry Lebkov
2005-11-17  6:24     ` Ivan Adzhubey
2005-11-17  7:48       ` Eugene Ostapets
2005-11-17  7:59         ` Ivan Adzhubey
2005-11-17  9:42           ` Eugene Ostapets
2005-11-17 10:32             ` Alexey V. Novikov
2005-11-17 10:42               ` Eugene Ostapets
2005-11-17 12:45                 ` Slava Grecea
2005-11-17 20:55           ` Konstantin A. Lepikhov

ALT Linux Sisyphus discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/sisyphus/0 sisyphus/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 sisyphus sisyphus/ http://lore.altlinux.org/sisyphus \
		sisyphus@altlinux.ru sisyphus@altlinux.org sisyphus@lists.altlinux.org sisyphus@lists.altlinux.ru sisyphus@lists.altlinux.com sisyphus@linuxteam.iplabs.ru sisyphus@list.linux-os.ru
	public-inbox-index sisyphus

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.sisyphus


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git