[Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

Недавно я постил сообщение о проблеме с subj.
Теперь хочу поделиться решением которое банально просто.
В силу ряда причин на сервере при установке выбиралась FS ext2. При выборе
же любой журналируемой FS все отрабатывает нормально.

PS: кому-то эта информация надеюсь будет полезна (я например о данных
особенностях до этого момента не знал).

-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Michael Shigorin]

On Wed, Jan 12, 2005 at 09:11:48AM +0200, Serg Rychka wrote:
> Недавно я постил сообщение о проблеме с subj.
> Теперь хочу поделиться решением которое банально просто.
> В силу ряда причин на сервере при установке выбиралась FS ext2.
> При выборе же любой журналируемой FS все отрабатывает
> нормально.

А что были за пробемы, раз уж не тем же тредом?
И что за причины, если не секрет?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

On Wed, 12 Jan 2005, Michael Shigorin wrote:

> On Wed, Jan 12, 2005 at 09:11:48AM +0200, Serg Rychka wrote:
> > Недавно я постил сообщение о проблеме с subj.
> > Теперь хочу поделиться решением которое банально просто.
> > В силу ряда причин на сервере при установке выбиралась FS ext2.
> > При выборе же любой журналируемой FS все отрабатывает
> > нормально.
>
> А что были за пробемы, раз уж не тем же тредом?
> И что за причины, если не секрет?
>

Проблема была таже. При hotadd диска RAID-контроллер "впадал в спячку",
после чего приходилось перезагружать машину и уже после этого делался
rebuild. На сервере использовалась ФС ext2. В результате разного рода
тестирований на другом аналогичном сервере было обнаружено что если в
момент hotadd на primary-диск (то есть тот который в работе) ничего не
пишется (что в случае с серверами бывает крайне редко), то ext2
отрабатывает нормально, а вот если в момент hotadd что-то записывается -
тут rebuild корректно отрабатывает только в случае наличия журналирующей
ФС (или собственно журнала).
У меня в одном из production-серверов использовалась ext2. Я решил
проблему с hotswap "на лету" с помощью добавления журнала и
перемонтирования разделов под ext3.

PS: вобщем Intel SRCZCR полнофункциональный hardRAID-контроллер с удобным
интерфейсом (я думаю как и другие от Intel), без проблем работающий под
ALM24. На сайте Intel были взяты бинарники скомпилиррованные под RedHat
(srcd и storcon) обеспечивающие всяческий мониторинг raid вплоть до снятия
данных по snmp и отправке сообщений о почте. Без всяких правок и проблем
устанавливаются под ALM24.
url: http://downloadfinder.intel.com/scripts-df/Detail_Desc.asp?agr=N&ProductID=884&DwnldID=7497
А также (под шумок), пользуясь этими же утилитами "на лету" обновил
прошивку raid.
url: http://downloadfinder.intel.com/scripts-df/Detail_Desc.asp?agr=N&ProductID=884&DwnldID=7495

-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Dmitry Lebkov]

Serg Rychka wrote:
> On Wed, 12 Jan 2005, Michael Shigorin wrote:
> 
> 
>>On Wed, Jan 12, 2005 at 09:11:48AM +0200, Serg Rychka wrote:
>>
>>>Недавно я постил сообщение о проблеме с subj.
>>>Теперь хочу поделиться решением которое банально просто.
>>>В силу ряда причин на сервере при установке выбиралась FS ext2.
>>>При выборе же любой журналируемой FS все отрабатывает
>>>нормально.
>>
>>А что были за пробемы, раз уж не тем же тредом?
>>И что за причины, если не секрет?
>>
> 
> 
> Проблема была таже. При hotadd диска RAID-контроллер "впадал в спячку",
> после чего приходилось перезагружать машину и уже после этого делался
> rebuild. На сервере использовалась ФС ext2. В результате разного рода
> тестирований на другом аналогичном сервере было обнаружено что если в
> момент hotadd на primary-диск (то есть тот который в работе) ничего не
> пишется (что в случае с серверами бывает крайне редко), то ext2
> отрабатывает нормально, а вот если в момент hotadd что-то записывается -
> тут rebuild корректно отрабатывает только в случае наличия журналирующей
> ФС (или собственно журнала).
> У меня в одном из production-серверов использовалась ext2. Я решил
> проблему с hotswap "на лету" с помощью добавления журнала и
> перемонтирования разделов под ext3.

Что-то какая-то мистика, судя по описанию. У меня таких железок штуки
4 или 5. И не разу не сталкивался с вышеописанными проблемами. Массивы
_всегда_ сами перестраивались после подключения нового диска взамен
"вставшего" или автоматом начинали использовать HotFix диск (если таковой
присутствовал %), не зависимо от используемой FS.

Да, прошивка 2.34.09-R05C.

--
WBR, Dmitry Lebkov

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Laptev Andrei]

> ALM24. На сайте Intel были взяты бинарники скомпилиррованные под RedHat
> (srcd и storcon) обеспечивающие всяческий мониторинг raid вплоть до снятия
> данных по snmp и отправке сообщений о почте. Без всяких правок и проблем
> устанавливаются под ALM24.
> url: http://downloadfinder.intel.com/scripts-df/Detail_Desc.asp?agr=N&ProductID=884&DwnldID=7497

О, как раз собирался поискать у Интеля для своего нового сервера с 
SRCU42L тулзу для мониторинга райда.
srcd, похоже как раз то что нужно, раскоментировал ему в конфиге строчку 
чтоб он слал почту когда случиться какой-нибудь event. Так вот мне 
теперь интересно какой бы такой event (не деструктивный) мне сделать для 
проверки, учитывая что сервер уже работает :)


-- 
С уважением,
Андрей Лаптев

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

On Fri, 14 Jan 2005, Dmitry Lebkov wrote:

>
> Что-то какая-то мистика, судя по описанию. У меня таких железок штуки
> 4 или 5. И не разу не сталкивался с вышеописанными проблемами. Массивы
> _всегда_ сами перестраивались после подключения нового диска взамен
> "вставшего" или автоматом начинали использовать HotFix диск (если таковой
> присутствовал %), не зависимо от используемой FS.


У меня таких железок 2 - проверено на обоих.

Давайте определимся какие именно ФС у вас используются (и в частности
куда подмонтированы разделы с ними - так например есть _разница_ в данном
слечае между /var и /boot). Кстати, что за ОС используется (версия)?

Я надеюсь вы не претендуете на абсолютную истину?

> Да, прошивка 2.34.09-R05C.
>

у меня 2.42.00-RC72.

-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

On Fri, 14 Jan 2005, Laptev Andrei wrote:

> > ALM24. На сайте Intel были взяты бинарники скомпилиррованные под RedHat
> > (srcd и storcon) обеспечивающие всяческий мониторинг raid вплоть до снятия
> > данных по snmp и отправке сообщений о почте. Без всяких правок и проблем
> > устанавливаются под ALM24.
> > url: http://downloadfinder.intel.com/scripts-df/Detail_Desc.asp?agr=N&ProductID=884&DwnldID=7497
>
> О, как раз собирался поискать у Интеля для своего нового сервера с
> SRCU42L тулзу для мониторинга райда.
> srcd, похоже как раз то что нужно, раскоментировал ему в конфиге строчку
> чтоб он слал почту когда случиться какой-нибудь event. Так вот мне
> теперь интересно какой бы такой event (не деструктивный) мне сделать для
> проверки, учитывая что сервер уже работает :)
>

Вытащить один из дисков "по горячему"?


-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Dmitry Lebkov]

Serg Rychka wrote:
> On Fri, 14 Jan 2005, Dmitry Lebkov wrote:
> 
> 
>>Что-то какая-то мистика, судя по описанию. У меня таких железок штуки
>>4 или 5. И не разу не сталкивался с вышеописанными проблемами. Массивы
>>_всегда_ сами перестраивались после подключения нового диска взамен
>>"вставшего" или автоматом начинали использовать HotFix диск (если таковой
>>присутствовал %), не зависимо от используемой FS.
> 
> 
> У меня таких железок 2 - проверено на обоих.
> 
> Давайте определимся какие именно ФС у вас используются (и в частности
> куда подмонтированы разделы с ними - так например есть _разница_ в данном
> слечае между /var и /boot). Кстати, что за ОС используется (версия)?

Из FS используются EXT2 и XFS. Подмонтированы обычно /var/(и ниже,
по потребности) и /opt. ОС - ALT Linux Sisyphus %) различной степени
свежести. Ядра 2.4.x-std-smp-alt. На одном из серверов даже живет
LVM+XFS.

HotSwap(и rebuild) тестировал под нагрузкой, создаваемой bonnie++,
а так же на стенде с рабочей MySQL-базой, в которую интенсивно
заливались данные (ip accounting).

> Я надеюсь вы не претендуете на абсолютную истину?
%))) Нет. Just my two cents,

> 
>>Да, прошивка 2.34.09-R05C.
>>
> у меня 2.42.00-RC72.

Мож что-где сломали эти интелы? Или температура карточек повышена?

/me до сих пор содрогается от одной мысли о повышении температуры в серверной
до 26 градусов и связанного с этим ГЛЮКОДРОМА c Intel iSCSI RAID-adapter'ом
(он на том же процессоре, что и остальные интеловые рэйды - i960 что-ли).
И вот уже 3 или 4 месяца всё работает как часы, при 22 градусах ... %) О том,
что будет летом, если не поставят вторую кондишку, стараюсь не думать ... %)

Кста, у меня везде подняты RAID-5. Может в этом причина?

--
WBR, Dmitry Lebkov

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Laptev Andrei]

Serg Rychka пишет:
> On Fri, 14 Jan 2005, Laptev Andrei wrote:
> 
> 
>>>ALM24. На сайте Intel были взяты бинарники скомпилиррованные под RedHat
>>>(srcd и storcon) обеспечивающие всяческий мониторинг raid вплоть до снятия
>>>данных по snmp и отправке сообщений о почте. Без всяких правок и проблем
>>>устанавливаются под ALM24.
>>>url: http://downloadfinder.intel.com/scripts-df/Detail_Desc.asp?agr=N&ProductID=884&DwnldID=7497
>>
>>О, как раз собирался поискать у Интеля для своего нового сервера с
>>SRCU42L тулзу для мониторинга райда.
>>srcd, похоже как раз то что нужно, раскоментировал ему в конфиге строчку
>>чтоб он слал почту когда случиться какой-нибудь event. Так вот мне
>>теперь интересно какой бы такой event (не деструктивный) мне сделать для
>>проверки, учитывая что сервер уже работает :)
>>
> 
> 
> Вытащить один из дисков "по горячему"?
> 
Забыл добавить, сервак не шибко крутой - корзины хотсвапной нет, винты 
просто подключены шлейфом к контроллеру.

-- 
С уважением,
Андрей Лаптев

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

On Sat, 15 Jan 2005, Dmitry Lebkov wrote:

> Serg Rychka wrote:
> > On Fri, 14 Jan 2005, Dmitry Lebkov wrote:
> >
> >
> >>Что-то какая-то мистика, судя по описанию. У меня таких железок штуки
> >>4 или 5. И не разу не сталкивался с вышеописанными проблемами. Массивы
> >>_всегда_ сами перестраивались после подключения нового диска взамен
> >>"вставшего" или автоматом начинали использовать HotFix диск (если таковой
> >>присутствовал %), не зависимо от используемой FS.
> >
> >
> > У меня таких железок 2 - проверено на обоих.
> >
> > Давайте определимся какие именно ФС у вас используются (и в частности
> > куда подмонтированы разделы с ними - так например есть _разница_ в данном
> > слечае между /var и /boot). Кстати, что за ОС используется (версия)?
>
> Из FS используются EXT2 и XFS. Подмонтированы обычно /var/(и ниже,
> по потребности) и /opt. ОС - ALT Linux Sisyphus %) различной степени
> свежести. Ядра 2.4.x-std-smp-alt. На одном из серверов даже живет
> LVM+XFS.
>
> HotSwap(и rebuild) тестировал под нагрузкой, создаваемой bonnie++,
> а так же на стенде с рабочей MySQL-базой, в которую интенсивно
> заливались данные (ip accounting).
>
> > Я надеюсь вы не претендуете на абсолютную истину?
> %))) Нет. Just my two cents,
>
> >
> >>Да, прошивка 2.34.09-R05C.
> >>
> > у меня 2.42.00-RC72.
>
> Мож что-где сломали эти интелы? Или температура карточек повышена?

Нет. С этим все в порядке

> /me до сих пор содрогается от одной мысли о повышении температуры в серверной
> до 26 градусов и связанного с этим ГЛЮКОДРОМА c Intel iSCSI RAID-adapter'ом
> (он на том же процессоре, что и остальные интеловые рэйды - i960 что-ли).
> И вот уже 3 или 4 месяца всё работает как часы, при 22 градусах ... %) О том,
> что будет летом, если не поставят вторую кондишку, стараюсь не думать ... %)

Извечная проблема...

> Кста, у меня везде подняты RAID-5. Может в этом причина?
>

Если предположить что неполадки происходили именно в момент транзакции или
квитиррования данных и были частично связаны с особенностью произведения
данных действий в ext2 - то нет разницы относительно raid1 или raid5.

PS: Я думаю пора закончить этот тред, сделав вывод о том, что Intel SRCZCR
может по праву находиться в HCL ALTLinux.

-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua

Re: [Hardware] решение проблемы с hot-swap RAID Intel SRCZCR в ALM2.4

[Serg Rychka]

On Fri, 14 Jan 2005, Laptev Andrei wrote:

> >>О, как раз собирался поискать у Интеля для своего нового сервера с
> >>SRCU42L тулзу для мониторинга райда.
> >>srcd, похоже как раз то что нужно, раскоментировал ему в конфиге строчку
> >>чтоб он слал почту когда случиться какой-нибудь event. Так вот мне
> >>теперь интересно какой бы такой event (не деструктивный) мне сделать для
> >>проверки, учитывая что сервер уже работает :)
> >>
> >
> >
> > Вытащить один из дисков "по горячему"?
> >
> Забыл добавить, сервак не шибко крутой - корзины хотсвапной нет, винты
> просто подключены шлейфом к контроллеру.
>

Можно попробовать программно с помощью storcon выключить один из дисков из
массива, а потом оттуда-же сделать rebuild.


-----
  С наилучшими пожеланиями,
                    _ _
  Сергей Рычка       |	  ДонНТУ, Системный/сетевой администратор
  [ RSV0-UANIC ]    _|_   тел. +38 062 3355701, e-mail: rsv@donntu.edu.ua