[Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

 Мое почтение,

А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на 4.0/branch?

У нас пока что (1-й день экспериментов) получилась ситуация, описанная
по ссылке:
http://www.gossamer-threads.com/lists/drbd/users/15900

- само drbd устройство создается без проблем
- файловая система создается также нормально
- попытка монтирования ФС обламывается с "I/O error on channel while
trying to join the group"

Система: 4.0/branch i586
kernel-image-ovz-smp-2.6.18-alt26.M40.2
kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
ocfs2-tools 1.4.1

Или у нас нынче что-нибудь альтернативное рекомендуется?

Заранее спасибо! :)

--
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Led]

On Friday 04 September 2009 19:40:35 Michael Bochkaryov wrote:
>  Мое почтение,
>
> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на
> 4.0/branch?
>
> У нас пока что (1-й день экспериментов) получилась ситуация, описанная
> по ссылке:
> http://www.gossamer-threads.com/lists/drbd/users/15900
>
> - само drbd устройство создается без проблем
> - файловая система создается также нормально
> - попытка монтирования ФС обламывается с "I/O error on channel while
> trying to join the group"
>
> Система: 4.0/branch i586
> kernel-image-ovz-smp-2.6.18-alt26.M40.2
> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
> ocfs2-tools 1.4.1
>
> Или у нас нынче что-нибудь альтернативное рекомендуется?
>
> Заранее спасибо! :)

СтОит ли вообще пробовать ocfs2 на такой древности? AFAIK самый 
живой/продвинутый ocfs2 - у SuSe (2.6.27 + ОЧЕНЬ много исправлений и 
дополнений)


-- 
Led

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Konstantin Pavlov]

[-- Attachment #1: Type: text/plain, Size: 1156 bytes --]

On Fri, Sep 04, 2009 at 07:40:35PM +0300, Michael Bochkaryov wrote:
>  Мое почтение,
> 
> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на 4.0/branch?
> 
> У нас пока что (1-й день экспериментов) получилась ситуация, описанная
> по ссылке:
> http://www.gossamer-threads.com/lists/drbd/users/15900
> 
> - само drbd устройство создается без проблем
> - файловая система создается также нормально
> - попытка монтирования ФС обламывается с "I/O error on channel while
> trying to join the group"
> 
> Система: 4.0/branch i586
> kernel-image-ovz-smp-2.6.18-alt26.M40.2
> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
> ocfs2-tools 1.4.1
> 
> Или у нас нынче что-нибудь альтернативное рекомендуется?
> 
> Заранее спасибо! :)

ext2fs поверх drbd8 работает на этих ядрах на 4х инсталляциях.

-- 
<lioka> raorn: собрал xemacs с nas :)
<Voins> lioka, а зачему xemacs'у nas??????
<lioka> Voins: пищщать красиво через сетку :)
<Voins> .... у меня нет слов :)
<lioka> Voins: ну, подумаешь, либку за собой вытащит -- пишшать-то никто не
        заставляет
<Voins> :)))))) а текст в нём набрать можно??? :))))

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

4 сентября 2009 г. 19:46 пользователь Led  написал:
> On Friday 04 September 2009 19:40:35 Michael Bochkaryov wrote:
>>  Мое почтение,
>>
>> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на
>> 4.0/branch?
>>
>> У нас пока что (1-й день экспериментов) получилась ситуация, описанная
>> по ссылке:
>> http://www.gossamer-threads.com/lists/drbd/users/15900
>>
>> - само drbd устройство создается без проблем
>> - файловая система создается также нормально
>> - попытка монтирования ФС обламывается с "I/O error on channel while
>> trying to join the group"
>>
>> Система: 4.0/branch i586
>> kernel-image-ovz-smp-2.6.18-alt26.M40.2
>> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
>> ocfs2-tools 1.4.1
>>
>> Или у нас нынче что-нибудь альтернативное рекомендуется?
>>
>> Заранее спасибо! :)
>
> СтОит ли вообще пробовать ocfs2 на такой древности?

Да не хочется без особых оснований переезжать со стабильной платформы.
Тем паче, что тут OpenVZ, drbd8 и zaptel/dahdi хорошо отлажены.

> AFAIK самый живой/продвинутый ocfs2 - у SuSe
> (2.6.27 + ОЧЕНЬ много исправлений и дополнений)

Думаешь, стоит переехать на ovz-smp 2.6.27 и дотащить туда ocfs2 от SuSe?


-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

5 сентября 2009 г. 0:26 пользователь Konstantin Pavlov написал:
> On Fri, Sep 04, 2009 at 07:40:35PM +0300, Michael Bochkaryov wrote:

>> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на 4.0/branch?

[skip]

>> kernel-image-ovz-smp-2.6.18-alt26.M40.2
>> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
>> ocfs2-tools 1.4.1
>>
>> Или у нас нынче что-нибудь альтернативное рекомендуется?
>>
>> Заранее спасибо! :)
>
> ext2fs поверх drbd8 работает на этих ядрах на 4х инсталляциях.

А разве ext2 на drbd8 можно  в режиме primary/primary использовать?

Собственно, меня интересует связка drbd8 + (some shared fs) + openvz +
heartbeat.
Хотелось бы не только fail over обеспечить, но и распределение
нагрузки между нодами.

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Eugene Prokopiev]

> Собственно, меня интересует связка drbd8 + (some shared fs) + openvz +
> heartbeat.
> Хотелось бы не только fail over обеспечить, но и распределение
> нагрузки между нодами.

Если я не ошибаюсь, то помимо (some shared fs) эту задачу можно решить
также путем выделения отдельного drbd-устройства на новом томе lvm для
каждого VE - тогда и обычные файловые системы сгодятся, тем более, что
оверхед у них, наверное, поменьше будет ;)

Вопрос, правда, в том, возможно ли создание/удаление drbd-устройств
без временной остановки других drbd-устройств - кажется невозможно :(

Да, а heartbeat у нас жив еще? И он умеет распределять нагрузку для
OpenVZ? Год назад мы с peet@ начинали городить что-то подобное на
connexion, да бросили на полпути :(

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

5 сентября 2009 г. 13:15 пользователь Eugene Prokopiev
(enp@altlinux.org) написал:
>> Собственно, меня интересует связка drbd8 + (some shared fs) + openvz +
>> heartbeat.
>> Хотелось бы не только fail over обеспечить, но и распределение
>> нагрузки между нодами.
>
> Если я не ошибаюсь, то помимо (some shared fs) эту задачу можно решить
> также путем выделения отдельного drbd-устройства на новом томе lvm для
> каждого VE - тогда и обычные файловые системы сгодятся, тем более, что
> оверхед у них, наверное, поменьше будет ;)

Этот вариант я пока решил оставить на случай, если с shared fs не выйдет.

> Вопрос, правда, в том, возможно ли создание/удаление drbd-устройств
> без временной остановки других drbd-устройств - кажется невозможно :(

Пока что в качестве временного решения получается держать два drbd-устройства.
На каждом лежат данные VE для своей ноды, но как-то оно кривовато.

> Да, а heartbeat у нас жив еще? И он умеет распределять нагрузку для
> OpenVZ? Год назад мы с peet@ начинали городить что-то подобное на
> connexion, да бросили на полпути :(

- Робот класса Буратино не умеет нырять.
- Не умеет... но ныряет!
(с) Гоблин

В общем, сам heartbeat мы завели более-менее сносно.
Хотя, не без граблей, таких как сломанная интеграция с drbd8-tools.

Распределять ресурсы по нодам он вроде умеет, если верить документации.
Правда для этого надо покопать его crm, на что времени пока не нашел.

Еще сейчас поглядываю в сторону Pacemaker
http://clusterlabs.org/wiki/Pacemaker

Но ресурсов у меня маловато и приходится этого мамонта по частям кушать :)

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Led]

On Saturday, 05 September 2009 12:44:54 you wrote:
> 4 сентября 2009 г. 19:46 пользователь Led  написал:
> > On Friday 04 September 2009 19:40:35 Michael Bochkaryov wrote:
> >>  Мое почтение,
> >>
> >> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на
> >> 4.0/branch?
> >>
> >> У нас пока что (1-й день экспериментов) получилась ситуация, описанная
> >> по ссылке:
> >> http://www.gossamer-threads.com/lists/drbd/users/15900
> >>
> >> - само drbd устройство создается без проблем
> >> - файловая система создается также нормально
> >> - попытка монтирования ФС обламывается с "I/O error on channel while
> >> trying to join the group"
> >>
> >> Система: 4.0/branch i586
> >> kernel-image-ovz-smp-2.6.18-alt26.M40.2
> >> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
> >> ocfs2-tools 1.4.1
> >>
> >> Или у нас нынче что-нибудь альтернативное рекомендуется?
> >>
> >> Заранее спасибо! :)
> >
> > СтОит ли вообще пробовать ocfs2 на такой древности?
>
> Да не хочется без особых оснований переезжать со стабильной платформы.
> Тем паче, что тут OpenVZ, drbd8 и zaptel/dahdi хорошо отлажены.
>
> > AFAIK самый живой/продвинутый ocfs2 - у SuSe
> > (2.6.27 + ОЧЕНЬ много исправлений и дополнений)
>
> Думаешь, стоит переехать на ovz-smp 2.6.27 и дотащить туда ocfs2 от SuSe?

Не знаю. Потому как у меня сложившееся мнение про ovz: "Пациент скорее мёртв, 
чем жив".

-- 
Led

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

5 сентября 2009 г. 15:14 пользователь Led  написал:
> On Saturday, 05 September 2009 12:44:54 you wrote:

>> > AFAIK самый живой/продвинутый ocfs2 - у SuSe
>> > (2.6.27 + ОЧЕНЬ много исправлений и дополнений)
>>
>> Думаешь, стоит переехать на ovz-smp 2.6.27 и дотащить туда ocfs2 от SuSe?
>
> Не знаю. Потому как у меня сложившееся мнение про ovz: "Пациент скорее мёртв,
> чем жив".

А что у нас есть в качестве адекватной альтернативы?

-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Led]

On Saturday, 05 September 2009 15:49:53 you wrote:
> 5 сентября 2009 г. 15:14 пользователь Led  написал:
> > On Saturday, 05 September 2009 12:44:54 you wrote:
> >> > AFAIK самый живой/продвинутый ocfs2 - у SuSe
> >> > (2.6.27 + ОЧЕНЬ много исправлений и дополнений)
> >>
> >> Думаешь, стоит переехать на ovz-smp 2.6.27 и дотащить туда ocfs2 от
> >> SuSe?
> >
> > Не знаю. Потому как у меня сложившееся мнение про ovz: "Пациент скорее
> > мёртв, чем жив".
>
> А что у нас есть в качестве адекватной альтернативы?

Боюсь, что ничего. Но мы ориентируемся на LXC

-- 
Led

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Eugene Ostapets]

2009/9/5 Led <ledest gmail.com>:
> On Saturday, 05 September 2009 15:49:53 you wrote:
>> 5 сентября 2009 г. 15:14 пользователь Led  написал:
>> > On Saturday, 05 September 2009 12:44:54 you wrote:
>> >> > AFAIK самый живой/продвинутый ocfs2 - у SuSe
>> >> > (2.6.27 + ОЧЕНЬ много исправлений и дополнений)
>> >>
>> >> Думаешь, стоит переехать на ovz-smp 2.6.27 и дотащить туда ocfs2 от
>> >> SuSe?
>> >
>> > Не знаю. Потому как у меня сложившееся мнение про ovz: "Пациент скорее
>> > мёртв, чем жив".
>>
>> А что у нас есть в качестве адекватной альтернативы?
>
> Боюсь, что ничего. Но мы ориентируемся на LXC
Оно хоть и жалкое подобие левой руки, но хотя бы в ванильном ядре и
развивается... :)


-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael Bochkaryov]

5 сентября 2009 г. 16:58 пользователь Eugene Ostapets написал:
> 2009/9/5 Led <ledest gmail.com>:
>>
>> Боюсь, что ничего. Но мы ориентируемся на LXC
> Оно хоть и жалкое подобие левой руки, но хотя бы в ванильном ядре и
> развивается... :)

Женя, если смотреть решение на будущее, то варианты таки есть.
Вот только меня сейчас интересует уже отлаженный инструмент.
Оттуда и 2.6.18, и drbd с ovz - грабли протоптаны и на карте размечены :-)

А вот с shared fs может и облом получиться (в краткосрочной перспективе).


-- 
Regards,
Michael Bochkaryov
www.rattler.kiev.ua

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Konstantin Pavlov]

[-- Attachment #1: Type: text/plain, Size: 1300 bytes --]

On Sat, Sep 05, 2009 at 12:55:16PM +0300, Michael Bochkaryov wrote:
> 5 сентября 2009 г. 0:26 пользователь Konstantin Pavlov написал:
> > On Fri, Sep 04, 2009 at 07:40:35PM +0300, Michael Bochkaryov wrote:
> 
> >> А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на 4.0/branch?
> 
> [skip]
> 
> >> kernel-image-ovz-smp-2.6.18-alt26.M40.2
> >> kernel-modules-drbd8-ovz-smp-8.2.6-alt1.132626.26.M40.2
> >> ocfs2-tools 1.4.1
> >>
> >> Или у нас нынче что-нибудь альтернативное рекомендуется?
> >>
> >> Заранее спасибо! :)
> >
> > ext2fs поверх drbd8 работает на этих ядрах на 4х инсталляциях.
> 
> А разве ext2 на drbd8 можно  в режиме primary/primary использовать?

Мы не пробовали, но наверняка нельзя, это ж не кластерная ФС.

> Собственно, меня интересует связка drbd8 + (some shared fs) + openvz +
> heartbeat.
> Хотелось бы не только fail over обеспечить, но и распределение
> нагрузки между нодами.

А где на нашей wiki про успешную реализацию этой идеи прочитать? ;)

-- 
> Честно говорят, SS2 меня разочаровал уже.  Засыпает карта, толи
> от перегрева, толи черт его знает от чего :( Все говорили, что
> гадость редкостная, но я не верил :) ISP рекомендует SS3 некий.
Скорее всего это будет затяжное порно с компьютером :(.
		-- slava in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Michael A. Kangin]

On Четверг 10 сентября 2009 10:22:41 Michael Bochkaryov wrote:

> Чтобы это было документацией, а не научной фантастикой, надо сперва
> получить упомянутую успешную реализацию. Кстати, от shared fs меня
> вчера знакомый кластерный гуру успел отговорить, мотивируя резкой
> просадкой производительности и избыточным гемороем.
>
> Так что пока будем пилить вариант с монтированием отдельных томов
> на каждую VE и перемонтированием при онлайн-миграции.

Т.е., shared fs нужна только для одновременной работы двух узлов кластера?

-- 
WBR, Michael A. Kangin

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Eugene Prokopiev]

10 сентября 2009 г. 10:22 пользователь Michael Bochkaryov
(misha@rattler.kiev.ua) написал:
>
> 9 сентября 2009 г. 23:31 пользователь Konstantin Pavlov <thresh@altlinux.ru>
> написал:
>>
>> > > ext2fs поверх drbd8 работает на этих ядрах на 4х инсталляциях.
>> >
>> > А разве ext2 на drbd8 можно  в режиме primary/primary использовать?
>>
>> Мы не пробовали, но наверняка нельзя, это ж не кластерная ФС.
>>
> Есть вариант с отдельными drbd-устройствами на каждый контейнер ovz.
> И в процессе онлайн-миграции перемонтируем девайс на другой HN.
> ФС в этом случае рояли не играет :)

Что делать при необходимости создания нового VE ты уже решил? ;)

>> > Собственно, меня интересует связка drbd8 + (some shared fs) + openvz +
>> > heartbeat.
>> > Хотелось бы не только fail over обеспечить, но и распределение
>> > нагрузки между нодами.
>>
>> А где на нашей wiki про успешную реализацию этой идеи прочитать? ;)
>
> Чтобы это было документацией, а не научной фантастикой, надо сперва
> получить упомянутую успешную реализацию. Кстати, от shared fs меня
> вчера знакомый кластерный гуру успел отговорить, мотивируя резкой
> просадкой производительности и избыточным гемороем.
>
> Так что пока будем пилить вариант с монтированием отдельных томов
> на каждую VE и перемонтированием при онлайн-миграции.

Вот тут интересен для начала алгоритм распределения нагрузки. Средства
реализации тоже интересны, и я бы сильно подумал, стоит ли доверять
это heartbeat - впрочем, говорят, что прямого кластерного софта в
природе не бывает ;)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] DRBD8 + OCFS2 на ALT 4.0

[Led]

On Tuesday, 08 September 2009 13:23:35 you wrote:
> Привет!
>
> 4 сентября 2009 г. 19:46 пользователь Led написал:
> > On Friday 04 September 2009 19:40:35 Michael Bochkaryov wrote:
> > > А не пробовал ли кто успешно использовать связку drbd8 + ocfs2 на
> > > 4.0/branch?
> >
> > [skip]
> >
> >
> > СтОит ли вообще пробовать ocfs2 на такой древности? AFAIK самый
> > живой/продвинутый ocfs2 - у SuSe (2.6.27 + ОЧЕНЬ много исправлений и
> > дополнений)
>
> В общем, результаты наших экспериментов пока не впечатлили.
>
> ocfs2 из нашего ovz-smp (2.6.27) начал делать вид, что работает поверх
> drbd8 в primary/primary, но стабильностью не отличается. Input/output error
> вылезают настолько регулярно, что в продакшен его даже близко ставить
> нельзя.
>
> Посмотрел на список патчей SuSe к ocfs2 размером в два экрана, впечатлился.
> Но тянуть причесывание ocfs2 у нас я пока не рискну, здоровья не хватит.

Вот здесь
http://git.altlinux.org/people/led/packages/?p=kernel-image-2.6.27-tmc.git;a=shortlog;h=refs/heads/kernel-image-tmc-ovz
попытка скрестить openvz c ocfs2 от SuSe

> Интересно, у нас какая-нибудь shared fs в живом состоянии имеется?



-- 
Led