[Sysadmins] Oтказоустойчивость и распределение нагрузки

[Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

Здравствуйте!

Насколько я понял из http://www.linux-ha.org/, предполагается, что 
кластер состоит из основного сервера, на котором в штатном режиме 
работают все сервисы, и резервного, который отдыхает либо до смерти 
основного, либо до собственной ;)

Возможна ли другая логика: сервисы более или менее равномерно 
распределены по нескольким узлам (возможно, более, чем по 2м), а в 
случае смерти одного из узлов перераспределяются по оставшимся?

С помощью каких инструментов можно было бы это реализовать, возможно ли 
это вообще? Особенно привлекательной такая возможность была бы для 
OpenVZ VPS, или возможна только ручная миграция VPS?

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Igor Zubkov]

[-- Attachment #1: Type: text/plain, Size: 815 bytes --]

В сообщении от 11 августа 2006 06:19 Eugene Prokopiev написал(a):
> Здравствуйте!
>
> Насколько я понял из http://www.linux-ha.org/, предполагается, что
> кластер состоит из основного сервера, на котором в штатном режиме
> работают все сервисы, и резервного, который отдыхает либо до смерти
> основного, либо до собственной ;)
>
> Возможна ли другая логика: сервисы более или менее равномерно
> распределены по нескольким узлам (возможно, более, чем по 2м), а в
> случае смерти одного из узлов перераспределяются по оставшимся?
>
> С помощью каких инструментов можно было бы это реализовать, возможно ли
> это вообще? Особенно привлекательной такая возможность была бы для
> OpenVZ VPS, или возможна только ручная миграция VPS?

http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat

-- 
Slipknot - Prosthetics

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

Igor Zubkov пишет:
> В сообщении от 11 августа 2006 06:19 Eugene Prokopiev написал(a):
> 
>>Здравствуйте!
>>
>>Насколько я понял из http://www.linux-ha.org/, предполагается, что
>>кластер состоит из основного сервера, на котором в штатном режиме
>>работают все сервисы, и резервного, который отдыхает либо до смерти
>>основного, либо до собственной ;)
>>
>>Возможна ли другая логика: сервисы более или менее равномерно
>>распределены по нескольким узлам (возможно, более, чем по 2м), а в
>>случае смерти одного из узлов перераспределяются по оставшимся?
>>
>>С помощью каких инструментов можно было бы это реализовать, возможно ли
>>это вообще? Особенно привлекательной такая возможность была бы для
>>OpenVZ VPS, или возможна только ручная миграция VPS?
> 
> 
> http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat

это я читал. И понял, что OpenVZ (и все VPS) будет жить либо на основном 
сервере, либо на резервном, а мне хочется распределения по узлам.

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Konstantin A. Lepikhov]

Hi Eugene!

Friday 11, at 02:21:18 PM you wrote:

> Igor Zubkov пишет:
> > В сообщении от 11 августа 2006 06:19 Eugene Prokopiev написал(a):
> > 
> >>Здравствуйте!
> >>
> >>Насколько я понял из http://www.linux-ha.org/, предполагается, что
> >>кластер состоит из основного сервера, на котором в штатном режиме
> >>работают все сервисы, и резервного, который отдыхает либо до смерти
> >>основного, либо до собственной ;)
> >>
> >>Возможна ли другая логика: сервисы более или менее равномерно
> >>распределены по нескольким узлам (возможно, более, чем по 2м), а в
> >>случае смерти одного из узлов перераспределяются по оставшимся?
> >>
> >>С помощью каких инструментов можно было бы это реализовать, возможно ли
> >>это вообще? Особенно привлекательной такая возможность была бы для
> >>OpenVZ VPS, или возможна только ручная миграция VPS?
> > 
> > 
> > http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat
> 
> это я читал. И понял, что OpenVZ (и все VPS) будет жить либо на основном 
> сервере, либо на резервном, а мне хочется распределения по узлам.
можно проверить как ovz будут жить на распределенной fs (ocfs2/gfs/drbd8).

-- 
WBR et al.

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

>>>http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat
>>
>>это я читал. И понял, что OpenVZ (и все VPS) будет жить либо на основном 
>>сервере, либо на резервном, а мне хочется распределения по узлам.
> 
> можно проверить как ovz будут жить на распределенной fs (ocfs2/gfs/drbd8).

drbd, насколько я понимаю, тоже можно сделать распределенной с помощью 
nfs ;)

проблема скорее в heartbeat. Можно ли его как-нибудь заставить в штатном 
режиме распределять сервисы по узлам (пусть по 2м), а при сбое собирать 
их все на оставшемся в живых? Правда, нас интересует только один сервис 
- OpenVZ, может в нем что-то есть для этого?

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Konstantin A. Lepikhov]

Hi Eugene!

Friday 11, at 08:17:19 PM you wrote:

> >>>http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat
> >>
> >>это я читал. И понял, что OpenVZ (и все VPS) будет жить либо на основном 
> >>сервере, либо на резервном, а мне хочется распределения по узлам.
> > 
> > можно проверить как ovz будут жить на распределенной fs (ocfs2/gfs/drbd8).
> 
> drbd, насколько я понимаю, тоже можно сделать распределенной с помощью 
> nfs ;)
как вы это сделаете на 2х нодах, одна из которых работает только на
чтение? Распределенным drbd стал только с версии 0.8

> 
> проблема скорее в heartbeat. Можно ли его как-нибудь заставить в штатном 
> режиме распределять сервисы по узлам (пусть по 2м), а при сбое собирать 
> их все на оставшемся в живых? Правда, нас интересует только один сервис 
> - OpenVZ, может в нем что-то есть для этого?
скорее, это работа не для heartbeat, а для pvm.

-- 
WBR et al.

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

Konstantin A. Lepikhov пишет:
> Hi Eugene!
> 
> Friday 11, at 08:17:19 PM you wrote:
> 
> 
>>>>>http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat
>>>>
>>>>это я читал. И понял, что OpenVZ (и все VPS) будет жить либо на основном 
>>>>сервере, либо на резервном, а мне хочется распределения по узлам.
>>>
>>>можно проверить как ovz будут жить на распределенной fs (ocfs2/gfs/drbd8).
>>
>>drbd, насколько я понимаю, тоже можно сделать распределенной с помощью 
>>nfs ;)
> 
> как вы это сделаете на 2х нодах, одна из которых работает только на
> чтение? Распределенным drbd стал только с версии 0.8

Это как? Одна нода работает на чтение и запись, для другой в это время 
устройство недоступно даже на чтение. Соответственно, экспортируем 
содержимое первой ноды и монтируем на второй - я не вижу никаких 
теоретических препятствий, вопрос только в эффективности этого решения, 
но никак не работоспособности

>>проблема скорее в heartbeat. Можно ли его как-нибудь заставить в штатном 
>>режиме распределять сервисы по узлам (пусть по 2м), а при сбое собирать 
>>их все на оставшемся в живых? Правда, нас интересует только один сервис 
>>- OpenVZ, может в нем что-то есть для этого?
> 
> скорее, это работа не для heartbeat, а для pvm.

вы об этом http://www.csm.ornl.gov/pvm/?

если я правильно понял, то это в первую очередь библиотека, которую 
должны были бы использовать разработчики OpenVZ (но использовали ли?) 
для распределения VPS.

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

> Правда, нас интересует только один сервис 
> - OpenVZ, может в нем что-то есть для этого?

Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
(Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(

В википедии пишут, что этот чекпоинтинг должен быть выполнен 
принудительно, а поскольку во время внезапной смерти узла ничего 
принудительно выполнить нельзя, то соответственно и автоматическую 
миграцию VPS с умершей ноды на живую сделать тоже нельзя?

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Konstantin A. Lepikhov]

Hi Eugene!

Friday 11, at 10:58:36 PM you wrote:

<skip>
> > как вы это сделаете на 2х нодах, одна из которых работает только на
> > чтение? Распределенным drbd стал только с версии 0.8
> 
> Это как? Одна нода работает на чтение и запись, для другой в это время 
> устройство недоступно даже на чтение. Соответственно, экспортируем 
> содержимое первой ноды и монтируем на второй - я не вижу никаких 
> теоретических препятствий, вопрос только в эффективности этого решения, 
> но никак не работоспособности
это решение будет нерабочим: не будет транзакционности, блокировок и
самого ha (поскольку что случится, если nfs отвалится?). Т.е. возможно
работать это и будет, только смысл в такой работе нулевой - гораздо проще
в этом случае поднять raid0 поверх aoe и забыть о high availability.

> 
> >>проблема скорее в heartbeat. Можно ли его как-нибудь заставить в штатном 
> >>режиме распределять сервисы по узлам (пусть по 2м), а при сбое собирать 
> >>их все на оставшемся в живых? Правда, нас интересует только один сервис 
> >>- OpenVZ, может в нем что-то есть для этого?
> > 
> > скорее, это работа не для heartbeat, а для pvm.
> 
> вы об этом http://www.csm.ornl.gov/pvm/?
> 
> если я правильно понял, то это в первую очередь библиотека, которую 
> должны были бы использовать разработчики OpenVZ (но использовали ли?) 
> для распределения VPS.
я этого не знаю.

-- 
WBR et al.

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Michael Shigorin]

On Fri, Aug 11, 2006 at 11:28:38PM +0400, Eugene Prokopiev wrote:
> Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
> http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
> (Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(
> 
> В википедии пишут, что этот чекпоинтинг должен быть выполнен 
> принудительно, а поскольку во время внезапной смерти узла ничего 
> принудительно выполнить нельзя, то соответственно и автоматическую 
> миграцию VPS с умершей ноды на живую сделать тоже нельзя?

Знаю ещё про chpox (проект есть на freshmeat.net).  Каким боком
может (или нет) прикрутиться сюда -- не знаю.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 774 bytes --]

Hi Eugene!

Friday 11, at 11:28:38 PM you wrote:

> > Правда, нас интересует только один сервис 
> > - OpenVZ, может в нем что-то есть для этого?
> 
> Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
> http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
> (Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(
> 
> В википедии пишут, что этот чекпоинтинг должен быть выполнен 
> принудительно, а поскольку во время внезапной смерти узла ничего 
> принудительно выполнить нельзя, то соответственно и автоматическую 
> миграцию VPS с умершей ноды на живую сделать тоже нельзя?
если ноды живут на drbd, то можно. Checkpointing был сделан для быстрой
миграции на другое железо, а не как средство спасения на водах.

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 421 bytes --]

Eugene Prokopiev пишет:
>> Правда, нас интересует только один сервис 
>> - OpenVZ, может в нем что-то есть для этого?
>>     
> Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
> http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
> (Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(
>   
Он устарел. Об этом кратко написано в man vzctl

-- 
С уважением,
Дубровский Вячеслав.


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3237 bytes --]

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

Slava Dubrovskiy пишет:
> Eugene Prokopiev пишет:
> 
>>>Правда, нас интересует только один сервис 
>>>- OpenVZ, может в нем что-то есть для этого?
>>>    
>>
>>Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
>>http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
>>(Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(
>>  
> 
> Он устарел. Об этом кратко написано в man vzctl

а новой документации нет? может и еще чего устарело/появилось, а узнать 
неоткуда :(

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] Oтказоустойчивость и распределение нагрузки

[Eugene Prokopiev]

Konstantin A. Lepikhov пишет:
> Hi Eugene!
> 
> Friday 11, at 11:28:38 PM you wrote:
> 
> 
>>>Правда, нас интересует только один сервис 
>>>- OpenVZ, может в нем что-то есть для этого?
>>
>>Здесь http://ru.wikipedia.org/wiki/OpenVZ и здесь 
>>http://en.wikipedia.org/wiki/OpenVZ упоминается термин Чекпоинтинг 
>>(Checkpointing), но в OpenVZ-Users-Guide.pdf я его не нашел :(
>>
>>В википедии пишут, что этот чекпоинтинг должен быть выполнен 
>>принудительно, а поскольку во время внезапной смерти узла ничего 
>>принудительно выполнить нельзя, то соответственно и автоматическую 
>>миграцию VPS с умершей ноды на живую сделать тоже нельзя?
> 
> если ноды живут на drbd, то можно. Checkpointing был сделан для быстрой
> миграции на другое железо, а не как средство спасения на водах.

Т.е. в теории все можно сделать средствами drbd/heartbeat?

Тогда чуть позже буду пробовать :)

Кстати, может это и глупый вопрос, но меня всегда интересовало, как 
теоретически можно без проблем мигрировать с одного узла на другой в при 
смерти первого? Данные ведь не только на ФС лежат, хотя даже в этом 
случае, если мы используем журнал ФС/СУБД, мы рискуем получить не 
повторное выполнение, а откат некоторых транзакций, которым не повезло. 
А кэшированные данные из ОЗУ/свопа, которые еще не попали на диск, мы 
теряем навсегда :(

-- 
С уважением, Прокопьев Евгений