[Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 2247 bytes --]

Здравствуйте.

У нас в конторе уже накопилось критическое количество серверов когда,
когда постоянно что-то ломается (диски, блоки питания, память). Т.к.
весь этот зоопарк приобретался в разное время, то модели серверов
разные. Но они продолжают использоваться и отказываться от них пока нет
возможности.
Но хочется выйти на другой уровень качества, когда остановка сервера не
приводит к остановке сервисов которые на нем.

На каждом сервере разное количество VPS,от 1 до 20. И отказываться от
виртуализации не хочется.
Решили сделать такую схему: создать файловое хранилище, на котором будет
находиться большой дисковый массив. Со всех одиночных серверов снять
диски и сделать их бездисковыми. Загружаться они должны по сети (так как
это сделано в LTSP), монтировать корень по NFS, но затем не конектиться
к X, а монтировать по iSCSI раздел с VPS и стартовать VPS.
Файловое хранилище с серверами будет соединено через внутреннюю
гигабитную сеть.

Тут у меня возникает множество вопросов.

1. В целом такая схема работоспособная или нет, т.к. не понятно, можно
ли загрузиться в ovz ядре с сети и смонтировать корень по NFS (пока это
не получается).
2. Возможно кто-то может порекомендовать другую схему?
3. Нужно ли будет пересобирать ядро?

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 3103 bytes --]

Slava Dubrovskiy <slava-caBWNg7LwhOlzlObeVyAOA@public.gmane.org> writes:

> Здравствуйте.
>
> У нас в конторе уже накопилось критическое количество серверов когда,
> когда постоянно что-то ломается (диски, блоки питания, память). Т.к.
> весь этот зоопарк приобретался в разное время, то модели серверов
> разные. Но они продолжают использоваться и отказываться от них пока нет
> возможности.
> Но хочется выйти на другой уровень качества, когда остановка сервера не
> приводит к остановке сервисов которые на нем.
>
> На каждом сервере разное количество VPS,от 1 до 20. И отказываться от
> виртуализации не хочется.
> Решили сделать такую схему: создать файловое хранилище, на котором будет
> находиться большой дисковый массив. Со всех одиночных серверов снять
> диски и сделать их бездисковыми. Загружаться они должны по сети (так как
> это сделано в LTSP), монтировать корень по NFS, но затем не конектиться
> к X, а монтировать по iSCSI раздел с VPS и стартовать VPS.
iSCSI не самый быстрый протокол...
> Файловое хранилище с серверами будет соединено через внутреннюю
> гигабитную сеть.
>
> Тут у меня возникает множество вопросов.
>
> 1. В целом такая схема работоспособная или нет, т.к. не понятно, можно
> ли загрузиться в ovz ядре с сети и смонтировать корень по NFS (пока это
> не получается).
Схема работоспособна.
> 2. Возможно кто-то может порекомендовать другую схему?
> 3. Нужно ли будет пересобирать ядро?
Нет, если руками собрать "правильный" initrd.

Вообще оно будет работат, но хреново... ибо iSCSI по обычному гигабиту
работать будет плохо. Я бы посоветовал что-то вроде IBM GPFS и раздавать
блочный девайс с этой FS. Впринципе тут даже парралельная FS не очень
нужна, так что если есть удобный менеджер блочных девайсов, то можно
даже и с ext3 наверное запустить.

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Michael A. Kangin]

On 23 января 2009 Slava Dubrovskiy wrote:

> У нас в конторе уже накопилось критическое количество серверов когда,
> когда постоянно что-то ломается (диски, блоки питания, память). Т.к.
> весь этот зоопарк приобретался в разное время, то модели серверов
> разные. Но они продолжают использоваться и отказываться от них пока нет
> возможности.
> Но хочется выйти на другой уровень качества, когда остановка сервера не
> приводит к остановке сервисов которые на нем.

Видел как-то статью на тему того, что все сервисы засунуты в VPS, а хостноды 
являли собой отказоустойчивый кластер с DRDB.

-- 
wbr, Michael A. Kangin

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Maks Re]

ну и не стоит забыть про производительность дискового хранилища
если на нем будет много образов от серверов.

-- 
С уважением,
  Макс.

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Di]

[-- Attachment #1: Type: text/plain, Size: 440 bytes --]

Michael A. Kangin пишет:
> On 23 января 2009 Slava Dubrovskiy wrote:
> Видел как-то статью на тему того, что все сервисы засунуты в VPS, а хостноды 
> являли собой отказоустойчивый кластер с DRDB.
> 

http://av5.com/journals-magazines-online/1/19/121
http://av5.com/?action=jns,oread,read_issue&articleid=736&issueid=20&poorwindow=1&print_button=1 


имхо, не совсем оно. Но если у Славы всё получится, то хотелось бы 
почитать про это =)


[-- Attachment #2: denyago.vcf --]
[-- Type: text/x-vcard, Size: 366 bytes --]

begin:vcard
fn:Denis Timurovich Yagofarov
n:Yagofarov;Denis Timurovich
org:ITGIS NASU
adr:room 615;;Chokolovski blvdr., 13;Kiev;;03151;Ukraine
email;internet:denyago@rambler.ru
title:system administrator
tel;work:80442480755
tel;pager:diyago@jabber.te.ua
tel;home:80442434512
tel;cell:80662933760
note:diyago@jabber.te.ua
x-mozilla-html:FALSE
version:2.1
end:vcard

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 561 bytes --]

Писарев Руслан <ruslanpisarev-Re5JQEeQqe8AvxtiuMwx3w@public.gmane.org>
writes:

> 22 января 2009 г. 23:47 пользователь Michael A. Kangin <mak@complife.ru>
> написал:
>
>
>     Видел как-то статью на тему того, что все сервисы засунуты в VPS, а
>     хостноды
>     являли собой отказоустойчивый кластер с DRDB.
>
> А можете вспомнить ее? :)
http://wiki.openvz.org/HA_cluster_with_DRBD_and_Heartbeat

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Eugene Prokopiev]

> > Видел как-то статью на тему того, что все сервисы засунуты в VPS, а
> хостноды являли собой отказоустойчивый кластер с DRDB.
> >
> >
>
>  http://av5.com/journals-magazines-online/1/19/121
> http://av5.com/?action=jns,oread,read_issue&articleid=736&issueid=20&poorwindow=1&print_button=1

ну тогда уж:

http://www.samag.ru/art/11.2006/11.2006_02.html
http://www.samag.ru/art/12.2006/12.2006_05.html

чуть более актуальная подборка тут - http://www.altlinux.org/High_Availability

>
>  имхо, не совсем оно. Но если у Славы всё получится, то хотелось бы почитать
> про это =)

да, переключения нагорячую, как я понял, не требуется

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1429 bytes --]

Eugene Prokopiev пишет:
>>> Видел как-то статью на тему того, что все сервисы засунуты в VPS, а
>>>       
>> хостноды являли собой отказоустойчивый кластер с DRDB.
>>     
>>>       
>>  http://av5.com/journals-magazines-online/1/19/121
>> http://av5.com/?action=jns,oread,read_issue&articleid=736&issueid=20&poorwindow=1&print_button=1
>>     
>
> ну тогда уж:
>
> http://www.samag.ru/art/11.2006/11.2006_02.html
> http://www.samag.ru/art/12.2006/12.2006_05.html
>
> чуть более актуальная подборка тут - http://www.altlinux.org/High_Availability
>
>   
>>  имхо, не совсем оно. Но если у Славы всё получится, то хотелось бы почитать
>> про это =)
>>     
Да, это не то. Ту статью я читал давно.
Если получится то обязательно опишу :)

> да, переключения нагорячую, как я понял, не требуется
>   
На горячую нет, а вот через suspend/resume хочется. Или во всяком случае
за счет того что перемещения VPS по дискам не потребуется, то downtime
будет не большой, что приемлемо.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 3916 bytes --]

Ivan Fedorov пишет:
>> Здравствуйте.
>>
>> У нас в конторе уже накопилось критическое количество серверов когда,
>> когда постоянно что-то ломается (диски, блоки питания, память). Т.к.
>> весь этот зоопарк приобретался в разное время, то модели серверов
>> разные. Но они продолжают использоваться и отказываться от них пока нет
>> возможности.
>> Но хочется выйти на другой уровень качества, когда остановка сервера не
>> приводит к остановке сервисов которые на нем.
>>
>> На каждом сервере разное количество VPS,от 1 до 20. И отказываться от
>> виртуализации не хочется.
>> Решили сделать такую схему: создать файловое хранилище, на котором будет
>> находиться большой дисковый массив. Со всех одиночных серверов снять
>> диски и сделать их бездисковыми. Загружаться они должны по сети (так как
>> это сделано в LTSP), монтировать корень по NFS, но затем не конектиться
>> к X, а монтировать по iSCSI раздел с VPS и стартовать VPS.
>>     
> iSCSI не самый быстрый протокол...
>   
А какие еще есть варианты?
>> Файловое хранилище с серверами будет соединено через внутреннюю
>> гигабитную сеть.
>>
>> Тут у меня возникает множество вопросов.
>>
>> 1. В целом такая схема работоспособная или нет, т.к. не понятно, можно
>> ли загрузиться в ovz ядре с сети и смонтировать корень по NFS (пока это
>> не получается).
>>     
> Схема работоспособна.
>   
>> 2. Возможно кто-то может порекомендовать другую схему?
>> 3. Нужно ли будет пересобирать ядро?
>>     
> Нет, если руками собрать "правильный" initrd.
>   
Это понятно :). Но вот смущает, что в ovz ядре:
# CONFIG_IP_PNP is not set
и нет CONFIG_ROOT_NFS
Может еще что-то не включено.
Пока я еще пытаюсь засунуть нужные модули в inatrd.
Доходит до попытки смонтировать корень и все.
Подскажите какие модули должны быть в имидже для монтирования корня по NFS?
> Вообще оно будет работат, но хреново... ибо iSCSI по обычному гигабиту
> работать будет плохо. Я бы посоветовал что-то вроде IBM GPFS и раздавать
> блочный девайс с этой FS. Впринципе тут даже парралельная FS не очень
> нужна, так что если есть удобный менеджер блочных девайсов, то можно
> даже и с ext3 наверное запустить.
>   
Спасибо, хоть какой-то опыт.
А что вы имеете ввиду под "удобным менеджером блочных девайсов" ?
Подскажите что еще можно использовать?

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 2258 bytes --]

Slava Dubrovskiy <slava-caBWNg7LwhOlzlObeVyAOA@public.gmane.org> writes:

>>> к X, а монтировать по iSCSI раздел с VPS и стартовать VPS.
>>>     
>> iSCSI не самый быстрый протокол...
>>   
> А какие еще есть варианты?
Ну по оптике можно раздавать разными протоколами... просто iSCSI
насколько я помню ходит по IP, а это весьма неслабый овехед на
заголовках пакетов!

>>> 2. Возможно кто-то может порекомендовать другую схему?
>>> 3. Нужно ли будет пересобирать ядро?
>>>     
>> Нет, если руками собрать "правильный" initrd.
>>   
> Это понятно :). Но вот смущает, что в ovz ядре:
> # CONFIG_IP_PNP is not set
> и нет CONFIG_ROOT_NFS
> Может еще что-то не включено.
> Пока я еще пытаюсь засунуть нужные модули в inatrd.
> Доходит до попытки смонтировать корень и все.
> Подскажите какие модули должны быть в имидже для монтирования корня по
> NFS?
:)
Вам надо положить в initrd модуль сетевухи. Руками его загрузить,
выполнить dhcpcd, потом смонтировать (командой mount) nfs-шару например
в каталог /nfsroot, а потом сделать туда кажется pivot_root. Хотя его
вроде во что-то нынче переименовали, но я уже не помню во что.

> А что вы имеете ввиду под "удобным менеджером блочных девайсов" ?
> Подскажите что еще можно использовать?

Понятия не имею существует ли что-то подобное вообще. У меня ни разу не
было необходимости создавать на хранилище более 4х разделов.

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 554 bytes --]

Slava Dubrovskiy <slava-caBWNg7LwhOlzlObeVyAOA@public.gmane.org> writes:

>> да, переключения нагорячую, как я понял, не требуется
>>   
> На горячую нет, а вот через suspend/resume хочется. Или во всяком случае
> за счет того что перемещения VPS по дискам не потребуется, то downtime
> будет не большой, что приемлемо.
Это вообще-то и есть "на горячую"... :)

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 676 bytes --]

Ivan Fedorov пишет:
>>> да, переключения нагорячую, как я понял, не требуется  
>>>       
>> На горячую нет, а вот через suspend/resume хочется. Или во всяком случае
>> за счет того что перемещения VPS по дискам не потребуется, то downtime
>> будет не большой, что приемлемо.
>>     
> Это вообще-то и есть "на горячую"... :)
>   
Ну типа не успевающее остыть :)
А на горячую это вот  http://xgu.ru/wiki/Kemari

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Michael A. Kangin]

On 23 января 2009 Ivan Fedorov wrote:

> Вам надо положить в initrd модуль сетевухи. Руками его загрузить,
> выполнить dhcpcd, потом смонтировать (командой mount) nfs-шару например
> в каталог /nfsroot, а потом сделать туда кажется pivot_root. Хотя его
> вроде во что-то нынче переименовали, но я уже не помню во что.

Может, распотрошить initrd из ALTSP?



-- 
wbr, Michael A. Kangin

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 931 bytes --]

Michael A. Kangin пишет:
>> Вам надо положить в initrd модуль сетевухи. Руками его загрузить,
>> выполнить dhcpcd, потом смонтировать (командой mount) nfs-шару например
>> в каталог /nfsroot, а потом сделать туда кажется pivot_root. Хотя его
>> вроде во что-то нынче переименовали, но я уже не помню во что.
>>     
> Может, распотрошить initrd из ALTSP?
>   
все проще.
Я взял за основу список модулей что используются в инсталяторе, почистил.
Перегенерировал с ним initrd. Все загружается и работает.
Вот проверяю сможет VPS запуститься или нет.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Led]

On Friday, 23 January 2009 10:10:02 Ivan Fedorov wrote:

> Вам надо положить в initrd модуль сетевухи. Руками его загрузить,
> выполнить dhcpcd, потом смонтировать (командой mount) nfs-шару например
> в каталог /nfsroot, а потом сделать туда кажется pivot_root. Хотя его
> вроде во что-то нынче переименовали, но я уже не помню во что.

Всё, кроме первого пункта, - "овэрхэд" похлеще iSCSI

-- 
Led

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 734 bytes --]

Led пишет:
>> Вам надо положить в initrd модуль сетевухи. Руками его загрузить,
>> выполнить dhcpcd, потом смонтировать (командой mount) nfs-шару например
>> в каталог /nfsroot, а потом сделать туда кажется pivot_root. Хотя его
>> вроде во что-то нынче переименовали, но я уже не помню во что.
>>     
> Всё, кроме первого пункта, - "овэрхэд" похлеще iSCSI
>   
Да, без всего этого обошлось. Достаточно модули положить нужные.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3262 bytes --]

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Alexander Volkov]

On 2009-01-23 11:10:02 +0300, Ivan Fedorov wrote:
  
IF> >> iSCSI не самый быстрый протокол...
IF> >>   
IF> > А какие еще есть варианты?
IF> Ну по оптике можно раздавать разными протоколами... просто iSCSI
IF> насколько я помню ходит по IP, а это весьма неслабый овехед на
IF> заголовках пакетов!
Ещё можно использовать ata-over-ethernet (aka aoe)
--
 Regards, Alexander

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Sergey]

On Friday 23 January 2009, Slava Dubrovskiy wrote:

> > iSCSI не самый быстрый протокол...
> >   
> А какие еще есть варианты?
 
iSCSI + 10Gb Ethernet или FC. Но FC, возможно, медленнее будет.
И дороже, скорее всего.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Иванов Дмитрий]

Не забудьте еще увелисть КЭШ для iSCSI гигов до 10-15 (тогда имеет смысл в
+10 Gb)
FC предел передачи данных 3 Гбит/с FC2 - актуальнее (НО ОЧЕНЬ ДОРОГО)

-----Original Message-----
From: sysadmins-bounces@lists.altlinux.org
[mailto:sysadmins-bounces@lists.altlinux.org] On Behalf Of Sergey
Sent: Tuesday, January 27, 2009 2:35 PM
To: ALT Linux sysadmin discuss
Subject: Re: [Sysadmins]бездисковый openvz сервер с загрузкой по сети

On Friday 23 January 2009, Slava Dubrovskiy wrote:

> > iSCSI не самый быстрый протокол...
> >   
> А какие еще есть варианты?
 
iSCSI + 10Gb Ethernet или FC. Но FC, возможно, медленнее будет.
И дороже, скорее всего.

--
С уважением, Сергей
a_s_y@sama.ru
_______________________________________________
Sysadmins mailing list
Sysadmins@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/sysadmins

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Maks Re]

> FC предел передачи данных 3 Гбит/с FC2 - актуальнее (НО ОЧЕНЬ ДОРОГО)

я не понял что вы хотели сказать,
но 3Г кажется никогда не было (в том смысле что я никогда не слышал о
такой технологии).  Было 2Г, потом 4Г для FC.
сейчас есть оборудование для FC 8Gbit/s
верно, что дорого... (но это для энтерпрайз, там ценники совсем другие)

-- 
С уважением,
  Макс.

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Maks Re]

> iSCSI + 10Gb Ethernet или FC. Но FC, возможно, медленнее будет.
> И дороже, скорее всего.

а вот про 10Г...
есть ли мнение/опыт как работает данное оборудование у "дешевых" производителей?
ну там dlink, zyxel, at, trendnet, planet etc....?
а то у этих вендоров оно не имеет космических ценников...


-- 
С уважением,
  Макс.

Re: [Sysadmins] бездисковый openvz сервер с загрузкой по сети

[Sergey]

On Tuesday 27 January 2009, Maks Re wrote:

> есть ли мнение/опыт как работает данное оборудование у
> "дешевых" производителей? 

К сожалению, нет. :-(

-- 
С уважением, Сергей
a_s_y@sama.ru