* [Sysadmins] Создание кластера
@ 2014-07-25 18:20 Шенцев Алексе владимирович
2014-07-25 20:13 ` Anton Farygin
` (2 more replies)
0 siblings, 3 replies; 26+ messages in thread
From: Шенцев Алексе владимирович @ 2014-07-25 18:20 UTC (permalink / raw)
To: sysadmins
Всем привет!
Планируется закупить несколько серверов.
Хотим создать кластер и запихнуть различные сервисы и сервера в
виртуальные контейнеры на кластеры.
Как создаётся кластер?
Что для этого нужно: ПО, дополнительная аппаратура?
Как сделать кластер на базе альта?
В общем что, где почитать, кто что посоветует, расскажет?
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович
@ 2014-07-25 20:13 ` Anton Farygin
2014-07-25 20:23 ` Шенцев Алексей Владимирович
2014-07-26 11:23 ` Michael Shigorin
2014-07-28 5:36 ` Фаизов Алишер
2 siblings, 1 reply; 26+ messages in thread
From: Anton Farygin @ 2014-07-25 20:13 UTC (permalink / raw)
To: sysadmins
On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
> Всем привет!
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера в
> виртуальные контейнеры на кластеры.
> Как создаётся кластер?
> Что для этого нужно: ПО, дополнительная аппаратура?
> Как сделать кластер на базе альта?
> В общем что, где почитать, кто что посоветует, расскажет?
Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.
Если деньги позволяют - берите нормальную дисковую полку, и подключайте
её по чему-то быстром (FibreChannel, например).
Желательно полку набить SSD, но это совсем не бюджетно.
Дальше зависит от задач, которые будут крутиться на виртуалках, железа и
поставленных целей.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 20:13 ` Anton Farygin
@ 2014-07-25 20:23 ` Шенцев Алексей Владимирович
2014-07-26 1:58 ` alexei
` (2 more replies)
0 siblings, 3 replies; 26+ messages in thread
From: Шенцев Алексей Владимирович @ 2014-07-25 20:23 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
26.07.2014 00:13, Anton Farygin пишет:
> On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
>> Всем привет!
>> Планируется закупить несколько серверов.
>> Хотим создать кластер и запихнуть различные сервисы и сервера в
>> виртуальные контейнеры на кластеры.
>> Как создаётся кластер?
>> Что для этого нужно: ПО, дополнительная аппаратура?
>> Как сделать кластер на базе альта?
>> В общем что, где почитать, кто что посоветует, расскажет?
>
> Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.
>
> Если деньги позволяют - берите нормальную дисковую полку, и
> подключайте её по чему-то быстром (FibreChannel, например).
Какое железо посоветуешь?
Пока думаем в сторон железа от: IBM, HP, Dell.
> Желательно полку набить SSD, но это совсем не бюджетно.
Хм ... Да же для компании в которой сейчас работую дороговато будет (не
в смысле денег мало, а в смысле вряд ли дадут много).
Предполагается так же сетевое хранилище.
> Дальше зависит от задач, которые будут крутиться на виртуалках, железа
> и поставленных целей.
Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
готова для этого?), терминал- сервера.
Это для начала.
--
С уважением, Шенцев Алексей Владимирович.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 20:23 ` Шенцев Алексей Владимирович
@ 2014-07-26 1:58 ` alexei
2014-07-26 7:49 ` Anton Gorlov
2014-07-28 3:35 ` Stanislav Vlasov
2014-07-26 14:33 ` Фаизов Алишер
2014-07-28 8:36 ` Anton Farygin
2 siblings, 2 replies; 26+ messages in thread
From: alexei @ 2014-07-26 1:58 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
----- Исходное сообщение -----
> От: "Шенцев Алексей Владимирович" <ashen@mail.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 5:23:18
> Тема: Re: [Sysadmins] Создание кластера
>
...
> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.
Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
обслуживать, но на бОльших нагрузках рано или поздно придется ставить
его на голое железо.
ADC на нашей самбе поднять можно, только ее надо пересобрать с поддержкой DC
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 1:58 ` alexei
@ 2014-07-26 7:49 ` Anton Gorlov
2014-07-26 8:29 ` alexei
2014-07-28 3:35 ` Stanislav Vlasov
1 sibling, 1 reply; 26+ messages in thread
From: Anton Gorlov @ 2014-07-26 7:49 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
26.07.2014 05:58, alexei@taf.ru пишет:
> Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> его на голое железо.
Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и
тянет более чем.
Причём хостинг помимо обычных php ещё и кучку тяжеловесов в виде ruby,
apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с
mysql/percona и postgresql,mongodb
Порядка 1к вхостов, из которых более 200 ruby (unicorn)
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 7:49 ` Anton Gorlov
@ 2014-07-26 8:29 ` alexei
0 siblings, 0 replies; 26+ messages in thread
From: alexei @ 2014-07-26 8:29 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
----- Исходное сообщение -----
> От: "Anton Gorlov" <stalker@altlinux.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 16:49:14
> Тема: Re: [Sysadmins] Создание кластера
>
> 26.07.2014 05:58, alexei@taf.ru пишет:
> > Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> > не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> > обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> > его на голое железо.
> Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и
> тянет более чем.
> Причём хостинг помимо обычных php ещё и кучку тяжеловесов в виде ruby,
> apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с
> mysql/percona и postgresql,mongodb
> Порядка 1к вхостов, из которых более 200 ruby (unicorn)
Я говорил исключительно про работу Squid внутри виртуалок. Перечисленное вами
и у меня работает в виртуалках в товарных количествах, на радость пользователям.
Равно как и не имеет смысла городить виртуальные роутеры. Даже с прямым пробросом
сетевых карт из хост-систем внутрь виртуалки (при этом теряется серьезный козырь
в виде абсолютной независимости гостевой системы от аппаратной конфигурации хоста),
можно выхватить ~50% деградацию производительности.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович
2014-07-25 20:13 ` Anton Farygin
@ 2014-07-26 11:23 ` Michael Shigorin
2014-07-28 5:36 ` Фаизов Алишер
2 siblings, 0 replies; 26+ messages in thread
From: Michael Shigorin @ 2014-07-26 11:23 UTC (permalink / raw)
To: sysadmins
On Fri, Jul 25, 2014 at 10:20:47PM +0400, Шенцев Алексе владимирович wrote:
^^^
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера
> в виртуальные контейнеры на кластеры. Как создаётся кластер?
Обычно помогает формулировать собственно задачу,
а не сырое видение решения. И не искать под фонарём.
Скажем, у нас в своё время жил терминальный сервер в одном
контейнере ovz и три хэшерницы -- в соседних с ним.
Задачей было обеспечить фунциклирование офиса,
проблемой -- острая нехватка железа.
Решением оказалась консолидация ресурсов с разделением дисковой
нагрузки по различным физическим шпинделям (точнее, зеркалам на
них) -- это сильно помогает бороться с падением IOPS на HDD.
Лёш, это американцы пусть думают от "у меня есть".
Мы думаем от конечной точки, дедуктивно.
Распиши себе: что надо.
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 20:23 ` Шенцев Алексей Владимирович
2014-07-26 1:58 ` alexei
@ 2014-07-26 14:33 ` Фаизов Алишер
2014-07-26 14:52 ` Anton Gorlov
2014-07-28 8:36 ` Anton Farygin
2 siblings, 1 reply; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-26 14:33 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.
>
Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У меня
в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда его
выключаю, заметно резвее работают другие виртуалки. Но у меня не
дисковая полка) 2 sas 10K в raid1.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 14:33 ` Фаизов Алишер
@ 2014-07-26 14:52 ` Anton Gorlov
2014-07-26 15:00 ` alexei
2014-07-26 16:08 ` Фаизов Алишер
0 siblings, 2 replies; 26+ messages in thread
From: Anton Gorlov @ 2014-07-26 14:52 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
noop и на серверах с хостингом noop
Плюс режим virtio для дисков и writeback режим кеширования
26.07.2014 18:33, Фаизов Алишер пишет:
>
>> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
>> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
>> готова для этого?), терминал- сервера.
>> Это для начала.
>>
> Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У
> меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда
> его выключаю, заметно резвее работают другие виртуалки. Но у меня не
> дисковая полка) 2 sas 10K в raid1.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 14:52 ` Anton Gorlov
@ 2014-07-26 15:00 ` alexei
2014-07-26 16:18 ` Фаизов Алишер
2014-07-26 16:08 ` Фаизов Алишер
1 sibling, 1 reply; 26+ messages in thread
From: alexei @ 2014-07-26 15:00 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
----- Исходное сообщение -----
> От: "Anton Gorlov" <stalker@altlinux.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Суббота, 26 Июль 2014 г 23:52:11
> Тема: Re: [Sysadmins] Создание кластера
>
> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
> noop и на серверах с хостингом noop
> Плюс режим virtio для дисков и writeback режим кеширования
>
> 26.07.2014 18:33, Фаизов Алишер пишет:
> >
> >> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> >> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> >> готова для этого?), терминал- сервера.
> >> Это для начала.
> >>
> > Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У
> > меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда
> > его выключаю, заметно резвее работают другие виртуалки. Но у меня не
> > дисковая полка) 2 sas 10K в raid1.
К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в
виде файловых образов, то дисковая производительность мало уступает таковой
для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так
и сделал.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 14:52 ` Anton Gorlov
2014-07-26 15:00 ` alexei
@ 2014-07-26 16:08 ` Фаизов Алишер
2014-07-26 16:11 ` Anton Gorlov
1 sibling, 1 reply; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-26 16:08 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
26.07.2014 20:52, Anton Gorlov пишет:
> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
> noop и на серверах с хостингом noop
> Плюс режим virtio для дисков и writeback режим кеширования
>
>
Поменял. Буду наблюдать. Спасибо. Был до этого CFQ.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 16:08 ` Фаизов Алишер
@ 2014-07-26 16:11 ` Anton Gorlov
2014-07-26 16:20 ` Фаизов Алишер
0 siblings, 1 reply; 26+ messages in thread
From: Anton Gorlov @ 2014-07-26 16:11 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
С CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не
лучше.. Но у меня десктоп-мутант :)
Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес.. и в громоптице
кучка ящиков с примерно 10к писем (imap)
26.07.2014 20:08, Фаизов Алишер пишет:
>> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях?
>> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или
>> noop и на серверах с хостингом noop
>> Плюс режим virtio для дисков и writeback режим кеширования
>>
>>
> Поменял. Буду наблюдать. Спасибо. Был до этого CFQ.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 15:00 ` alexei
@ 2014-07-26 16:18 ` Фаизов Алишер
2014-07-26 20:53 ` Валентин Росавицкий
0 siblings, 1 reply; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-26 16:18 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
> К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в
> виде файловых образов, то дисковая производительность мало уступает таковой
> для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так
> и сделал.
> _______________________________________________
>
Это понятно, читал много статей с подобным замечанием, но на образах
легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов, буду
благодарен.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 16:11 ` Anton Gorlov
@ 2014-07-26 16:20 ` Фаизов Алишер
0 siblings, 0 replies; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-26 16:20 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
26.07.2014 22:11, Anton Gorlov пишет:
> С CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не
> лучше.. Но у меня десктоп-мутант :)
> Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес.. и в громоптице
> кучка ящиков с примерно 10к писем (imap)
>
>
У мен примерно также на ноутбуке) А с cfq на нем вообще 12309 проявляется.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 16:18 ` Фаизов Алишер
@ 2014-07-26 20:53 ` Валентин Росавицкий
0 siblings, 1 reply; 26+ messages in thread
From: Валентин Росавицкий @ 2014-07-26 20:53 UTC (permalink / raw)
To: sysadmins
26.07.2014 19:18, Фаизов Алишер пишет:
>
>> К написанному добавлю, что если выделять диск для гостя в виде LVM, а
>> не в
>> виде файловых образов, то дисковая производительность мало уступает
>> таковой
>> для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую
>> базу так
>> и сделал.
>> _______________________________________________
>>
> Это понятно, читал много статей с подобным замечанием, но на образах
> легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов,
> буду благодарен.
Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv") читаем
разделы с лвма, дальше маунтим (mount -o ro
/dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все
заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После
окончания бэкапа kpartx -d /dev/"$vg"/"$lv"
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
--
С уважением,
Валентин Росавицкий
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
@ 2014-07-27 16:04 ` alexei
2014-07-27 19:16 ` Anton Gorlov
1 sibling, 0 replies; 26+ messages in thread
From: alexei @ 2014-07-27 16:04 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
----- Исходное сообщение -----
> От: "Фаизов Алишер" <alisher_faiz@rambler.ru>
> Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org>
> Отправленные: Понедельник, 28 Июль 2014 г 1:01:41
> Тема: Re: [Sysadmins] Создание кластера
>
> 27.07.2014 03:04, Anton Gorlov пишет:
>
>
>
> 27.07.2014 00:53, Валентин Росавицкий пишет:
>
>
> Мы делаем так - через kpartx (kpartx -av / dev/mapper / "$vg"-"$lv") читаем
> разделы с лвма, дальше маунтим (mount -o ro / dev/mapper /
> "$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все заскриптовано, скрипты
> дергаются бакулой перед началом бэкапа. После окончания бэкапа kpartx -d /
> dev / "$vg"/"$lv" У меня бакула-клиенты крутятся внутри виртуалок. Думаю
> разница несущественная
>
> А виндовые виртуалки?
С ними все еще проще, так как виндовый клиент бакулы умеет работать с VSS
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-27 16:04 ` alexei
@ 2014-07-27 19:16 ` Anton Gorlov
1 sibling, 0 replies; 26+ messages in thread
From: Anton Gorlov @ 2014-07-27 19:16 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
bacula-client емнип под винду тоже есть.
А так..в своё время наступил на чудесатые глюки при бекапе
ксеновиртуалок методом монтирования в хост систему разделов с гостями.
Так например в госте файл изменился, а в хост системе всё ещё хз какой
древности. sync на госте конечно же не помогал
27.07.2014 20:01, Фаизов Алишер пишет:
> 27.07.2014 03:04, Anton Gorlov пишет:
>> 27.07.2014 00:53, Валентин Росавицкий пишет:
>>> Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv")
>>> читаем разделы с лвма, дальше маунтим (mount -o ro
>>> /dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все
>>> заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После
>>> окончания бэкапа kpartx -d /dev/"$vg"/"$lv"
>> У меня бакула-клиенты крутятся внутри виртуалок. Думаю разница
>> несущественная
>>
> А виндовые виртуалки?
>
>
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-26 1:58 ` alexei
2014-07-26 7:49 ` Anton Gorlov
@ 2014-07-28 3:35 ` Stanislav Vlasov
1 sibling, 0 replies; 26+ messages in thread
From: Stanislav Vlasov @ 2014-07-28 3:35 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
26 июля 2014 г., 7:58 пользователь <alexei@taf.ru> написал:
>> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
>> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
>> готова для этого?), терминал- сервера.
>> Это для начала.
>
> Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше
> не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно
> обслуживать, но на бОльших нагрузках рано или поздно придется ставить
> его на голое железо.
Года 3 назад было ~300 клиентов, внешний канал вначале 20Мбит, потом
расширили до 100Мбит, Alt 4.0 (слегка заапгрейженый до того сизифа),
пользователи в локальной реплике LDAP.
Не затыкалось на виртуалке с одним ядром и гигом памяти.
vmware, дисковая полка - HP EVA P4000.
--
Stanislav
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович
2014-07-25 20:13 ` Anton Farygin
2014-07-26 11:23 ` Michael Shigorin
@ 2014-07-28 5:36 ` Фаизов Алишер
2014-07-28 7:36 ` Dmitriy L. Kruglikov
2 siblings, 1 reply; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-28 5:36 UTC (permalink / raw)
To: ashen, ALT Linux sysadmins' discussion
26.07.2014 00:20, Шенцев Алексе владимирович пишет:
> Всем привет!
> Планируется закупить несколько серверов.
> Хотим создать кластер и запихнуть различные сервисы и сервера в
> виртуальные контейнеры на кластеры.
> Как создаётся кластер?
> Что для этого нужно: ПО, дополнительная аппаратура?
> Как сделать кластер на базе альта?
> В общем что, где почитать, кто что посоветует, расскажет?
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins
Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь поднять подобное.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 5:36 ` Фаизов Алишер
@ 2014-07-28 7:36 ` Dmitriy L. Kruglikov
2014-07-28 8:49 ` Фаизов Алишер
0 siblings, 1 reply; 26+ messages in thread
From: Dmitriy L. Kruglikov @ 2014-07-28 7:36 UTC (permalink / raw)
To: sysadmins
On Mon, 28 Jul 2014 11:36:44 +0600
Фаизов Алишер wrote:
> Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь
> поднять подобное.
Как бы, это...
Определитесь сперва, кластер вам для чего?
Для обеспечения высокой доступности? Тогда один разговор.
А если для обеспечения балансировки нагрузки, то совершенно другой.
А если всё сразу, то множим первое на второе.
Будут немного разные требования как к железу, так и к набору решений.
При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить...
;)
--
Best regards,
Dmitriy Kruglikov
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-25 20:23 ` Шенцев Алексей Владимирович
2014-07-26 1:58 ` alexei
2014-07-26 14:33 ` Фаизов Алишер
@ 2014-07-28 8:36 ` Anton Farygin
2014-07-28 8:43 ` Anton Gorlov
2 siblings, 1 reply; 26+ messages in thread
From: Anton Farygin @ 2014-07-28 8:36 UTC (permalink / raw)
To: sysadmins
On 26.07.2014 00:23, Шенцев Алексей Владимирович wrote:
> 26.07.2014 00:13, Anton Farygin пишет:
>> On 25.07.2014 22:20, Шенцев Алексе владимирович wrote:
>>> Всем привет!
>>> Планируется закупить несколько серверов.
>>> Хотим создать кластер и запихнуть различные сервисы и сервера в
>>> виртуальные контейнеры на кластеры.
>>> Как создаётся кластер?
>>> Что для этого нужно: ПО, дополнительная аппаратура?
>>> Как сделать кластер на базе альта?
>>> В общем что, где почитать, кто что посоветует, расскажет?
>>
>> Самое узкое место - это дисковая подсистема. Нужен высокий IOPS.
>>
>> Если деньги позволяют - берите нормальную дисковую полку, и
>> подключайте её по чему-то быстром (FibreChannel, например).
>
>
> Какое железо посоветуешь?
> Пока думаем в сторон железа от: IBM, HP, Dell.
Да любое собственно, главное что б подключалось напрямую к серверам не
по Ethernet.
>
>> Желательно полку набить SSD, но это совсем не бюджетно.
>
> Хм ... Да же для компании в которой сейчас работую дороговато будет (не
> в смысле денег мало, а в смысле вряд ли дадут много).
> Предполагается так же сетевое хранилище.
Сетевое IMHO тормозить будет.
>
>> Дальше зависит от задач, которые будут крутиться на виртуалках, железа
>> и поставленных целей.
>
> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD-
> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она
> готова для этого?), терминал- сервера.
> Это для начала.
а тут ещё нагрузки надо учитывать. Как резонно заметили в треде - под
большой нагрузкой нет смысла уходить в виртуалки, а
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 8:36 ` Anton Farygin
@ 2014-07-28 8:43 ` Anton Gorlov
2014-07-28 8:58 ` Anton Farygin
0 siblings, 1 reply; 26+ messages in thread
From: Anton Gorlov @ 2014-07-28 8:43 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
28.07.2014 12:36, Anton Farygin пишет:
> Да любое собственно, главное что б подключалось напрямую к серверам не
> по Ethernet.
infiniband или как оно там понравилось, когда успел пощупать
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 7:36 ` Dmitriy L. Kruglikov
@ 2014-07-28 8:49 ` Фаизов Алишер
2014-07-28 9:04 ` Dmitriy L. Kruglikov
0 siblings, 1 reply; 26+ messages in thread
From: Фаизов Алишер @ 2014-07-28 8:49 UTC (permalink / raw)
To: ALT Linux sysadmins' discussion
> Как бы, это...
> Определитесь сперва, кластер вам для чего?
> Для обеспечения высокой доступности? Тогда один разговор.
> А если для обеспечения балансировки нагрузки, то совершенно другой.
> А если всё сразу, то множим первое на второе.
>
> Будут немного разные требования как к железу, так и к набору решений.
> При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить...
> ;)
>
Я рассматриваю для shared vps. Для высокой доступности, балансировка не
важна особо. 3 сервера. Понял, что для этих целей используется
corosync+pacemaker, но может в альте что-то специфичное есть.
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 8:43 ` Anton Gorlov
@ 2014-07-28 8:58 ` Anton Farygin
2014-07-28 9:51 ` Michael Shigorin
0 siblings, 1 reply; 26+ messages in thread
From: Anton Farygin @ 2014-07-28 8:58 UTC (permalink / raw)
To: sysadmins
On 28.07.2014 12:43, Anton Gorlov wrote:
> 28.07.2014 12:36, Anton Farygin пишет:
>> Да любое собственно, главное что б подключалось напрямую к серверам не
>> по Ethernet.
> infiniband или как оно там понравилось, когда успел пощупать
или всё-таки fibrechannel ?
да, можно и infiniband, но там есть свои минусы, начиная с цены и
заканчивая назначением в первую очередь в качестве быстрого
интерконнекта для вычислений.
и поверх inifniband должна жить какая-то FS. Какая ? lustre или glusterfs ?
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 8:49 ` Фаизов Алишер
@ 2014-07-28 9:04 ` Dmitriy L. Kruglikov
0 siblings, 0 replies; 26+ messages in thread
From: Dmitriy L. Kruglikov @ 2014-07-28 9:04 UTC (permalink / raw)
To: sysadmins
On Mon, 28 Jul 2014 14:49:24 +0600
Фаизов Алишер wrote:
> Я рассматриваю для shared vps.
- Вам зеленый или синий?
- Квадратный...
> Для высокой доступности,
> балансировка не важна особо. 3 сервера. Понял, что для этих
> целей используется corosync+pacemaker, но может в альте что-то
> специфичное есть.
То есть, вам нужно, чтобы в случае выхода из строя сервера А,
в бой вступил сервер Б.
В этом случае обеспечивается высокая доступность, но в то время, когда
сервер А работает штатно, сервер Б нагло курит в стороне и хихикает
с того, что сервер А потеет и кряхтит под нагрузкой.
Рекомендую совместить режим высокой доступности с режимом балансировки нагрузки.
В таком режиме часть функций выполняет сервер А, часть функций - сервер Б.
При выходе из строя одного из них, все функции выполняет тот, кто в строю остался.
Набор технологий для обеспечения:
1) То, что обеспечит идентичность данных на диске. (DRBD или подобное).
DRBD работает парами, обычно. Для трех серверов ищите подобное.
2) То, что обеспечит автоподнятие сервисов на хостах А или Б (или С).
Например, heartbeat. Опять же, парами удобнее.
3) То, что обеспечит балансировку нагрузки между серверами А и Б, или только А, или только Б.
Просто решается через Nginx для http-запросов. Ну а вам решать, что балансировать и как.
Могу рассказать, как перебрасывать с сервера на сервер контейнеры OpenVZ, в которых
нужные мне службы.
Но это подходит к моим задачам и не обязательно подойдет к вашим.
Это всё очень зависит от того, что у вас в ваших VPS и как они организованы.
P.S.
Всё, что используется - штатные средства, имеющиеся в наших репозиториях.
--
Best regards,
Dmitriy Kruglikov
^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера
2014-07-28 8:58 ` Anton Farygin
@ 2014-07-28 9:51 ` Michael Shigorin
0 siblings, 0 replies; 26+ messages in thread
From: Michael Shigorin @ 2014-07-28 9:51 UTC (permalink / raw)
To: sysadmins
On Mon, Jul 28, 2014 at 12:58:48PM +0400, Anton Farygin wrote:
> да, можно и infiniband, но там есть свои минусы, начиная с цены
Для точки-точки можно и без свича обойтись, помнится.
> и заканчивая назначением в первую очередь в качестве быстрого
> интерконнекта для вычислений.
Из HPC многое года за три начинает перетекать в датацентры.
--
---- WBR, Michael Shigorin / http://altlinux.org
------ http://opennet.ru / http://anna-news.info
^ permalink raw reply [flat|nested] 26+ messages in thread
end of thread, other threads:[~2014-07-28 9:51 UTC | newest]
Thread overview: 26+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович
2014-07-25 20:13 ` Anton Farygin
2014-07-25 20:23 ` Шенцев Алексей Владимирович
2014-07-26 1:58 ` alexei
2014-07-26 7:49 ` Anton Gorlov
2014-07-26 8:29 ` alexei
2014-07-28 3:35 ` Stanislav Vlasov
2014-07-26 14:33 ` Фаизов Алишер
2014-07-26 14:52 ` Anton Gorlov
2014-07-26 15:00 ` alexei
2014-07-26 16:18 ` Фаизов Алишер
2014-07-26 20:53 ` Валентин Росавицкий
2014-07-27 16:04 ` alexei
2014-07-27 19:16 ` Anton Gorlov
2014-07-26 16:08 ` Фаизов Алишер
2014-07-26 16:11 ` Anton Gorlov
2014-07-26 16:20 ` Фаизов Алишер
2014-07-28 8:36 ` Anton Farygin
2014-07-28 8:43 ` Anton Gorlov
2014-07-28 8:58 ` Anton Farygin
2014-07-28 9:51 ` Michael Shigorin
2014-07-26 11:23 ` Michael Shigorin
2014-07-28 5:36 ` Фаизов Алишер
2014-07-28 7:36 ` Dmitriy L. Kruglikov
2014-07-28 8:49 ` Фаизов Алишер
2014-07-28 9:04 ` Dmitriy L. Kruglikov
ALT Linux sysadmins discussion
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
public-inbox-index sysadmins
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.sysadmins
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git