* [Sysadmins] Создание кластера @ 2014-07-25 18:20 Шенцев Алексе владимирович 2014-07-25 20:13 ` Anton Farygin ` (2 more replies) 0 siblings, 3 replies; 26+ messages in thread From: Шенцев Алексе владимирович @ 2014-07-25 18:20 UTC (permalink / raw) To: sysadmins Всем привет! Планируется закупить несколько серверов. Хотим создать кластер и запихнуть различные сервисы и сервера в виртуальные контейнеры на кластеры. Как создаётся кластер? Что для этого нужно: ПО, дополнительная аппаратура? Как сделать кластер на базе альта? В общем что, где почитать, кто что посоветует, расскажет? ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович @ 2014-07-25 20:13 ` Anton Farygin 2014-07-25 20:23 ` Шенцев Алексей Владимирович 2014-07-26 11:23 ` Michael Shigorin 2014-07-28 5:36 ` Фаизов Алишер 2 siblings, 1 reply; 26+ messages in thread From: Anton Farygin @ 2014-07-25 20:13 UTC (permalink / raw) To: sysadmins On 25.07.2014 22:20, Шенцев Алексе владимирович wrote: > Всем привет! > Планируется закупить несколько серверов. > Хотим создать кластер и запихнуть различные сервисы и сервера в > виртуальные контейнеры на кластеры. > Как создаётся кластер? > Что для этого нужно: ПО, дополнительная аппаратура? > Как сделать кластер на базе альта? > В общем что, где почитать, кто что посоветует, расскажет? Самое узкое место - это дисковая подсистема. Нужен высокий IOPS. Если деньги позволяют - берите нормальную дисковую полку, и подключайте её по чему-то быстром (FibreChannel, например). Желательно полку набить SSD, но это совсем не бюджетно. Дальше зависит от задач, которые будут крутиться на виртуалках, железа и поставленных целей. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 20:13 ` Anton Farygin @ 2014-07-25 20:23 ` Шенцев Алексей Владимирович 2014-07-26 1:58 ` alexei ` (2 more replies) 0 siblings, 3 replies; 26+ messages in thread From: Шенцев Алексей Владимирович @ 2014-07-25 20:23 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 26.07.2014 00:13, Anton Farygin пишет: > On 25.07.2014 22:20, Шенцев Алексе владимирович wrote: >> Всем привет! >> Планируется закупить несколько серверов. >> Хотим создать кластер и запихнуть различные сервисы и сервера в >> виртуальные контейнеры на кластеры. >> Как создаётся кластер? >> Что для этого нужно: ПО, дополнительная аппаратура? >> Как сделать кластер на базе альта? >> В общем что, где почитать, кто что посоветует, расскажет? > > Самое узкое место - это дисковая подсистема. Нужен высокий IOPS. > > Если деньги позволяют - берите нормальную дисковую полку, и > подключайте её по чему-то быстром (FibreChannel, например). Какое железо посоветуешь? Пока думаем в сторон железа от: IBM, HP, Dell. > Желательно полку набить SSD, но это совсем не бюджетно. Хм ... Да же для компании в которой сейчас работую дороговато будет (не в смысле денег мало, а в смысле вряд ли дадут много). Предполагается так же сетевое хранилище. > Дальше зависит от задач, которые будут крутиться на виртуалках, железа > и поставленных целей. Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она готова для этого?), терминал- сервера. Это для начала. -- С уважением, Шенцев Алексей Владимирович. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 20:23 ` Шенцев Алексей Владимирович @ 2014-07-26 1:58 ` alexei 2014-07-26 7:49 ` Anton Gorlov 2014-07-28 3:35 ` Stanislav Vlasov 2014-07-26 14:33 ` Фаизов Алишер 2014-07-28 8:36 ` Anton Farygin 2 siblings, 2 replies; 26+ messages in thread From: alexei @ 2014-07-26 1:58 UTC (permalink / raw) To: ALT Linux sysadmins' discussion ----- Исходное сообщение ----- > От: "Шенцев Алексей Владимирович" <ashen@mail.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Суббота, 26 Июль 2014 г 5:23:18 > Тема: Re: [Sysadmins] Создание кластера > ... > Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- > ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она > готова для этого?), терминал- сервера. > Это для начала. Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно обслуживать, но на бОльших нагрузках рано или поздно придется ставить его на голое железо. ADC на нашей самбе поднять можно, только ее надо пересобрать с поддержкой DC ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 1:58 ` alexei @ 2014-07-26 7:49 ` Anton Gorlov 2014-07-26 8:29 ` alexei 2014-07-28 3:35 ` Stanislav Vlasov 1 sibling, 1 reply; 26+ messages in thread From: Anton Gorlov @ 2014-07-26 7:49 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 26.07.2014 05:58, alexei@taf.ru пишет: > Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше > не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно > обслуживать, но на бОльших нагрузках рано или поздно придется ставить > его на голое железо. Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и тянет более чем. Причём хостинг помимо обычных php ещё и кучку тяжеловесов в виде ruby, apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с mysql/percona и postgresql,mongodb Порядка 1к вхостов, из которых более 200 ruby (unicorn) ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 7:49 ` Anton Gorlov @ 2014-07-26 8:29 ` alexei 0 siblings, 0 replies; 26+ messages in thread From: alexei @ 2014-07-26 8:29 UTC (permalink / raw) To: ALT Linux sysadmins' discussion ----- Исходное сообщение ----- > От: "Anton Gorlov" <stalker@altlinux.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Суббота, 26 Июль 2014 г 16:49:14 > Тема: Re: [Sysadmins] Создание кластера > > 26.07.2014 05:58, alexei@taf.ru пишет: > > Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше > > не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно > > обслуживать, но на бОльших нагрузках рано или поздно придется ставить > > его на голое железо. > Что-то странное. У меня shared хостинг крутится на kvm-виртуалках и > тянет более чем. > Причём хостинг помимо обычных php ещё и кучку тяжеловесов в виде ruby, > apache+mod_wsgi, uwsgi (python) и по соседству с ними виртуалки с > mysql/percona и postgresql,mongodb > Порядка 1к вхостов, из которых более 200 ruby (unicorn) Я говорил исключительно про работу Squid внутри виртуалок. Перечисленное вами и у меня работает в виртуалках в товарных количествах, на радость пользователям. Равно как и не имеет смысла городить виртуальные роутеры. Даже с прямым пробросом сетевых карт из хост-систем внутрь виртуалки (при этом теряется серьезный козырь в виде абсолютной независимости гостевой системы от аппаратной конфигурации хоста), можно выхватить ~50% деградацию производительности. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 1:58 ` alexei 2014-07-26 7:49 ` Anton Gorlov @ 2014-07-28 3:35 ` Stanislav Vlasov 1 sibling, 0 replies; 26+ messages in thread From: Stanislav Vlasov @ 2014-07-28 3:35 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 26 июля 2014 г., 7:58 пользователь <alexei@taf.ru> написал: >> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- >> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она >> готова для этого?), терминал- сервера. >> Это для начала. > > Про работу сквида внутри виртуалки (тестировал OpenVZ, KVM, VMWare) лучше > не напрягаться. Баловство в виде 5-10 клиентов оно может и будет сносно > обслуживать, но на бОльших нагрузках рано или поздно придется ставить > его на голое железо. Года 3 назад было ~300 клиентов, внешний канал вначале 20Мбит, потом расширили до 100Мбит, Alt 4.0 (слегка заапгрейженый до того сизифа), пользователи в локальной реплике LDAP. Не затыкалось на виртуалке с одним ядром и гигом памяти. vmware, дисковая полка - HP EVA P4000. -- Stanislav ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 20:23 ` Шенцев Алексей Владимирович 2014-07-26 1:58 ` alexei @ 2014-07-26 14:33 ` Фаизов Алишер 2014-07-26 14:52 ` Anton Gorlov 2014-07-28 8:36 ` Anton Farygin 2 siblings, 1 reply; 26+ messages in thread From: Фаизов Алишер @ 2014-07-26 14:33 UTC (permalink / raw) To: ALT Linux sysadmins' discussion > Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- > ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она > готова для этого?), терминал- сервера. > Это для начала. > Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда его выключаю, заметно резвее работают другие виртуалки. Но у меня не дисковая полка) 2 sas 10K в raid1. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 14:33 ` Фаизов Алишер @ 2014-07-26 14:52 ` Anton Gorlov 2014-07-26 15:00 ` alexei 2014-07-26 16:08 ` Фаизов Алишер 0 siblings, 2 replies; 26+ messages in thread From: Anton Gorlov @ 2014-07-26 14:52 UTC (permalink / raw) To: ALT Linux sysadmins' discussion Планировщик ввода-вывода у тебя какой на хост-системе и в гостях? Мне сильно помогло - на хосте deadline, в гостях с базой deadline или noop и на серверах с хостингом noop Плюс режим virtio для дисков и writeback режим кеширования 26.07.2014 18:33, Фаизов Алишер пишет: > >> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- >> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она >> готова для этого?), терминал- сервера. >> Это для начала. >> > Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У > меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда > его выключаю, заметно резвее работают другие виртуалки. Но у меня не > дисковая полка) 2 sas 10K в raid1. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 14:52 ` Anton Gorlov @ 2014-07-26 15:00 ` alexei 2014-07-26 16:18 ` Фаизов Алишер 2014-07-26 16:08 ` Фаизов Алишер 1 sibling, 1 reply; 26+ messages in thread From: alexei @ 2014-07-26 15:00 UTC (permalink / raw) To: ALT Linux sysadmins' discussion ----- Исходное сообщение ----- > От: "Anton Gorlov" <stalker@altlinux.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Суббота, 26 Июль 2014 г 23:52:11 > Тема: Re: [Sysadmins] Создание кластера > > Планировщик ввода-вывода у тебя какой на хост-системе и в гостях? > Мне сильно помогло - на хосте deadline, в гостях с базой deadline или > noop и на серверах с хостингом noop > Плюс режим virtio для дисков и writeback режим кеширования > > 26.07.2014 18:33, Фаизов Алишер пишет: > > > >> Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- > >> ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она > >> готова для этого?), терминал- сервера. > >> Это для начала. > >> > > Терминальник на w2k8 дает сильную нагрузку на диски (~15 юзеров). У > > меня в квм крутится веб-сервер, ltsp и виндовый терминальник. Когда > > его выключаю, заметно резвее работают другие виртуалки. Но у меня не > > дисковая полка) 2 sas 10K в raid1. К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в виде файловых образов, то дисковая производительность мало уступает таковой для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так и сделал. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 15:00 ` alexei @ 2014-07-26 16:18 ` Фаизов Алишер 2014-07-26 20:53 ` Валентин Росавицкий 0 siblings, 1 reply; 26+ messages in thread From: Фаизов Алишер @ 2014-07-26 16:18 UTC (permalink / raw) To: ALT Linux sysadmins' discussion > К написанному добавлю, что если выделять диск для гостя в виде LVM, а не в > виде файловых образов, то дисковая производительность мало уступает таковой > для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую базу так > и сделал. > _______________________________________________ > Это понятно, читал много статей с подобным замечанием, но на образах легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов, буду благодарен. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 16:18 ` Фаизов Алишер @ 2014-07-26 20:53 ` Валентин Росавицкий 0 siblings, 1 reply; 26+ messages in thread From: Валентин Росавицкий @ 2014-07-26 20:53 UTC (permalink / raw) To: sysadmins 26.07.2014 19:18, Фаизов Алишер пишет: > >> К написанному добавлю, что если выделять диск для гостя в виде LVM, а >> не в >> виде файловых образов, то дисковая производительность мало уступает >> таковой >> для голого железа. Собственно, для связки 1C+PG, и PG под тяжелую >> базу так >> и сделал. >> _______________________________________________ >> > Это понятно, читал много статей с подобным замечанием, но на образах > легче делать бекапы. Если поделитесь вариантом бекапа lvm разделов, > буду благодарен. Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv") читаем разделы с лвма, дальше маунтим (mount -o ro /dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После окончания бэкапа kpartx -d /dev/"$vg"/"$lv" > _______________________________________________ > Sysadmins mailing list > Sysadmins@lists.altlinux.org > https://lists.altlinux.org/mailman/listinfo/sysadmins -- С уважением, Валентин Росавицкий ^ permalink raw reply [flat|nested] 26+ messages in thread
[parent not found: <53D417F5.3070906@altlinux.ru>]
[parent not found: <53D52265.1080004@rambler.ru>]
* Re: [Sysadmins] Создание кластера @ 2014-07-27 16:04 ` alexei 2014-07-27 19:16 ` Anton Gorlov 1 sibling, 0 replies; 26+ messages in thread From: alexei @ 2014-07-27 16:04 UTC (permalink / raw) To: ALT Linux sysadmins' discussion ----- Исходное сообщение ----- > От: "Фаизов Алишер" <alisher_faiz@rambler.ru> > Кому: "ALT Linux sysadmins' discussion" <sysadmins@lists.altlinux.org> > Отправленные: Понедельник, 28 Июль 2014 г 1:01:41 > Тема: Re: [Sysadmins] Создание кластера > > 27.07.2014 03:04, Anton Gorlov пишет: > > > > 27.07.2014 00:53, Валентин Росавицкий пишет: > > > Мы делаем так - через kpartx (kpartx -av / dev/mapper / "$vg"-"$lv") читаем > разделы с лвма, дальше маунтим (mount -o ro / dev/mapper / > "$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все заскриптовано, скрипты > дергаются бакулой перед началом бэкапа. После окончания бэкапа kpartx -d / > dev / "$vg"/"$lv" У меня бакула-клиенты крутятся внутри виртуалок. Думаю > разница несущественная > > А виндовые виртуалки? С ними все еще проще, так как виндовый клиент бакулы умеет работать с VSS ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-27 16:04 ` alexei @ 2014-07-27 19:16 ` Anton Gorlov 1 sibling, 0 replies; 26+ messages in thread From: Anton Gorlov @ 2014-07-27 19:16 UTC (permalink / raw) To: ALT Linux sysadmins' discussion bacula-client емнип под винду тоже есть. А так..в своё время наступил на чудесатые глюки при бекапе ксеновиртуалок методом монтирования в хост систему разделов с гостями. Так например в госте файл изменился, а в хост системе всё ещё хз какой древности. sync на госте конечно же не помогал 27.07.2014 20:01, Фаизов Алишер пишет: > 27.07.2014 03:04, Anton Gorlov пишет: >> 27.07.2014 00:53, Валентин Росавицкий пишет: >>> Мы делаем так - через kpartx (kpartx -av /dev/mapper/"$vg"-"$lv") >>> читаем разделы с лвма, дальше маунтим (mount -o ro >>> /dev/mapper/"$vg"-"$lv"1...2...3) и уже фс бекапит бакула. Все >>> заскриптовано, скрипты дергаются бакулой перед началом бэкапа. После >>> окончания бэкапа kpartx -d /dev/"$vg"/"$lv" >> У меня бакула-клиенты крутятся внутри виртуалок. Думаю разница >> несущественная >> > А виндовые виртуалки? > > ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 14:52 ` Anton Gorlov 2014-07-26 15:00 ` alexei @ 2014-07-26 16:08 ` Фаизов Алишер 2014-07-26 16:11 ` Anton Gorlov 1 sibling, 1 reply; 26+ messages in thread From: Фаизов Алишер @ 2014-07-26 16:08 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 26.07.2014 20:52, Anton Gorlov пишет: > Планировщик ввода-вывода у тебя какой на хост-системе и в гостях? > Мне сильно помогло - на хосте deadline, в гостях с базой deadline или > noop и на серверах с хостингом noop > Плюс режим virtio для дисков и writeback режим кеширования > > Поменял. Буду наблюдать. Спасибо. Был до этого CFQ. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 16:08 ` Фаизов Алишер @ 2014-07-26 16:11 ` Anton Gorlov 2014-07-26 16:20 ` Фаизов Алишер 0 siblings, 1 reply; 26+ messages in thread From: Anton Gorlov @ 2014-07-26 16:11 UTC (permalink / raw) To: ALT Linux sysadmins' discussion С CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не лучше.. Но у меня десктоп-мутант :) Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес.. и в громоптице кучка ящиков с примерно 10к писем (imap) 26.07.2014 20:08, Фаизов Алишер пишет: >> Планировщик ввода-вывода у тебя какой на хост-системе и в гостях? >> Мне сильно помогло - на хосте deadline, в гостях с базой deadline или >> noop и на серверах с хостингом noop >> Плюс режим virtio для дисков и writeback режим кеширования >> >> > Поменял. Буду наблюдать. Спасибо. Был до этого CFQ. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-26 16:11 ` Anton Gorlov @ 2014-07-26 16:20 ` Фаизов Алишер 0 siblings, 0 replies; 26+ messages in thread From: Фаизов Алишер @ 2014-07-26 16:20 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 26.07.2014 22:11, Anton Gorlov пишет: > С CFQ на серверах вообще грустно.. Да и на десктопе в моём случае не > лучше.. Но у меня десктоп-мутант :) > Кучка kvm-виртуалок,кучка страниц в браузере, поцгрес.. и в громоптице > кучка ящиков с примерно 10к писем (imap) > > У мен примерно также на ноутбуке) А с cfq на нем вообще 12309 проявляется. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 20:23 ` Шенцев Алексей Владимирович 2014-07-26 1:58 ` alexei 2014-07-26 14:33 ` Фаизов Алишер @ 2014-07-28 8:36 ` Anton Farygin 2014-07-28 8:43 ` Anton Gorlov 2 siblings, 1 reply; 26+ messages in thread From: Anton Farygin @ 2014-07-28 8:36 UTC (permalink / raw) To: sysadmins On 26.07.2014 00:23, Шенцев Алексей Владимирович wrote: > 26.07.2014 00:13, Anton Farygin пишет: >> On 25.07.2014 22:20, Шенцев Алексе владимирович wrote: >>> Всем привет! >>> Планируется закупить несколько серверов. >>> Хотим создать кластер и запихнуть различные сервисы и сервера в >>> виртуальные контейнеры на кластеры. >>> Как создаётся кластер? >>> Что для этого нужно: ПО, дополнительная аппаратура? >>> Как сделать кластер на базе альта? >>> В общем что, где почитать, кто что посоветует, расскажет? >> >> Самое узкое место - это дисковая подсистема. Нужен высокий IOPS. >> >> Если деньги позволяют - берите нормальную дисковую полку, и >> подключайте её по чему-то быстром (FibreChannel, например). > > > Какое железо посоветуешь? > Пока думаем в сторон железа от: IBM, HP, Dell. Да любое собственно, главное что б подключалось напрямую к серверам не по Ethernet. > >> Желательно полку набить SSD, но это совсем не бюджетно. > > Хм ... Да же для компании в которой сейчас работую дороговато будет (не > в смысле денег мало, а в смысле вряд ли дадут много). > Предполагается так же сетевое хранилище. Сетевое IMHO тормозить будет. > >> Дальше зависит от задач, которые будут крутиться на виртуалках, железа >> и поставленных целей. > > Да вот думаю впихнуть в кластер ftp-, post-, DB-, web-, squid-, 1C-, AD- > ( на w2k8r2. Хотелость бы AD на нашей самбе сделать, но на сколько она > готова для этого?), терминал- сервера. > Это для начала. а тут ещё нагрузки надо учитывать. Как резонно заметили в треде - под большой нагрузкой нет смысла уходить в виртуалки, а ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 8:36 ` Anton Farygin @ 2014-07-28 8:43 ` Anton Gorlov 2014-07-28 8:58 ` Anton Farygin 0 siblings, 1 reply; 26+ messages in thread From: Anton Gorlov @ 2014-07-28 8:43 UTC (permalink / raw) To: ALT Linux sysadmins' discussion 28.07.2014 12:36, Anton Farygin пишет: > Да любое собственно, главное что б подключалось напрямую к серверам не > по Ethernet. infiniband или как оно там понравилось, когда успел пощупать ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 8:43 ` Anton Gorlov @ 2014-07-28 8:58 ` Anton Farygin 2014-07-28 9:51 ` Michael Shigorin 0 siblings, 1 reply; 26+ messages in thread From: Anton Farygin @ 2014-07-28 8:58 UTC (permalink / raw) To: sysadmins On 28.07.2014 12:43, Anton Gorlov wrote: > 28.07.2014 12:36, Anton Farygin пишет: >> Да любое собственно, главное что б подключалось напрямую к серверам не >> по Ethernet. > infiniband или как оно там понравилось, когда успел пощупать или всё-таки fibrechannel ? да, можно и infiniband, но там есть свои минусы, начиная с цены и заканчивая назначением в первую очередь в качестве быстрого интерконнекта для вычислений. и поверх inifniband должна жить какая-то FS. Какая ? lustre или glusterfs ? ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 8:58 ` Anton Farygin @ 2014-07-28 9:51 ` Michael Shigorin 0 siblings, 0 replies; 26+ messages in thread From: Michael Shigorin @ 2014-07-28 9:51 UTC (permalink / raw) To: sysadmins On Mon, Jul 28, 2014 at 12:58:48PM +0400, Anton Farygin wrote: > да, можно и infiniband, но там есть свои минусы, начиная с цены Для точки-точки можно и без свича обойтись, помнится. > и заканчивая назначением в первую очередь в качестве быстрого > интерконнекта для вычислений. Из HPC многое года за три начинает перетекать в датацентры. -- ---- WBR, Michael Shigorin / http://altlinux.org ------ http://opennet.ru / http://anna-news.info ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович 2014-07-25 20:13 ` Anton Farygin @ 2014-07-26 11:23 ` Michael Shigorin 2014-07-28 5:36 ` Фаизов Алишер 2 siblings, 0 replies; 26+ messages in thread From: Michael Shigorin @ 2014-07-26 11:23 UTC (permalink / raw) To: sysadmins On Fri, Jul 25, 2014 at 10:20:47PM +0400, Шенцев Алексе владимирович wrote: ^^^ > Планируется закупить несколько серверов. > Хотим создать кластер и запихнуть различные сервисы и сервера > в виртуальные контейнеры на кластеры. Как создаётся кластер? Обычно помогает формулировать собственно задачу, а не сырое видение решения. И не искать под фонарём. Скажем, у нас в своё время жил терминальный сервер в одном контейнере ovz и три хэшерницы -- в соседних с ним. Задачей было обеспечить фунциклирование офиса, проблемой -- острая нехватка железа. Решением оказалась консолидация ресурсов с разделением дисковой нагрузки по различным физическим шпинделям (точнее, зеркалам на них) -- это сильно помогает бороться с падением IOPS на HDD. Лёш, это американцы пусть думают от "у меня есть". Мы думаем от конечной точки, дедуктивно. Распиши себе: что надо. -- ---- WBR, Michael Shigorin / http://altlinux.org ------ http://opennet.ru / http://anna-news.info ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович 2014-07-25 20:13 ` Anton Farygin 2014-07-26 11:23 ` Michael Shigorin @ 2014-07-28 5:36 ` Фаизов Алишер 2014-07-28 7:36 ` Dmitriy L. Kruglikov 2 siblings, 1 reply; 26+ messages in thread From: Фаизов Алишер @ 2014-07-28 5:36 UTC (permalink / raw) To: ashen, ALT Linux sysadmins' discussion 26.07.2014 00:20, Шенцев Алексе владимирович пишет: > Всем привет! > Планируется закупить несколько серверов. > Хотим создать кластер и запихнуть различные сервисы и сервера в > виртуальные контейнеры на кластеры. > Как создаётся кластер? > Что для этого нужно: ПО, дополнительная аппаратура? > Как сделать кластер на базе альта? > В общем что, где почитать, кто что посоветует, расскажет? > _______________________________________________ > Sysadmins mailing list > Sysadmins@lists.altlinux.org > https://lists.altlinux.org/mailman/listinfo/sysadmins Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь поднять подобное. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 5:36 ` Фаизов Алишер @ 2014-07-28 7:36 ` Dmitriy L. Kruglikov 2014-07-28 8:49 ` Фаизов Алишер 0 siblings, 1 reply; 26+ messages in thread From: Dmitriy L. Kruglikov @ 2014-07-28 7:36 UTC (permalink / raw) To: sysadmins On Mon, 28 Jul 2014 11:36:44 +0600 Фаизов Алишер wrote: > Вопрос вообще был о ПО или железе?) Я тоже сейчас пытаюсь > поднять подобное. Как бы, это... Определитесь сперва, кластер вам для чего? Для обеспечения высокой доступности? Тогда один разговор. А если для обеспечения балансировки нагрузки, то совершенно другой. А если всё сразу, то множим первое на второе. Будут немного разные требования как к железу, так и к набору решений. При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить... ;) -- Best regards, Dmitriy Kruglikov ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 7:36 ` Dmitriy L. Kruglikov @ 2014-07-28 8:49 ` Фаизов Алишер 2014-07-28 9:04 ` Dmitriy L. Kruglikov 0 siblings, 1 reply; 26+ messages in thread From: Фаизов Алишер @ 2014-07-28 8:49 UTC (permalink / raw) To: ALT Linux sysadmins' discussion > Как бы, это... > Определитесь сперва, кластер вам для чего? > Для обеспечения высокой доступности? Тогда один разговор. > А если для обеспечения балансировки нагрузки, то совершенно другой. > А если всё сразу, то множим первое на второе. > > Будут немного разные требования как к железу, так и к набору решений. > При этом, каждый повар использует различные наборы приправ и нам будет о чем поспорить... > ;) > Я рассматриваю для shared vps. Для высокой доступности, балансировка не важна особо. 3 сервера. Понял, что для этих целей используется corosync+pacemaker, но может в альте что-то специфичное есть. ^ permalink raw reply [flat|nested] 26+ messages in thread
* Re: [Sysadmins] Создание кластера 2014-07-28 8:49 ` Фаизов Алишер @ 2014-07-28 9:04 ` Dmitriy L. Kruglikov 0 siblings, 0 replies; 26+ messages in thread From: Dmitriy L. Kruglikov @ 2014-07-28 9:04 UTC (permalink / raw) To: sysadmins On Mon, 28 Jul 2014 14:49:24 +0600 Фаизов Алишер wrote: > Я рассматриваю для shared vps. - Вам зеленый или синий? - Квадратный... > Для высокой доступности, > балансировка не важна особо. 3 сервера. Понял, что для этих > целей используется corosync+pacemaker, но может в альте что-то > специфичное есть. То есть, вам нужно, чтобы в случае выхода из строя сервера А, в бой вступил сервер Б. В этом случае обеспечивается высокая доступность, но в то время, когда сервер А работает штатно, сервер Б нагло курит в стороне и хихикает с того, что сервер А потеет и кряхтит под нагрузкой. Рекомендую совместить режим высокой доступности с режимом балансировки нагрузки. В таком режиме часть функций выполняет сервер А, часть функций - сервер Б. При выходе из строя одного из них, все функции выполняет тот, кто в строю остался. Набор технологий для обеспечения: 1) То, что обеспечит идентичность данных на диске. (DRBD или подобное). DRBD работает парами, обычно. Для трех серверов ищите подобное. 2) То, что обеспечит автоподнятие сервисов на хостах А или Б (или С). Например, heartbeat. Опять же, парами удобнее. 3) То, что обеспечит балансировку нагрузки между серверами А и Б, или только А, или только Б. Просто решается через Nginx для http-запросов. Ну а вам решать, что балансировать и как. Могу рассказать, как перебрасывать с сервера на сервер контейнеры OpenVZ, в которых нужные мне службы. Но это подходит к моим задачам и не обязательно подойдет к вашим. Это всё очень зависит от того, что у вас в ваших VPS и как они организованы. P.S. Всё, что используется - штатные средства, имеющиеся в наших репозиториях. -- Best regards, Dmitriy Kruglikov ^ permalink raw reply [flat|nested] 26+ messages in thread
end of thread, other threads:[~2014-07-28 9:51 UTC | newest] Thread overview: 26+ messages (download: mbox.gz / follow: Atom feed) -- links below jump to the message on this page -- 2014-07-25 18:20 [Sysadmins] Создание кластера Шенцев Алексе владимирович 2014-07-25 20:13 ` Anton Farygin 2014-07-25 20:23 ` Шенцев Алексей Владимирович 2014-07-26 1:58 ` alexei 2014-07-26 7:49 ` Anton Gorlov 2014-07-26 8:29 ` alexei 2014-07-28 3:35 ` Stanislav Vlasov 2014-07-26 14:33 ` Фаизов Алишер 2014-07-26 14:52 ` Anton Gorlov 2014-07-26 15:00 ` alexei 2014-07-26 16:18 ` Фаизов Алишер 2014-07-26 20:53 ` Валентин Росавицкий 2014-07-27 16:04 ` alexei 2014-07-27 19:16 ` Anton Gorlov 2014-07-26 16:08 ` Фаизов Алишер 2014-07-26 16:11 ` Anton Gorlov 2014-07-26 16:20 ` Фаизов Алишер 2014-07-28 8:36 ` Anton Farygin 2014-07-28 8:43 ` Anton Gorlov 2014-07-28 8:58 ` Anton Farygin 2014-07-28 9:51 ` Michael Shigorin 2014-07-26 11:23 ` Michael Shigorin 2014-07-28 5:36 ` Фаизов Алишер 2014-07-28 7:36 ` Dmitriy L. Kruglikov 2014-07-28 8:49 ` Фаизов Алишер 2014-07-28 9:04 ` Dmitriy L. Kruglikov
ALT Linux sysadmins discussion This inbox may be cloned and mirrored by anyone: git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git # If you have public-inbox 1.1+ installed, you may # initialize and index your mirror using the following commands: public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \ sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com public-inbox-index sysadmins Example config snippet for mirrors. Newsgroup available over NNTP: nntp://lore.altlinux.org/org.altlinux.lists.sysadmins AGPL code for this site: git clone https://public-inbox.org/public-inbox.git