Re: [Sysadmins] концепция сети и серверов

Re: [Sysadmins] концепция сети и серверов

[Баратов Владимир Михайлович]

srlao> On Thu, Apr 24, 2008 at 07:56:12PM +0600, Баратов Владимир Михайлович wrote:
>> Есть грандиозный замысел по миграции с виндовс на линукс, выбор
>> остановлен на АЛТе

srlao> А что ещё посмотрели и чем был обусловлен выбор?

Смотрел: Ubuntu, RH, CentOS, FreeBSD...возможно еще что-то...
выбор обусловлен тем, что ALT наиболее дружелюбен к русскому языку,
wine заточен под 1С, консультант+ и прочий софт, который достаточно
популярен в стране, достаточно хороший саппорт имхо у альта, комюнити
большое, репазитарий огромный, но главный плюс все же движение
постоянно вперед и дружественность к российскому софту

>> Суть проблемы в том, что необходимо реализовать построение сети
>> на АЛТе с терминальными клиентами.

srlao> http://freesource.info/wiki/Dokumentacija/LTSP5 и Вам сюда:
srlao> https://lists.altlinux.org/mailman/listinfo/ltsp-server

По LTSP читал инфу и пробовал ставить...все хорошо, НО в случае каких
то сбоев в работе куда обращаться? продукт не коммерческий, задавать
вопросы на форумах и ждать ответы? искать инфу в инете? можно, НО сеть
будет лежать в это время, что недопустимо.

>> Иду в направление такое...два сервера терминалов, объединенных
>> в вычислительный кластер (создается с целью, дальнейшего
>> увеличение вычислительной мощности при необходимости)

srlao> В LTSP5 сломали балансировку нагрузки, мы ещё туда тоже не
srlao> смотрели.  Если не планируется следующим шагом двести клиентов
srlao> -- лучше остановиться на одном сервере.  Возможно, к концу года
srlao> будет что-то с балансировкой опять.

Нужна как я мыслю не столько балансировка нагрузки, сколько создание
вычислительного кластера. Зачем? Ну к примеру сегодня поставим один
сервак, завтра его перестанет хватать, вот тут же присоединяется
второй и все работает...ну еще как повышение отказоустойчивости ведь 2
надежнее чем один.

>> внешний дисковый массив для нужд файлохранилища.

srlao> Кстати, если понадобится -- мы умеем делать кучутерабайтные
srlao> стораджи на несколько гигабайт в секунду при необходимости:
srlao> http://www.magic.kiev.ua/ru/solutions/clusters/storage/

Реально дисковый массив по моим задумкам нужен для файлопомойки и баз
1С

>> Основные используемые приложения это: 1С, стандартный офисный пакет,
>> Консультант+, Гранд-смета.  Терминальных клиентов на первое
>> время - 50 шт.

srlao> Для этого хватит одного тазика с четырьмя, ну восемью гигами
srlao> и ядрами.  Где-то в $3--5K, если те же HP DL.  Только лучше 
srlao> на оптеронах, чем на Xeon 53xx -- у тех с масштабируемостью по
srlao> ядрам всё плохо и с памятью ещё хуже, если не простыни гонять,
srlao> а random access.

srlao> SAS HDD в количестве 6--8 штук вполне хватит -- например, так:

srlao> 2x73  [RAID1]   / /usr /var (или просто /)
srlao> 4x146 [RAID10]  /home
srlao> 2x146 [RAID1]   под бэкапы

ок...надо подумать...расчитываю так то не столько сервер сколько
просто железяку с большим количеством винтов и уже серверы будут
обращаться к дисковому массиву

>> На серверы рассчитываю ставить ALT Desktop+LTSP, рабочий стол
>> отдавать по Х с организацией VPN до терминальных клиентов.

srlao> Ставьте сразу это:
srlao> ftp://ftp.linux.kiev.ua/pub/Linux/ALT/beta/ltsp-server/ltsp5-4.0-RC1.iso
srlao> или если не горит -- надеюсь к лету выпустить 4.0.0, туда
srlao> планируется более пригнанное терминальное ядро в том числе
srlao> и std-pae, чтоб 4+Gb RAM сразу поддерживались "из коробки",
srlao> как уже сделано в Линукс Терминал:
srlao> ftp://ftp.linux.kiev.ua/pub/Linux/ALT/beta/school/terminal/

Поставил на виртуалке но еще не потестил..

>> Сервера к примеру от НР с ОЗУ по 8Г и вином на 73Г
>> (только под ОСь).

srlao> Вообще под ось лучше зеркало, да и с локальным массивом
srlao> (предпочитаю тут RAID10) при таком количестве клиентов проще.

srlao> См. тж. http://www.magic.kiev.ua/ru/solutions/servers/altsp5/ и
srlao> http://wiki.ltsp.org/twiki/bin/view/Ltsp/SuccessStories#Local_Net_Solutions_installs_7_s

srlao> ---
srlao> The main boot/application servers were HP DL385 - Dual core, dual
srlao> processor AMD Opteron 285's with 8 GB RAM and 3 36GB SCSI drives
srlao> and 6 Gigabit ethernet (4 ports bonded to be one fat pipe to
srlao> provide DHCP and data to the clients). Each school has 1 to 5
srlao> application servers with 70 to 120 clients per server. Each
srlao> school also has a DL385 with 6 142GB SCSI drives acting as a
srlao> common storage area for students.
srlao> ---

srlao> Бишь до ста с лишним клиентов на один сервер помещается, а вот
srlao> если уже серверы надо плодить -- тогда осмысленно внешний сторадж.

srlao> Недавно поднимали 23 клиента (24-й HP Neoware сдох и запищал,
srlao> никому такое барахло по $500 не порекомендую и им не рекомендовал)
srlao> -- памяти на локальную сессию плюс 23x KDE, 23x Firefox с домашней
srlao> страничкой сервиса и ещё один OpenOffice с мелким документом ушло 
srlao> 1200M из 8G.  Даже с кэшем ушло гига два-три, остальное болталось
srlao> свободным.

ну свое виденье выше изложил...что пока останавливаюсь на 2х серверах
в вычислительном кластере, которые выполняют функции терминального
сервера, клиентов попробую прописать цепляться по группам к одному или
другому серверу в зависимости от группы, серверы в свою очередь будут
обращаться к "железячному" дисковому массиву

>> "Хитрый" софт - типа клиент банков и т.п. оставить на
>> виндовых машинках.

srlao> Угу, или виндовом терминальном сервере, или syselegance.com
srlao> (их реализация заводит на одной winxp pro десять сессий).
srlao> Местами зависит от вредности по части привязки к железу или 
srlao> специфическим аппаратным интерфейсам.

Вынь терминальный сервер сразу отпадает, как невыгодный по
лицензированию, проще ставить машинки с ХРоем
Про syselegance.com надо почитать и посмотреть будут ли клиент банки
разные работать одновременно в разных сеансах на одной машинке

>> Теперь вопрос, кто может совет дать из тех кто реализовывал
>> подобную концепцию, возможно я вообще не в ту сторону движусь
>> и пока есть время изменить ее можно.

srlao> Начните с пилота одного места.

srlao> Если получится перетащить нужный софт _и_ пользователя --
srlao> то терминальный режим уже по большей части дело техники.

srlao> Наибольшая проблема -- привычки пользователей...

дааа...с пользователями не так все просто
а про пилотный...нет в запасе свободных машинок чтобы можно было бы
пробовать :(

srlao> См. тж.:
srlao> http://migration.osdn.org.ua
srlao> http://openoffice.blogs.com/openoffice/2007/04/transitioning_a.html
srlao> http://www.freesource.info/wiki/WadimMashckoff/pomojka/migrationoverview

спасибо

srlao> PS: если потребуется поддержать процесс перехода в любом виде -- 
srlao> что на фрисофт под виндой, что под линуксом, что ещё и с LTSP
srlao> поверх -- наша лавочка может вписаться.  Хотя буду только рад,
srlao> если сами справитесь и другим советом поможете :-)

условия? интересно было бы узнать условия сотрудничества с вашей
"лавочкой"

Re: [Sysadmins] концепция сети и серверов

[Victor Zhuravlyov]

>  Смотрел: Ubuntu, RH, CentOS, FreeBSD...возможно еще что-то...

А debian? :)

>  выбор обусловлен тем, что ALT наиболее дружелюбен к русскому языку,

Сейчас уже особо разницы не видно, сравнивая с той же *бунтой

>  wine заточен под 1С, консультант+ и прочий софт,

wine@etersoft под нужный дистрибутив или есть более  глубокая заточка?

>  достаточно хороший саппорт имхо у альта,
Саппорт лучший, пожалуй.

>  комюнити большое,
Ну здесь разные версии бытуют :)

>  репазитарий огромный,
Сегодня приятель дебианщик смотрел альт, в принципе понравился, но
пробовать не стал из-за "несоизмеримо большего набора софта в дебиане"
(Цитата)

>  но главный плюс все же движение постоянно вперед и дружественность к российскому софту
Этого не отнять :)

Re: [Sysadmins] концепция сети и серверов

[Michael Shigorin]

On Tue, May 06, 2008 at 06:09:02PM +0600, Баратов Владимир Михайлович wrote:
> >> Есть грандиозный замысел по миграции с виндовс на линукс,
> >> выбор остановлен на АЛТе
> srlao> А что ещё посмотрели и чем был обусловлен выбор?
> Смотрел: Ubuntu, RH, CentOS, FreeBSD...возможно еще что-то...

Мгм.  Потому как некоторые прыгают не глядя в миграцию,
потом удивляются, почему не вышло -- особенно "на вчера".

> >> Суть проблемы в том, что необходимо реализовать построение
> >> сети на АЛТе с терминальными клиентами.
> srlao> http://freesource.info/wiki/Dokumentacija/LTSP5 и Вам сюда:
> srlao> https://lists.altlinux.org/mailman/listinfo/ltsp-server
> По LTSP читал инфу и пробовал ставить...все хорошо, НО в случае
> каких то сбоев в работе куда обращаться? продукт не
> коммерческий, задавать вопросы на форумах и ждать ответы?

Продукт коммерчески поддерживается нашей фирмой, Media Magic.
Расположены в Киеве, выезды и удалённая поддержка возможны
(равно как и помощь при участии опытных людей на местности).

Также занимаемся аудитом, анализом возможных путей миграции,
обучением персонала (в т.ч. технического).  По мере надобности
производим заказную доработку или разработку.

> >> Иду в направление такое...два сервера терминалов,
> >> объединенных в вычислительный кластер (создается с целью,
> >> дальнейшего увеличение вычислительной мощности при
> >> необходимости)
> srlao> В LTSP5 сломали балансировку нагрузки, мы ещё туда тоже не
> srlao> смотрели.  Если не планируется следующим шагом двести клиентов
> srlao> -- лучше остановиться на одном сервере.  Возможно, к концу года
> srlao> будет что-то с балансировкой опять.
> Нужна как я мыслю не столько балансировка нагрузки, сколько
> создание вычислительного кластера. Зачем? Ну к примеру сегодня
> поставим один сервак, завтра его перестанет хватать, вот тут же
> присоединяется второй и все работает...

Нетривиально и для такого количества клиентов вряд ли оправданно.

> ну еще как повышение отказоустойчивости ведь 2 надежнее чем
> один.

Зависит -- если "актив-актив", то может быть и балансировка, и
отказоустойчивость.  Но это редко бывает, обычно "актив-пассив"
(с холодной или горячей заменой отказавшего узла).

Если сильно хочется горячего резерва по железу -- можно
посмотреть Stratus'овские серверы, но IMHO обычно вполне
достаточно нормального хорошего железа с разумной степенью
хотсвопности и на нормальном хорошем питании.

> >> внешний дисковый массив для нужд файлохранилища.
> srlao> Кстати, если понадобится -- мы умеем делать кучутерабайтные
> srlao> стораджи на несколько гигабайт в секунду при необходимости:
> srlao> http://www.magic.kiev.ua/ru/solutions/clusters/storage/
> Реально дисковый массив по моим задумкам нужен для файлопомойки
> и баз 1С

Помойку можно держать внешней, а с базами -- лучше послушать уже
прозвучавшие ряом советы Лёшы, наверное, и балансировать _типы_ 
нагрузки.  Как по I/O, так и по CPU/RAM.

> srlao> SAS HDD в количестве 6--8 штук вполне хватит -- например, так:
> srlao> 2x73  [RAID1]   / /usr /var (или просто /)
> srlao> 4x146 [RAID10]  /home
> srlao> 2x146 [RAID1]   под бэкапы
> ок...надо подумать...расчитываю так то не столько сервер
> сколько просто железяку с большим количеством винтов и уже
> серверы будут обращаться к дисковому массиву

Лучше разбрасывать различную нагрузку по различным группам
физических шпинделей.  Например, в картинку выше можно дорисовать
4x146 [RAID10] под 1C.  А вот файлопомойку может быть проще
отселить на что угодно (RAID6?) на внешней кучке SATA.  И бэкапы
на ещё одной.

> >> На серверы рассчитываю ставить ALT Desktop+LTSP, рабочий стол
> >> отдавать по Х с организацией VPN до терминальных клиентов.

BTW VPN точно нужен?  Это не будет тривиально.  Мы планируем
к концу лета интеграцию транспорта с шифрованием, но на сегодня
безопасное соединение отсутствует во всех известных мне
дистрибутивах с LTSP4/5.

> srlao> Ставьте сразу это:
> srlao> ftp://ftp.linux.kiev.ua/pub/Linux/ALT/beta/ltsp-server/ltsp5-4.0-RC1.iso
> srlao> или если не горит -- надеюсь к лету выпустить 4.0.0, туда
> srlao> планируется более пригнанное терминальное ядро в том числе
> srlao> и std-pae, чтоб 4+Gb RAM сразу поддерживались "из коробки",
> srlao> как уже сделано в Линукс Терминал:
> srlao> ftp://ftp.linux.kiev.ua/pub/Linux/ALT/beta/school/terminal/
> Поставил на виртуалке но еще не потестил..

Сегодня образовался относительно свободный день (в ожидании
синхронизации школьного бранча), завтра образ предположительно
приедет на ftp://ftp.linux.kiev.ua/pub/Linux/ALT/beta/ltsp-server/
-- анонс напишу в ltsp-server@, как будет на месте.

> ну свое виденье выше изложил...что пока останавливаюсь на 2х серверах
> в вычислительном кластере

Вычислительный кластер (HPC) -- это сааавсем другой вид спорта, 
там вылет ноды -- нормальное явление.  Серьёзно, бросьте Вы эти
кластеры, не по делу они тут.  Вторая железка в горячем резерве,
избыточность стораджа и регулярный бэкап в таких случаях более
чем достаточны.

Если бы были оптимальны стойки с серверами и от-такенные внешние
стораджи -- так бы и сказал, благо на _вычислительных_ кластерах
НАН Украины (и не только) такое наши и строили:

http://icybcluster.org.ua/about.html
http://www.supercomputers.ru/?page=rating

> которые выполняют функции терминального сервера, клиентов
> попробую прописать цепляться по группам к одному или другому
> серверу в зависимости от группы, серверы в свою очередь будут
> обращаться к "железячному" дисковому массиву

Это всё можно мучительно построить и потерять столько же
производительности, например, на невыровненном RAID5.

Как по мне -- сапог в бою надёжней.  Впрочем, дело личное.

> srlao> Наибольшая проблема -- привычки пользователей...
> дааа...с пользователями не так все просто
> а про пилотный...нет в запасе свободных машинок чтобы можно
> было бы пробовать :(

С терминальным сервером можно пробовать и на имеющихся,
лишь бы умели грузиться по сети.

Цифры указаны на magic.kiev.ua и по ссылке на SuccessStories,
но в общем на двухъядерном десктопе с некоторым запасом по
памяти пять-десять мест пилотить можно спокойно (другое дело,
что начинать всё равно лучше с одного).

> srlao> PS: если потребуется поддержать процесс перехода в любом виде -- 
> srlao> что на фрисофт под виндой, что под линуксом, что ещё и с LTSP
> srlao> поверх -- наша лавочка может вписаться.  Хотя буду только рад,
> srlao> если сами справитесь и другим советом поможете :-)
> условия? интересно было бы узнать условия сотрудничества с
> вашей "лавочкой"

Оговариваются индивидуально -- у нас есть свои внутренние
ограничения на верхнюю и нижнюю планку по удельной стоимости
миграции на проектах, которые считаем осмысленными выполнять.
В любом разе стараемся максимально передать технологию
специалистам заказчика -- мы помогаем при переезде,
а им с этим жить.  И пользователям.

PS: в конце следующей недели буду в Москве, потом в Томск на
конференцию (про терминальные решения и буду рассказывать),
потом опять день-два в Москве; если будет надобность пойматься
в ближайшее время, можно попробовать.

В любом разе в Екатеринбурге водится wrar@, если потребуются
опытные руки на месте -- будем думать сообща.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[Sysadmins] [JT] Re: концепция сети и серверов

[Michael Shigorin]

On Tue, May 06, 2008 at 07:14:52PM +0300, Victor Zhuravlyov wrote:
> >  репазитарий огромный,
> Сегодня приятель дебианщик смотрел альт, в принципе понравился,
> но пробовать не стал из-за "несоизмеримо большего набора софта
> в дебиане" (Цитата)

Ну насчёт "несоизмеримо" он явно погорячился -- меньше чем вдвое,
причём вопрос в покрытии "тёмных углов", бишь того, что нужно
исчезающе малому проценту населения.  Всегда радует, когда редкая
софтинка оказывается сразу в репозитории, но дебиан тут не
дотягивает до альта необходимостью шариться по rarewares и/или
debian-multimedia для того, что у нас есть вообще в дистрибутиве.

Впрочем, при наличии желания ищется возможность, при отсутствии
-- отмазка.  Приятель может спать спокойно, хотя отмазка и гнилая
:)

> >  но главный плюс все же движение постоянно вперед и
> >  дружественность к российскому софту
> Этого не отнять :)

Мне кажется -- всё-таки другое.  Дебиановцы сидят в своих
траншеях, убунтушники в массе своей попросту некомпетентны.

Здесь собрались те, кому не лень делать что-то полезное вместе.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/