Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin <rider@altlinux.com>]

13.01.2010 22:07, Michael Shigorin пишет:
> On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
>> Есть 2 цели
>> 1.  Создать в уч.заведение кластер из рабочих станций.
>> Думаю на нем запускать ALT Skif.
>
> Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
> разве что бездисково грузить их под кластер и с локального
> винчестера -- под рабстанцию.

Только бездисково. Устанавливать на десктопы Skif в чистом виде я бы не 
рискнул.


>
>> Интересует Ваше мнение насчет
>> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или
>> Intel.  (Дома AMD и вроде нет проблем, но все же возможно
>> чем-то лучше intel?) - посоветуйте относительно недорогую но
>> хорошую десктоп материнскую плату с одной или 2-мя сетевыми
>> картами Gigabit Ethernet.
>
> Если считать -- то ясное дело, что 4-ядерники брать.
>
> Насчёт типа процессоров -- также зависит от того, что именно
> считать собираетесь, но для матричных библиотек на кластерах
> обычно предпочитают Intel (благодаря отдельно реализованной
> инструкции "сложить-умножить", что ли -- linpack оценивает).

Думаю, что Intel на Socket 1366 на данный момент был бы оптимальным 
вариантом.

>
>> Также думаю стоит установить nVidia GeForce в каждую машину для
>> знакомства с CUD`ой.  - посоветуйте видеокарту.
>
> Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
> во встраиваемых в чипсет видеоакселераторах, но если да, то
> может иметь смысл попросту взять материнки на нвидиевском.

Не стоит. Лучше брать отдельные карты.

>
>> 2.  HPC Что-то, что монтируется в стойку low-end класса.
>> Количество узлов 8.
>> Коммуникационный интерфейс - Ininiband
>> Сеть управления - Gigabit Ethernet.
>> Наверное какая-то система UPS'ов.
>
> Не "наверное", а обязательно.  Необязательно система, восемь штук
> на один можно посадить (кажется, может хватить 5kW).

И очень хорошо, если это будет APC, а не какое-то Г. ;)

Систему лучше всего заказать у тех, кто умеет её делать. Если собирать 
самому, то на данный момент я бы предпочёл что-то на серверных м/б Intel 
с встроенными BMC как минимум.

например, такую:
http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5520HC_Dual_LGA1366_i5520_PCIE_2xGbLAN_SATA_RAID_EATX_12DDRIII_46203.html

Но лучше всего заказать всю систему в целом, а не заниматься самосбором.

Обратите внимание, что железячник должен быть с опытом создания 
кластерных систем - там много нюансов.

И да, крайне желательно включить в конфиг гигабитный управляемый 
коммутатор Ethernet с поддержкой SNMP.

Из бюджетных вариантов можно попробовать D-Link, например серию 3100.

>
>> В системах профессионального уровня не совсем разбираюсь,
>> а потому интересно бы увидеть примеры решений и знать цены на
>> них, желательно у Украине(в гривнах).
>
> Если что, есть тут рядом железячники, на кластерном железе
> не одну упряжку съевшие.  В гривнах в том числе.
>
> PS: поспрошал -- получается так: с современным Infiniband можете
> ориентироваться на $4000/узел (включая инфраструктуру, но вряд ли
> бесперебойники); сэкономить можно за счёт старого SDR-свича и
> карточек, но пара quad-core в узле будет простаивать и тогда
> может иметь смысл не напрягаться, а сидеть на гигабите.

Лучше, всё-таки, IB поставить. Дорого, конечно... но намного интереснее 
с ним, чем без него.

> Возможно, стоит посмотреть на T-Blade 1.1 с восемью лезвиями;
> возможно, на twin-плату SuperMicro.

Если компактность не нужна, то не стоит переплачивать за лезвия. 8 узлов 
можно спокойно впихнуть в стойку, ещё и масса места останется..

Но, конечно, бюджет определяет всё. Если есть деньги, то можно и лезвия.

>
> Не забудьте про адекватное охлаждение сообразно потребляемой
> мощности -- для восьми узлов это ещё может быть комнатный
> кондиционер.

И не забудьте про адекватное электропитание... бывает так, что 5киловатт 
тяжело найти.

>
> Ну и при отсутствии опыта с кластерами может уйти неожиданно
> приличное время на настройку/освоение комплекса.

Безусловно, оно уйдёт в любом случае.

>
> То есть для обсуждения в качестве проекта стоит уточнить:
> - задачи
> - бюджет
> - сроки
> и их приоритеты.
>