Re: [Hardware] hardware4cluster_(workstations)

[andriy <l.andriy@gmail.com>]

On 14.01.10 07:24, Anton Farygin wrote:
> 13.01.2010 22:07, Michael Shigorin пишет:
>> On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
>>> Есть 2 цели
>>> 1.  Создать в уч.заведение кластер из рабочих станций.
>>> Думаю на нем запускать ALT Skif.
>>
>> Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
>> разве что бездисково грузить их под кластер и с локального
>> винчестера -- под рабстанцию.
>
> Только бездисково. Устанавливать на десктопы Skif в чистом виде я бы
> не рискнул.
А почему?
>
>
>>
>>> Интересует Ваше мнение насчет
>>> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или
>>> Intel.  (Дома AMD и вроде нет проблем, но все же возможно
>>> чем-то лучше intel?) - посоветуйте относительно недорогую но
>>> хорошую десктоп материнскую плату с одной или 2-мя сетевыми
>>> картами Gigabit Ethernet.
>>
>> Если считать -- то ясное дело, что 4-ядерники брать.
>>
>> Насчёт типа процессоров -- также зависит от того, что именно
>> считать собираетесь, но для матричных библиотек на кластерах
>> обычно предпочитают Intel (благодаря отдельно реализованной
>> инструкции "сложить-умножить", что ли -- linpack оценивает).
>
> Думаю, что Intel на Socket 1366 на данный момент был бы оптимальным
> вариантом.
>
>>
>>> Также думаю стоит установить nVidia GeForce в каждую машину для
>>> знакомства с CUD`ой.  - посоветуйте видеокарту.
>>
>> Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
>> во встраиваемых в чипсет видеоакселераторах, но если да, то
>> может иметь смысл попросту взять материнки на нвидиевском.
>
> Не стоит. Лучше брать отдельные карты.
А какие лучше? Имеются какие-то особенности кроме предложенного списка
на сайте nVidia?
>
>>
>>> 2.  HPC Что-то, что монтируется в стойку low-end класса.
>>> Количество узлов 8.
>>> Коммуникационный интерфейс - Ininiband
>>> Сеть управления - Gigabit Ethernet.
>>> Наверное какая-то система UPS'ов.
>>
>> Не "наверное", а обязательно.  Необязательно система, восемь штук
>> на один можно посадить (кажется, может хватить 5kW).
>
> И очень хорошо, если это будет APC, а не какое-то Г. ;)
>
> Систему лучше всего заказать у тех, кто умеет её делать. Если собирать
> самому, то на данный момент я бы предпочёл что-то на серверных м/б
> Intel с встроенными BMC как минимум.
>
> например, такую:
> http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5520HC_Dual_LGA1366_i5520_PCIE_2xGbLAN_SATA_RAID_EATX_12DDRIII_46203.html
>
>
> Но лучше всего заказать всю систему в целом, а не заниматься самосбором.
>
> Обратите внимание, что железячник должен быть с опытом создания
> кластерных систем - там много нюансов.
Я уже понял. Говорил с CCNP(Cisco) - даже не слышали о Infiniband.
>
> И да, крайне желательно включить в конфиг гигабитный управляемый
> коммутатор Ethernet с поддержкой SNMP.
>
> Из бюджетных вариантов можно попробовать D-Link, например серию 3100.
>
>>
>>> В системах профессионального уровня не совсем разбираюсь,
>>> а потому интересно бы увидеть примеры решений и знать цены на
>>> них, желательно у Украине(в гривнах).
>>
>> Если что, есть тут рядом железячники, на кластерном железе
>> не одну упряжку съевшие.  В гривнах в том числе.
>>
>> PS: поспрошал -- получается так: с современным Infiniband можете
>> ориентироваться на $4000/узел (включая инфраструктуру, но вряд ли
>> бесперебойники); сэкономить можно за счёт старого SDR-свича и
>> карточек, но пара quad-core в узле будет простаивать и тогда
>> может иметь смысл не напрягаться, а сидеть на гигабите.
>
> Лучше, всё-таки, IB поставить. Дорого, конечно... но намного
> интереснее с ним, чем без него.
Согласен, но я решать не буду.
>
>> Возможно, стоит посмотреть на T-Blade 1.1 с восемью лезвиями;
>> возможно, на twin-плату SuperMicro.
>
> Если компактность не нужна, то не стоит переплачивать за лезвия. 8
> узлов можно спокойно впихнуть в стойку, ещё и масса места останется..
>
> Но, конечно, бюджет определяет всё. Если есть деньги, то можно и лезвия.
>
>>
>> Не забудьте про адекватное охлаждение сообразно потребляемой
>> мощности -- для восьми узлов это ещё может быть комнатный
>> кондиционер.
>
> И не забудьте про адекватное электропитание... бывает так, что
> 5киловатт тяжело найти.
>
>>
>> Ну и при отсутствии опыта с кластерами может уйти неожиданно
>> приличное время на настройку/освоение комплекса.
>
> Безусловно, оно уйдёт в любом случае.
>
>>
>> То есть для обсуждения в качестве проекта стоит уточнить:
>> - задачи
>> - бюджет
>> - сроки
>> и их приоритеты.
>>
Выясняю.