[Hardware] hardware4cluster_(workstations)

[Hardware] hardware4cluster_(workstations)

[andriy]

Hi,community!

Есть 2 цели
1.
Создать в уч.заведение кластер из рабочих станций.
Думаю на нем запускать ALT Skif.
Интересует Ваше мнение насчет
-2x- или возможно 4х- ядерных процессоров: что лучше AMD или Intel.
(Дома AMD и вроде нет проблем, но все же возможно чем-то лучше intel?)
- посоветуйте относительно недорогую но хорошую десктоп материнскую
плату с одной или 2-мя сетевыми картами
Gigabit Ethernet.
Также думаю стоит установить nVidia GeForce в каждую машину для
знакомства с CUD`ой.
- посоветуйте видеокарту.

2.
HPC
Что-то, что монтируется в стойку low-end класса.
Количество узлов 8.
Коммуникационный интерфейс - Ininiband
Сеть управления - Gigabit Ethernet.
Наверное какая-то система UPS'ов.
В системах профессионального уровня не совсем разбираюсь,
а потому интересно бы увидеть примеры решений и знать цены на них,
желательно у Украине(в гривнах).

Спасибо за советы.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
> Есть 2 цели
> 1.  Создать в уч.заведение кластер из рабочих станций.
> Думаю на нем запускать ALT Skif.

Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
разве что бездисково грузить их под кластер и с локального
винчестера -- под рабстанцию.

> Интересует Ваше мнение насчет
> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или
> Intel.  (Дома AMD и вроде нет проблем, но все же возможно
> чем-то лучше intel?) - посоветуйте относительно недорогую но
> хорошую десктоп материнскую плату с одной или 2-мя сетевыми
> картами Gigabit Ethernet.

Если считать -- то ясное дело, что 4-ядерники брать.

Насчёт типа процессоров -- также зависит от того, что именно
считать собираетесь, но для матричных библиотек на кластерах
обычно предпочитают Intel (благодаря отдельно реализованной
инструкции "сложить-умножить", что ли -- linpack оценивает).

> Также думаю стоит установить nVidia GeForce в каждую машину для
> знакомства с CUD`ой.  - посоветуйте видеокарту.

Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
во встраиваемых в чипсет видеоакселераторах, но если да, то
может иметь смысл попросту взять материнки на нвидиевском.

> 2.  HPC Что-то, что монтируется в стойку low-end класса.
> Количество узлов 8.
> Коммуникационный интерфейс - Ininiband
> Сеть управления - Gigabit Ethernet.
> Наверное какая-то система UPS'ов.

Не "наверное", а обязательно.  Необязательно система, восемь штук
на один можно посадить (кажется, может хватить 5kW).

> В системах профессионального уровня не совсем разбираюсь,
> а потому интересно бы увидеть примеры решений и знать цены на
> них, желательно у Украине(в гривнах).

Если что, есть тут рядом железячники, на кластерном железе
не одну упряжку съевшие.  В гривнах в том числе.

PS: поспрошал -- получается так: с современным Infiniband можете
ориентироваться на $4000/узел (включая инфраструктуру, но вряд ли
бесперебойники); сэкономить можно за счёт старого SDR-свича и
карточек, но пара quad-core в узле будет простаивать и тогда
может иметь смысл не напрягаться, а сидеть на гигабите.

Возможно, стоит посмотреть на T-Blade 1.1 с восемью лезвиями;
возможно, на twin-плату SuperMicro.

Не забудьте про адекватное охлаждение сообразно потребляемой
мощности -- для восьми узлов это ещё может быть комнатный
кондиционер.

Ну и при отсутствии опыта с кластерами может уйти неожиданно
приличное время на настройку/освоение комплекса.

То есть для обсуждения в качестве проекта стоит уточнить:
- задачи
- бюджет
- сроки
и их приоритеты.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

13.01.2010 22:07, Michael Shigorin пишет:
> On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
>> Есть 2 цели
>> 1.  Создать в уч.заведение кластер из рабочих станций.
>> Думаю на нем запускать ALT Skif.
>
> Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
> разве что бездисково грузить их под кластер и с локального
> винчестера -- под рабстанцию.

Только бездисково. Устанавливать на десктопы Skif в чистом виде я бы не 
рискнул.


>
>> Интересует Ваше мнение насчет
>> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или
>> Intel.  (Дома AMD и вроде нет проблем, но все же возможно
>> чем-то лучше intel?) - посоветуйте относительно недорогую но
>> хорошую десктоп материнскую плату с одной или 2-мя сетевыми
>> картами Gigabit Ethernet.
>
> Если считать -- то ясное дело, что 4-ядерники брать.
>
> Насчёт типа процессоров -- также зависит от того, что именно
> считать собираетесь, но для матричных библиотек на кластерах
> обычно предпочитают Intel (благодаря отдельно реализованной
> инструкции "сложить-умножить", что ли -- linpack оценивает).

Думаю, что Intel на Socket 1366 на данный момент был бы оптимальным 
вариантом.

>
>> Также думаю стоит установить nVidia GeForce в каждую машину для
>> знакомства с CUD`ой.  - посоветуйте видеокарту.
>
> Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
> во встраиваемых в чипсет видеоакселераторах, но если да, то
> может иметь смысл попросту взять материнки на нвидиевском.

Не стоит. Лучше брать отдельные карты.

>
>> 2.  HPC Что-то, что монтируется в стойку low-end класса.
>> Количество узлов 8.
>> Коммуникационный интерфейс - Ininiband
>> Сеть управления - Gigabit Ethernet.
>> Наверное какая-то система UPS'ов.
>
> Не "наверное", а обязательно.  Необязательно система, восемь штук
> на один можно посадить (кажется, может хватить 5kW).

И очень хорошо, если это будет APC, а не какое-то Г. ;)

Систему лучше всего заказать у тех, кто умеет её делать. Если собирать 
самому, то на данный момент я бы предпочёл что-то на серверных м/б Intel 
с встроенными BMC как минимум.

например, такую:
http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5520HC_Dual_LGA1366_i5520_PCIE_2xGbLAN_SATA_RAID_EATX_12DDRIII_46203.html

Но лучше всего заказать всю систему в целом, а не заниматься самосбором.

Обратите внимание, что железячник должен быть с опытом создания 
кластерных систем - там много нюансов.

И да, крайне желательно включить в конфиг гигабитный управляемый 
коммутатор Ethernet с поддержкой SNMP.

Из бюджетных вариантов можно попробовать D-Link, например серию 3100.

>
>> В системах профессионального уровня не совсем разбираюсь,
>> а потому интересно бы увидеть примеры решений и знать цены на
>> них, желательно у Украине(в гривнах).
>
> Если что, есть тут рядом железячники, на кластерном железе
> не одну упряжку съевшие.  В гривнах в том числе.
>
> PS: поспрошал -- получается так: с современным Infiniband можете
> ориентироваться на $4000/узел (включая инфраструктуру, но вряд ли
> бесперебойники); сэкономить можно за счёт старого SDR-свича и
> карточек, но пара quad-core в узле будет простаивать и тогда
> может иметь смысл не напрягаться, а сидеть на гигабите.

Лучше, всё-таки, IB поставить. Дорого, конечно... но намного интереснее 
с ним, чем без него.

> Возможно, стоит посмотреть на T-Blade 1.1 с восемью лезвиями;
> возможно, на twin-плату SuperMicro.

Если компактность не нужна, то не стоит переплачивать за лезвия. 8 узлов 
можно спокойно впихнуть в стойку, ещё и масса места останется..

Но, конечно, бюджет определяет всё. Если есть деньги, то можно и лезвия.

>
> Не забудьте про адекватное охлаждение сообразно потребляемой
> мощности -- для восьми узлов это ещё может быть комнатный
> кондиционер.

И не забудьте про адекватное электропитание... бывает так, что 5киловатт 
тяжело найти.

>
> Ну и при отсутствии опыта с кластерами может уйти неожиданно
> приличное время на настройку/освоение комплекса.

Безусловно, оно уйдёт в любом случае.

>
> То есть для обсуждения в качестве проекта стоит уточнить:
> - задачи
> - бюджет
> - сроки
> и их приоритеты.
>

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Thu, Jan 14, 2010 at 08:24:10AM +0300, Anton Farygin wrote:
> Обратите внимание, что железячник должен быть с опытом создания
> кластерных систем - там много нюансов.

На Украине таких известен один (поскольку кластеровод ещё одного
сейчас является нашим техдиром, а техдир другого теперь является
главой вот этого одного).

> Но, конечно, бюджет определяет всё. Если есть деньги, то можно
> и лезвия.

Это прикидывали "как для вуза".  Сам в ценах тут совершенно
не ориентируюсь, поэтому сказать, что именно будет дешевле
или дороже, не могу.

> >Не забудьте про адекватное охлаждение сообразно потребляемой
> >мощности -- для восьми узлов это ещё может быть комнатный
> >кондиционер.
> И не забудьте про адекватное электропитание... бывает так, что
> 5киловатт тяжело найти.

Про питание как раз забыть сложнее, чем про охлаждение (хотя да,
проблема есть -- мы в серверную отдельный кабель кидали).
Важно помнить, что охлаждению также требуется питание _и_ что
об отказе охлаждения лучше узнать не наутро.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 14.01.10 22:21, Michael Shigorin wrote:
> On Thu, Jan 14, 2010 at 08:24:10AM +0300, Anton Farygin wrote:
>   
>> Обратите внимание, что железячник должен быть с опытом создания
>> кластерных систем - там много нюансов.
>>     
> На Украине таких известен один (поскольку кластеровод ещё одного
> сейчас является нашим техдиром, а техдир другого теперь является
> главой вот этого одного).
>   
По интернету вижу что параллельные вычисления в Украине наиболее развиты
в КПИ, институте кибернетики и вроде университете Шевченко.
В России же таких систем как вижу намного больше... как показалось.
>   
>> Но, конечно, бюджет определяет всё. Если есть деньги, то можно
>> и лезвия.
>>     
> Это прикидывали "как для вуза".  Сам в ценах тут совершенно
> не ориентируюсь, поэтому сказать, что именно будет дешевле
> или дороже, не могу.
>   
Для ВУЗа и интересует. Моя задача просто рассмотреть возможные варианты
и узнать
ориентировочную стоимость.

>>> Не забудьте про адекватное охлаждение сообразно потребляемой
>>> мощности -- для восьми узлов это ещё может быть комнатный
>>> кондиционер.
>>>       
>> И не забудьте про адекватное электропитание... бывает так, что
>> 5киловатт тяжело найти.
>>     
> Про питание как раз забыть сложнее, чем про охлаждение (хотя да,
> проблема есть -- мы в серверную отдельный кабель кидали).
> Важно помнить, что охлаждению также требуется питание _и_ что
> об отказе охлаждения лучше узнать не наутро.
>   
А для одной стойки на 8 узлов тоже нужно что-то специфическое?

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 14.01.10 07:24, Anton Farygin wrote:
> 13.01.2010 22:07, Michael Shigorin пишет:
>> On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
>>> Есть 2 цели
>>> 1.  Создать в уч.заведение кластер из рабочих станций.
>>> Думаю на нем запускать ALT Skif.
>>
>> Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
>> разве что бездисково грузить их под кластер и с локального
>> винчестера -- под рабстанцию.
>
> Только бездисково. Устанавливать на десктопы Skif в чистом виде я бы
> не рискнул.
А почему?
>
>
>>
>>> Интересует Ваше мнение насчет
>>> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или
>>> Intel.  (Дома AMD и вроде нет проблем, но все же возможно
>>> чем-то лучше intel?) - посоветуйте относительно недорогую но
>>> хорошую десктоп материнскую плату с одной или 2-мя сетевыми
>>> картами Gigabit Ethernet.
>>
>> Если считать -- то ясное дело, что 4-ядерники брать.
>>
>> Насчёт типа процессоров -- также зависит от того, что именно
>> считать собираетесь, но для матричных библиотек на кластерах
>> обычно предпочитают Intel (благодаря отдельно реализованной
>> инструкции "сложить-умножить", что ли -- linpack оценивает).
>
> Думаю, что Intel на Socket 1366 на данный момент был бы оптимальным
> вариантом.
>
>>
>>> Также думаю стоит установить nVidia GeForce в каждую машину для
>>> знакомства с CUD`ой.  - посоветуйте видеокарту.
>>
>> Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
>> во встраиваемых в чипсет видеоакселераторах, но если да, то
>> может иметь смысл попросту взять материнки на нвидиевском.
>
> Не стоит. Лучше брать отдельные карты.
А какие лучше? Имеются какие-то особенности кроме предложенного списка
на сайте nVidia?
>
>>
>>> 2.  HPC Что-то, что монтируется в стойку low-end класса.
>>> Количество узлов 8.
>>> Коммуникационный интерфейс - Ininiband
>>> Сеть управления - Gigabit Ethernet.
>>> Наверное какая-то система UPS'ов.
>>
>> Не "наверное", а обязательно.  Необязательно система, восемь штук
>> на один можно посадить (кажется, может хватить 5kW).
>
> И очень хорошо, если это будет APC, а не какое-то Г. ;)
>
> Систему лучше всего заказать у тех, кто умеет её делать. Если собирать
> самому, то на данный момент я бы предпочёл что-то на серверных м/б
> Intel с встроенными BMC как минимум.
>
> например, такую:
> http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5520HC_Dual_LGA1366_i5520_PCIE_2xGbLAN_SATA_RAID_EATX_12DDRIII_46203.html
>
>
> Но лучше всего заказать всю систему в целом, а не заниматься самосбором.
>
> Обратите внимание, что железячник должен быть с опытом создания
> кластерных систем - там много нюансов.
Я уже понял. Говорил с CCNP(Cisco) - даже не слышали о Infiniband.
>
> И да, крайне желательно включить в конфиг гигабитный управляемый
> коммутатор Ethernet с поддержкой SNMP.
>
> Из бюджетных вариантов можно попробовать D-Link, например серию 3100.
>
>>
>>> В системах профессионального уровня не совсем разбираюсь,
>>> а потому интересно бы увидеть примеры решений и знать цены на
>>> них, желательно у Украине(в гривнах).
>>
>> Если что, есть тут рядом железячники, на кластерном железе
>> не одну упряжку съевшие.  В гривнах в том числе.
>>
>> PS: поспрошал -- получается так: с современным Infiniband можете
>> ориентироваться на $4000/узел (включая инфраструктуру, но вряд ли
>> бесперебойники); сэкономить можно за счёт старого SDR-свича и
>> карточек, но пара quad-core в узле будет простаивать и тогда
>> может иметь смысл не напрягаться, а сидеть на гигабите.
>
> Лучше, всё-таки, IB поставить. Дорого, конечно... но намного
> интереснее с ним, чем без него.
Согласен, но я решать не буду.
>
>> Возможно, стоит посмотреть на T-Blade 1.1 с восемью лезвиями;
>> возможно, на twin-плату SuperMicro.
>
> Если компактность не нужна, то не стоит переплачивать за лезвия. 8
> узлов можно спокойно впихнуть в стойку, ещё и масса места останется..
>
> Но, конечно, бюджет определяет всё. Если есть деньги, то можно и лезвия.
>
>>
>> Не забудьте про адекватное охлаждение сообразно потребляемой
>> мощности -- для восьми узлов это ещё может быть комнатный
>> кондиционер.
>
> И не забудьте про адекватное электропитание... бывает так, что
> 5киловатт тяжело найти.
>
>>
>> Ну и при отсутствии опыта с кластерами может уйти неожиданно
>> приличное время на настройку/освоение комплекса.
>
> Безусловно, оно уйдёт в любом случае.
>
>>
>> То есть для обсуждения в качестве проекта стоит уточнить:
>> - задачи
>> - бюджет
>> - сроки
>> и их приоритеты.
>>
Выясняю.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

15.01.2010 08:10, andriy пишет:
> On 14.01.10 07:24, Anton Farygin wrote:
>> 13.01.2010 22:07, Michael Shigorin пишет:
>>> On Wed, Jan 13, 2010 at 03:30:31AM +0200, andriy wrote:
>>>> Есть 2 цели
>>>> 1.  Создать в уч.заведение кластер из рабочих станций.
>>>> Думаю на нем запускать ALT Skif.
>>>
>>> Не уверен, что скрещивать ужа с ежом будет хорошей идеей...
>>> разве что бездисково грузить их под кластер и с локального
>>> винчестера -- под рабстанцию.
>>
>> Только бездисково. Устанавливать на десктопы Skif в чистом виде я бы
>> не рискнул.
> А почему?

система сильно заточена на кластерное использование.

<skip>

>>>
>>> Для знакомства достаточно в одну.  Не в курсе, есть ли CUDA
>>> во встраиваемых в чипсет видеоакселераторах, но если да, то
>>> может иметь смысл попросту взять материнки на нвидиевском.
>>
>> Не стоит. Лучше брать отдельные карты.
> А какие лучше? Имеются какие-то особенности кроме предложенного списка
> на сайте nVidia?

Здесь всё проще - чем мощнее - тем быстрее. Ну, и от бюджета зависит.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Fri, Jan 15, 2010 at 07:04:26AM +0200, andriy wrote:
> >> Обратите внимание, что железячник должен быть с опытом
> >> создания кластерных систем - там много нюансов.
> > На Украине таких известен один (поскольку кластеровод ещё
> > одного сейчас является нашим техдиром, а техдир другого
> > теперь является главой вот этого одного).
> По интернету вижу что параллельные вычисления в Украине
> наиболее развиты в КПИ, институте кибернетики

Эти установки строил наш техдир (sr@). :)

> и вроде университете Шевченко.

Там своё.  Ещё есть народ в ин-те теорфизики.

> В России же таких систем как вижу намного больше... как показалось.

Угу.

> > Важно помнить, что охлаждению также требуется питание _и_ что
> > об отказе охлаждения лучше узнать не наутро.
> А для одной стойки на 8 узлов тоже нужно что-то специфическое?

Должно хватить мощного "офисно-домашнего" кондиционера
и отдельного подвода на 4--5А к нему и UPS.  Это с электриком
лучше пообщаться -- "куда плюхнуть пять ампер/десять киловатт".
Даже если в итоге выйдет два-три, лучше сразу обеспечить запас.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Dmytro Kovalskyy]

На Вашем месте сейчас с CUDA я бы не стал заморачиваться, если кластерами не 
занимались вообще. Пока дойдут руки до вычислений на GPU они пять раз уже обновятся. 

Вы определитесь что будете считать, тогда можно подобрать железо.

Мне например очень нвравятся 6-ядерный оптерон и два камня на машину -- для расчета 
МД (где нужен быстрый интерконнект между ядрами) самое оно
если будете ab initio делать запасайтесь выстрыми винтами (скази и только скази)

Дима

 
> Hi,community!
>
> Есть 2 цели
> 1.
> Создать в уч.заведение кластер из рабочих станций.
> Думаю на нем запускать ALT Skif.
> Интересует Ваше мнение насчет
> -2x- или возможно 4х- ядерных процессоров: что лучше AMD или Intel.
> (Дома AMD и вроде нет проблем, но все же возможно чем-то лучше intel?)
> - посоветуйте относительно недорогую но хорошую десктоп материнскую
> плату с одной или 2-мя сетевыми картами
> Gigabit Ethernet.
> Также думаю стоит установить nVidia GeForce в каждую машину для
> знакомства с CUD`ой.
> - посоветуйте видеокарту.
>
> 2.
> HPC
> Что-то, что монтируется в стойку low-end класса.
> Количество узлов 8.
> Коммуникационный интерфейс - Ininiband
> Сеть управления - Gigabit Ethernet.
> Наверное какая-то система UPS'ов.
> В системах профессионального уровня не совсем разбираюсь,
> а потому интересно бы увидеть примеры решений и знать цены на них,
> желательно у Украине(в гривнах).
>
> Спасибо за советы.
>
> _______________________________________________
> Hardware mailing list
> Hardware@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/hardware



-- 
-----------------------------------------------------
Dmytro Kovalskyy, PhD                D.Kovalskyy@enamine.net
Molecular Modelling Group Leader     tel.: +38 044 537 32 18
Enamine ltd.                         fax : +38 044 537 32 53
23, Matrosova str.
01103 Kiev, Ukraine

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

15.01.2010 12:35, Michael Shigorin пишет:
> On Fri, Jan 15, 2010 at 07:04:26AM +0200, andriy wrote:

<skip>

>
>>> Важно помнить, что охлаждению также требуется питание _и_ что
>>> об отказе охлаждения лучше узнать не наутро.
>> А для одной стойки на 8 узлов тоже нужно что-то специфическое?
>
> Должно хватить мощного "офисно-домашнего" кондиционера
> и отдельного подвода на 4--5А к нему и UPS.  Это с электриком
> лучше пообщаться -- "куда плюхнуть пять ампер/десять киловатт".
> Даже если в итоге выйдет два-три, лучше сразу обеспечить запас.

Пять ампер - это никак не 10 киловатт.

Вот пятьдесят ампер - это уже ближе ;)

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Fri, Jan 15, 2010 at 03:13:26PM +0300, Anton Farygin wrote:
> >>>Важно помнить, что охлаждению также требуется питание _и_ что
> >>>об отказе охлаждения лучше узнать не наутро.
> >>А для одной стойки на 8 узлов тоже нужно что-то специфическое?
> >Должно хватить мощного "офисно-домашнего" кондиционера
> >и отдельного подвода на 4--5А к нему и UPS.  Это с электриком
> >лучше пообщаться -- "куда плюхнуть пять ампер/десять киловатт".
> >Даже если в итоге выйдет два-три, лучше сразу обеспечить запас.
> Пять ампер - это никак не 10 киловатт.
> Вот пятьдесят ампер - это уже ближе ;)

Угу, спасибо.  Сплю, пишу и думаю -- пять ампер это квадрат,
ну два, но никак не кабель в два пальца толщиной...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 15.01.10 18:53, Michael Shigorin wrote:
> On Fri, Jan 15, 2010 at 03:13:26PM +0300, Anton Farygin wrote:
>   
>>>>> Важно помнить, что охлаждению также требуется питание _и_ что
>>>>> об отказе охлаждения лучше узнать не наутро.
>>>>>           
>>>> А для одной стойки на 8 узлов тоже нужно что-то специфическое?
>>>>         
>>> Должно хватить мощного "офисно-домашнего" кондиционера
>>> и отдельного подвода на 4--5А к нему и UPS.  Это с электриком
>>> лучше пообщаться -- "куда плюхнуть пять ампер/десять киловатт".
>>> Даже если в итоге выйдет два-три, лучше сразу обеспечить запас.
>>>       
>> Пять ампер - это никак не 10 киловатт.
>> Вот пятьдесят ампер - это уже ближе ;)
>>     
> Угу, спасибо.  Сплю, пишу и думаю -- пять ампер это квадрат,
> ну два, но никак не кабель в два пальца толщиной...
>
>   
Большое спасибо за все идеи.
Немного посмотрел по инету - поговорил с ответственными лицами и...
(бюджета нет).

Но клас для изучения параллельного программирования делать буду, это
также будет лаборатория и
 общего назначения. И несколько вопросов:
1. Что лучше AMD или Intel из 2х или 4х ядерных процессоров.
2. Относительно хорошие м/п под эти процессора.
3. Какой-то RAID-контролер из тех что доступнее по цене под SATA-диски,
если такие есть.
(Думаю одну машину под систему хранения данных.)
4. nVidia-видеокарту для CUDA.        nVidia Corporation G94 [GeForce
9600 GT] подойдет?
ОС - ALT Linux Desktop 5.x+branch и ALT Linux Skif 4.1(как советовали с
загрузкой по PXE  - только объясните почему не dualboot?)
Спасибо за ответы.
Извините, что занял время расспросами по стоечной системе... не вышло :-(

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Sun, Jan 24, 2010 at 08:05:31AM +0200, andriy wrote:
> Но клас для изучения параллельного программирования делать
> буду, это также будет лаборатория и общего назначения. И
> несколько вопросов:
> 1. Что лучше AMD или Intel из 2х или 4х ядерных процессоров.

Может иметь смысл сделать набор, кстати -- примерно пополам
четырёхъядерников и пару dualcore.

> 2. Относительно хорошие м/п под эти процессора.

Сейчас не ориентируюсь, последние годы у нас на конторе следящий
за железом народ домой брал Gigabyte, в прошлом году не спрашивал.

> 3. Какой-то RAID-контролер из тех что доступнее по цене под
> SATA-диски, если такие есть.  (Думаю одну машину под систему
> хранения данных.)

Это также про корпус, его вентиляцию и блок питания.
В десктопный вряд ли есть много смысла напихивать больше
4, ну 6 штук, а для 8 или 12 лучше купить специальный корпус.
Очень хорошо, если получится разориться на хотсвопный (мне
в этом году опять предстоит менять четыре диска из восьми в
ftp.linux.kiev.ua, там http://inpc.com.ua/data/d33.html --
вытягивать всё счастье, разбирать и извлекать корзинку, из неё
диски, а потом всё в обратном порядке... не шибко приятно).

То есть может не быть смысла засовывать туда Areca, 3ware
или Adaptec из железных, а обойтись поиском материнки с прилично
разведённым SATA в достаточном количестве (на f.l.k.u стоит
Foxconn NFPIK8AA-8EKRS на nForce Pro с 8xSATA, Opteron и ECC,
но это преданье дней минувших скорее).

По дискам недавно проходился -- похоже, что сейчас всё так же
не стоит брать Seagate SATA, что-то странное с Hitachi в плане
наличия, зато косяками продают WD Black и fcenter.ru по итогам
тестов о них отзывались очень хорошо.

> ОС - ALT Linux Desktop 5.x+branch и ALT Linux Skif 4.1(как
> советовали с загрузкой по PXE  - только объясните почему не
> dualboot?) Спасибо за ответы.

Потому что счётным нодам локальный диск нужен только для свопа.
Соображения в пользу бездисковости -- ровно те же, что и для
терминального сервера: затраты времени на изменение состава и
конфигурации ОС узлов намного меньше.

> Извините, что занял время расспросами по стоечной системе...
> не вышло :-(

Да не расстраивайтесь, это было предсказуемо.  Но на всякий
случай лучше ж иметь ориентиры, правильно? ;-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 24.01.10 13:29, Michael Shigorin wrote:
> On Sun, Jan 24, 2010 at 08:05:31AM +0200, andriy wrote:
>   
>> Но клас для изучения параллельного программирования делать
>> буду, это также будет лаборатория и общего назначения. И
>> несколько вопросов:
>> 1. Что лучше AMD или Intel из 2х или 4х ядерных процессоров.
>>     
> Может иметь смысл сделать набор, кстати -- примерно пополам
> четырёхъядерников и пару dualcore.
>   
Лучше все же intel?
>   
>> 2. Относительно хорошие м/п под эти процессора.
>>     
> Сейчас не ориентируюсь, последние годы у нас на конторе следящий
> за железом народ домой брал Gigabyte, в прошлом году не спрашивал.
>
>   
>> 3. Какой-то RAID-контролер из тех что доступнее по цене под
>> SATA-диски, если такие есть.  (Думаю одну машину под систему
>> хранения данных.)
>>     
> Это также про корпус, его вентиляцию и блок питания.
> В десктопный вряд ли есть много смысла напихивать больше
> 4, ну 6 штук, а для 8 или 12 лучше купить специальный корпус.
> Очень хорошо, если получится разориться на хотсвопный (мне
> в этом году опять предстоит менять четыре диска из восьми в
> ftp.linux.kiev.ua, там http://inpc.com.ua/data/d33.html --
> вытягивать всё счастье, разбирать и извлекать корзинку, из неё
> диски, а потом всё в обратном порядке... не шибко приятно).
>
> То есть может не быть смысла засовывать туда Areca, 3ware
> или Adaptec из железных, а обойтись поиском материнки с прилично
> разведённым SATA в достаточном количестве (на f.l.k.u стоит
> Foxconn NFPIK8AA-8EKRS на nForce Pro с 8xSATA, Opteron и ECC,
> но это преданье дней минувших скорее).
>
> По дискам недавно проходился -- похоже, что сейчас всё так же
> не стоит брать Seagate SATA, что-то странное с Hitachi в плане
> наличия, зато косяками продают WD Black и fcenter.ru по итогам
> тестов о них отзывались очень хорошо.
>   
А по надежности есть какие-то "моменты" c объемом?

А блоки питания какие лучше (Chiftec или что-то еще)?

Тут же вопрос сносного UPS'а ?
>   
>> ОС - ALT Linux Desktop 5.x+branch и ALT Linux Skif 4.1(как
>> советовали с загрузкой по PXE  - только объясните почему не
>> dualboot?) Спасибо за ответы.
>>     
> Потому что счётным нодам локальный диск нужен только для свопа.
> Соображения в пользу бездисковости -- ровно те же, что и для
> терминального сервера: затраты времени на изменение состава и
> конфигурации ОС узлов намного меньше.
>
>   
>> Извините, что занял время расспросами по стоечной системе...
>> не вышло :-(
>>     
> Да не расстраивайтесь, это было предсказуемо.  Но на всякий
> случай лучше ж иметь ориентиры, правильно? ;-)
>   
Точно. :-)

А комутатор из D-Link'ов подойдет?
Если можно - также совет что будет/надежней производительней на 16-портов.

Имеет смысл для одного сервера, комутатора заводить какой-то шкаф, или
стойку?

 

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Wed, Jan 27, 2010 at 09:55:53PM +0200, andriy wrote:
> > По дискам недавно проходился -- похоже, что сейчас всё так же
> > не стоит брать Seagate SATA, что-то странное с Hitachi в
> > плане наличия, зато косяками продают WD Black и fcenter.ru по
> > итогам тестов о них отзывались очень хорошо.
> А по надежности есть какие-то "моменты" c объемом?

Не знаю.

> А блоки питания какие лучше (Chiftec или что-то еще)?

Лучше спросите железячников, что по возвратам порекомендуют.

> Тут же вопрос сносного UPS'а ?

APC, пожалуй.

> А комутатор из D-Link'ов подойдет?  Если можно - также совет
> что будет/надежней производительней на 16-портов.

Не знаю, как они сейчас -- в 2002/3 с 16x100 D-Link за $200+
проблем не было, сейчас по комнатам предпочитаются 8x1000
HP ProCurve (~$70).

> Имеет смысл для одного сервера, комутатора заводить какой-то
> шкаф, или стойку?

Также зависит от того, есть ли другое ответственное/рэковое
оборудование, планируется ли оно в ближайшие годы, и есть ли
под гермозону кондиционируемый уголок.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

27.01.2010 23:45, Michael Shigorin пишет:
> On Wed, Jan 27, 2010 at 09:55:53PM +0200, andriy wrote:
>>> По дискам недавно проходился -- похоже, что сейчас всё так же
>>> не стоит брать Seagate SATA, что-то странное с Hitachi в
>>> плане наличия, зато косяками продают WD Black и fcenter.ru по
>>> итогам тестов о них отзывались очень хорошо.
>> А по надежности есть какие-то "моменты" c объемом?
>
> Не знаю.

Больший объём - меньшая надёжность.

Впрочем, харды умирают все. А вот hitachi у меня живут отлично, правда 
везде очень качественное питание (блоки + APC) и стабильная температура.

>
>> А блоки питания какие лучше (Chiftec или что-то еще)?
>
> Лучше спросите железячников, что по возвратам порекомендуют.

согласен. Блоки питания лучше всего подбирать по отзывам железячников.

>
>> Тут же вопрос сносного UPS'а ?
>
> APC, пожалуй.

+1

>
>> А комутатор из D-Link'ов подойдет?  Если можно - также совет
>> что будет/надежней производительней на 16-портов.
>
> Не знаю, как они сейчас -- в 2002/3 с 16x100 D-Link за $200+
> проблем не было, сейчас по комнатам предпочитаются 8x1000
> HP ProCurve (~$70).

Это не управляемый коммутатор. Для кластера, всё-таки, лучше брать 
коммутатор L2.

Из D-Link могу посоветовать 3100-24, но он дорогой (для D-Link'а) и 24-х 
портовый.

Есть ещё вот такой: D-link DGS-3200-16, но ценник его таков, что 
выгоднее взять 3100-24 (по цене за порт).

Из минусов - тормозит интерфейс, тяжело переносит шторм пакетов и шумный.
Но всё более качественное сразу увеличивает ценник в разы ;(


>
>> Имеет смысл для одного сервера, комутатора заводить какой-то
>> шкаф, или стойку?
>
> Также зависит от того, есть ли другое ответственное/рэковое
> оборудование, планируется ли оно в ближайшие годы, и есть ли
> под гермозону кондиционируемый уголок.

И от того, где это оборудование будет установлено. Если в одной комнате 
с людьми - однозначно шкаф.

Re: [Hardware] hardware4cluster_(workstations)

[Denis Nazarov]

В сообщении от Четверг 28 января 2010 15:02:33 автор Anton Farygin написал:
> >> А блоки питания какие лучше (Chiftec или что-то еще)?
> >
> > Лучше спросите железячников, что по возвратам порекомендуют.
> 
> согласен. Блоки питания лучше всего подбирать по отзывам железячников.
> 
и смотреть на срок гарантии. Есть БП, на которые больше полугода дается 
гарантия, чем больше - значит, тем больше производитель уверен в качестве БП. 
А летят все - хоть чифтеки, хоть термалтейки, хоть инвины....

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

29.01.2010 10:26, andriy пишет:
> On 28.01.10 18:12, Denis Nazarov wrote:
>> В сообщении от Четверг 28 января 2010 15:02:33 автор Anton Farygin написал:
>>
>>>>> А блоки питания какие лучше (Chiftec или что-то еще)?
>>>>>
>>>> Лучше спросите железячников, что по возвратам порекомендуют.
>>>>
>>> согласен. Блоки питания лучше всего подбирать по отзывам железячников.
>>>
>>>
>> и смотреть на срок гарантии. Есть БП, на которые больше полугода дается
>> гарантия, чем больше - значит, тем больше производитель уверен в качестве БП.
>> А летят все - хоть чифтеки, хоть термалтейки, хоть инвины....
>>
>
> Что скажете о конфигурации сервера:
> Процессор Intel Core 2 Quad Q9400
> М/плата Intel DQ35MP или М/ плата Intel DG45
> сетевая плата Intel PWLA8391GT PRO/1000
> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
> Б/п ATX CoolerMaster 500 W Silent
> Корпус EATX Chieftec SH-01B-B-B-OP
> DVD-RW SATA LG GH22NS50 Silver
> 3.5" SATA II 1000 Гб 7200 rpm 32 Мб WD Caviar Green (WD10EADS)

DVD-RW можно было бы и убрать.
Вообще, по конфигурации - это не сервер, а десктоп.

Для сервера, если брать Intel, то лучше будет это:
http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5500BC_Dual_LGA1366_i5500_2xGbLAN_SATA_RAID_8DDRIII_66948.html

И процессоры Xeon E5504 или 5506.

Впрочем, смотря какие задачи будут на этот сервер возложены. Если он в 
расчётах участвовать не будет - то усиливать процессорами и памятью 
лучше рабочие станции, а здесь оставить что-то попроще (5502, например).


>
> APC Back-UPS RS 650VA, 230V (BR650CI-RS)
>
>
>
>
> ?
> Рабочие станции (ноды)
> AMD Socket AM2 6000+ tray (ADX6000IAA6CS)
> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
> М/п Socket AM2 MSI K9A2 CF-F (601-7388-010)
> Б/п ATX Chieftec 400 W CHP-400A
> Видеокарта PCI-E ASUS GeForce 9600GT HTDI 1Gb TV
> Корпус ATX 3R System R510
> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)

Памяти маловато, процессоры древние.

>
>
> и
>
> Комутатор D-Link DGS-3024

А чем обоснован выбор DGS-3024, а не 3100-24 ?

Re: [Hardware] hardware4cluster_(workstations)

[Dmytro Kovalskyy]

Я уже писал вам но видно пильсмо не дошло

Какие цели кластера? что считать будете

про ноды
1. чего такие старые процы???
Socket:	AM2
Frequency (Mhz):	3000
L1 Cache (Kb):	2x128
L2 Cache (Kb):	2x1024
Operating Mode:	32/64
Stepping:	F3
Thermal Power (W):	125
Voltage (V):	1.35/1.40
Max Temp (°C):	63
CMOS Technology (nm):	90 

вы музей делаете или вычислительный кластер?

Зачем видеокарты в ноды? 
У вас кто-то имеет опыт работы с параллельными вычислениями и сетапе?


> Что скажете о конфигурации сервера:
> Процессор Intel Core 2 Quad Q9400
> М/плата Intel DQ35MP или М/ плата Intel DG45
> сетевая плата Intel PWLA8391GT PRO/1000
> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
> Б/п ATX CoolerMaster 500 W Silent
> Корпус EATX Chieftec SH-01B-B-B-OP
> DVD-RW SATA LG GH22NS50 Silver
> 3.5" SATA II 1000 Гб 7200 rpm 32 Мб WD Caviar Green (WD10EADS)
>
> APC Back-UPS RS 650VA, 230V (BR650CI-RS)
>
>
>
>
> ?
> Рабочие станции (ноды)
> AMD Socket AM2 6000+ tray (ADX6000IAA6CS)
> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
> М/п Socket AM2 MSI K9A2 CF-F (601-7388-010)
> Б/п ATX Chieftec 400 W CHP-400A
> Видеокарта PCI-E ASUS GeForce 9600GT HTDI 1Gb TV
> Корпус ATX 3R System R510
> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>
>
> и
>
> Комутатор D-Link DGS-3024
>
>
> Ваше мнение?



-- 
-----------------------------------------------------
Dmytro Kovalskyy, PhD                D.Kovalskyy@enamine.net
Molecular Modelling Group Leader     tel.: +38 044 537 32 18
Enamine ltd.                         fax : +38 044 537 32 53
23, Matrosova str.
01103 Kiev, Ukraine

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 29.01.10 11:02, Dmytro Kovalskyy wrote:
> Я уже писал вам но видно пильсмо не дошло
>
> Какие цели кластера? что считать будете
>
> про ноды
> 1. чего такие старые процы???
> Socket:	AM2
> Frequency (Mhz):	3000
> L1 Cache (Kb):	2x128
> L2 Cache (Kb):	2x1024
> Operating Mode:	32/64
> Stepping:	F3
> Thermal Power (W):	125
> Voltage (V):	1.35/1.40
> Max Temp (°C):	63
> CMOS Technology (nm):	90 
>
> вы музей делаете или вычислительный кластер?
>   
Уже обновил до
AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
2 Х  DDR-2 Kingston 800MHz 2GB KVR800D2N6                       (4GB)
> Зачем видеокарты в ноды? 
>   
Для CUDA, в простейшем исполнении.

Это будут также и рабочие станции, а не только ноды.
Подумал об этой м/п
GIGABYTE GA-M750SLI-DS4
Встроенный GeForce 8200
> У вас кто-то имеет опыт работы с параллельными вычислениями и сетапе?
>   
Можете смеяться - но параллельными вычислениями занимаюсь я.
Бюджет сложный...
Цель:
1) создать кластер для обучения параллельным и распределенным вычислениям.
Технологии: MPI, OpenMP, CUDA.
2) кластер, в свободное от занятий время
3) "класс общего доступа" для других смежных дисциплин.

Re: [Hardware] hardware4cluster_(workstations)

[d.kovalskyy]

sorry za translit.

Esli klaster budet raschitan bolshe na uchebniy process to v principe
konfiguraciya "vyjat' po maksimumu" ne tak vajna. Luchshe imet' neslko
ooochen' raznoplanovyh konfiguraciy, kotorie podhodyat dlya raznogo roda
zadach.
Naprimer imet' odnu nodu s 2 x 6core Opteron dlya MD. Ewe odnu nodu so
SCSI HDD dlya ab initio. Sdelayte nodu s Intel CPU dlya togo chtob
posmotret' kak v parallel rabotaet Hyperthreading. Paru nod  mojno sdelat'
s  Infiniband. A dlya GPU computing dostatochno odnoy videokarty. Chto
poprobovat' voobwe chto eto takoe (GPU computing) dostatochno prosto samiy
prostoy variant  kotoriy podderjivaet CUDA, no luchshe naverno podojdat'
neslkolko mesyacev i kupit' odnu videokard NVIDIA Fermi.

udachi

>> Я уже писал вам но видно пильсмо не
>> дошло
>>
>> Какие цели кластера? что считать будете
>>
>> про ноды
>> 1. чего такие старые процы???
>> Socket:	AM2
>> Frequency (Mhz):	3000
>> L1 Cache (Kb):	2x128
>> L2 Cache (Kb):	2x1024
>> Operating Mode:	32/64
>> Stepping:	F3
>> Thermal Power (W):	125
>> Voltage (V):	1.35/1.40
>> Max Temp (°C):	63
>> CMOS Technology (nm):	90
>>
>> вы музей делаете или вычислительный
>> кластер?
>>
> Уже обновил до
> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
> 2 Х  DDR-2 Kingston 800MHz 2GB KVR800D2N6                       (4GB)
>> Зачем видеокарты в ноды?
>>
> Для CUDA, в простейшем исполнении.
>
> Это будут также и рабочие станции, а не
> только ноды.
> Подумал об этой м/п
> GIGABYTE GA-M750SLI-DS4
> Встроенный GeForce 8200
>> У вас кто-то имеет опыт работы с
>> параллельными вычислениями и сетапе?
>>
> Можете смеяться - но параллельными
> вычислениями занимаюсь я.
> Бюджет сложный...
> Цель:
> 1) создать кластер для обучения
> параллельным и распределенным
> вычислениям.
> Технологии: MPI, OpenMP, CUDA.
> 2) кластер, в свободное от занятий время
> 3) "класс общего доступа" для других
> смежных дисциплин.
>
>

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

30.01.2010 02:44, andriy пишет:
> Большое спасибо за критику!
> Она справедлива.
>>> Что скажете о конфигурации сервера:
>>> Процессор Intel Core 2 Quad Q9400
>>> М/плата Intel DQ35MP или М/ плата Intel DG45
>>> сетевая плата Intel PWLA8391GT PRO/1000
>>> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
>>> Б/п ATX CoolerMaster 500 W Silent
>>> Корпус EATX Chieftec SH-01B-B-B-OP
>>> DVD-RW SATA LG GH22NS50 Silver
>>> 3.5" SATA II 1000 Гб 7200 rpm 32 Мб WD Caviar Green (WD10EADS)
>>
>> DVD-RW можно было бы и убрать.
>> Вообще, по конфигурации - это не сервер, а десктоп.
>>
>> Для сервера, если брать Intel, то лучше будет это:
>> http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5500BC_Dual_LGA1366_i5500_2xGbLAN_SATA_RAID_8DDRIII_66948.html
>>
>>
>> И процессоры Xeon E5504 или 5506.
>>
>> Впрочем, смотря какие задачи будут на этот сервер возложены. Если он в
>> расчётах участвовать не будет - то усиливать процессорами и памятью
>> лучше рабочие станции, а здесь оставить что-то попроще (5502, например).
> Вы правы что это скорее десктоп, но бюджет...
>
> Планирую создать softwarный RAID-1 или 5.
>
> Задачи: ftp-, nfs-, PXE-сервер, домен, возможно samba.

Мне кажется, что к серверу надо и подходить как к серверу. 
Соответственно - материнскую плату и процессор брать серверные, как минимум.

По бюджету это будет примерно равно продвинутому десктопу.

>>
>>
>>>
>>> APC Back-UPS RS 650VA, 230V (BR650CI-RS)
>>>
>>>
>>>
>>>
>>> ?
>>> Рабочие станции (ноды)
>>> AMD Socket AM2 6000+ tray (ADX6000IAA6CS)
>>> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
>>> М/п Socket AM2 MSI K9A2 CF-F (601-7388-010)
>>> Б/п ATX Chieftec 400 W CHP-400A +
>>> Видеокарта PCI-E ASUS GeForce 9600GT HTDI 1Gb TV
>>> Корпус ATX 3R System R510
>>> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>>
>> Памяти маловато, процессоры древние.
> А об этом что скажете?
>
> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
> Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
> М/п GIGABYTE GA-M750SLI-DS4
> Б/g ATX Chieftec 400 W CHP-400A

Я б такое, наверное, не купил. В данный момент если брать для десктопа, 
мне кажется, лучше всего поискать что-то на быстром Intel'е с DDR3.

Но ценник будет другим.

Блок питания в этом конфиге не имеет никакого значение - у меня десктопы 
живут на китайском нонейме не хуже, чем на брендовых БП.

>
> Корпус ATX 3R System R510
> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)

WD мне не нравится, мне кажется лучше попробовать найти Hitachi с 32Mb 
кеша. Впрочем, для десктопа не имеет значения.

>
>
>>
>>>
>>>
>>> и
>>>
>>> Комутатор D-Link DGS-3024
>>
>> А чем обоснован выбор DGS-3024, а не 3100-24 ?
> Подумал, посмотрел - согласен. Цены практически не отличаются по прайсах.

Они одинаковые, только 3024 я в продаже не нашёл у нас.

Сейчас появился ещё какой-то 3200-24, не знаю что за зверь.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Pozhidaev]

Hello, Anton Farygin!

>> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>
> WD мне не нравится, мне кажется лучше попробовать найти Hitachi с 32Mb
> кеша. Впрочем, для десктопа не имеет значения.

О, нет, Антон, с Hitachi не поддержал бы. В моей рабочей машине стоят
три винта в достаточно боевых условиях.  (не перегружаюсь до недели +
сборка дистров, то есть молотят в фоне подолгу). Все разные, Hitachi +
WD + Seagate. Это мой единственный опыт общения с Hitachi. Через три
месяца работы прибавлялось по одному ремапу где-то в среднем за
неделю. И грелся заметно сильнее двух других. Чтобы не доводить дело до
естественного исхода, пока отключил его. WD , кстати, из этих трёх
оказался самый тихий. Когда на нём mkimage дела делает, его почти не
слышно.

-- 
Michael Pozhidaev. Tomsk, Russia. E-mail: msp@altlinux.ru
Info: http://www.marigostra.ru/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 30.01.10 22:35, Anton Farygin wrote:
> 30.01.2010 02:44, andriy пишет:
>> Большое спасибо за критику!
>> Она справедлива.
>>>> Что скажете о конфигурации сервера:
>>>> Процессор Intel Core 2 Quad Q9400
>>>> М/плата Intel DQ35MP или М/ плата Intel DG45
>>>> сетевая плата Intel PWLA8391GT PRO/1000
>>>> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
>>>> Б/п ATX CoolerMaster 500 W Silent
>>>> Корпус EATX Chieftec SH-01B-B-B-OP
>>>> DVD-RW SATA LG GH22NS50 Silver
>>>> 3.5" SATA II 1000 Гб 7200 rpm 32 Мб WD Caviar Green (WD10EADS)
>>>
>>> DVD-RW можно было бы и убрать.
>>> Вообще, по конфигурации - это не сервер, а десктоп.
>>>
>>> Для сервера, если брать Intel, то лучше будет это:
>>> http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5500BC_Dual_LGA1366_i5500_2xGbLAN_SATA_RAID_8DDRIII_66948.html
>>>
>>>
>>>
>>> И процессоры Xeon E5504 или 5506.
>>>
>>> Впрочем, смотря какие задачи будут на этот сервер возложены. Если он в
>>> расчётах участвовать не будет - то усиливать процессорами и памятью
>>> лучше рабочие станции, а здесь оставить что-то попроще (5502,
>>> например).
>> Вы правы что это скорее десктоп, но бюджет...
>>
>> Планирую создать softwarный RAID-1 или 5.
>>
>> Задачи: ftp-, nfs-, PXE-сервер, домен, возможно samba.
>
> Мне кажется, что к серверу надо и подходить как к серверу.
> Соответственно - материнскую плату и процессор брать серверные, как
> минимум.
>
> По бюджету это будет примерно равно продвинутому десктопу.
>
>>>
>>>
>>>>
>>>> APC Back-UPS RS 650VA, 230V (BR650CI-RS)
>>>>
>>>>
>>>>
>>>>
>>>> ?
>>>> Рабочие станции (ноды)
>>>> AMD Socket AM2 6000+ tray (ADX6000IAA6CS)
>>>> Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
>>>> М/п Socket AM2 MSI K9A2 CF-F (601-7388-010)
>>>> Б/п ATX Chieftec 400 W CHP-400A +
>>>> Видеокарта PCI-E ASUS GeForce 9600GT HTDI 1Gb TV
>>>> Корпус ATX 3R System R510
>>>> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>>>
>>> Памяти маловато, процессоры древние.
>> А об этом что скажете?
>>
>> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
>> Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
>> М/п GIGABYTE GA-M750SLI-DS4
>> Б/g ATX Chieftec 400 W CHP-400A
>
> Я б такое, наверное, не купил. В данный момент если брать для
> десктопа, мне кажется, лучше всего поискать что-то на быстром Intel'е
> с DDR3.
>
> Но ценник будет другим.
В том-то и дело. :-(
>
> Блок питания в этом конфиге не имеет никакого значение - у меня
> десктопы живут на китайском нонейме не хуже, чем на брендовых БП.
>
>>
>> Корпус ATX 3R System R510
>> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>
> WD мне не нравится, мне кажется лучше попробовать найти Hitachi с 32Mb
> кеша. Впрочем, для десктопа не имеет значения.
>
>>
>>
>>>
>>>>
>>>>
>>>> и
>>>>
>>>> Комутатор D-Link DGS-3024
>>>
>>> А чем обоснован выбор DGS-3024, а не 3100-24 ?
>> Подумал, посмотрел - согласен. Цены практически не отличаются по
>> прайсах.
>
> Они одинаковые, только 3024 я в продаже не нашёл у нас.
По dlink.co.uk - неодинаковые.

>
> Сейчас появился ещё какой-то 3200-24, не знаю что за зверь.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

31.01.2010 00:12, Michael Pozhidaev пишет:
> Hello, Anton Farygin!
>
>>> 3.5" SATA II 320 Гб 7200 rpm 16 Мб WD Caviar Blue (WD3200AAKS)
>>
>> WD мне не нравится, мне кажется лучше попробовать найти Hitachi с 32Mb
>> кеша. Впрочем, для десктопа не имеет значения.
>
> О, нет, Антон, с Hitachi не поддержал бы. В моей рабочей машине стоят
> три винта в достаточно боевых условиях.  (не перегружаюсь до недели +
> сборка дистров, то есть молотят в фоне подолгу). Все разные, Hitachi +
> WD + Seagate. Это мой единственный опыт общения с Hitachi. Через три
> месяца работы прибавлялось по одному ремапу где-то в среднем за
> неделю. И грелся заметно сильнее двух других. Чтобы не доводить дело до
> естественного исхода, пока отключил его. WD , кстати, из этих трёх
> оказался самый тихий. Когда на нём mkimage дела делает, его почти не
> слышно.

У меня ровно обратное впечатление. Может зависит от модели ?

Вот, для примера, на одной из машинок, у HDD Hitachi Deskstar T7K500
  время жизни 19749 часа.

Температура в данный момент 37 градусов, винт стоит рядом со мной - я 
его не слышу _вообще_. Правда, корзина с винтом подвешена на поролоне.

Охлаждение там слабенькое - медленными (7вольт) 80-ти мм кулерами.

В другом месте стоят терабайтники, под кондёром, четыре штуки в тесном 
корпусе - температура порядка 30 градусов, никаких бэдов и uptime больше 
года.

Но hasher я на таких дисках не гоняю.... hasher - это смерть для винтов, 
его надо гонять в памяти.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

31.01.2010 15:03, andriy пишет:
> On 30.01.10 22:35, Anton Farygin wrote:
>> 30.01.2010 02:44, andriy пишет:

>>>>> Комутатор D-Link DGS-3024
>>>>
>>>> А чем обоснован выбор DGS-3024, а не 3100-24 ?
>>> Подумал, посмотрел - согласен. Цены практически не отличаются по
>>> прайсах.
>>
>> Они одинаковые, только 3024 я в продаже не нашёл у нас.
> По dlink.co.uk - неодинаковые.

Я имел в виду цены

Re: [Hardware] hardware4cluster_(workstations)

[Michael Pozhidaev]

Hello, Anton Farygin!

> У меня ровно обратное впечатление. Может зависит от модели ?

Hitachi стоит отключенный. smartctl не могу вызвать. 320 гигов, где-то
летом 2008года был куплен. Seagate с WD помоложе, 8000 и 5000 часов
работы. Щас глянул температуру, 40 и 38 градусов в простом desktop'ном
корпусе. Ремапы по нулям. Ну в общем ладно, дело везения...

> Но hasher я на таких дисках не гоняю.... hasher - это смерть для
> винтов, его надо гонять в памяти.

Ну это ясно дело. Да, тогда, кстати, попутно не подскажешь, сколько
минимум памяти нужно на сборку cd и dvd исошки? Сейчас стоит 4 гига,
система x86_64, уже подумывал о том, чтобы прикупить ещё, но не знаю,
обойдусь 8Гб или надо ещё больше (12-16)?

-- 
Michael Pozhidaev. Tomsk, Russia. E-mail: msp@altlinux.ru
Info: http://www.marigostra.ru/

Re: [Hardware] hardware4cluster_(workstations)

[Denis Nazarov]

В сообщении от Понедельник 01 февраля 2010 08:10:11 автор Michael Pozhidaev 
написал:
> Hello, Anton Farygin!
> 
> > У меня ровно обратное впечатление. Может зависит от модели ?
> 
> Hitachi стоит отключенный. smartctl не могу вызвать. 320 гигов, где-то
> летом 2008года был куплен. Seagate с WD помоложе, 8000 и 5000 часов
> работы. Щас глянул температуру, 40 и 38 градусов в простом desktop'ном
> корпусе. Ремапы по нулям. Ну в общем ладно, дело везения...
> 
> > Но hasher я на таких дисках не гоняю.... hasher - это смерть для
> > винтов, его надо гонять в памяти.
> 
> Ну это ясно дело. Да, тогда, кстати, попутно не подскажешь, сколько
> минимум памяти нужно на сборку cd и dvd исошки? Сейчас стоит 4 гига,
> система x86_64, уже подумывал о том, чтобы прикупить ещё, но не знаю,
> обойдусь 8Гб или надо ещё больше (12-16)?
> 
имхо, swap & tmpfs надо сделать побольше. У меня на 2-х гигах сборка dvd 
происходила гораздо быстрее и винт намного меньше щелкал, когда весь процесс 
шел в tmp - причем винт участвовал в процессе примерно настолько же, как если 
бы не в tmp собиралось, однако при этом головки дергались гораздо меньше и 
шума издавал, соответственно, меньше

Re: [Hardware] hardware4cluster_(workstations)

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 537 bytes --]

On Mon, Feb 01, 2010 at 09:10:11AM +0600, Michael Pozhidaev wrote:

MP> Ну это ясно дело. Да, тогда, кстати, попутно не подскажешь, сколько
MP> минимум памяти нужно на сборку cd и dvd исошки? 

Дык собери исошку, и присматривай за размером workdir :) Ну и к tmpfs
рекомендуется большой swap (бывает что какое-то приложение память ликает,
например -- лучше тормоза при сборке, чем нехватка памяти).

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

01.02.2010 06:10, Michael Pozhidaev пишет:
> Hello, Anton Farygin!
>
>> У меня ровно обратное впечатление. Может зависит от модели ?
>
> Hitachi стоит отключенный. smartctl не могу вызвать. 320 гигов, где-то
> летом 2008года был куплен. Seagate с WD помоложе, 8000 и 5000 часов
> работы. Щас глянул температуру, 40 и 38 градусов в простом desktop'ном
> корпусе. Ремапы по нулям. Ну в общем ладно, дело везения...

Видимо, да.

>
>> Но hasher я на таких дисках не гоняю.... hasher - это смерть для
>> винтов, его надо гонять в памяти.
>
> Ну это ясно дело. Да, тогда, кстати, попутно не подскажешь, сколько
> минимум памяти нужно на сборку cd и dvd исошки? Сейчас стоит 4 гига,
> система x86_64, уже подумывал о том, чтобы прикупить ещё, но не знаю,
> обойдусь 8Гб или надо ещё больше (12-16)?

А вот дистрибутивы собираем на дисках ;)

памяти надо много - считай объём диска + порядка двух гигабайт для 
чрутов - на tmpfs + пару гигабайт для приложений.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Sat, Jan 30, 2010 at 11:35:40PM +0300, Anton Farygin wrote:
> >Задачи: ftp-, nfs-, PXE-сервер, домен, возможно samba.
> Мне кажется, что к серверу надо и подходить как к серверу. 

Зависит.  Для таких задач ключевым может оказаться разве что
SAS, который может быть проще найти на серверной мамке
распаянным, чем втыкать в workstation ASUS mobo с PCI-X.
Ну или запихиваемость в стойку.

> >>>AMD Socket AM2 6000+ tray (ADX6000IAA6CS)
> >>>Память DDR-2 Kingston 800MHz 2GB KVR800D2N6
> >>Памяти маловато, процессоры древние.

Помнится, 6000+ делались и по одной с Phenom технологии --
смотреть надо.

> >А об этом что скажете?
> >AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
> >Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
> >М/п GIGABYTE GA-M750SLI-DS4
> >Б/g ATX Chieftec 400 W CHP-400A
> Я б такое, наверное, не купил. В данный момент если брать для
> десктопа, мне кажется, лучше всего поискать что-то на быстром
> Intel'е с DDR3.

Уже опять неочевидно.

> Блок питания в этом конфиге не имеет никакого значение - у меня
> десктопы живут на китайском нонейме не хуже, чем на брендовых
> БП.

Мороки от нонейма больше -- то пропеллер заорёт, то вольтаж
носится как угорелый.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[Hardware] hitachi и tmpfs

[Michael Shigorin]

On Mon, Feb 01, 2010 at 09:10:11AM +0600, Michael Pozhidaev wrote:
> > У меня ровно обратное впечатление. Может зависит от модели ?
> Hitachi стоит отключенный. smartctl не могу вызвать. 320 гигов,
> где-то летом 2008года был куплен.

На HDT725032VLA360 (320Gb T7K500) и у меня есть нарекания,
по крайней мере UDMA_CRC_Error_Count = 1647 (но пока
справляется).  Ошибки вида

WRITE FPDMA QUEUED
READ FPDMA QUEUED

READ MULTIPLE
WRITE MULTIPLE

К HDP725050GLA360, HDS721010KLA330 и не помню точно, каким именно
250-кам в количествах 2/4/4 штуки -- претензий до сих пор нет.

Из наблюдений:

- похоже, Hitachi ударились в OEM, терабайтник под НГ не нашёл
- похоже, WD подтянулись и ударили в розницу

> > Но hasher я на таких дисках не гоняю.... hasher - это смерть
> > для винтов, его надо гонять в памяти.
> Ну это ясно дело. Да, тогда, кстати, попутно не подскажешь,
> сколько минимум памяти нужно на сборку cd и dvd исошки? Сейчас
> стоит 4 гига, система x86_64, уже подумывал о том, чтобы
> прикупить ещё, но не знаю, обойдусь 8Гб или надо ещё больше
> (12-16)?

Добавь свопа 8G и хватит, для моих DVD ISO нужно было ~8G tmpfs,
а CD в 4G RAM влезет точно.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hitachi и tmpfs

[Alexei V. Mezin]

08.02.2010 15:40, Michael Shigorin пишет:

> На HDT725032VLA360 (320Gb T7K500) и у меня есть нарекания,
> по крайней мере UDMA_CRC_Error_Count = 1647 (но пока
> справляется).

А это не битый шлейф?

Re: [Hardware] hitachi и tmpfs

[Anton Farygin]

08.02.2010 22:28, Alexei V. Mezin пишет:
> 08.02.2010 15:40, Michael Shigorin пишет:
>
>> На HDT725032VLA360 (320Gb T7K500) и у меня есть нарекания,
>> по крайней мере UDMA_CRC_Error_Count = 1647 (но пока
>> справляется).
>
> А это не битый шлейф?

Это именно он.

У меня один знакомый умник накручивает шлейфы SATA на карандаш и 
получается замечательная пружина, которая при каждом шевелении сервера 
пытается сдёрнуть разъём с HDD.

Не делайте так.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

08.02.2010 15:30, Michael Shigorin пишет:
>>> А об этом что скажете?
>>> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
>>> Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
>>> М/п GIGABYTE GA-M750SLI-DS4
>>> Б/g ATX Chieftec 400 W CHP-400A
>> Я б такое, наверное, не купил. В данный момент если брать для
>> десктопа, мне кажется, лучше всего поискать что-то на быстром
>> Intel'е с DDR3.
>
> Уже опять неочевидно.

Отчего-же ?

>
>> Блок питания в этом конфиге не имеет никакого значение - у меня
>> десктопы живут на китайском нонейме не хуже, чем на брендовых
>> БП.
>
> Мороки от нонейма больше -- то пропеллер заорёт, то вольтаж
> носится как угорелый.

За бесперебойником не замечанию никаких проблем.

Re: [Hardware] hitachi и tmpfs

[Yura Kalinichenko]

Anton Farygin пишет:
>
> У меня один знакомый умник накручивает шлейфы SATA на карандаш и 
> получается замечательная пружина, которая при каждом шевелении сервера 
> пытается сдёрнуть разъём с HDD. 
Жизнь давно научила и всем советую: ставьте SATA-шлейфы ТОЛЬКО 
снабженные защелками на разъемах.

-- 
SY, 
   Yura Kalinichenko

Re: [Hardware] hitachi и tmpfs

[Denis Nazarov]

В сообщении от Вторник 09 февраля 2010 12:25:40 автор Yura Kalinichenko 
написал:
> Anton Farygin пишет:
> > У меня один знакомый умник накручивает шлейфы SATA на карандаш и
> > получается замечательная пружина, которая при каждом шевелении сервера
> > пытается сдёрнуть разъём с HDD.
> 
> Жизнь давно научила и всем советую: ставьте SATA-шлейфы ТОЛЬКО
> снабженные защелками на разъемах.
> 
хех... не надо быть столь категоричным ;) такие шлейфы идут с материнками 
gigabyte, так вот у них была партия, в которой эти шлейфы приходилось менять 
недели через две, хотя в целом совет хорош

Re: [Hardware] hitachi и tmpfs

[Michael Shigorin]

On Mon, Feb 08, 2010 at 10:28:48PM +0300, Alexei V. Mezin wrote:
> >На HDT725032VLA360 (320Gb T7K500) и у меня есть нарекания,
> >по крайней мере UDMA_CRC_Error_Count = 1647 (но пока
> >справляется).
> А это не битый шлейф?

Не думаю, но проверю, спасибо.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Tue, Feb 09, 2010 at 10:07:14AM +0300, Anton Farygin wrote:
> >>>AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
> >>>Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
> >>Я б такое, наверное, не купил. В данный момент если брать для
> >>десктопа, мне кажется, лучше всего поискать что-то на быстром
> >>Intel'е с DDR3.
> >Уже опять неочевидно.
> Отчего-же ?

У нас народ пощупал феномы и ДДС остался доволен.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Denis Nazarov]

В сообщении от Вторник 09 февраля 2010 19:36:36 автор Michael Shigorin 
написал:
> On Tue, Feb 09, 2010 at 10:07:14AM +0300, Anton Farygin wrote:
> > >>>AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
> > >>>Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
> > >>
> > >>Я б такое, наверное, не купил. В данный момент если брать для
> > >>десктопа, мне кажется, лучше всего поискать что-то на быстром
> > >>Intel'е с DDR3.
> > >
> > >Уже опять неочевидно.
> >
> > Отчего-же ?
> 
> У нас народ пощупал феномы и ДДС остался доволен.
> 
а мы пощупали Core i5 - феном опять где-то сзади... ;)

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 09.02.10 17:05, Denis Nazarov wrote:
> В сообщении от Вторник 09 февраля 2010 19:36:36 автор Michael Shigorin 
> написал:
>   
>> On Tue, Feb 09, 2010 at 10:07:14AM +0300, Anton Farygin wrote:
>>     
>>>>>> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
>>>>>> Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
>>>>>>             
>>>>> Я б такое, наверное, не купил. В данный момент если брать для
>>>>> десктопа, мне кажется, лучше всего поискать что-то на быстром
>>>>> Intel'е с DDR3.
>>>>>           
>>>> Уже опять неочевидно.
>>>>         
>>> Отчего-же ?
>>>       
>> У нас народ пощупал феномы и ДДС остался доволен.
>>
>>     
> а мы пощупали Core i5 - феном опять где-то сзади... ;)
>   
только цена 1.5 раза выше (я про проц+м/п).

Re: [Hardware] hitachi и tmpfs

[Alexander Yereschenko]

Доброе!
В сообщении от Вторник 09 февраля 2010 09:05:39 автор Anton Farygin написал:
> 08.02.2010 22:28, Alexei V. Mezin пишет:
> > 08.02.2010 15:40, Michael Shigorin пишет:
> >> На HDT725032VLA360 (320Gb T7K500) и у меня есть нарекания,
> >> по крайней мере UDMA_CRC_Error_Count = 1647 (но пока
> >> справляется).
> >
> > А это не битый шлейф?
> 
> Это именно он.
> 
> У меня один знакомый умник накручивает шлейфы SATA на карандаш и
> получается замечательная пружина, которая при каждом шевелении сервера
> пытается сдёрнуть разъём с HDD.
> 
> Не делайте так.

Кроме того, свитый в пружинку кабель - это дополнительная индуктивность, 
которая может сказываться на передачу сигнала (частоты все-таки высокие, хоть 
в sata и используется диференциальный сигнал при передаче, но все равно, не 
стоит пренебрегать...)
А еще давно "люблю" любителей красоты, которые шлейфы IDE (80-жильные) 
складывают в "гармошку" и скрепляют стяжкой. Когда разворачиваешь эту 
"гармошку" скорость передачи "почему-то"  увеличивается... (хорошо еще, что на 
dma100-133 есть контроль передачи)...

С уважением, Александр

Re: [Hardware] hitachi и tmpfs

[Sergey]

On Tuesday 09 February 2010, Yura Kalinichenko wrote:

> Жизнь давно научила и всем советую: ставьте SATA-шлейфы ТОЛЬКО 
> снабженные защелками на разъемах.
 
С упомянутой Intel S3210SH sas/sata кабели универсальные без защёлок...
А, вроде, брэнд.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 09.02.10 17:05, Denis Nazarov wrote:
> В сообщении от Вторник 09 февраля 2010 19:36:36 автор Michael Shigorin 
> написал:
>   
>> On Tue, Feb 09, 2010 at 10:07:14AM +0300, Anton Farygin wrote:
>>     
>>>>>> AMD Phenom X4 9650 (2, 3GHz, 1800MHz, 4MB, 95W, AM2 +)
>>>>>> Пам'ять DDR-2 Kingston 800MHz 2GB KVR800D2N6 x2   (сумарно 4Gb)
>>>>>>             
>>>>> Я б такое, наверное, не купил. В данный момент если брать для
>>>>> десктопа, мне кажется, лучше всего поискать что-то на быстром
>>>>> Intel'е с DDR3.
>>>>>           
>>>> Уже опять неочевидно.
>>>>         
>>> Отчего-же ?
>>>       
>> У нас народ пощупал феномы и ДДС остался доволен.
>>
>>     
> а мы пощупали Core i5 - феном опять где-то сзади... ;)
>
>   
Большое спасибо за те замечания и советы. Но возвращаясь к теме, которую
поднял вопрос  более конкретный:
если бюджет  $10 000  - возможно в эту суму "впихнуть"
1. стойку
2. 4 нода 
Если можно - интересуют детали, например:
м/п - уже советовали:
http://www.nix.ru/autocatalog/motherboards_intel/INTEL_S5500BC_Dual_LGA1366_i5500_2xGbLAN_SATA_RAID_8DDRIII_66948.html
или может для нода что-то по проще?

Какие процессоры из Intel Xeon серии 55xx брать? CPU Intel Xeon E5504
2.0 ГГц/1+4Мб/4.80 ГТ/с LGA1366      (4 ядра, без Hyperthreading) 
подойдет       ?
какую память?

Какой корпус если без гермозоны?

3. узел для хранения данных (2-3ТБ) или в один из нодов впихнуть все диски?
4. система энергообеспечения упс, как понимаю APC. Только

Повторюсь, все это без гермозоны!

Или за такие деньги - не реально сделать 4х узловой кластер?

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Wed, Feb 17, 2010 at 05:10:59PM +0200, andriy wrote:
> если бюджет  $10 000  - возможно в эту суму "впихнуть"
> 1. стойку
> 2. 4 нода 
[...]
> Или за такие деньги - не реально сделать 4х узловой кластер?

Возможно, лучше будет собрать два-три узла с более мощными
процессорами и большим объёмом памяти, засунув диски в них же,
чем тратиться на инфраструктуру под четыре, если денег (считая
по варианту с infiniband) от силы на три.

Опять же -- что за задачи вообще предвидятся, или совсем ничего
пока не понятно?

Одним задачам нужна низкая латентность (IB), другим -- высокая
пропускная способность стораджа, третьи чувствительны к объёму
кэша или типу процессора.

Если пока ничего совсем не понятно -- я бы обдумывал вариант
с поднятием разнообразия начинки рабочих станций, также
используемых в качестве вычислительных узлов.  Как уже
и обсуждалось.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Wed, Feb 17, 2010 at 09:48:40PM +0200, andriy wrote:
> А связь 2х узлов на InfiniBand без коммутатора. Будет скорость
> выше и нагляднее.

Не знаю, возможно ли это -- стоит сперва уточнить.

> > Опять же -- что за задачи вообще предвидятся, или совсем
> > ничего пока не понятно?
> Одна из целей - конечно учебная. Рассматриваемые технологии MPI
> (OpenMPI), OpenMP (GCC+gomp), nVidia CUDA.  Сам я в этом сейчас
> разбираюсь, как писать с учетом соответствующих библиотек.
> 
> Одна из практических задач, которая точно есть - метод конечных
> элементов - программа Ansys для решения задач механики
> деформируемого твёрдого тела .  Об аналогах Ansys не слышал, но
> знаю о 64битной версии под Linux. Сейчас его запускают на одной
> мощной машине.

Вот хорошо бы пообщаться с его опытными пользователями, а то
и разработчиками -- на что порекомендуют обратить внимание.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 17.02.10 17:14, Michael Shigorin wrote:
> On Wed, Feb 17, 2010 at 05:10:59PM +0200, andriy wrote:
>   
>> если бюджет  $10 000  - возможно в эту суму "впихнуть"
>> 1. стойку
>> 2. 4 нода 
>>     
> [...]
>   
>> Или за такие деньги - не реально сделать 4х узловой кластер?
>>     
> Возможно, лучше будет собрать два-три узла с более мощными
> процессорами и большим объёмом памяти, засунув диски в них же,
> чем тратиться на инфраструктуру под четыре, если денег (считая
> по варианту с infiniband) от силы на три.
>   
Тогда возможно лучше даже два узла, но с полноценным Hyperthreading Xeon
по 2 процессора по 4 ядра, тогда всего-то будет 16 ядер.
А связь 2х узлов на InfiniBand без коммутатора. Будет скорость выше и
нагляднее.

> Опять же -- что за задачи вообще предвидятся, или совсем ничего
> пока не понятно?
>   
Одна из целей - конечно учебная. Рассматриваемые технологии MPI
(OpenMPI), OpenMP (GCC+gomp), nVidia CUDA.
Сам я в этом сейчас разбираюсь, как писать с учетом соответствующих
библиотек.

Одна из практических задач, которая точно есть - метод конечных
элементов - программа Ansys для решения задач механики деформируемого
твёрдого тела .
Об аналогах Ansys не слышал, но знаю о 64битной версии под Linux. Сейчас
его запускают на одной мощной машине.

Возможно есть и другие, но я про это пока не знаю и возможно даже люди,
которые у нас занимаются разными ресурсоемкими задачами об использовании
кластера не думали   :-)

> Одним задачам нужна низкая латентность (IB), другим -- высокая
> пропускная способность стораджа, третьи чувствительны к объёму
> кэша или типу процессора.
>
> Если пока ничего совсем не понятно -- я бы обдумывал вариант
> с поднятием разнообразия начинки рабочих станций, также
> используемых в качестве вычислительных узлов.  Как уже
> и обсуждалось.
>   
Сейчас как раз обдумываются разные варианты.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

17.02.2010 22:48, andriy пишет:
> On 17.02.10 17:14, Michael Shigorin wrote:
>> On Wed, Feb 17, 2010 at 05:10:59PM +0200, andriy wrote:
>>
>>> если бюджет  $10 000  - возможно в эту суму "впихнуть"
>>> 1. стойку
>>> 2. 4 нода
>>>
>> [...]
>>
>>> Или за такие деньги - не реально сделать 4х узловой кластер?
>>>
>> Возможно, лучше будет собрать два-три узла с более мощными
>> процессорами и большим объёмом памяти, засунув диски в них же,
>> чем тратиться на инфраструктуру под четыре, если денег (считая
>> по варианту с infiniband) от силы на три.
>>
> Тогда возможно лучше даже два узла, но с полноценным Hyperthreading Xeon
> по 2 процессора по 4 ядра, тогда всего-то будет 16 ядер.
> А связь 2х узлов на InfiniBand без коммутатора. Будет скорость выше и
> нагляднее.

Hyperthreading лучше сразу отключать в BIOS. Прироста производительности 
на нём не будет.

5504 довольно быстрый процессор за свои деньги.

Но тут всё просто - чем больше денег, тем быстрее. Поэтому вам надо 
просчитать всё остальное, а то, что останется - пустить на CPU/память.

Кстати, есть отличные корпуса Inwin для серверов, стоят очень бюджетно 
(в пределах 8 тыс. рублей), и их можно (докупив салазки) вставлять в стойку.

http://price.ru/bin/price/prodlist?curr=2&vcid=010306&base=1&cid=0907&where=00&pnam=inwin%20iw-r3000

тем более, если сервер будет стоять в комнате с людьми - от 1U/2U 
серверов вы оглохнете.

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 18.02.10 11:23, Anton Farygin wrote:
> 17.02.2010 22:48, andriy пишет:
>> On 17.02.10 17:14, Michael Shigorin wrote:
>>> On Wed, Feb 17, 2010 at 05:10:59PM +0200, andriy wrote:
>>>
>>>> если бюджет  $10 000  - возможно в эту суму "впихнуть"
>>>> 1. стойку
>>>> 2. 4 нода
>>>>
>>> [...]
>>>
>>>> Или за такие деньги - не реально сделать 4х узловой кластер?
>>>>
>>> Возможно, лучше будет собрать два-три узла с более мощными
>>> процессорами и большим объёмом памяти, засунув диски в них же,
>>> чем тратиться на инфраструктуру под четыре, если денег (считая
>>> по варианту с infiniband) от силы на три.
>>>
>> Тогда возможно лучше даже два узла, но с полноценным Hyperthreading Xeon
>> по 2 процессора по 4 ядра, тогда всего-то будет 16 ядер.
>> А связь 2х узлов на InfiniBand без коммутатора. Будет скорость выше и
>> нагляднее.
>
> Hyperthreading лучше сразу отключать в BIOS. Прироста
> производительности на нём не будет.
А почему? Тогда выходит что Opteron, что Xeon не большая разница, разве
что больший smart cache?
Здесь даже вроде писали что Hyperthreading очень нужная вещь...
>
> 5504 довольно быстрый процессор за свои деньги.
>
> Но тут всё просто - чем больше денег, тем быстрее. Поэтому вам надо
> просчитать всё остальное, а то, что останется - пустить на CPU/память.
>
> Кстати, есть отличные корпуса Inwin для серверов, стоят очень бюджетно
> (в пределах 8 тыс. рублей), и их можно (докупив салазки) вставлять в
> стойку.
>
> http://price.ru/bin/price/prodlist?curr=2&vcid=010306&base=1&cid=0907&where=00&pnam=inwin%20iw-r3000
>
>
> тем более, если сервер будет стоять в комнате с людьми - от 1U/2U
> серверов вы оглохнете.
Спасибо за совет!

Re: [Hardware] hardware4cluster_(workstations)

[Maks Re]

> > Кстати, есть отличные корпуса Inwin для серверов, стоят очень
> > бюджетно (в пределах 8 тыс. рублей), и их можно (докупив салазки)
> > вставлять в стойку.
> >
> > http://price.ru/bin/price/prodlist?curr=2&vcid=010306&base=1&cid=0907&where=00&pnam=inwin%20iw-r3000
> >
> >
> > тем более, если сервер будет стоять в комнате с людьми - от 1U/2U
> > серверов вы оглохнете.
> Спасибо за совет!

воздержусь рекомендовать модель r3000 или подобную.
имею негативный опыт поиска салазок, и корзины для хардов.

салазки так и не дождался - при всех заверениях о наличии - в РФ таких
не было, не привозили и не собирались привозить... в итоге поставил на
полку.

А винты прикрутил из подручных материалов.

Re: [Hardware] hardware4cluster_(workstations)

[Alexander Volkov]

On 2010-02-18 23:42:15 +0300, Maks Re wrote:
MR> > > Кстати, есть отличные корпуса Inwin для серверов, стоят очень
MR> > > бюджетно (в пределах 8 тыс. рублей), и их можно (докупив салазки)
MR> > > вставлять в стойку.
MR> > >
MR> > > http://price.ru/bin/price/prodlist?curr=2&vcid=010306&base=1&cid=0907&where=00&pnam=inwin%20iw-r3000
MR> > >
MR> > >
MR> > > тем более, если сервер будет стоять в комнате с людьми - от 1U/2U
MR> > > серверов вы оглохнете.
MR> > Спасибо за совет!

MR> воздержусь рекомендовать модель r3000 или подобную.
MR> имею негативный опыт поиска салазок, и корзины для хардов.

MR> салазки так и не дождался - при всех заверениях о наличии - в РФ таких
MR> не было, не привозили и не собирались привозить... в итоге поставил на
MR> полку.

MR> А винты прикрутил из подручных материалов.
Ну, я вырезал в пластиковой морде окно и понавставлял туда mobil rack-ов
под 3.5" диски.

--
 Regards, Alexander

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

19.02.2010 09:57, Alexander Volkov пишет:
> On 2010-02-18 23:42:15 +0300, Maks Re wrote:
> MR>  >  >  Кстати, есть отличные корпуса Inwin для серверов, стоят очень
> MR>  >  >  бюджетно (в пределах 8 тыс. рублей), и их можно (докупив салазки)
> MR>  >  >  вставлять в стойку.
> MR>  >  >
> MR>  >  >  http://price.ru/bin/price/prodlist?curr=2&vcid=010306&base=1&cid=0907&where=00&pnam=inwin%20iw-r3000
> MR>  >  >
> MR>  >  >
> MR>  >  >  тем более, если сервер будет стоять в комнате с людьми - от 1U/2U
> MR>  >  >  серверов вы оглохнете.
> MR>  >  Спасибо за совет!
>
> MR>  воздержусь рекомендовать модель r3000 или подобную.
> MR>  имею негативный опыт поиска салазок, и корзины для хардов.
>
> MR>  салазки так и не дождался - при всех заверениях о наличии - в РФ таких
> MR>  не было, не привозили и не собирались привозить... в итоге поставил на
> MR>  полку.
>
> MR>  А винты прикрутил из подручных материалов.
> Ну, я вырезал в пластиковой морде окно и понавставлял туда mobil rack-ов
> под 3.5" диски.

Мда, зато дёшево.

А кто-то знает подобное, но без напильника при такой-же цене ?

Re: [Hardware] hardware4cluster_(workstations)

[Maks Re]

> 
> А кто-то знает подобное, но без напильника при такой-же цене ?
> 

такой же - это сколько? в каком диапазоне? и какие параметры нужны от
кейса?

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

19.02.2010 15:26, Maks Re пишет:
>>
>> А кто-то знает подобное, но без напильника при такой-же цене ?
>>
>
> такой же - это сколько? в каком диапазоне? и какие параметры нужны от
> кейса?

Тихий
Большой (E-ATX) и просторный.
Возможность установки в стойку
4U
цена в пределах 8000 рублей.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Fri, Feb 19, 2010 at 05:01:46PM +0300, Anton Farygin wrote:
> >такой же - это сколько? в каком диапазоне? и какие параметры
> >нужны от кейса?
> Тихий
> Большой (E-ATX) и просторный.
> Возможность установки в стойку
> 4U

Если 5U устроит, посмотри HP ML с балшым прапэлэром (и корзиной).
Но это и остальные потроха тогда ихние.

> цена в пределах 8000 рублей.

Если не требуется возможность горячей замены дисков,
можно посмотреть на http://inpc.com.ua/ru/data/chassis.html
(но перед покупкой стоит заценить инструкцию по сборке
конкретного корпуса, исторически у них водились затеи
по части филигранности).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 19.02.10 22:59, Michael Shigorin wrote:
> On Fri, Feb 19, 2010 at 05:01:46PM +0300, Anton Farygin wrote:
>   
>>> такой же - это сколько? в каком диапазоне? и какие параметры
>>> нужны от кейса?
>>>       
>> Тихий
>> Большой (E-ATX) и просторный.
>> Возможность установки в стойку
>> 4U
>>     
> Если 5U устроит, посмотри HP ML с балшым прапэлэром (и корзиной).
> Но это и остальные потроха тогда ихние.
>
>   
>> цена в пределах 8000 рублей.
>>     
> Если не требуется возможность горячей замены дисков,
> можно посмотреть на http://inpc.com.ua/ru/data/chassis.html
> (но перед покупкой стоит заценить инструкцию по сборке
> конкретного корпуса, исторически у них водились затеи
> по части филигранности).
>   
Хороший вариант - и под стойку, и не в стойке можно.

Re: [Hardware] hardware4cluster_(workstations)

[Anton Farygin]

20.02.2010 10:06, andriy пишет:
> On 19.02.10 22:59, Michael Shigorin wrote:
>> On Fri, Feb 19, 2010 at 05:01:46PM +0300, Anton Farygin wrote:
>>
>>>> такой же - это сколько? в каком диапазоне? и какие параметры
>>>> нужны от кейса?
>>>>
>>> Тихий
>>> Большой (E-ATX) и просторный.
>>> Возможность установки в стойку
>>> 4U
>>>
>> Если 5U устроит, посмотри HP ML с балшым прапэлэром (и корзиной).
>> Но это и остальные потроха тогда ихние.
>>
>>
>>> цена в пределах 8000 рублей.
>>>
>> Если не требуется возможность горячей замены дисков,
>> можно посмотреть на http://inpc.com.ua/ru/data/chassis.html
>> (но перед покупкой стоит заценить инструкцию по сборке
>> конкретного корпуса, исторически у них водились затеи
>> по части филигранности).
>>
> Хороший вариант - и под стойку, и не в стойке можно.

Такое добро я в МСК тоже видел:
http://www.servertorg.ru/index.php?act=goods&subid=5

Что-то нет доверия. Надо очень тщательно смотреть на тему воздушных 
потоков внутри. Знакомые взяли пару стоечных корпусов 4U, так оно стало 
горячее градусов на 5, чем в десктопном корпусе.

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Sat, Feb 20, 2010 at 10:16:45AM +0300, Anton Farygin wrote:
> Такое добро я в МСК тоже видел:

Именно такого по ссылке не вижу.

> Что-то нет доверия. Надо очень тщательно смотреть на тему
> воздушных потоков внутри.

Разумеется.  Вообще самосбором малого количества серверов
без знакомых с соответствующим опытом крайне не рекомендую
заниматься, повторюсь.  Очень много неожиданностей.

> Знакомые взяли пару стоечных корпусов 4U, так оно стало горячее
> градусов на 5, чем в десктопном корпусе.

ftp.linux.kiev.ua живёт в http://inpc.com.ua/ru/data/d34.html;
дисковые корзины там доступны довольно неудобно, но подрезинены
и диски в них обдуваются "2x 120x120x25 вентиляторы 2500об/мин,
суммарно 4,22м3/мин" с расстояния около сантиметра-двух.

sd[a-d] -- HDT725032VLA360, которые пора менять;
sd[e-h] -- HDS721010KLA330:

root@ptero ~ # ./smartcheck.sh 
querying... 
sdb: 1 Raw_Read_Error_Rate     0x000b   098   098   016    Pre-fail  Always       -       196609
sdb: 196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       3
sdc: 1 Raw_Read_Error_Rate     0x000b   098   098   016    Pre-fail  Always       -       4

temperatures... 
sdc: 33
sda: 33
sdg: 32
sde: 32
sdd: 32
sdb: 32
sdh: 31
sdf: 31

Снаружи было градусов двадцать, что ли -- эта стойка не совсем
под кондиционером.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[Michael Shigorin]

On Sat, Apr 17, 2010 at 08:44:39AM +0300, andriy wrote:
> Что скажете о такой конфигурации (сказали смотреть на эту
> контору http://www.onix.kiev.ua):

BTW можете и в ТП-Украина позвонить либо написать
(http://www.t-platforms.ru/ru/about/contacts.html);
передайте мой привет Калинину, может, скидка выйдет.
Железо такое там есть.

> http://www.supermicro.com/products/system/1U/6016/SYS-6016TT-IBQF.cfm

Хорошая машинка, в офисе проходила, руками смотрел.

> Как понимаю из прайса - это корпус с двумя материнками типа 
> http://www.supermicro.com/products/motherboard/QPI/5500/X8DTT-IBQF.cfm

Такие стоят в T-Blade 1.1, обкатаны в количествах.

> Процессоры: Intel Xeon E5520 (по 2 процесора на плату)
> Память: 4Gb DDR3-1333 ECC Registered ( по16Гб на плату)

Обычно смотрят показатель "Гб памяти/ядро процессора"...

> Жесткие диски: 2000Gb Hitachi Ultrastar??? A7K2000 SATA-II
> 7200rpm - по 2 диска на каждую м/п, для работы в режиме RAID-1.
> Что думаете о таком железе?

Можно не A7K2000, а просто 7K2000 -- всё равно через три года
менять.  Также есть смысл посмотреть на WD Caviar Black,
по тестам у них весьма интересные параметры (не так давно
освежал свои данные по 1/1.5/2Tb SATA).

> Между ними думаю сделать связь crossover Infiniband c помощью
> кабеля INFINIBAND 4X/4X  на 0.5 метра.

Лучше хотя бы метр, если 6016 брать -- там полметра между
половинками будет, а ещё ж радиусы закругления.

> Единственное что не совсем понимаю любой кабель будет работать
> в режиме 40Gbps (в прайсе кабель стоит в разделе "Кабели
> Infiniband/10Gbit Ethernet") или нужно искать другой. Вроде в
> Интернете пишут что можно без коммутатора работать 2м узлам,
> кто-то делал системы на crossover-соединении Infiniband.

Это лучше у таких людей и уточнять, видел только со свичами.
Ещё у них спросите, кабель какой -- наверное, оптика?

> UPS: APC Smart-UPS RT 2000VA Online

Если на online хватает денег -- эт хорошо, но если нет и питание
не склонно прыгать или шуметь (что лучше спросить у хорошего
местного электрика либо посмотреть осциллографом -- насколько
похоже на синусоиду, а не море в ливень), то можно и обычный,
наверное.

> Спасибо за ответы.

PS: извините, как раз под командировку угадали -- не получилось
до отъезда ответить.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] hardware4cluster_(workstations)

[andriy]

On 24.04.10 18:04, Michael Shigorin wrote:
> On Sat, Apr 17, 2010 at 08:44:39AM +0300, andriy wrote:
>    
>> Что скажете о такой конфигурации (сказали смотреть на эту
>> контору http://www.onix.kiev.ua):
>>      
> BTW можете и в ТП-Украина позвонить либо написать
> (http://www.t-platforms.ru/ru/about/contacts.html);
> передайте мой привет Калинину, может, скидка выйдет.
> Железо такое там есть.
>
>    
>> http://www.supermicro.com/products/system/1U/6016/SYS-6016TT-IBQF.cfm
>>      
> Хорошая машинка, в офисе проходила, руками смотрел.
>
>    
>> Как понимаю из прайса - это корпус с двумя материнками типа
>> http://www.supermicro.com/products/motherboard/QPI/5500/X8DTT-IBQF.cfm
>>      
> Такие стоят в T-Blade 1.1, обкатаны в количествах.
>
>    
>> Процессоры: Intel Xeon E5520 (по 2 процесора на плату)
>> Память: 4Gb DDR3-1333 ECC Registered ( по16Гб на плату)
>>      
> Обычно смотрят показатель "Гб памяти/ядро процессора"...
>
>    
>> Жесткие диски: 2000Gb Hitachi Ultrastar??? A7K2000 SATA-II
>> 7200rpm - по 2 диска на каждую м/п, для работы в режиме RAID-1.
>> Что думаете о таком железе?
>>      
> Можно не A7K2000, а просто 7K2000 -- всё равно через три года
> менять.  Также есть смысл посмотреть на WD Caviar Black,
> по тестам у них весьма интересные параметры (не так давно
> освежал свои данные по 1/1.5/2Tb SATA).
>
>    
>> Между ними думаю сделать связь crossover Infiniband c помощью
>> кабеля INFINIBAND 4X/4X  на 0.5 метра.
>>      
> Лучше хотя бы метр, если 6016 брать -- там полметра между
> половинками будет, а ещё ж радиусы закругления.
>
>    
>> Единственное что не совсем понимаю любой кабель будет работать
>> в режиме 40Gbps (в прайсе кабель стоит в разделе "Кабели
>> Infiniband/10Gbit Ethernet") или нужно искать другой. Вроде в
>> Интернете пишут что можно без коммутатора работать 2м узлам,
>> кто-то делал системы на crossover-соединении Infiniband.
>>      
> Это лучше у таких людей и уточнять, видел только со свичами.
> Ещё у них спросите, кабель какой -- наверное, оптика?
>
>    
>> UPS: APC Smart-UPS RT 2000VA Online
>>      
> Если на online хватает денег -- эт хорошо, но если нет и питание
> не склонно прыгать или шуметь (что лучше спросить у хорошего
> местного электрика либо посмотреть осциллографом -- насколько
> похоже на синусоиду, а не море в ливень), то можно и обычный,
> наверное.
>
>    
>> Спасибо за ответы.
>>      
> PS: извините, как раз под командировку угадали -- не получилось
> до отъезда ответить.
>
>    
Большое спасибо!
Это ВУЗ - когда будет закупка неизвестно, бюрократия + бюджет...