[Comm] Технологии построения кластерных систем.

[Comm] Технологии построения кластерных систем.

[Mike]

[-- Attachment #1: Type: text/plain, Size: 655 bytes --]

Приветствую.
Прошу откликнутся всех, кто в исползует для реальных задач технологии
кластеризации и паралельных вычеслений.
Меня уже давно интересует эта тематика, но близко я к ней не подбирался,
вот предявился случай - у меня дипломная работа связана с
расспаралеливанием вычеслений. По ходу требуется построить тестовый
кластер и написать софт для паралельных вычеслений.
Хочется просто поговорить с людьми которые этой тематикой занимаются
долго и набаться у них опыта.
Мне не влом читать, вникать, програмировать - хочу поговорить с
"бывалыми", благо они в рассылке имеются.
Все, кто заинтересуется, прошу на личную почту отсылать ответы.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Технологии построения кластерных систем.

[Albert R. Valiev]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

В сообщении от 29 Октябрь 2002 19:07 Mike написал:
> Приветствую.
> Прошу откликнутся всех, кто в исползует для реальных задач технологии
> кластеризации и паралельных вычеслений.
> Меня уже давно интересует эта тематика, но близко я к ней не подбирался,
> вот предявился случай - у меня дипломная работа связана с
> расспаралеливанием вычеслений. По ходу требуется построить тестовый
> кластер и написать софт для паралельных вычеслений.
> Хочется просто поговорить с людьми которые этой тематикой занимаются
> долго и набаться у них опыта.
> Мне не влом читать, вникать, програмировать - хочу поговорить с
> "бывалыми", благо они в рассылке имеются.
> Все, кто заинтересуется, прошу на личную почту отсылать ответы.

В данный момент я готовлю openMosix софт для Daedalus. Пока что в стадии 
эксперимента, однако если заработает, то будет и софт и инструкция.
Если есть время, подождите плз. денька два-три.  если что - моя ася - 20463211


- -- 

With Best Regards, Albert R. Valiev
- ------------------------------------
ALT Linux Team [www.altlinux.ru]
KDE Development Team [www.kde.org]
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.0.7 (GNU/Linux)

iD8DBQE9vrb97d6wAH+0KuARAm1AAJ9ek/QcwlnexMeQCChXD04qfyis1wCeMxNG
dcu90PwJCcsaE83xt/u4eok=
=bwcd
-----END PGP SIGNATURE-----

Re: [Comm] Технологии построения кластерных систем.

[Vitaly Lugovsky]

On Tue, 29 Oct 2002, Mike wrote:

> Приветствую.
> Прошу откликнутся всех, кто в исползует для реальных задач технологии
> кластеризации и паралельных вычеслений.

 Реальные задачи - понятие крайне растяжимое. По большому счёту - все
задачи - "реальные". ;)

> Меня уже давно интересует эта тематика, но близко я к ней не подбирался,
> вот предявился случай - у меня дипломная работа связана с
> расспаралеливанием вычеслений.

 Ok. Какого рода разпараллеливание?

 Тут задачи можно поделить на следующие категории:
1) Лего параллелятся - обмен между процессами отсутствует или минимальный
на уровне пайпов. Тут подходят системы автоматического разпараллеливания,
вроде всяких batch pools или более продвинутых, с динамической 
балансировкой - e.g. Mosix.
2) Задачи с обменом сообщениями. Для этого необходимо весьма серьёзно 
переписывать реализацию алгоритма (если не используются языки, допускающие
достаточно высокий уровень абстракции для автоматического 
разпараллеливания на message passing). Наиболее популярные средства - PVM3
и MPI (в Сизифе их целых два разных), но иногда стоит воспользоваться
чем либо самописным (e.g. я использую собственную библиотеку pure 
functional message passing для OCaml, с ней не требуется особо
переделывать код). От уровня обмена между процессами зависит выбор
железа - где 10mbit хватит, а где и гигабита или CRAY мало.
3) Самые злобные ублюдочные гадские задачи - требуют шаренной памяти.
Тут выход один - SMP, возможно NUMA. Реализуется обычно на уровне 
многотредового кода, но так же есть и всякие фишки вроде OpenMP 
(есть в интеловских компиляторах, к примеру).

 Итак, к какому классу относятся ваши "реальные" задачи?

> Хочется просто поговорить с людьми которые этой тематикой занимаются
> долго и набаться у них опыта.

 Ок. Я тут. Можно говорить.

> Мне не влом читать, вникать, програмировать - хочу поговорить с
> "бывалыми", благо они в рассылке имеются.

 Но лучше всего начинать с http://www.parallel.ru/

Re: [Comm] Технологии построения кластерных систем.

[Mike]

[-- Attachment #1: Type: text/plain, Size: 2566 bytes --]

On Tue, 29 Oct 2002 20:21:38 +0300 (MSK)
Vitaly Lugovsky <vsl@ontil.ihep.su> wrote:

>  Реальные задачи - понятие крайне растяжимое. По большому счёту - все
> задачи - "реальные". ;)
> 
По данному вопросу, на настоящий момент - математика и распарралеливание
мат. алгоритмов.

> > Меня уже давно интересует эта тематика, но близко я к ней не
> > подбирался, вот предявился случай - у меня дипломная работа связана
> > с расспаралеливанием вычеслений.
> 
>  Ok. Какого рода разпараллеливание?
> 
>  Тут задачи можно поделить на следующие категории:
> 1) Лего параллелятся - обмен между процессами отсутствует или
> минимальный на уровне пайпов. Тут подходят системы автоматического
> разпараллеливания, вроде всяких batch pools или более продвинутых, с
> динамической балансировкой - e.g. Mosix.

> 2) Задачи с обменом сообщениями. Для этого необходимо весьма серьёзно 
> переписывать реализацию алгоритма (если не используются языки,
> допускающие достаточно высокий уровень абстракции для автоматического 
> разпараллеливания на message passing). Наиболее популярные средства -
> PVM3 и MPI (в Сизифе их целых два разных),

MPI

> но иногда стоит
> воспользоваться чем либо самописным (e.g. я использую собственную
> библиотеку pure functional message passing для OCaml, с ней не
> требуется особо переделывать код).

Я не такой мастак, что с пол пинка сам напишу билиотеку....

> От уровня обмена между процессами
> зависит выбор железа - где 10mbit хватит, а где и гигабита или CRAY

Это и ежу понятно.

> мало. 3) Самые злобные ублюдочные гадские задачи - требуют шаренной
> памяти. Тут выход один - SMP, возможно NUMA. Реализуется обычно на
> уровне многотредового кода, но так же есть и всякие фишки вроде OpenMP
> 
> (есть в интеловских компиляторах, к примеру).
> 
>  Итак, к какому классу относятся ваши "реальные" задачи?

Математика, расспаралеливание мат. алгоритмов, мат. моделирование - 
как никак кафедра "Прикладная Математика".
Очень хотелось бы влесть в сферу"истинно кластерных программ", но с этим
надо _очень_ долго разбираться... времени у меня не так много. Поэтому,
думаю остановлюсь на технологии SPPS.

> > Хочется просто поговорить с людьми которые этой тематикой занимаются
> > долго и набаться у них опыта.
> 
>  Ок. Я тут. Можно говорить.
> 
Но всё же лучше на личную почту, незачем засорять моими проблемами
рассылку.
>  Но лучше всего начинать с http://www.parallel.ru/
уже, и  http://cluster.msu.ru конечно-же.
MPI Programming, и соответствущая литература на англицком.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Технологии построения кластерных систем.

[Vitaly Lugovsky]

On Tue, 29 Oct 2002, Mike wrote:

> >  Реальные задачи - понятие крайне растяжимое. По большому счёту - все
> > задачи - "реальные". ;)
> > 
> По данному вопросу, на настоящий момент - математика и распарралеливание
> мат. алгоритмов.

 Любой алгоритм - по определению математика. И даже если ограничиваться
числодробильной математикой - всё равно крайне широкий класс алгоритмов 
получаем. E.g. некоторые алгоритмы численного интегрирования легко 
параллелятся, а некоторые требуют минимум шаренной памяти, особенно
из области сеточной QCD, чтоб ей пусто было и икнулось трижды.

> > 2) Задачи с обменом сообщениями. Для этого необходимо весьма серьёзно 
> > переписывать реализацию алгоритма (если не используются языки,
> > допускающие достаточно высокий уровень абстракции для автоматического 
> > разпараллеливания на message passing). Наиболее популярные средства -
> > PVM3 и MPI (в Сизифе их целых два разных),
> 
> MPI

 Ok, то есть, класс задач более-менее определён.

> > но иногда стоит
> > воспользоваться чем либо самописным (e.g. я использую собственную
> > библиотеку pure functional message passing для OCaml, с ней не
> > требуется особо переделывать код).
> 
> Я не такой мастак, что с пол пинка сам напишу билиотеку....

 А тут много не надо - понять, с какими типами данных придётся работать
и организовать их сериализацию в красивой обёртке.

> >  Итак, к какому классу относятся ваши "реальные" задачи?
> 
> Математика, расспаралеливание мат. алгоритмов, мат. моделирование - 
> как никак кафедра "Прикладная Математика".

 Всё программирование в общем и целом - "прикладная математика". ;)

> Очень хотелось бы влесть в сферу"истинно кластерных программ", но с этим
> надо _очень_ долго разбираться... времени у меня не так много. Поэтому,
> думаю остановлюсь на технологии SPPS.

 Не знаю такой аббревиатуры. Однако, если есть желание считать, могу
подкинуть задачку (сейчас меня будут топтать...) - генетическая 
минимизация для какой либо очень шибко корявой многомерной функции, 
дискректной по одним измерениям и континуальной по другим. В как можно 
более общем виде. Задача параллелится естественным образом, обмениваться
только хромосомами и значениями фитнесса надо. Даже, хи хи, модем потянет.
Даже можно нечто навроде Seti@HOME напареллелить.

> > > Хочется просто поговорить с людьми которые этой тематикой занимаются
> > > долго и набаться у них опыта.
> > 
> >  Ок. Я тут. Можно говорить.
> > 
> Но всё же лучше на личную почту, незачем засорять моими проблемами
> рассылку.

 Ок.