[Comm] Построение кластера

[Comm] Построение кластера

[Yury Levdansky]

Есть ли у кого опыт построения кластеров на Альте?

-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Wed, Sep 29, 2004 at 05:19:59PM +0300, Yury Levdansky wrote:
> Есть ли у кого опыт построения кластеров на Альте?

Кластер кластеру рознь, лучше сразу уточнять -- HPC/HA и какие
есть ограничения по софту/библиотекам/интерфейсам.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>On Wed, Sep 29, 2004 at 05:19:59PM +0300, Yury Levdansky wrote:
>  
>
>>Есть ли у кого опыт построения кластеров на Альте?
>>    
>>
>
>Кластер кластеру рознь, лучше сразу уточнять -- HPC/HA и какие
>есть ограничения по софту/библиотекам/интерфейсам.
>
>  
>
Стоит основная задача разгрузить CPU на шлюзе (тобишь HPC, хотя конечно 
хотельось бы иметь и возможность HA, если что-то свалится). Ограничений 
нет, во всяком случае пока, разве что ОС ALT Linux.


-- 
____________
С уважением, 
Левданский Юрий

Re: [Comm] Re: Построение кластера

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 476 bytes --]

Yury Levdansky пишет:

>>> Есть ли у кого опыт построения кластеров на Альте?
>>>   
>> Кластер кластеру рознь, лучше сразу уточнять -- HPC/HA и какие
>> есть ограничения по софту/библиотекам/интерфейсам.
>>
> Стоит основная задача разгрузить CPU на шлюзе (тобишь HPC, хотя конечно
> хотельось бы иметь и возможность HA, если что-то свалится). Ограничений
> нет, во всяком случае пока, разве что ОС ALT Linux.
Ну попробуй "apt-get install kernel-image-om-smp openmosix-tools"

[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

[Comm] Re: Построение кластера

[Michael Shigorin]

On Tue, Oct 05, 2004 at 09:44:16AM +0300, Yury Levdansky wrote:
> Стоит основная задача разгрузить CPU на шлюзе (тобишь HPC, хотя
> конечно хотельось бы иметь и возможность HA, если что-то
> свалится). Ограничений нет, во всяком случае пока, разве что ОС
> ALT Linux.

Обычно это решается разнесением сервисов, а не их миграцией.
Всё-таки граблей меньше.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>On Tue, Oct 05, 2004 at 09:44:16AM +0300, Yury Levdansky wrote:
>  
>
>>Стоит основная задача разгрузить CPU на шлюзе (тобишь HPC, хотя
>>конечно хотельось бы иметь и возможность HA, если что-то
>>свалится). Ограничений нет, во всяком случае пока, разве что ОС
>>ALT Linux.
>>    
>>
>
>Обычно это решается разнесением сервисов, а не их миграцией.
>Всё-таки граблей меньше.
>  
>
как раз проблема в том что мощностей не хватает на сервис, вообщем 
антивирус просматривает около 3Мбит/c http трафика, загрузка CPU при 
этом безбожна, может и кластер то при таком сервисе не поможет

-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Thu, Oct 07, 2004 at 07:32:14PM +0300, Yury Levdansky wrote:
> >Обычно это решается разнесением сервисов, а не их миграцией.
> >Всё-таки граблей меньше.
> как раз проблема в том что мощностей не хватает на сервис,
> вообщем антивирус просматривает около 3Мбит/c http трафика,
> загрузка CPU при этом безбожна, может и кластер то при таком
> сервисе не поможет

Поставить до слияния потоков или развести по разным прокси никак?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>On Thu, Oct 07, 2004 at 07:32:14PM +0300, Yury Levdansky wrote:
>  
>
>>>Обычно это решается разнесением сервисов, а не их миграцией.
>>>Всё-таки граблей меньше.
>>>      
>>>
>>как раз проблема в том что мощностей не хватает на сервис,
>>вообщем антивирус просматривает около 3Мбит/c http трафика,
>>загрузка CPU при этом безбожна, может и кластер то при таком
>>сервисе не поможет
>>    
>>
>
>Поставить до слияния потоков или развести по разным прокси никак?
>
>  
>
нет, не прокатит - тогда почти всю логику работы менять придется, на той 
же машинке куча всего вертится, биллинг, шейпинг (HTB)

-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Tue, Oct 12, 2004 at 02:28:15PM +0300, Yury Levdansky wrote:
> >>>Обычно это решается разнесением сервисов, а не их миграцией.
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
> >Поставить до слияния потоков или развести по разным прокси никак?
> нет, не прокатит - тогда почти всю логику работы менять
> придется, на той же машинке куча всего вертится, биллинг,
> шейпинг (HTB)

Значит, в работе логика отсутствует. :(

Добавьте туда какой openmosix и такого провайдера рекомендовать
будет _нельзя_.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>On Tue, Oct 12, 2004 at 02:28:15PM +0300, Yury Levdansky wrote:
>  
>
>>>>>Обычно это решается разнесением сервисов, а не их миграцией.
>>>>>          
>>>>>
>     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
>  
>
>>>Поставить до слияния потоков или развести по разным прокси никак?
>>>      
>>>
>>нет, не прокатит - тогда почти всю логику работы менять
>>придется, на той же машинке куча всего вертится, биллинг,
>>шейпинг (HTB)
>>    
>>
>
>Значит, в работе логика отсутствует. :(
>
>Добавьте туда какой openmosix и такого провайдера рекомендовать
>будет _нельзя_.
>  
>
почему? решение не надежное?

-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Tue, Oct 12, 2004 at 02:53:05PM +0300, Yury Levdansky wrote:
> >>нет, не прокатит - тогда почти всю логику работы менять
> >>придется, на той же машинке куча всего вертится, биллинг,
> >>шейпинг (HTB)
> >Значит, в работе логика отсутствует. :( Добавьте туда какой
> >openmosix и такого провайдера рекомендовать будет _нельзя_.
> почему? решение не надежное?

В силу отсутствия на корню планирования нагрузки.  Что в свою
очередь говорит о том, что какой-то кусок делали или переделывали
люди, которые ...эээ... скажем так, приобретали на этом первый
опыт создания инфраструктуры или не поняли, что то, что было --
немасштабируемо (и продолжили грузить чеснок с тортами).

Ключевые слова -- "куча всего", "биллинг, шейпинг".  Сколько лет
поговорке "не класть все яйца в одну корзину"?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>On Tue, Oct 12, 2004 at 02:53:05PM +0300, Yury Levdansky wrote:
>  
>
>>>>нет, не прокатит - тогда почти всю логику работы менять
>>>>придется, на той же машинке куча всего вертится, биллинг,
>>>>шейпинг (HTB)
>>>>        
>>>>
>>>Значит, в работе логика отсутствует. :( Добавьте туда какой
>>>openmosix и такого провайдера рекомендовать будет _нельзя_.
>>>      
>>>
>>почему? решение не надежное?
>>    
>>
>
>В силу отсутствия на корню планирования нагрузки.  Что в свою
>очередь говорит о том, что какой-то кусок делали или переделывали
>люди, которые ...эээ... скажем так, приобретали на этом первый
>опыт создания инфраструктуры или не поняли, что то, что было --
>немасштабируемо (и продолжили грузить чеснок с тортами).
>
>Ключевые слова -- "куча всего", "биллинг, шейпинг".  Сколько лет
>поговорке "не класть все яйца в одну корзину"?
>  
>
под билингом имел ввиду биллинговык счетчики + HTB (и то это только в 
одном направлении) + сквид, я не считаю что это много. На счет 
планирования нагрузки, какой-бы мощной машинка не была одна она столько 
сканировать не сможет (как ни крути что-то надо разносить, тех же 
сквидов плодить не хочется), вот и встала дилемма: организация кластера 
или лесом тот антивирус :).
Первоначально то интересовал опыт организации кластеров, на сколько 
надежно, стоит ли вообще в это лезть.


-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Wed, Oct 13, 2004 at 10:46:29AM +0300, Yury Levdansky wrote:
> >Ключевые слова -- "куча всего", "биллинг, шейпинг".  Сколько лет
> >поговорке "не класть все яйца в одну корзину"?
> под билингом имел ввиду биллинговык счетчики

Т.е. аккаунтинг, как недавно обсуждалось.

> + HTB (и то это только в одном направлении) + сквид, я не
> считаю что это много.

Если машинка справляется и есть запас -- видимо, справедливо.

> На счет планирования нагрузки, какой-бы мощной машинка не была
> одна она столько сканировать не сможет (как ни крути что-то
> надо разносить, тех же сквидов плодить не хочется)

Логично.  Так зачем крутить?  Разносите и всё тут.

Вы же хотите устроить какую-то хитрую конструкцию из двух или
более корзин, по которым на ходу маневрируют яйца, вместо того,
чтобы попросту разложить их сразу по двум, и максимально
статично.

> вот и встала дилемма: организация кластера или лесом тот
> антивирус :).  Первоначально то интересовал опыт организации
> кластеров, на сколько надежно, стоит ли вообще в это лезть.

Это не дилемма.  Перечитайте ответы, всё уже сказано. :-)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: Построение кластера

[Yury Levdansky]

Michael Shigorin пишет:

>>На счет планирования нагрузки, какой-бы мощной машинка не была
>>одна она столько сканировать не сможет (как ни крути что-то
>>надо разносить, тех же сквидов плодить не хочется)
>>    
>>
>
>Логично.  Так зачем крутить?  Разносите и всё тут.
>
>Вы же хотите устроить какую-то хитрую конструкцию из двух или
>более корзин, по которым на ходу маневрируют яйца, вместо того,
>чтобы попросту разложить их сразу по двум, и максимально
>статично.
>  
>
разложить максимально статично тоже проблема, я как-то уже спрашивал про 
эффективную балансировку трафика между сквидами.

>>вот и встала дилемма: организация кластера или лесом тот
>>антивирус :).  Первоначально то интересовал опыт организации
>>кластеров, на сколько надежно, стоит ли вообще в это лезть.
>>    
>>
>
>Это не дилемма.  Перечитайте ответы, всё уже сказано. :-)
>  
>
ну ты блин вообще друим решениям места не даешь :), ладно закрываем тему

-- 
____________
С уважением, 
Левданский Юрий

[Comm] Re: Построение кластера

[Michael Shigorin]

On Wed, Oct 13, 2004 at 02:11:24PM +0300, Yury Levdansky wrote:
> разложить максимально статично тоже проблема, я как-то уже
> спрашивал про эффективную балансировку трафика между сквидами.

&^%&*%&^%&^%^

Ну неужто нужны обязательно какие-то экстремизмы?  Просто
разнести СЕРВИСЫ, а не устраивать фиг знает что, намазывая десять
сервисов на полторы железки по возможности равномерно -- совсем 
никак?

> ну ты блин вообще друим решениям места не даешь :), ладно
> закрываем тему

Юрий, если Вы до сих пор не понимаете, в чём проблема на самом
деле -- я начинаю бояться за Авилинк.

"Другие" (то, что Вы себе в голову набили) -- это не решения.
Впрочем, попробуйте сами, я своё слово сказал и более тратить
время на эту тему не собираюсь. :-/

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/