[Sysadmins] shared storage / clustered fs

[Sysadmins] shared storage / clustered fs

[Eugene Prokopiev]

>  > > > > > За $3000 получится некудышный сервер.
>  > > > > Если их купить штук 5 и сделать load balancer, то получится нормальный
>  > > > > кластер, который еще и будет масштабируемым и отказоустойчивым.
>  > > >
>  > > > Плюс ещё storage за сумму с 4 нулями.  Короче говоря, те, кто не знают,
>  > > > где ты работаешь, могут подумать, что ты продвигаешь железо. :)
>  > > нет, я начитался http://lbvm.sourceforge.net/ :)
>  >
>  > Да, читать бывает полезно. :)
>  >
>  > > Кстати, у тебя устаревшие взгляды -
>  > > запчасти на storage за сумму с 4 нулями тебе будут тоже везти
>  > > время с 4 нулями, поэтому кластер из китайского мусора от supermicro и
>  > > SATA дисков всяко дешевле и меняется на раз. Нам же нужен не fault
>  > > tolerance с тысячной процента, латентность тоже несколько пофиг. Поэтому
>  > > сеть из кластеров в разных ДЦ рулит. Где купить это барахло для кластера -
>  > > помойму это даже etegro/rider@ может сказать, в MSK не так много крупных
>  > > поставщиков типа серверного железа от Dell/SuperMicro. Остается аренда
>  > > стойкоместа в ДЦ - ну это вопрос для отдельного разговора.
>  >
>  > И всё же, сколько будет стоить shared storage для такой развесистой
>  > клюквы?
>
> нету там shared storage. есть clustered fs.

Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
который и есть shared storage? ;)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

Hi Eugene!

Tuesday 03, at 03:05:47 PM you wrote:

> >  > > > > > За $3000 получится некудышный сервер.
> >  > > > > Если их купить штук 5 и сделать load balancer, то получится нормальный
> >  > > > > кластер, который еще и будет масштабируемым и отказоустойчивым.
> >  > > >
> >  > > > Плюс ещё storage за сумму с 4 нулями.  Короче говоря, те, кто не знают,
> >  > > > где ты работаешь, могут подумать, что ты продвигаешь железо. :)
> >  > > нет, я начитался http://lbvm.sourceforge.net/ :)
> >  >
> >  > Да, читать бывает полезно. :)
> >  >
> >  > > Кстати, у тебя устаревшие взгляды -
> >  > > запчасти на storage за сумму с 4 нулями тебе будут тоже везти
> >  > > время с 4 нулями, поэтому кластер из китайского мусора от supermicro и
> >  > > SATA дисков всяко дешевле и меняется на раз. Нам же нужен не fault
> >  > > tolerance с тысячной процента, латентность тоже несколько пофиг. Поэтому
> >  > > сеть из кластеров в разных ДЦ рулит. Где купить это барахло для кластера -
> >  > > помойму это даже etegro/rider@ может сказать, в MSK не так много крупных
> >  > > поставщиков типа серверного железа от Dell/SuperMicro. Остается аренда
> >  > > стойкоместа в ДЦ - ну это вопрос для отдельного разговора.
> >  >
> >  > И всё же, сколько будет стоить shared storage для такой развесистой
> >  > клюквы?
> >
> > нету там shared storage. есть clustered fs.
> 
> Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
> который и есть shared storage? ;)
Вы похоже как и Дима мыслите устаревшими категориями - где я упомянул о
storage? Нам нужно сделать распределенную файлопомойку. Любая clusterfs
это умеет на _обычном_ железе.

-- 
WBR et al.

Re: [Sysadmins] shared storage / clustered fs

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 2111 bytes --]

On Tue, Jun 03, 2008 at 08:15:24PM +0400, Konstantin A. Lepikhov wrote:
> Tuesday 03, at 03:05:47 PM you wrote:
> 
> > >  > > > > > За $3000 получится некудышный сервер.
> > >  > > > > Если их купить штук 5 и сделать load balancer, то получится нормальный
> > >  > > > > кластер, который еще и будет масштабируемым и отказоустойчивым.
> > >  > > >
> > >  > > > Плюс ещё storage за сумму с 4 нулями.  Короче говоря, те, кто не знают,
> > >  > > > где ты работаешь, могут подумать, что ты продвигаешь железо. :)
> > >  > > нет, я начитался http://lbvm.sourceforge.net/ :)
> > >  >
> > >  > Да, читать бывает полезно. :)
> > >  >
> > >  > > Кстати, у тебя устаревшие взгляды -
> > >  > > запчасти на storage за сумму с 4 нулями тебе будут тоже везти
> > >  > > время с 4 нулями, поэтому кластер из китайского мусора от supermicro и
> > >  > > SATA дисков всяко дешевле и меняется на раз. Нам же нужен не fault
> > >  > > tolerance с тысячной процента, латентность тоже несколько пофиг. Поэтому
> > >  > > сеть из кластеров в разных ДЦ рулит. Где купить это барахло для кластера -
> > >  > > помойму это даже etegro/rider@ может сказать, в MSK не так много крупных
> > >  > > поставщиков типа серверного железа от Dell/SuperMicro. Остается аренда
> > >  > > стойкоместа в ДЦ - ну это вопрос для отдельного разговора.
> > >  >
> > >  > И всё же, сколько будет стоить shared storage для такой развесистой
> > >  > клюквы?
> > >
> > > нету там shared storage. есть clustered fs.
> > 
> > Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
> > который и есть shared storage? ;)
> Вы похоже как и Дима мыслите устаревшими категориями - где я упомянул о
> storage? Нам нужно сделать распределенную файлопомойку. Любая clusterfs
> это умеет на _обычном_ железе.

А теперь пусть продвинутый Константин посчитает, сколько это будет стоить,
(не назовёт произвольно взятое с потолка число, а приведёт рассчёт), И
соотнесёт результат с первоначальным числом $3000.
Тогда будет о чём говорить, в противном случае этот разговор впустую,
и его надо прекратить.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

Hi Dmitry!

Tuesday 03, at 09:27:27 PM you wrote:

<skip>
> > > > нету там shared storage. есть clustered fs.
> > > 
> > > Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
> > > который и есть shared storage? ;)
> > Вы похоже как и Дима мыслите устаревшими категориями - где я упомянул о
> > storage? Нам нужно сделать распределенную файлопомойку. Любая clusterfs
> > это умеет на _обычном_ железе.
> 
> А теперь пусть продвинутый Константин посчитает, сколько это будет стоить,
> (не назовёт произвольно взятое с потолка число, а приведёт рассчёт), И
> соотнесёт результат с первоначальным числом $3000.
Ты сам только что это придумал? $3000 - это цена _одного_ сервера.

> Тогда будет о чём говорить, в противном случае этот разговор впустую,
> и его надо прекратить.
Да, всем пора смириться с мыслью что у ООО нет денег на покупку нового
оборудования ;)

-- 
WBR et al.

Re: [Sysadmins] shared storage / clustered fs

[Eugene Prokopiev]

>  > > нету там shared storage. есть clustered fs.
>  >
>  > Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
>  > который и есть shared storage? ;)
>
> Вы похоже как и Дима мыслите устаревшими категориями - где я упомянул о
>  storage? Нам нужно сделать распределенную файлопомойку. Любая clusterfs
>  это умеет на _обычном_ железе.

У меня такое ощущение, что я разучился пользоваться гуглом ;)

Можно прямую ссылку на описание процесса размещения gfs или ocfs2
(lustre пока замнем) на чем либо отличном от shared storage и drbd8?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

Hi Eugene!

Wednesday 04, at 05:50:06 PM you wrote:

> >  > > нету там shared storage. есть clustered fs.
> >  >
> >  > Поверх чего? drbd8 (т.е. максимум 2 ноды) или выделенного сервера,
> >  > который и есть shared storage? ;)
> >
> > Вы похоже как и Дима мыслите устаревшими категориями - где я упомянул о
> >  storage? Нам нужно сделать распределенную файлопомойку. Любая clusterfs
> >  это умеет на _обычном_ железе.
> 
> У меня такое ощущение, что я разучился пользоваться гуглом ;)
> 
> Можно прямую ссылку на описание процесса размещения gfs или ocfs2
> (lustre пока замнем) на чем либо отличном от shared storage и drbd8?
нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
drbd8, который убог в бесплатной версии.

http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
но гораздо лучше и без drbd.

-- 
WBR et al.

Re: [Sysadmins] shared storage / clustered fs

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 474 bytes --]

On Wed, Jun 04, 2008 at 06:18:27PM +0400, Konstantin A. Lepikhov wrote:
[...]
> нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
> вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
> drbd8, который убог в бесплатной версии.
> 
> http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
> но гораздо лучше и без drbd.

Пожалуйста, не надо здесь продвигать несвободный закрытый софт.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 709 bytes --]

Hi Dmitry!

Wednesday 04, at 07:31:47 PM you wrote:

> On Wed, Jun 04, 2008 at 06:18:27PM +0400, Konstantin A. Lepikhov wrote:
> [...]
> > нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
> > вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
> > drbd8, который убог в бесплатной версии.
> > 
> > http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
> > но гораздо лучше и без drbd.
> 
> Пожалуйста, не надо здесь продвигать несвободный закрытый софт.
> 
А кто может предложить что-либо аналогичное и рабочее на базе свободного и
открытого софта? С удовольствием выслушаю, да и другие подписчики тоже.

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] shared storage / clustered fs

[Eugene Prokopiev]

>  > > нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
>  > > вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
>  > > drbd8, который убог в бесплатной версии.
>  > >
>  > > http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
>  > > но гораздо лучше и без drbd.
>  >
>  > Пожалуйста, не надо здесь продвигать несвободный закрытый софт.
>  >
>
> А кто может предложить что-либо аналогичное и рабочее на базе свободного и
>  открытого софта? С удовольствием выслушаю, да и другие подписчики тоже.

Ну вот, все кровопролитиев ждали, а он чижика съел :)

Начинали, помнится, с того, что "любая clusterfs это умеет на
_обычном_ железе", теперь выясняется, что свободные и открытые таки не
умеют - так с этим все сразу вроде были согласны ;)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] shared storage / clustered fs

[Vladimir V. Kamarzin]

>>>>> On 05 Jun 2008 at 02:28 "KAL" == Konstantin A Lepikhov writes:

>> > нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
>> > вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
>> > drbd8, который убог в бесплатной версии.
>> > 
>> > http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
>> > но гораздо лучше и без drbd.
>> 
>> Пожалуйста, не надо здесь продвигать несвободный закрытый софт.
>> 
KAL> А кто может предложить что-либо аналогичное и рабочее на базе свободного и
KAL> открытого софта? С удовольствием выслушаю, да и другие подписчики тоже.

А что насчёт ceph?
http://www.opennet.ru/prog/info/3431.shtml
http://ceph.sourceforge.net/

-- 
vvk

Postfix page on f.i: http://freesource.info/wiki/Dokumentacija/Postfix

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

Hi Eugene!

Thursday 05, at 09:01:44 AM you wrote:

> >  > > нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
> >  > > вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
> >  > > drbd8, который убог в бесплатной версии.
> >  > >
> >  > > http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
> >  > > но гораздо лучше и без drbd.
> >  >
> >  > Пожалуйста, не надо здесь продвигать несвободный закрытый софт.
> >  >
> >
> > А кто может предложить что-либо аналогичное и рабочее на базе свободного и
> >  открытого софта? С удовольствием выслушаю, да и другие подписчики тоже.
> 
> Ну вот, все кровопролитиев ждали, а он чижика съел :)
О да. Только вот git.alt как тормозил, так и тормозит. Например, я ожидал
таки хоть какого-нибудь решения проблемы.

> 
> Начинали, помнится, с того, что "любая clusterfs это умеет на
> _обычном_ железе", теперь выясняется, что свободные и открытые таки не
> умеют - так с этим все сразу вроде были согласны ;)
Уметь и работать это же разные понятия. Или хочется просто позагибать
пальцА?

-- 
WBR et al.

Re: [Sysadmins] shared storage / clustered fs

[Eugene Prokopiev]

> О да. Только вот git.alt как тормозил, так и тормозит. Например, я ожидал
>  таки хоть какого-нибудь решения проблемы.

"хоть какого-нибудь" не надо :)

мне со стороны кажется, ООО ALTLinux логичнее раскошелиться на
соответствующий storage, чем использовать gpfs - а сколько оно,
кстати, стоит? ;)

ну или подумать просто об rsync/csync2 ;)

>  > Начинали, помнится, с того, что "любая clusterfs это умеет на
>  > _обычном_ железе", теперь выясняется, что свободные и открытые таки не
>  > умеют - так с этим все сразу вроде были согласны ;)
>
> Уметь и работать это же разные понятия. Или хочется просто позагибать
>  пальцА?

Костя, ну кому интересны пальцы? ;) Я было подумал, что существуют
именно работающие и при этом свободные решения - увы :(

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] shared storage / clustered fs

[Михаил Якушин]

Vladimir V. Kamarzin wrote:
>>>>>> On 05 Jun 2008 at 02:28 "KAL" == Konstantin A Lepikhov writes:
> 
>>>> нету такого документа ;) Что это вы все какую-то халяву ищете. Ни одна из
>>>> вышеперечисленных fs (gfs/ocfs2) нормально на кластерах не работает. Как и
>>>> drbd8, который убог в бесплатной версии.
>>>>
>>>> http://www-03.ibm.com/systems/clusters/software/gpfs/index.html - платное,
>>>> но гораздо лучше и без drbd.
>>> Пожалуйста, не надо здесь продвигать несвободный закрытый софт.
>>>
> KAL> А кто может предложить что-либо аналогичное и рабочее на базе свободного и
> KAL> открытого софта? С удовольствием выслушаю, да и другие подписчики тоже.
> 
> А что насчёт ceph?
> http://www.opennet.ru/prog/info/3431.shtml
> http://ceph.sourceforge.net/
> 
Любопытно. Спасибо за ссылку.

Re: [Sysadmins] shared storage / clustered fs

[Konstantin A. Lepikhov]

Hi Eugene!

Thursday 05, at 11:40:59 AM you wrote:

> > О да. Только вот git.alt как тормозил, так и тормозит. Например, я ожидал
> >  таки хоть какого-нибудь решения проблемы.
> 
> "хоть какого-нибудь" не надо :)
> 
> мне со стороны кажется, ООО ALTLinux логичнее раскошелиться на
> соответствующий storage, чем использовать gpfs - а сколько оно,
> кстати, стоит? ;)
Дорого ;) + gpfs нормально работает только на RHEL.

> 
> ну или подумать просто об rsync/csync2 ;)
Кстати, у некоторых компаний так и сделано для зеркал. Т.е. 2-3 сервера,
round-robin в DNS и rsync между ними. Скорости между ДЦ в MSK довольно
приличные, чтобы получить 30-20Mb/s.

> 
> >  > Начинали, помнится, с того, что "любая clusterfs это умеет на
> >  > _обычном_ железе", теперь выясняется, что свободные и открытые таки не
> >  > умеют - так с этим все сразу вроде были согласны ;)
> >
> > Уметь и работать это же разные понятия. Или хочется просто позагибать
> >  пальцА?
> 
> Костя, ну кому интересны пальцы? ;) Я было подумал, что существуют
> именно работающие и при этом свободные решения - увы :(
"изкаробки" не работает ни одно решение.

-- 
WBR et al.