[Sysadmins] простые кластерные FS

[Sysadmins] простые кластерные FS

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 2657 bytes --]

Задача:
Есть N машин, в одной физической сети. На каждой есть БОЛЬШОЙ раздел (до
единиц терабайт).

Нужно организовать из них единую FS. Доступ на запись (добавление файлов)
с любой из машин. Доступ на чтение с одной из них. Модификация созданного
файла с другой машины маловероятно/

Приемлимое latency до момента когда все машины увидят изменение метаданных
-- до 10 секунд.

Рзрешение конфликтов при одновременном изменении файла -- если время между
изменениями >10s должно сохраниться последнее изменение, если <10s должна
сохраниться любая из копий файла.

Количество операций на запись существенно превышает количество операций
чтения. 

Должна быть возможность относительно простого расширения массива, добавляя
новые сервера в комплекс.

FS на всех серверах сейчас лежит на RAID. В случае временного выхода из
строя одного из серверов кластера _обязательно_ обеспечить возможность
продолжать запись, желательно -- иметь доступ к тем из ранее записанных
файлов, которые хранятся на других серверах.

Доступ к файлам на запись исключительно последовательный, доступ на чтение
-- random.

Допустимо если к FS доступ на запись и чтения будет обеспечиваться разными
точками монтирования.

"Тупое" решение: на каждом из серверов сделать каталог, скажем, /var/share
-- туда будет производиться запись. И каталоги типа /var/share-read/<id>,
где <id> -- это идентификатор сервера. В этом случае мне обязательно для
доступа к файлу знать id сервера (что мне не нравится, однако это терпимый
вариант). И по NFS монтировать все это хозяйство полносвязной сетью (а для
локальных данных -- bind'ом). 

Это тупое решение мне не нравится тем, что усложняет администрирование,
тем что я недолюбливаю NFS (это лечится, однако, если научиться ее
готовить), а также известными подвисаниями NFS при монтировании (что
критично, если всю систему выключили, а потом включили половину серверов
-- они должны быстро-быстро подняться и начать работать, время  простоя
более 5-и минут означает что на меня будут точить зуб, а то и стучать по
голове в самом прямом смысле этих слов).

Надежность -- самое критичное. Могут быть короткие перебои с доступом,
это не смертельно. Но потерять хоть один файлик -- нельзя.

В сторону какой FS копать?

Если я смогу проигнорировать вероятный конфликт имен файлов, есть ли
способ объединить несколько таких смонтированых NFS разделов в одну
read-only FS на той машине, которая будет читать, если она не знает ID
сервера где лежит файл с данным именем?

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------


[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] простые кластерные FS

[Руслан Писарев]

Не уверен, есть ли у нас, но недавно читал о FS Ceph
(http://ceph.newdream.net/,
http://www.opennet.ru/opennews/art.shtml?num=25879)
По-моему подойдет вашим запросам. Правда, наверное даже больше

Re: [Sysadmins] простые кластерные FS

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1165 bytes --]

On Tue, Mar 23, 2010 at 08:22:04PM +0200, Руслан Писарев wrote:

РП> Не уверен, есть ли у нас, но недавно читал о FS Ceph
РП> (http://ceph.newdream.net/,
РП> http://www.opennet.ru/opennews/art.shtml?num=25879)
РП> По-моему подойдет вашим запросам. Правда, наверное даже больше

По описанию штука очень интересная, но для этой задачи... э... не уверен.
Исключительно из-за новизны -- мне тут пофиг на фичи и производительность,
но объем данных большой, и бэкапа не буудет  (организовывать бэкап
нескольких терабайт, хоть и постепенно накапливаемых, требует по крайней
мере ленточки, а ленточка у заказчика в бюджет не вписывается).

Если все навернется из-за сгоревшего оборудования -- это не мои проблемы,
а жадного заказчика. Если навернется из-за ПО -- то это уже мои проблемы,
за которые мне будут стучать по голове.

Где эта FS успешно используется в production?

Однако звучит очень интересно, на выходных буду пытаться опакетить и
вкурить в документацию. Посмотрим насколько она легкая в администрировании
:)

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] простые кластерные FS

[Vitaly Kuznetsov]

Денис Смирнов <mithraen@altlinux.ru> writes:

> В сторону какой FS копать?
>

Мне кажется, что тут можно рассмотреть что-то типа Hadoop-овской HDFS. Она не совсем
posix, но если количество приложений, которые её будут использовать
ограничено - самое то.

P.S. Hadoop-а пока в Сизифе нет но есть надежда, что скоро будет.

-- 
Vitaly Kuznetsov, ALT Linux

Re: [Sysadmins] простые кластерные FS

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 632 bytes --]

On Tue, Mar 23, 2010 at 09:30:16PM +0100, Vitaly Kuznetsov wrote:

VK> Мне кажется, что тут можно рассмотреть что-то типа Hadoop-овской HDFS. Она не совсем
VK> posix, но если количество приложений, которые её будут использовать
VK> ограничено - самое то.
VK> P.S. Hadoop-а пока в Сизифе нет но есть надежда, что скоро будет.

Если бы приложение было изначально разработано с головой -- все было бы
Ok, полноценный POSIX там нафиг не нужен. Увы, оно разработано без головы
и лезть будет само :(

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]

Re: [Sysadmins] простые кластерные FS

[Vladimir V. Kamarzin]

>>>>> On 23 Mar 2010 at 23:12 "m" == mithraen  writes:

m> Надежность -- самое критичное. Могут быть короткие перебои с доступом,
m> это не смертельно. Но потерять хоть один файлик -- нельзя.
m> В сторону какой FS копать?

Как вариант, можно посмотреть на glusterfs.

-- 
vvk

Re: [Sysadmins] простые кластерные FS

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 502 bytes --]

On Fri, Apr 02, 2010 at 02:58:45PM +0600, Vladimir V. Kamarzin wrote:

VVK> Как вариант, можно посмотреть на glusterfs.

О! То что надо. Если striping не использовать, как я понимаю даже в случае
если glusterfs склеит ласты, данные останутся в виде в котором к ним
элементарно получить доступ просто забыв что там glusterfs.

Ой. Она у нас даже опакечена. Чудесно!

-- 
С уважением, Денис

http://mithraen.ru/
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 198 bytes --]