[Sysadmins] Вытесняющее хранение.

[Sysadmins] Вытесняющее хранение.

[Gennadiy Redko]

Добрый день всем.

Есть ли что-то в альтовском репозитарии на эту тему.
Имеется два стореджа.
Один DAS со SCSI-интерфейсом и не очень большой, но быстрый.
Другой SAN с FC, но медленный.
Хочется софтинку, умеющую мало используемые файлы перемещать на 
медленный сторедж.

Re: [Sysadmins] Вытесняющее хранение.

[Yuri Bushmelev]

В сообщении от Вторник 02 сентября 2008 Gennadiy Redko написал(a):
> Добрый день всем.
>
> Есть ли что-то в альтовском репозитарии на эту тему.
> Имеется два стореджа.
> Один DAS со SCSI-интерфейсом и не очень большой, но быстрый.
> Другой SAN с FC, но медленный.
> Хочется софтинку, умеющую мало используемые файлы перемещать на
> медленный сторедж.

find по времени последнего доступа с последующим xargs mv?

-- 
С уважением,
Бушмелев Юрий

Re: [Sysadmins] Вытесняющее хранение.

[Michael Shigorin]

On Tue, Sep 02, 2008 at 02:22:12PM +0300, Gennadiy Redko wrote:
> Есть ли что-то в альтовском репозитарии на эту тему.
> Имеется два стореджа.

Не знаю насчёт готовых вариантов, но около ftp.heanet.ie (вроде
бы на www.heanet.ie) где-то описывалась архитектура их сервиса,
где основной объём -- на SATA, а "горячее" отдаётся из SCSI-кэша.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] Вытесняющее хранение.

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 762 bytes --]

Michael Shigorin <mike-nVB1ZwtFQf3sG83rWm+8vg@public.gmane.org>
writes:

> On Tue, Sep 02, 2008 at 02:22:12PM +0300, Gennadiy Redko wrote:
>> Есть ли что-то в альтовском репозитарии на эту тему.
>> Имеется два стореджа.
>
> Не знаю насчёт готовых вариантов, но около ftp.heanet.ie (вроде
> бы на www.heanet.ie) где-то описывалась архитектура их сервиса,
> где основной объём -- на SATA, а "горячее" отдаётся из SCSI-кэша.

http://ftp.heanet.ie/about/

4x 36Gb 15,000 RPM scsi RAID-O to cache the most often requested
content (although these are unused at the moment)

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Sysadmins] Вытесняющее хранение.

[Gennadiy Redko]

Ivan Fedorov пишет:
> Michael Shigorin <mike-nVB1ZwtFQf3sG83rWm+8vg@public.gmane.org>
> writes:
> 
>> On Tue, Sep 02, 2008 at 02:22:12PM +0300, Gennadiy Redko wrote:
>>> Есть ли что-то в альтовском репозитарии на эту тему.
>>> Имеется два стореджа.
>> Не знаю насчёт готовых вариантов, но около ftp.heanet.ie (вроде
>> бы на www.heanet.ie) где-то описывалась архитектура их сервиса,
>> где основной объём -- на SATA, а "горячее" отдаётся из SCSI-кэша.
> 
> http://ftp.heanet.ie/about/
> 
> 4x 36Gb 15,000 RPM scsi RAID-O to cache the most often requested
> content (although these are unused at the moment)

Спасибо.
Но это не то, что хотелось бы.

Хотелось бы объединить два тома в один раздел и одну ФС.
И манипулировать данными внутри ФС.
Такое я видел на стореджах EMC2.
Может это и без них можно?

Re: [Sysadmins] Вытесняющее хранение.

[Yuri Bushmelev]

В сообщении от Среда 03 сентября 2008 Gennadiy Redko написал(a):

> Спасибо.
> Но это не то, что хотелось бы.
>
> Хотелось бы объединить два тома в один раздел и одну ФС.
> И манипулировать данными внутри ФС.
> Такое я видел на стореджах EMC2.
> Может это и без них можно?

Объединить медленное устройство и быстрое в одно псевдо-устройство и одну 
ФС? В любом случае будет плохо, имхо.

Можно смонтировать медленное устройство по сети в какой-либо каталог 
быстрого и решить проблему организационными методами ("редко используемое 
складываем туда"), либо вышеприведенным find | xargs mv (или более 
интеллектуальным скриптом на любимом языке).

Кстати, а чем файлы раздаются? Может этот вопрос можно решить на уровне 
файл-сервера? Например, если это http, то вставить промежуточный скрипт, 
который будет дергать быстрый кэш.

-- 
С уважением,
Бушмелев Юрий

Re: [Sysadmins] Вытесняющее хранение.

[Maks Re]

тогда каким образом:
потребовалось из медленного хранилища дернуть объект? а если его будут
дергать больше 2 раз? по какому критерию переносить на быстрое
хранилище?



-- 
С уважением,
 Макс.

Re: [Sysadmins] Вытесняющее хранение.

[Gennadiy Redko]

Yuri Bushmelev пишет:
<skip>
> 
> Объединить медленное устройство и быстрое в одно псевдо-устройство и одну 
> ФС? В любом случае будет плохо, имхо.
> 
Неплохо, в общем.
Там, где я смотрел - из 350 ТБ общего дискового пространства 
позволяло только 15 ТБ держать на FC-дисках.
Остальное - iSCSI- и SATA-полки
У нас объемы скромнее, но все-таки.

> Кстати, а чем файлы раздаются? Может этот вопрос можно решить на уровне 
> файл-сервера? Например, если это http, то вставить промежуточный скрипт, 
Будет Самба или NFS.
Тоже вариант, если это реализуемо.

Re: [Sysadmins] Вытесняющее хранение.

[Yuri Bushmelev]

В сообщении от Среда 03 сентября 2008 Maks Re написал(a):
> тогда каким образом:
> потребовалось из медленного хранилища дернуть объект? а если его будут
> дергать больше 2 раз? по какому критерию переносить на быстрое
> хранилище?

Ну например, по критерию последнего обращения к файлу (atime). Причем, 
переносить лучше в обе стороны.

Примерно такая ситуация вырисовывается:
1. Берем текущую помойку и все, что не использовалось N-ное время (now - 
atime > N) выносим на медленное хранилище.
2. Монтируем медленное хранилище на файл-сервер. Поверх монтируем unionfs'ом 
(должна быть такая штука в Linux палюбому) поверх него быстрое хранилище. 
Таким образом, все создаваемые и изменяемые файлы будут складываться на 
быстрое хранилище.
3. Раз в сутки повторяем операцию из пункта 1 -  сваливаем файлы, к которым 
давно не обращались, на медленное хранилище.

Хорошо бы в пункт 3 поставить копирование rsync'ом новых версий файлов на 
медленное хранилище, а затем просто удалять файлы, к которым давно не 
обращались, с быстрого хранилища. Но боюсь, он будет изменять atime. Хотя 
можно сначала пройтись find'ом, собрать список файлов, к которым давно не 
обращались, потом уже rsync и удаление с быстрого хранилища.

Фигня метода в том, что он завязан на atime, которое может изменяться. И нет 
четкого контроля объема, занимаемого файлами на быстром хранилище.. Ну и 
других недостатков, я думаю, найдется :)

-- 
С уважением,
Бушмелев Юрий

Re: [Sysadmins] Вытесняющее хранение.

[Michael Shigorin]

On Wed, Sep 03, 2008 at 03:50:07PM +0400, Yuri Bushmelev wrote:
> > тогда каким образом: потребовалось из медленного хранилища
> > дернуть объект? а если его будут дергать больше 2 раз? по
> > какому критерию переносить на быстрое хранилище?
> Ну например, по критерию последнего обращения к файлу (atime).

atime -- само по себе неплохой способ превратить быстрый сторадж
в так себе... запись метаданных при каждом трогании, однако.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/