[mdk-re] HowTo: loop-device + cryptoapi + software raid

[mdk-re] HowTo: loop-device + cryptoapi + software raid

[Peter V. Saveliev]

[-- Warning: decoded text below may be mangled, UTF-8 assumed --]
[-- Attachment #1: Type: text/plain, Size: 3074 bytes --]

(ÍÏÊ ÐÅÒ×ÙÊ ÏÐÙÔ - ÐÉÎÇ×iÎÑÔËÏ ÅÝÅ)
ëÁËóÄÅ: ÉÓÐÏÌØÚÏ×ÁÎÉÅ loopback × ÏÒÇÁÎÉÚÁÃÉÉ ÏÔËÁÚÏÕÓÔÏÊÞÉ×ÙÈ ÓÉÓÔÅÍ.

ðÏ ÛÁÇÁÍ:
Á) äÌÑ ÎÁÞÁÌÁ ÎÅÏÂÈÏÄÉÍÏ ÉÍÅÔØ ÑÄÒÏ, ÓËÏÎÆÉÇÕÒÉÒÏ×ÁÎÎÏÅ ÄÌÑ ÒÁÂÏÔÙ Ó
loopback ÌÉÂÏ ×ÓÔÒÏÅÎÎÏ, ÌÉÂÏ ÍÏÄÕÌÑÍÉ. ðÏ ÓÞÁÓÔØÀ, ÉÚ×ÅÓÔÎÙÅ ÍÎÅ ÑÄÒÁ
ALT ÐÏÄÄÅÒÖÉ×ÁÀÔ loopback ÉÚ ËÏÒÏÂËÉ.
   ÷ ÓÌÕÞÁÅ ×ÓÔÒÏÅÎÎÏÊ ÐÏÄÄÅÒÖËÉ ×ÓÅ ÐÒÏÓÔÏ. åÓÌÉ ÖÅ ÎÕÖÎÏ ÚÁÄÅÊÓÔ×Ï×ÁÔØ
ÍÏÄÕÌØ (ÐÏ ÕÍÏÌÞÁÎÉÀ ÎÅ ÇÒÕÚÉÔÓÑ), ÔÏ ÎÁÄÏ ÐÒÏ×ÅÒÉÔØ lsmod - Á ×ÄÒÕÇ
ÚÁÇÒÕÖÅÎ; ÅÓÌÉ ÎÅÔ - ÔÏ ÉÚ /lib/modules/<ÉÍÑ ÑÄÒÁ>/block ÎÕÖÎÏ ÐÏÄÇÒÕÚÉÔØ
loop_xx.o (ÇÄÅ ÈÈ - ÆÉÞÁ) Ó ÐÏÍÏÝØÀ modprobe.

Â) îÕÖÎÙ ÆÁÊÌÙ, ËÏÔÏÒÙÅ ÂÕÄÕÔ ÓÏÏÔ×ÅÔÓÔ×Ï×ÁÔØ ÐÓÅ×ÄÏÕÓÔÒÏÊÓÔ×ÁÍ. óÏÚÄÁÀÔÓÑ
ÏÎÉ ÏÞÅÎØ ÐÒÏÓÔÏ Ó ÐÏÍÏÝØÀ dd if=/dev/zero of=<ÆÁÊÌ> bs=1k count=<ÎÕÖÎÁÑ
ÃÉÆÒÁ>.

×) ðÏÌÕÞÅÎÎÙÅ ÆÁÊÌÙ ÎÕÖÎÏ ÐÒÉÁÔÔÁÞÉÔØ Ë loop-ÄÅ×ÁÊÓÁÍ, ÄÌÑ ÜÔÏÇÏ ÎÕÖÎÏ
losetup -e <ÍÅÔÏÄ ÛÉÆÒÏ×ÁÎÉÑ> /dev/loopX /<ÐÕÔØ>/<ÆÁÊÌ> , ÇÄÅ ÍÅÔÏÄ
ÛÉÆÒÏ×ÁÎÉÑ ÌÉÂÏ none (ÂÅÚ ÎÅÇÏ), ÌÉÂÏ blowfish, ÌÉÂÏ ÌÀÂÏÊ ÄÒÕÇÏÊ ÉÚ
man losetup; loopX - loop-ÄÅ×ÁÊÓ; ÆÁÊÌ - ÔÏÔ ÔÏÌÓÔÙÊ ÆÁÊÌ ÉÚ Â). ëÓÔÁÔÉ,
ÜÔÏÔ É ÐÒÅÄÙÄÕÝÉÊ ÐÕÎËÔ - ÉÚ man losetup.

Ç) ÷ ÓÌÕÞÁÅ ÛÉÆÒÏ×ÁÎÉÑ losetup ÓÐÒÏÓÉÔ ÐÁÒÏÌØ. üÔÏ - ËÌÀÞ, ÐÏ ËÏÔÏÒÏÍÕ
ÂÕÄÅÔ ÛÉÆÒÏ×ÁÔØÓÑ ÆÁÊÌ. úÁÄÁÅÔÓÑ ÐÒÉ ÐÅÒ×ÏÍ ÉÓÐÏÌØÚÏ×ÁÎÉÉ É ÐÏÔÏÍ ÎÕÖÎÏ
ÕËÁÚÙ×ÁÔØ ÔÁËÖÅ ÅÇÏ, ÉÎÁÞÅ, ËÁË ÐÏÎÑÔÎÏ, ÆÁÊÌ ÂÕÄÅÔ ÐÏÎÑÔ ÎÅ×ÅÒÎÏ. ðÒÏ
ÏÛÉÂËÕ ÔÏÖÅ ÎÉËÔÏ ÎÅ ÓÏÏÂÝÉÔ, ËÒÏÍÅ mount ;)

äÁÌØÛÅ ÉÓÔÏÒÉÑ ÉÄÅÔ ÎÅÓËÏÌØËÉÍÉ ÐÕÔÑÍÉ. åÓÌÉ ÏÇÒÁÎÉÞÉÔØÓÑ ÔÅÍ, ÞÔÏ ÕÖÅ
ÎÁÐÉÓÁÎÏ, ÔÏ ÍÏÖÎÏ ÄÅÌÁÔØ mkreiserfs /dev/loopX; mount /dev/loopX /mnt.
åÓÌÉ ÖÅ ÐÒÏÄÏÌÖÁÅÔÓÑ ÔÏÍÌÅÎÉÅ ÄÕÈÁ, ÔÏ:

Ä) óÏÚÄÁÅÔÓÑ /etc/raidtab ÐÏ man raidtab, ÌÉÂÏ ÐÏ ÏÂÒÁÚÃÕ:
---------/etc/raidtab------------
raiddev /dev/md0          # ËÁË ÎÁÚÏ×ÅÍ?
raid-level 1              # ÄÌÑ ÐÒÏÓÔÏÇÏ ÚÅÒËÁÌÉÒÏ×ÁÎÉÑ, raid 1
persistent-superblock 1   # raid'Ï×ÁÑ ÐÒÉÂÌÕÄÁ, ÓÍ. man
chunk-size 8              # ÂÕÆÅÒ
nr-raid-disks 2           # ËÏÌÉÞÅÓÔ×Ï ÕÓÔÒÏÊÓÔ× × ÍÁÓÓÉ×Å
nr-spare-disks 0          # ËÏÌÉÞÅÓÔ×Ï ÚÁÐÁÓÎÙÈ ÄÉÓËÏ×
device /dev/loop0
raid-disk 0
device /dev/loop1
raid-disk 1               # ËÏÇÏ ËÕÄÁ ÐÏÄÃÅÐÉÔØ
----------/etc/raidtab-----------
üÔÏ ÄÌÑ ÐÒÏÓÔÏÇÏ raid, Á ×ÏÔ ÄÌÑ ÈÉÔÒÏÇÏ:
----------/etc/raidtab-----------
raiddev /dev/md0
raid-level 5
nr-raid-disks 3
nr-spare-disks 0
persistent-superblock 1
parity-algorithm left-symmetric
chunk-size 64

device /dev/loop0
raid-disk 0
device /dev/loop1
raid-disk 1
device /dev/loop2
raid-disk 2
-----------/etc/raidtab-----------

éÎÆÏÒÍÁÃÉÑ ×ÚÑÔÁ Ó http://linuxnews.ru/docs/showdoc.php?id=9231&thread=9231
ÚÁ Á×ÔÏÒÓÔ×ÏÍ ÷ÑÞÅÓÌÁ×Á ëÁÌÏÛÉÎÁ.

âÕË×Õ ÚÁÂÙÌ, Á × mail'e ÎÅ ÐÒÏÍÏÔÁÔØ ÎÁÚÁÄ, ÔÁË ÞÔÏ ÐÒÏÄÏÌÖÕ × ÌÁÔÉÎÉÃÅ:

a) ôÅÐÅÒØ ÍÏÖÎÏ ÐÒÉÓÔÕÐÉÔØ Ë ÓÏÚÄÁÎÉÀ raid. õÂÅÄÉ×ÛÉÓØ × ÎÁÌÉÞÉÉ raidtools
(rpm -qa | grep raid), ÎÕÖÎÏ ÓËÁÚÁÔØ mkraid /dev/md0. åÓÌÉ ÎÅÔ ÏÛÉÂÏË, ÔÏ
ÈÏÒÏÛÏ, ÅÓÌÉ ÇÒÏÚÉÔ ÐÏÔÅÒÅÊ ÉÎÆÏÒÍÁÃÉÉ - ÔÏ ÄÌÑ loopback ÎÅ ÓÔÒÁÛÎÏ. ÷ÓÅ
ÒÁ×ÎÏ ÎÉÞÅÇÏ ÎÅ ÉÓÐÏÒÔÉÔÅ ;) ÔÁË ÞÔÏ ÍÏÖÎÏ ÕÐÒÏÓÉÔØ ÓÄÅÌÁÔØ-ÔÁËÉ raid.

b) äÁÌØÛÅ - ÐÏ ÎÁËÁÔÁÎÎÏÍÕ: mkreiserfs /dev/md0.

c) îÁËÏÎÅÃ, mount /dev/md0 /mnt/resource  - É ÎÁÓÌÁÖÄÁÊÔÅÓØ!

Setup ÜÔÏÇÏ ÈÏÚÑÊÓÔ×Á ÐÒÉ ÓÔÁÒÔÅ, ÄÕÍÁÀ, ÓÄÅÌÁÔØ ÎÅ ÓÌÏÖÎÏ, ÒÁÚ×Å ÞÔÏ ÂÏÌØÛÅ
ÐÁÒÏÌÅÊ ××ÏÄÉÔØ, ÅÓÌÉ ÅÓÔØ ÛÉÆÒÏ×ÁÎÉÅ ÄÉÓËÏ×.

ðÅÔÒ.

[mdk-re] Re: HowTo...

[Peter V. Saveliev]

А вот и превые результаты тестирования.

ReiserFS на подобных системах ведет себя очень неустойчиво. Конкретные цифры - в
течение недели. Субъективно - Ext2fs более уверенно держится. Хотя тоже - далеко
от идеала.

JT: первый раз увидел зависший линух! был в шоке.


Петр.

Re: [mdk-re] Re: HowTo...

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 713 bytes --]

On Tue, Oct 16, 2001 at 07:14:01PM +0400, Peter V. Saveliev wrote:
> А вот и превые результаты тестирования.
> 
> ReiserFS на подобных системах ведет себя очень неустойчиво. Конкретные цифры - в
> течение недели. Субъективно - Ext2fs более уверенно держится. Хотя тоже - далеко
> от идеала.

На каких ядрах проводится тестирование?


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@alt-linux.org
ALT Linux Team      http://www.altlinux.ru/
Fandra Project      http://www.fandra.org/
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

[mdk-re] HowTo... + Service Pack 1 ;))

[Peter V. Saveliev]

"Dmitry V. Levin" wrote:

<skip>

> На каких ядрах проводится тестирование?
>
> Regards,
>         Dmitry

<skip>

Пока на ядре 2.2.19 из коробки Spring'a. Дальше так:

RAID5 падает, из 20 запусков 20 падений. После чего не работает kill, а при попытке
umount /dev/md0; raidstop /dev/md0  - полное выпадение в нерастворимый осадок всех
сервисов, shell'a, и машина перестает реагировать на внешние раздражители,
погрузившись в нирвану.

В связи с этим, а также просто из здравого смысла я бы рекомендовал класть raidtab не
в /etc, а локально, и запускать raid-утиль так: mkraid -c <путь до локального raidtab>
/dev/md0 (например). Иначе можно услышать непристойности из уст системы при
перезагрузке...

Также (я, например, просек это уже de-facto) надо отметить вещь, очевидную только
после первого выключения машины. А именно, необходимо отработать обратную
последовательность команд - sync; umount /dev/md0; raidstop /dev/md0; losetup -d
/dev/loopX;

Иначе не размонтируется та партиция, на которой лежат файлы псевдоустройств!!!

RAID0 и 1 работает стабильно, при наличии spare-disks и RAID1 делал такие упражнения:
dd if=/dev/random of=<одно устр. из массива, =loop0> bs=1k count=<его размер>;
raidsetfaulty /dev/md0 /dev/loop0; raidhotremove /dev/md0 /dev/loop0; После чего cat
/proc/mdstat начал показывать процентики восстановления... Красота!

Петр.

[mdk-re] HowTo... + Service Pack 2 :-|

[Peter V. Saveliev]

"Dmitry V. Levin" wrote:

<skip>

> На каких ядрах проводится тестирование?
>
> Regards,
>         Dmitry

<skip>

Попробовал на ядре 2.4.2 из коробки Spring'a.

RAID5:
ReiserFS вешается на этапе создания файловой системы. Симптомы те же. Ext2FS ведет
себя как живая, скорость - потрясающая для такого сочетания, то есть на копирование
100 файлов по 0.5 Мб уходит ~3 минут, что, учитывая скорость сетей, зачастую никто и
не заметит. Но при всем при этом в любой момент может грохнуться, что и делает. Выбрав
момент не любой, а неудобный. В top первые три места на момент падения занимают loop0,
loop1 и loop2.

RAID0, 1:
Все пучком торчит.

БАГ?
На ядре 2.4.2 не удалось создать криптованные псевдоустройства. losetup -e blowfish
спрашивает пароль и вылетает, сообщив о том, что SET_LOOP_ЧЕГО-ТО-ТАМ нет и быть не
может.

Но, скорее всего, это просто неотконфигурированное под крипту ядро. Не успел
посмотреть.

Полученные данные о падении RAID5 (независимость от способа копирования - локально/по
сети; от FS - ext2/reiser (хотя симптомы разные); от шифрованности устройств -
none/blowfish; также падение всего вместе с RAID) наводят меня на мысль о том, что это
проблемы в испытанных ядрах.

Петр.

Re: [mdk-re] HowTo... + Service Pack 2 :-|

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 754 bytes --]

On Thu, Oct 18, 2001 at 01:03:23PM +0400, Peter V. Saveliev wrote:
> БАГ?
> На ядре 2.4.2 не удалось создать криптованные псевдоустройства. losetup -e blowfish
> спрашивает пароль и вылетает, сообщив о том, что SET_LOOP_ЧЕГО-ТО-ТАМ нет и быть не
> может.

В ранних ядрах 2.4.x действительно были проблемы с созданием encrypted
loopback devices. Сейчас эта проблема решена.


Regards,
	Dmitry

+-------------------------------------------------------------------------+
Dmitry V. Levin     mailto://ldv@alt-linux.org
ALT Linux Team      http://www.altlinux.ru/
Fandra Project      http://www.fandra.org/
+-------------------------------------------------------------------------+
UNIX is user friendly. It's just very selective about who its friends are.

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [mdk-re] HowTo: loop-device + cryptoapi + software raid

[Alexey Voinov]

[-- Attachment #1: Type: text/plain, Size: 555 bytes --]

Peter V. Saveliev wrote
> б) Нужны файлы, которые будут соответствовать псевдоустройствам. Создаются
> они очень просто с помощью dd if=/dev/zero of=<файл> bs=1k count=<нужная
> цифра>.
Если уж говорить о шифровании, то наверное надёжней будет
dd if=/dev/random ...
(Это для параноиков)

-- 
Best Regards!           | Когда вам платят за работу, надо по крайней мере
Alexey Voinov           | делать вид, что вы работаете...
                        |                         Б.Виан "Осень в Пекине"
voins@voins.program.ru
voins@online.ru
vns@altlinux.ru


[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

[mdk-re] Re: HowTo: loop-device + cryptoapi + software raid

[Mikhail Zabaluev]

Hello Alexey,

On Tue, Oct 16, 2001 at 10:10:29PM +0400, Alexey Voinov wrote:
>
> Peter V. Saveliev wrote
> > б) Нужны файлы, которые будут соответствовать псевдоустройствам. Создаются
> > они очень просто с помощью dd if=/dev/zero of=<файл> bs=1k count=<нужная
> > цифра>.
> Если уж говорить о шифровании, то наверное надёжней будет
> dd if=/dev/random ...
> (Это для параноиков)

Так оно два дня будет файл забивать, если большой. Энтропия в
компьютере -- вещь ценная и дается маленькими порциями.
Лучше /dev/urandom, если не законченный параноик :)

Кстати о птичках: в чипсетах i81x есть аппаратный генератор случайных
чисел, и Linux можно заставить им пользоваться. Правда, вешается он не
на /dev/*random.

-- 
Stay tuned,
  MhZ                                     JID: mookid@jabber.org
___________
I'm successful because I'm lucky.   The harder I work, the luckier I get.