[Sysadmins] RAID and fstab

[Sysadmins] RAID and fstab

[Vladimir Karpinsky]

Здравствуйте!

Создал несколько RAIDов установщиком АЛД4.0. Наблюдаю в /etc/fstab:

proc            /proc                   proc    nosuid,noexec,gid=proc 
         0 0
devpts          /dev/pts                devpts 
nosuid,noexec,gid=tty,mode=620  0 0
tmpfs           /tmp                    tmpfs   nosuid 
         0 0
UUID=5e3d3f39-003d-44ca-a7a2-19eb21f86bc5       /       ext3    defaults 
        1       1
UUID=0e87165c-febe-4a30-a0cf-8571cb520c00       /export ext3    nodev 
1       2
UUID=3bf20660-4337-4ee9-8482-e0f80c7bc867       /usr    ext3 
nodev,noatime   1       2
UUID=5af73534-e9da-4df0-8bbe-538511d7e159       /var    ext3    nosuid 
1       2
UUID=68b165ff-35a4-446c-9983-1d546f9e49b8       swap    swap    defaults 
        0       0
/dev/hda        /media/cdrom    udf,iso9660     ro,noauto,user,utf8     0 0
UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sda1       mdraid 
defaults 0 0
UUID=11b820e2-bf24-4265-cc81-87123f0a57dd       /mnt/sda2       mdraid 
defaults 0 0
UUID=6b79fe31-7c3e-3597-4d03-c29656fb15ac       /mnt/sda3       mdraid 
defaults 0 0
UUID=c7c9ec46-8dc2-b4d8-44e2-5945fa290dd6       /mnt/sda4       mdraid 
defaults 0 0
UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sdb1       mdraid 
defaults 0 0
UUID=11b820e2-bf24-4265-cc81-87123f0a57dd       /mnt/sdb2       mdraid 
defaults 0 0
UUID=6b79fe31-7c3e-3597-4d03-c29656fb15ac       /mnt/sdb3       mdraid 
defaults 0 0
UUID=c7c9ec46-8dc2-b4d8-44e2-5945fa290dd6       /mnt/sdb4       mdraid 
defaults 0 0
UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sdc1       mdraid 
defaults 0 0
UUID=2ef490f2-f146-1428-2b96-66050080ef77       /mnt/sdc2       mdraid 
defaults 0 0
UUID=c7c9ec46-8dc2-b4d8-44e2-5945fa290dd6       /mnt/sdc3       mdraid 
defaults 0 0
UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sdd1       mdraid 
defaults 0 0
UUID=2ef490f2-f146-1428-2b96-66050080ef77       /mnt/sdd2       mdraid 
defaults 0 0
UUID=c7c9ec46-8dc2-b4d8-44e2-5945fa290dd6       /mnt/sdd3       mdraid 
defaults 0 0

И в /var/log/messages:

Mar 21 05:06:33 newseismix mount: mount: unknown filesystem type mdraid'
Mar 21 05:06:33 newseismix last message repeated 13 times

Количество ошибок совпадает с "UUID=XXX /mnt/sdX mdraid ..." Мучают 
смутные подозрения, что это в fstab'е вообще не нужно. Правильно мучают? 
Если да, то зачем установщик так сделал?

-- 
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Fri, Mar 21, 2008 at 10:47:10PM +0300, Vladimir Karpinsky wrote:
> Создал несколько RAIDов установщиком АЛД4.0. Наблюдаю в
> /etc/fstab:

> UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sda1       mdraid 
> defaults 0 0

Ой!

> Mar 21 05:06:33 newseismix mount: mount: unknown filesystem type mdraid'
> 
> Количество ошибок совпадает с "UUID=XXX /mnt/sdX mdraid ..."
> Мучают смутные подозрения, что это в fstab'е вообще не нужно.
> Правильно мучают?  Если да, то зачем установщик так сделал?

Правильно мучают -- это же компоненты массива, а не массив.

Такого ни разу не видал -- багу на alterator-vm лучше повесить,
желательно с указанием, как именно добились.

Как в инсталере 4.0 делать RAID, описано здесь:
http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
(впрочем, у меня и без инструкции такого не получалось
никогда добиться)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Vladimir Karpinsky]

Michael Shigorin пишет:
> On Fri, Mar 21, 2008 at 10:47:10PM +0300, Vladimir Karpinsky wrote:
>> Создал несколько RAIDов установщиком АЛД4.0. Наблюдаю в
>> /etc/fstab:
> 
>> UUID=e6a7b249-7237-f7df-5bcb-229b21d8746f       /mnt/sda1       mdraid 
>> defaults 0 0
> 
> Ой!

Мне тоже так показалось...

>> Mar 21 05:06:33 newseismix mount: mount: unknown filesystem type mdraid'
>>
>> Количество ошибок совпадает с "UUID=XXX /mnt/sdX mdraid ..."
>> Мучают смутные подозрения, что это в fstab'е вообще не нужно.
>> Правильно мучают?  Если да, то зачем установщик так сделал?
> 
> Правильно мучают -- это же компоненты массива, а не массив.

Я пока только учусь, вот, и решил переспросить на всякий случай.

> Такого ни разу не видал -- багу на alterator-vm лучше повесить,
> желательно с указанием, как именно добились.

М.б. кто-то может сначала проверить, а то у меня АЛД именно версии 4.0? 
Там потом воды могло в разные стороны утечь много...

> Как в инсталере 4.0 делать RAID, описано здесь: 
> http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
>  (впрочем, у меня и без инструкции такого не получалось никогда
> добиться)

Так именно так и делал! Разбил диски, указав в ФС LinuxRAID, потом 
создал из соответствующих разделов массивы и всё. Я пока там вообще 
больше ничего не делал...


-- 
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Fri, Mar 21, 2008 at 11:27:39PM +0300, Vladimir Karpinsky wrote:
> >Такого ни разу не видал -- багу на alterator-vm лучше
> >повесить, желательно с указанием, как именно добились.
> М.б. кто-то может сначала проверить, а то у меня АЛД именно
> версии 4.0?  Там потом воды могло в разные стороны утечь
> много...

.disk/info в корне.

> >Как в инсталере 4.0 делать RAID, описано здесь: 
> >http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
> > (впрочем, у меня и без инструкции такого не получалось
> > никогда добиться)
> Так именно так и делал! Разбил диски, указав в ФС LinuxRAID,
> потом создал из соответствующих разделов массивы и всё. Я пока
> там вообще больше ничего не делал...

В общем, я такого на 4.0.x не встречал.  Да и на бетах тоже.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Andrew Kornilov]

Michael Shigorin <mike@osdn.org.ua> writes:
>
> Как в инсталере 4.0 делать RAID, описано здесь:
> http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
> (впрочем, у меня и без инструкции такого не получалось
> никогда добиться)
Кстати, как думаешь, является ли багой возможность на двух новых пустых винтах
создать raid1? То есть, инсталлер разрешает нажать кнопку Create RAID,
предлагает выбрать эти два винта (без разделов), создаёт raid (причем с именем
/dev/md3 :), ставится туда, предлагает установить загрузчик, якобы устанавливает его,
перегружается ну и дальше ничего, естественно. Disk boot failure :)
Честно говоря, пока не подсказали, я не понимал, как в инсталляторе создать
RAID. Догадался уже создать раздел, а включенную по умолчанию опцию Create
volume как-то не замечал. Долго не мог понять, в чём дело :)
-- 

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Fri, Mar 21, 2008 at 10:50:10PM +0200, Andrew Kornilov wrote:
> > Как в инсталере 4.0 делать RAID, описано здесь:
> > http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
> > (впрочем, у меня и без инструкции такого не получалось
> > никогда добиться)
> Кстати, как думаешь, является ли багой возможность на двух
> новых пустых винтах создать raid1?

IMHO нет.  Но см. ниже.

> То есть, инсталлер разрешает нажать кнопку Create RAID,
> предлагает выбрать эти два винта (без разделов), создаёт raid
> (причем с именем /dev/md3 :), ставится туда, предлагает
> установить загрузчик, якобы устанавливает его, перегружается ну
> и дальше ничего, естественно. Disk boot failure :)

Эт понятно, MBR-то тоже нет.

Тут скорее бы предупреждать о разбивке, которая результирует 
в отсутствии места для загрузчика.  Вот такой FR можно и повесить
:)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Anton Farygin]

Andrew Kornilov пишет:
> Michael Shigorin <mike@osdn.org.ua> writes:
>> Как в инсталере 4.0 делать RAID, описано здесь:
>> http://heap.altlinux.org/alt-docs/server/alterator_vm.kirill/index.html
>> (впрочем, у меня и без инструкции такого не получалось
>> никогда добиться)
> Кстати, как думаешь, является ли багой возможность на двух новых пустых винтах
> создать raid1? То есть, инсталлер разрешает нажать кнопку Create RAID,
> предлагает выбрать эти два винта (без разделов), создаёт raid (причем с именем
> /dev/md3 :), ставится туда, предлагает установить загрузчик, якобы устанавливает его,
> перегружается ну и дальше ничего, естественно. Disk boot failure :)
> Честно говоря, пока не подсказали, я не понимал, как в инсталляторе создать
> RAID. Догадался уже создать раздел, а включенную по умолчанию опцию Create
> volume как-то не замечал. Долго не мог понять, в чём дело :)

Багой можно считать любое поведение, которое приводит к 
неработоспособной конфигурации ;)

Ну за исключением клинических случаев типа rm -Rf /

Re: [Sysadmins] RAID and fstab

[Vladimir Karpinsky]

> .disk/info в корне.

ALT Linux 4.0 Personal Desktop (Ajuga) build 2007-08-15

-- 
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Sat, Mar 22, 2008 at 10:52:19PM +0300, Vladimir Karpinsky wrote:
> >.disk/info в корне.
> ALT Linux 4.0 Personal Desktop (Ajuga) build 2007-08-15

4.0.0

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Vladimir Karpinsky]

Michael Shigorin пишет:
> On Sat, Mar 22, 2008 at 10:52:19PM +0300, Vladimir Karpinsky wrote:
>>> .disk/info в корне.
>> ALT Linux 4.0 Personal Desktop (Ajuga) build 2007-08-15
> 
> 4.0.0

Ну да, я это и имел ввиду. Поэтому-то и хотелось бы какого-то 
подтверждения, потому, что полгода прошло, и уже 4.1 почти созрел...

-- 
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Vladimir Karpinsky]

Michael Shigorin пишет:
> On Sat, Mar 22, 2008 at 10:52:19PM +0300, Vladimir Karpinsky wrote:
>>> .disk/info в корне.
>> ALT Linux 4.0 Personal Desktop (Ajuga) build 2007-08-15
> 
> 4.0.0

Поскольку случилось проблема с одним из дисков, ищу документацию по 
замене диска, желательно подробную. Попалась такая статья: 
http://www.opennet.ru/tips/info/881.shtml. Подскажите, пожалуйста, всё 
что там написано актуально для Alt или есть что почитать получше? Одно 
несоответствие нашёл (в статье сказано: "Swap-разделы не подлежат 
зеркалированию в программном RAID"), поэтому возникли подозрения и про 
остальное.

-- 
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Sun, Mar 23, 2008 at 08:37:30PM +0300, Vladimir Karpinsky wrote:
> Поскольку случилось проблема с одним из дисков, ищу
> документацию по замене диска, желательно подробную. Попалась
> такая статья: http://www.opennet.ru/tips/info/881.shtml.
> Подскажите, пожалуйста, всё что там написано актуально для Alt
> или есть что почитать получше? Одно несоответствие нашёл (в
> статье сказано: "Swap-разделы не подлежат зеркалированию в
> программном RAID"), поэтому возникли подозрения и про
> остальное.

Да вроде нормальная статья, хотя про swap действительно ошибка
-- нормально он зеркалируется, если надо понадёжней.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Vyacheslav A. Brunev]

В сообщении от Saturday 22 March 2008 02:50:10 Andrew Kornilov написал(а):

> Честно говоря, пока не подсказали, я не понимал, как в 
> инсталляторе создать RAID. Догадался уже создать раздел, а включенную по
> умолчанию опцию Create volume как-то не замечал. Долго не мог понять, в чём
> дело :)
У меня сейчас похоже та же проблема - никак не могу понять как в инсталляторе 
ALT Server сделать RAID1(деградированый) + LVM и чтобы в lvm не входил /boot, 
а разделы /; /var; /tmp; /usr и /home входили. Получается либо всё входит в 
LVM либо просто разделы :( Где-то, что-то пропускаю, а где не могу понять.

-- 
С уважением, Вячеслав.

Re: [Sysadmins] RAID and fstab

[Vyacheslav A. Brunev]

В сообщении от Monday 24 March 2008 13:13:42 Vyacheslav A. Brunev написал(а):
> В сообщении от Saturday 22 March 2008 02:50:10 Andrew Kornilov написал(а):
> > Честно говоря, пока не подсказали, я не понимал, как в
> > инсталляторе создать RAID. Догадался уже создать раздел, а включенную по
> > умолчанию опцию Create volume как-то не замечал. Долго не мог понять, в
> > чём дело :)
>
> У меня сейчас похоже та же проблема - никак не могу понять как в
> инсталляторе ALT Server сделать RAID1(деградированый) + LVM и чтобы в lvm
> не входил /boot, а разделы /; /var; /tmp; /usr и /home входили. Получается
> либо всё входит в LVM либо просто разделы :( Где-то, что-то пропускаю, а
> где не могу понять.

Вот что значит поспешишь... Попробую ответить сам-себе.
Поправьте меня если что не так:
Жмём - создать раздел, а не том и в нем всё как обычно создаем разделы, но 
только указываем - что есть Linux RAID, а что есть Linux LVM. После чего 
создаем тома в LVM и деградированный RAID1 вроде всё :) 

-- 
С уважением, Вячеслав.

Re: [Sysadmins] RAID and fstab

[Eugene Prokopiev]

>  > У меня сейчас похоже та же проблема - никак не могу понять как в
>  > инсталляторе ALT Server сделать RAID1(деградированый) + LVM и чтобы в lvm
>  > не входил /boot, а разделы /; /var; /tmp; /usr и /home входили. Получается
>  > либо всё входит в LVM либо просто разделы :( Где-то, что-то пропускаю, а
>  > где не могу понять.
>
>
> Вот что значит поспешишь... Попробую ответить сам-себе.
>  Поправьте меня если что не так:
>  Жмём - создать раздел, а не том и в нем всё как обычно создаем разделы, но
>  только указываем - что есть Linux RAID, а что есть Linux LVM. После чего
>  создаем тома в LVM и деградированный RAID1 вроде всё :)

Инсталлер уже научился делать / на lvm?

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] RAID and fstab

[Vladimir Karpinsky]

Здравствуйте!

Vyacheslav A. Brunev пишет:
> Вот что значит поспешишь... Попробую ответить сам-себе.
> Поправьте меня если что не так:
> Жмём - создать раздел, а не том и в нем всё как обычно создаем разделы, но 
> только указываем - что есть Linux RAID, а что есть Linux LVM. После чего 
> создаем тома в LVM и деградированный RAID1 вроде всё :) 

Вячеслав, посмотрите, пожалуйста, после установки на свой fstab: нет ли 
там лишних записей, как было у меня (см. начало треда). Очень интересно: 
я как-то умудрился заставить инсталятор такое понаписать, или это всё же 
его "родная" заморочка.

--
	С уважением,
		Владимир.

Re: [Sysadmins] RAID and fstab

[Хихин Руслан]

[-- Attachment #1: Type: text/plain, Size: 419 bytes --]

Здравствуйте Eugene Prokopiev
  В сообщении от 24 марта 2008 Eugene Prokopiev написал(a):
 > Инсталлер уже научился делать / на lvm?

Он тут не при чём - важно, умеет-ли mkinitrd - из Deadalus вроде умеет, 
но так-как его никто не тестирует, ситуация может продолжаться вечно :)

-- 
  А ещё говорят так  (fortune):
 
 

________________________________________________________________________
С уважением Хихин Руслан

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] RAID and fstab

[Eugene Prokopiev]

>  > Инсталлер уже научился делать / на lvm?
>
>
> Он тут не при чём - важно, умеет-ли mkinitrd - из Deadalus вроде умеет,
>  но так-как его никто не тестирует, ситуация может продолжаться вечно :)

Я б год-два назад потестировал, но я уже потерял интерес к / на lvm и
прочим красивым штукам, которые мало чего реально дают, а
потенциальных проблем добавляют ;)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] RAID and fstab

[Vyacheslav A. Brunev]

В сообщении от Tuesday 25 March 2008 11:30:45 Eugene Prokopiev написал(а):
> >  > Инсталлер уже научился делать / на lvm?
> >
> > Он тут не при чём - важно, умеет-ли mkinitrd - из Deadalus вроде умеет,
> >  но так-как его никто не тестирует, ситуация может продолжаться вечно :)
>
> Я б год-два назад потестировал, но я уже потерял интерес к / на lvm и
> прочим красивым штукам, которые мало чего реально дают, а
> потенциальных проблем добавляют ;)

А вообще возможно или нет средствами инсталяторя сделать RAID+LVM?

Схема такая:

RAID1:
	swap
	/

RAID1+LVM:
	/var
	/tmp
	/usr
	/home

В инсталляторе я разбиваю на 3-и раздела Linux-RAID (для SWAP, / (root) и 
всего остального).  Жму "Создать RAID" для первых двух разделов каждого диска 
я его создаю, а вот для третьего раздела диска я создаю LVM - Жму на 
кнопку "Создать группу томов" (т.к. создав там рэйд как и в первых двух 
случаях нет возможности создать LVM), в котором всё разбиваю как нужно. После 
успешной инсталляции в конфигурационном файле /etc/mdadm.conf присутствуют 
только два первых раздела т.е. - swap и сам / (корень), а раздел с LVM видимо 
живёт своей жизнью.
Собственно и интересуюсь возможностью проделать всё вышеизложенное в самом 
инсталляторе или раздел с LVM можно запихнуть уже после успешной инсталляции 
командой:
mdadm --create /dev/md2 --auto=yes --raid-devices=2 --level=1 /dev/hda3 /dev/hdc3

-- 
С уважением, Вячеслав.

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Tue, Mar 25, 2008 at 08:30:45AM +0300, Eugene Prokopiev wrote:
> уже потерял интерес к / на lvm и прочим красивым штукам,
> которые мало чего реально дают, а потенциальных проблем
> добавляют ;)

+1

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Thu, Mar 27, 2008 at 11:46:46AM +0600, Vyacheslav A. Brunev wrote:
> RAID1:
> 	swap
> 	/
> 
> RAID1+LVM:
> 	/var
> 	/tmp
> 	/usr
> 	/home

Дружески рекомендую / при этом сделать достаточного размера, чтоб
при необходимости можно было обойтись только им.  Если вдруг
предполагается openvz -- вообще не стоит заморачиваться с /usr
и /var на LVM, лучше свалить их в один гиговый корень, а под
/var/lib/vz выделить отдельный раздел (либо кучку логических
томов на LVM под конкретные VE-шки).

/tmp для сервера сейчас действительно практичнее держать на
tmpfs, добавив за счёт этого раздела свопа.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Vyacheslav A. Brunev]

В сообщении от Tuesday 01 April 2008 02:08:40 Michael Shigorin написал(а):
> On Thu, Mar 27, 2008 at 11:46:46AM +0600, Vyacheslav A. Brunev wrote:
> > RAID1:
> > 	swap
> > 	/
> >
> > RAID1+LVM:
> > 	/var
> > 	/tmp
> > 	/usr
> > 	/home
>
> Дружески рекомендую / при этом сделать достаточного размера, чтоб
> при необходимости можно было обойтись только им.
Спасибо за дружеский совет. Так и сделал - / - 1Gb.

> Если вдруг предполагается openvz -- вообще не стоит заморачиваться с /usr
> и /var на LVM, лучше свалить их в один гиговый корень, а под
> /var/lib/vz выделить отдельный раздел (либо кучку логических
> томов на LVM под конкретные VE-шки).
На 1Gb и /usr и /var это уже слишком. 
Я минимум делаю на /var - 4Gb, на /usr - 5Gb, хотя сейчас всё это добро на LVM 
с Ф.С. reiserfs - поэтому объём не критичен (всегда работал с XFS на этих 
разделах, но по причине неумения уменьшаться этой Ф.С. пришлось изменить 
предпочтения :(). 
Запихал всё в RAID1 т.е. 
swap (md0);
/ (md1);
дальше RAID1+LVM -(md2):
lvm-var;
lvm-usr;
lvm-home.

Если можно то по подробней почему не стоит заморачиваться с /usr и /var на 
LVM, ведь полагаясь на вышесказанное под /var/lib/vz можно и LVM 
запользовать. Увы уже всё установил и настроил, теперь не плохо было бы знать 
какие "грабли" меня могут ждать впереди например с openvz :). По крайней мере 
ядро 2.6.18-ovz-smp прекрасно грузиться в моей конфигурации и всё работает.

> /tmp для сервера сейчас действительно практичнее держать на
> tmpfs, добавив за счёт этого раздела свопа.
Тоже склонился к этому варианту, хотя в этом случае теряется возможность 
накрутить пару "гаек" на раздел /tmp - типа nosuid, nodev, noexec.

-- 
С уважением, Вячеслав.

Re: [Sysadmins] RAID and fstab

[Eugene Prokopiev]

>  Если можно то по подробней почему не стоит заморачиваться с /usr и /var на
>  LVM

потому что основных причин выноса каталогов на отдельные разделы 2:

1) опасения, что в каталог будет записано слишком много и в итоге
закончится место на / - для /usr на сервере (куда что попало не
устанавливают) и для /var (где основной потребитель - /var/log, а с
ним успешно борются хорошие дефолтные настройки для syslog и отдельные
дефолтные настройки сервисов, которые хотят писать логи
самостоятельно) вероятность этого достаточно низка даже не на
ovz-инсталляциях.

2) тюнинг производительности (использование tmpfs, xfs для
интенсивного i/o, noatime и т.д.) и паранойя (типа ro /boot :) )

> ведь полагаясь на вышесказанное под /var/lib/vz можно и LVM
> запользовать.

а вот это обязательно

> Увы уже всё установил и настроил, теперь не плохо было бы знать
> какие "грабли" меня могут ждать впереди например с openvz :)

да вроде никаких :)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] RAID and fstab

[Michael Shigorin]

On Tue, Apr 01, 2008 at 12:15:44PM +0700, Vyacheslav A. Brunev wrote:
> > Если вдруг предполагается openvz -- вообще не стоит
> > заморачиваться с /usr и /var на LVM, лучше свалить их в один
> > гиговый корень, а под /var/lib/vz выделить отдельный раздел
> > (либо кучку логических томов на LVM под конкретные VE-шки).
> На 1Gb и /usr и /var это уже слишком. 

Не, ну если ovz-машинка -- то более чем.  Тогда главное -- 
или размер /var/lib/vz, или где ещё сторадж смонтирован ;-)

> Я минимум делаю на /var - 4Gb, на /usr - 5Gb, хотя сейчас всё
> это добро на LVM с Ф.С. reiserfs - поэтому объём не критичен
> (всегда работал с XFS на этих разделах, но по причине неумения
> уменьшаться этой Ф.С. пришлось изменить предпочтения :(). 

Я бы не считал это столь важной причиной (собсно и не считаю) -- 
xfs куда выносливей под нагрузкой, хотя и нервнее относится к
пропаданию питания.  Опять же если ovz, то их квоты работают
только на ext3, если память не изменяет...

> Если можно то по подробней почему не стоит заморачиваться с
> /usr и /var на LVM

Потому что отмонтировать этот LVM не выйдет.  Я посушил некоторое
время голову над тем, как бы удалённо по возможности расшить
ситуацию с установленным на ~250M / и /usr+/var на LVM1 ALM2.4 --
из отрадного только то, что есть ещё пара дисков без LVM, просто
в RAID1.  И то смахивает на прогулку к консоли.

> ведь полагаясь на вышесказанное под /var/lib/vz можно и LVM
> запользовать.

Ну mithraen@ такое вот советовал, я как-то с тех пор к LVM сильно
охладел.

> Увы уже всё установил и настроил, теперь не плохо было бы знать
> какие "грабли" меня могут ждать впереди например с openvz :).

NFS, Java, cdrecord.  В остальном сходу не припомню.

> По крайней мере ядро 2.6.18-ovz-smp прекрасно грузиться в моей
> конфигурации и всё работает.

Ну вот дома из-под него пишу -- alterator-ovz дорабатывал,
так и застряло. :)

> > /tmp для сервера сейчас действительно практичнее держать на
> > tmpfs, добавив за счёт этого раздела свопа.
> Тоже склонился к этому варианту, хотя в этом случае теряется
> возможность накрутить пару "гаек" на раздел /tmp - типа nosuid,
> nodev, noexec.

Если ovz, то смысла мало: /tmp в HN -- сортир в последнем
бастионе.  Драться раньше надо было.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] RAID and fstab

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 717 bytes --]

On Tue, Apr 01, 2008 at 10:41:12PM +0300, Michael Shigorin wrote:

>> ведь полагаясь на вышесказанное под /var/lib/vz можно и LVM
>> запользовать.
MS> Ну mithraen@ такое вот советовал, я как-то с тех пор к LVM сильно
MS> охладел.

Это имеет смысл если хочется именно xfs. Каждую VE на отдельный LV, и не
думать о квотах.

Ну и бэкапить сподручнее из-за снапшотов.

>> Увы уже всё установил и настроил, теперь не плохо было бы знать
>> какие "грабли" меня могут ждать впереди например с openvz :).
MS> NFS, Java, cdrecord.  В остальном сходу не припомню.

А что с Java?

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

[Sysadmins] openvz и java

[Michael Shigorin]

On Wed, Apr 02, 2008 at 10:58:06AM +0400, Денис Смирнов wrote:
> >> Увы уже всё установил и настроил, теперь не плохо было бы знать
> >> какие "грабли" меня могут ждать впереди например с openvz :).
> MS> NFS, Java, cdrecord.  В остальном сходу не припомню.
> А что с Java?

Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
не поднимется.

In practice, a lot of applications do not use the memory very
efficiently and, sometimes, allocated memory will never be used
later. For example, Apache Web server at start time it allocates
about 20--30%% more memory that it will ever use. Some
multi-threaded applications are especially bad at using their
memory, and their rate of allocated to used memory may happen
to be 1000%.

http://wiki.openvz.org/UBC_systemwide_configuration#Limiting_memory_allocations

Кажется, в man vzctl упоминалась ручка, которая регулирует "порог
придуривания" -- когда malloc-нуть дадут "до K" или "в N раз
больше, чем privvmpages", но вот использовать всё равно обрежут
оными.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] openvz и java

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 444 bytes --]

On Wed, Apr 02, 2008 at 10:31:33AM +0300, Michael Shigorin wrote:

MS> Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
MS> десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
MS> не поднимется.

А, ты про это...

Это да -- таким контейнерам приходится делать неадекватные лимиты.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 197 bytes --]

Re: [Sysadmins] openvz и java

[Michael Shigorin]

On Wed, Apr 02, 2008 at 05:20:56PM +0400, Денис Смирнов wrote:
> MS> Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
> MS> десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
> MS> не поднимется.
> А, ты про это...  Это да -- таким контейнерам приходится делать
> неадекватные лимиты.

Во, посмотрел:

       --meminfo mode:value
           Configure  total  memory  output  in a VE. Free memory
	   is evaluated accordingly to the mode being set.
           You can use the following modes for mode:
           pages:value - sets total memory in pages
           privvmpages:value - sets total memory as privvmpages * value

           Default is privvmpages:1.

Внимание, не проверял (хотя есть на чём и надо бы).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] openvz и java

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1287 bytes --]

Michael Shigorin пишет:
> On Wed, Apr 02, 2008 at 05:20:56PM +0400, Денис Смирнов wrote:
>   
>> MS> Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
>> MS> десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
>> MS> не поднимется.
>> А, ты про это...  Это да -- таким контейнерам приходится делать
>> неадекватные лимиты.
>>     
>
> Во, посмотрел:
>
>        --meminfo mode:value
>            Configure  total  memory  output  in a VE. Free memory
> 	   is evaluated accordingly to the mode being set.
>            You can use the following modes for mode:
>            pages:value - sets total memory in pages
>            privvmpages:value - sets total memory as privvmpages * value
>
>            Default is privvmpages:1.
>
> Внимание, не проверял (хотя есть на чём и надо бы).
>   
Я проверял. Это не относится к выделению памяти. Это относится к 
показыванию памяти внутри контейнера. Например по top.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

Re: [Sysadmins] openvz и java

[Michael Shigorin]

On Thu, Apr 03, 2008 at 09:42:16AM +0300, Slava Dubrovskiy wrote:
> >>MS> Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
> >>MS> десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
> >>MS> не поднимется.
> >>А, ты про это...  Это да -- таким контейнерам приходится
> >>делать неадекватные лимиты.
> >Во, посмотрел:
> >
> >       --meminfo mode:value
> >           Configure  total  memory  output  in a VE. Free memory
> >	   is evaluated accordingly to the mode being set.
> >           You can use the following modes for mode:
> >           pages:value - sets total memory in pages
> >           privvmpages:value - sets total memory as privvmpages * value
> >
> >           Default is privvmpages:1.
> >
> >Внимание, не проверял (хотя есть на чём и надо бы).
> Я проверял. Это не относится к выделению памяти. Это относится
> к показыванию памяти внутри контейнера. Например по top.

Прекрасно понимаю.  Просто если правильно понял, зачем это
сделано -- то чтоб и жаба не удавилась, и памяти слишком много
ей _реально_ не давать.  Бишь показать два, дать пол-.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] openvz и java

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1763 bytes --]

Michael Shigorin пишет:
>>>> MS> Оно ж дурное, JVM памяти нааллокейтит, а потом использует одну
>>>> MS> десятую.  Ты -Xmx 640 -- а пока два гига контейнеру не дашь,
>>>> MS> не поднимется.
>>>> А, ты про это...  Это да -- таким контейнерам приходится
>>>> делать неадекватные лимиты.
>>>>         
>>> Во, посмотрел:
>>>
>>>       --meminfo mode:value
>>>           Configure  total  memory  output  in a VE. Free memory
>>> 	   is evaluated accordingly to the mode being set.
>>>           You can use the following modes for mode:
>>>           pages:value - sets total memory in pages
>>>           privvmpages:value - sets total memory as privvmpages * value
>>>
>>>           Default is privvmpages:1.
>>>
>>> Внимание, не проверял (хотя есть на чём и надо бы).
>>>       
>> Я проверял. Это не относится к выделению памяти. Это относится
>> к показыванию памяти внутри контейнера. Например по top.
>>     
>
> Прекрасно понимаю.  Просто если правильно понял, зачем это
> сделано -- то чтоб и жаба не удавилась, и памяти слишком много
> ей _реально_ не давать.  Бишь показать два, дать пол-.
>   
Не, не думаю что для такого. Мы использовали когда шибко умные клиенты 
спрашивают почему свопа нет.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3249 bytes --]

Re: [Sysadmins] openvz и java

[Michael Shigorin]

On Thu, Apr 03, 2008 at 10:15:00AM +0300, Slava Dubrovskiy wrote:
> >>>      --meminfo mode:value
> >>>          Configure  total  memory  output  in a VE.
> >>>Внимание, не проверял (хотя есть на чём и надо бы).
> >>Я проверял. Это не относится к выделению памяти. Это относится
> >>к показыванию памяти внутри контейнера. Например по top.
> >Прекрасно понимаю.  Просто если правильно понял, зачем это
> >сделано -- то чтоб и жаба не удавилась, и памяти слишком много
> >ей _реально_ не давать.  Бишь показать два, дать пол-.
> Не, не думаю что для такого. Мы использовали когда шибко умные
> клиенты спрашивают почему свопа нет.

Ммм... вот чего ещё пишут:
http://forum.openvz.org/index.php?t=msg&goto=7057
http://forum.openvz.org/index.php?t=msg&goto=6570
http://forum.openvz.org/index.php?t=msg&th=5407
Похоже, ты прав и я промазал :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/