[Comm] Балансировка доступа к жесткому диску для госте в KVM

[Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

Привет всем!
Имеется:
Сервер установленный из старт-китс и обновленный до локального зеркала t7;
ядро 3.10.32-std-def-alt1 x86_64;
Разделы жесткого диска:
swap на /dev/sda1
/ на /dev/sda2
все остальное пространство отдано под LVM.

Запущенно несколько гостей KVM, каждому выделен отдельный раздел в LVM 
по 30G.

Система работает уже полгода, жить можно. Проблемы начинаются когда 
кто-нибудь из гостей начинает использовать жесткий диск. Подвисают все 
гости и хост, причем в жесткий ступор. Через пару минут все возвращается 
в норму и дальше все работают. Ну и конечно же если что-то тяжелое 
начинает копировать тоже на продолжительное время все подвисает.

Нужна балансировка или приоритеты для доступа к жесткому диску.

Понимаю что нужен RAID0, но все же мне кажется, если бы один гость не 
мог занять на всю жесткий диск то и тормоза были бы не такие жесткие.

Подскажите, кто как борется с данной проблемой?

Заранее спасибо!

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Thu, Aug 07, 2014 at 06:14:50PM +0700, Васюк Максим Анатольевич wrote:
> Проблемы начинаются когда кто-нибудь из гостей начинает
> использовать жесткий диск. Подвисают все гости и хост, причем в
> жесткий ступор. Через пару минут все возвращается в норму и
> дальше все работают. Ну и конечно же если что-то тяжелое
> начинает копировать тоже на продолжительное время все
> подвисает.  Нужна балансировка или приоритеты для 
> доступа к жесткому диску.

Совершенно на всякий: там точно virtio используется для дисков?

[внутри@kvm] # lsmod | grep virtio
http://www.linux-kvm.org/page/Virtio
http://www.altlinux.org/KVM

> Понимаю что нужен RAID0, но все же мне кажется, если бы один
> гость не мог занять на всю жесткий диск то и тормоза были бы не
> такие жесткие.

RAID1, а не RAID0.  Соображения:
- единичный диск с кучкой виртуалок накроет их все, когда помрёт;
- на зеркале нагрузка распределяется и затык по одному из дисков
  не так страшен (в отличие от чисто страйповых RAID0/5/6, где
  один запрос может занять несколько шпинделей или все сразу).

Диски под многопоточную нагрузку всегда предпочитал IBM/Hitachi,
они заметно медленнее "проседают" при активном seek, чем те же WD
(а кроме Hitachi и WD сейчас и посоветовать-то нечего).

Второй вариант -- выносите виртуалки на SSD/SSD RAID1, а на HDD
организовывайте бэкапы.

PS: там в свопе случайно куча всего не болтается?  Если да --
добавляйте память и постарайтесь от заметного свопа избавиться.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Алексей Варакин]

Здравствуйте!
Судя по описанным Вами симптомам, у Вас, похоже, классический баг №12309.
Каждый борется с ним по своему, т.к. стопроцентного решения нет.
Я сам давно и упорно сражаюсь с ним, но пока особой победы у меня нет(правда,я в последнее время его смягчил, поставив некоторые дополнительные пакеты в систему).

Однако не ясно, что это у Вас за сервер? Обычный ПК или настоящий сервер?
Конфигурацию железа сервера Вы можете описать?

07.08.2014, 18:26, "Васюк Максим Анатольевич" <vaksim@gmail.com>:
> Привет всем!
> Имеется:
> Сервер установленный из старт-китс и обновленный до локального зеркала t7;
> ядро 3.10.32-std-def-alt1 x86_64;
> Разделы жесткого диска:
> swap на /dev/sda1
> / на /dev/sda2
> все остальное пространство отдано под LVM.
>
> Запущенно несколько гостей KVM, каждому выделен отдельный раздел в LVM
> по 30G.
>
> Система работает уже полгода, жить можно. Проблемы начинаются когда
> кто-нибудь из гостей начинает использовать жесткий диск. Подвисают все
> гости и хост, причем в жесткий ступор. Через пару минут все возвращается
> в норму и дальше все работают. Ну и конечно же если что-то тяжелое
> начинает копировать тоже на продолжительное время все подвисает.
>
> Нужна балансировка или приоритеты для доступа к жесткому диску.
>
> Понимаю что нужен RAID0, но все же мне кажется, если бы один гость не
> мог занять на всю жесткий диск то и тормоза были бы не такие жесткие.
>
> Подскажите, кто как борется с данной проблемой?
>
> Заранее спасибо!
> _______________________________________________
> community mailing list
> community@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/community

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

07.08.2014 23:07, Алексей Варакин пишет:
> Здравствуйте!
> Судя по описанным Вами симптомам, у Вас, похоже, классический баг №12309.
> Каждый борется с ним по своему, т.к. стопроцентного решения нет.
> Я сам давно и упорно сражаюсь с ним, но пока особой победы у меня нет(правда,я в последнее время его смягчил, поставив некоторые дополнительные пакеты в систему).
Почитал про багу. Ужасы!
Спасибо за наводку, буду разбираться. Но хотелось бы услышать как Вы 
боретесь с данной проблемой.
Вы используется KVM?

> Однако не ясно, что это у Вас за сервер? Обычный ПК или настоящий сервер?
> Конфигурацию железа сервера Вы можете описать?

Сервер, обычный компьютер:
Intel(R) Core(TM) i5-3330 CPU @ 3.00GHz
Gigabyte Z68P-DS3
16Гб ОЗУ
1ТБ винт.

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Такасеев Алексей Геннадиевич]

----- Исходное сообщение -----
> От: "Васюк Максим Анатольевич" <vaksim@gmail.com>
> Кому: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Отправленные: Пятница, 8 Август 2014 г 11:12:41
> Тема: Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM
> 
> 07.08.2014 23:07, Алексей Варакин пишет:
> > Здравствуйте!
> > Судя по описанным Вами симптомам, у Вас, похоже, классический баг №12309.
> > Каждый борется с ним по своему, т.к. стопроцентного решения нет.
> > Я сам давно и упорно сражаюсь с ним, но пока особой победы у меня
> > нет(правда,я в последнее время его смягчил, поставив некоторые
> > дополнительные пакеты в систему).
> Почитал про багу. Ужасы!
> Спасибо за наводку, буду разбираться. Но хотелось бы услышать как Вы
> боретесь с данной проблемой.
> Вы используется KVM?

Иногда сильно помогает смена планировщика для дисковых операций. Ранее система жестоко уходила
в клинч при использовании cfq. Назначение noop/deadline для хост-систем и исключительно noop
для гостевых вроде как ситуацию выправил.

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

08.08.2014 9:28, Такасеев Алексей Геннадиевич пишет:
> Иногда сильно помогает смена планировщика для дисковых операций. Ранее система жестоко уходила
> в клинч при использовании cfq. Назначение noop/deadline для хост-систем и исключительно noop
> для гостевых вроде как ситуацию выправил.
На хосте deadline, пробовал noop результатов не принесло.
Гости это W7x64
Спасибо за наводку!

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Алексей Варакин]

А что у Вас за винт? Не из серии "зеленых"? Модель винта напишите, пожалуйста.

Файл или раздел подкачки у Вас, надеюсь, используется? Какой размер у него?
LVM  на хосте используется или что там?

Сколько оперативы Вы выделяете на каждую виртуалку? Конфигурация виртуальной машины?
И сколько у Вас работает одновременно виртуальных машин?
Windows 7x64 жрет памяти в 1,5 раза больше, чем х86.

В качестве KVM у Вас используется qemu или другое?
Накидаю пару ссылочек по KVM и WIN7:
http://furalol.blogspot.ru/2012/08/kvm-windows-7-x64-lvm-virtio-windows-7.html
http://unix.stackexchange.com/questions/47082/very-slow-kvm-in-ubuntu-12-04

P.S. Я не использую никаких виртуалок, у меня обычный рабочий ПК.


08.08.2014, 09:23, "Васюк Максим Анатольевич" <vaksim@gmail.com>:
> 07.08.2014 23:07, Алексей Варакин пишет:
>>  Здравствуйте!
>>  Судя по описанным Вами симптомам, у Вас, похоже, классический баг №12309.
>>  Каждый борется с ним по своему, т.к. стопроцентного решения нет.
>>  Я сам давно и упорно сражаюсь с ним, но пока особой победы у меня нет(правда,я в последнее время его смягчил, поставив некоторые дополнительные пакеты в систему).
>
> Почитал про багу. Ужасы!
> Спасибо за наводку, буду разбираться. Но хотелось бы услышать как Вы
> боретесь с данной проблемой.
> Вы используется KVM?
>>  Однако не ясно, что это у Вас за сервер? Обычный ПК или настоящий сервер?
>>  Конфигурацию железа сервера Вы можете описать?
>
> Сервер, обычный компьютер:
> Intel(R) Core(TM) i5-3330 CPU @ 3.00GHz
> Gigabyte Z68P-DS3
> 16Гб ОЗУ
> 1ТБ винт.
>
> _______________________________________________
> community mailing list
> community@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/community

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Kharitonov A. Dmitry]

08.08.2014 08:42, Алексей Варакин пишет:
> А что у Вас за винт? Не из серии "зеленых"? Модель винта напишите, пожалуйста.
Очень важно, что бы раздел был выровнен по физическим блокам винчестера.
выравненный раздел имеет скорость записи 70-100 мб/с
не выравненный раздел имеет скорость записи 7-30 мб/с

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Fri, Aug 08, 2014 at 09:52:23AM +0400, Kharitonov A. Dmitry wrote:
> >А что у Вас за винт? Не из серии "зеленых"? 

Точнее, "четырёхкилобайтносекторных": http://altlinux.org/BigSector
-- но в седьмых бранчах это давно учтено.

> Очень важно, что бы раздел был выровнен по физическим блокам
> винчестера.  выравненный раздел имеет скорость записи 70-100
> мб/с не выравненный раздел имеет скорость записи 7-30 мб/с

Тоже верно (как и про deadline/noop i/o scheduler).

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

08.08.2014 22:55, Michael Shigorin пишет:
> On Fri, Aug 08, 2014 at 09:52:23AM +0400, Kharitonov A. Dmitry wrote:
>>> А что у Вас за винт? Не из серии "зеленых"?
>
> Точнее, "четырёхкилобайтносекторных": http://altlinux.org/BigSector
> -- но в седьмых бранчах это давно учтено.
>
>> Очень важно, что бы раздел был выровнен по физическим блокам
>> винчестера.  выравненный раздел имеет скорость записи 70-100
>> мб/с не выравненный раздел имеет скорость записи 7-30 мб/с
>
> Тоже верно (как и про deadline/noop i/o scheduler).

Наткнулся на http://rlab.ru/doc/4k_hdd_for_linux.html

Провел небольшие опыты!

# hdparm -i /dev/sdc | grep Model
  Model=WDC WD5000AAKX-22ERMA0, FwRev=17.01H17, SerialNo=WD-WCC2EUY33482

Запилил кривой раздел с 63 сектора:

# parted /dev/sdc
(parted) print
Модель: ATA WDC WD5000AAKX-2 (scsi)
Диск /dev/sdc: 976773168s
Размер сектора (логич./физич.): 512B/512B
Таблица разделов: msdos

Номер  Начало  Конец       Размер      Тип      Файловая система  Флаги
  1     63s     193359871s  193359809s  primary  ext4

# mkfs.ext4 /dev/sdc1
# mount /dev/sdc1 /mnt/test
# dd if=/dev/zero of=/mnt/test/000.dd bs=128k count=100000

24184+0 записей получено
24184+0 записей отправлено
  скопировано 3169845248 байт (3,2 GB), 15,7906 c, 201 MB/c
32521+0 записей получено
32521+0 записей отправлено
  скопировано 4262592512 байт (4,3 GB), 25,7826 c, 165 MB/c
41101+0 записей получено
41101+0 записей отправлено
  скопировано 5387190272 байта (5,4 GB), 35,7946 c, 151 MB/c
49805+0 записей получено
49805+0 записей отправлено
  скопировано 6528040960 байт (6,5 GB), 45,7946 c, 143 MB/c
58509+0 записей получено
58509+0 записей отправлено
  скопировано 7668891648 байт (7,7 GB), 55,9176 c, 137 MB/c
66669+0 записей получено
66669+0 записей отправлено
  скопировано 8738439168 байт (8,7 GB), 65,8806 c, 133 MB/c
75322+0 записей получено
75322+0 записей отправлено
  скопировано 9872605184 байта (9,9 GB), 75,8786 c, 130 MB/c
^C77530+0 записей получено
77530+0 записей отправлено
  скопировано 10162012160 байт (10 GB), 78,2996 c, 130 MB/c

Удаляем раздел, делаем новый.
(parted) print
Модель: ATA WDC WD5000AAKX-2 (scsi)
Диск /dev/sdc: 976773168s
Размер сектора (логич./физич.): 512B/512B
Таблица разделов: msdos

Номер  Начало  Конец       Размер      Тип      Файловая система  Флаги
  1     2048s   195311615s  195309568s  primary

# mkfs.ext4 /dev/sdc1
# mount /dev/sdc1 /mnt/test

# dd if=/dev/zero of=/mnt/test/000.dd bs=128k count=100000
6164+1 записей получено
6164+0 записей отправлено
  скопировано 807927808 байт (808 MB), 0,282178 c, 2,9 GB/c
dd: warning: partial read (12288 bytes); suggest iflag=fullblock
19695+1 записей получено
19695+1 записей отправлено
  скопировано 2581475328 байт (2,6 GB), 10,2956 c, 251 MB/c
27798+1 записей получено
27798+1 записей отправлено
  скопировано 3643551744 байта (3,6 GB), 20,3116 c, 179 MB/c
36207+1 записей получено
36207+1 записей отправлено
  скопировано 4745736192 байта (4,7 GB), 30,3206 c, 157 MB/c
44751+1 записей получено
44751+1 записей отправлено
  скопировано 5865615360 байт (5,9 GB), 40,3636 c, 145 MB/c
53129+1 записей получено
53129+1 записей отправлено
  скопировано 6963736576 байт (7,0 GB), 50,3136 c, 138 MB/c
61609+1 записей получено
61609+1 записей отправлено
  скопировано 8075227136 байт (8,1 GB), 60,3676 c, 134 MB/c
70307+1 записей получено
70307+1 записей отправлено
  скопировано 9215291392 байта (9,2 GB), 70,3159 c, 131 MB/c
^C75141+1 записей получено
75141+1 записей отправлено
  скопировано 9848893440 байт (9,8 GB), 76,0436 c, 130 MB/c

Разницы нету!!!
Что я делаю не так. Может WD пофиксили это на уровне железа?


-- 
С уважением,
Васюк Максим

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[alexei]

----- Исходное сообщение -----
> От: "Васюк Максим Анатольевич" <vaksim@gmail.com>
> Кому: "ALT Linux Community general discussions" <community@lists.altlinux.org>
> Отправленные: Среда, 20 Август 2014 г 11:05:10
> Тема: Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM
> 
> 08.08.2014 22:55, Michael Shigorin пишет:
> > On Fri, Aug 08, 2014 at 09:52:23AM +0400, Kharitonov A. Dmitry wrote:
> >>> А что у Вас за винт? Не из серии "зеленых"?
> >
> > Точнее, "четырёхкилобайтносекторных": http://altlinux.org/BigSector
> > -- но в седьмых бранчах это давно учтено.
> >
> >> Очень важно, что бы раздел был выровнен по физическим блокам
> >> винчестера.  выравненный раздел имеет скорость записи 70-100
> >> мб/с не выравненный раздел имеет скорость записи 7-30 мб/с
> >
> > Тоже верно (как и про deadline/noop i/o scheduler).
> 
> Наткнулся на http://rlab.ru/doc/4k_hdd_for_linux.html
> 
> Провел небольшие опыты!
> 
> # hdparm -i /dev/sdc | grep Model
>   Model=WDC WD5000AAKX-22ERMA0, FwRev=17.01H17, SerialNo=WD-WCC2EUY33482
> 
> Запилил кривой раздел с 63 сектора:
> 
> # parted /dev/sdc
> (parted) print
> Модель: ATA WDC WD5000AAKX-2 (scsi)
> Диск /dev/sdc: 976773168s
> Размер сектора (логич./физич.): 512B/512B
> Таблица разделов: msdos
> 
> Номер  Начало  Конец       Размер      Тип      Файловая система  Флаги
>   1     63s     193359871s  193359809s  primary  ext4
> 
> # mkfs.ext4 /dev/sdc1
> # mount /dev/sdc1 /mnt/test
> # dd if=/dev/zero of=/mnt/test/000.dd bs=128k count=100000
...

> Удаляем раздел, делаем новый.
> (parted) print
> Модель: ATA WDC WD5000AAKX-2 (scsi)
> Диск /dev/sdc: 976773168s
> Размер сектора (логич./физич.): 512B/512B
> Таблица разделов: msdos
> 
> Номер  Начало  Конец       Размер      Тип      Файловая система  Флаги
>   1     2048s   195311615s  195309568s  primary
> 
> # mkfs.ext4 /dev/sdc1
> # mount /dev/sdc1 /mnt/test
> 
> # dd if=/dev/zero of=/mnt/test/000.dd bs=128k count=100000
...
> Разницы нету!!!
> Что я делаю не так. Может WD пофиксили это на уровне железа?

У вас ошибка в методике исследования. На линейных операциях записи-чтения
деградация от "63-го сектора" не проявляется. Она проявится, когда начнется
активная запись-чтение к случайным участкам файлов и ФС. Это когда вместо одной
операции записи 4к сектора, будет произведено - чтение 4к блока с "головой"
изменяемого сегмента + 4к "хвостом", выяснения куда из этих 8к писать "голову",
а куда "хвост", запись 4к с "головой" + 4к с "хвостом". При чтении так же будет
дергаться два соседних блока, с последущим анализом и вычленением нужных данных.
Вот тут-то "ата-та" и наступает.

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Andrey Tataranovich]

В Wed, 20 Aug 2014 09:05:10 +0700
Васюк Максим Анатольевич <vaksim@gmail.com> пишет:

> Размер сектора (логич./физич.): 512B/512B

А где вы увидели у этого диска Advanced Format (4k сектор)? Очень
похоже, что именно у вашего диска размер физического сектора 512B.

-- 
WBR, Andrey Tataranovich

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

20.08.2014 14:58, Andrey Tataranovich пишет:
> В Wed, 20 Aug 2014 09:05:10 +0700
> Васюк Максим Анатольевич <vaksim@gmail.com> пишет:
>
>> Размер сектора (логич./физич.): 512B/512B
>
> А где вы увидели у этого диска Advanced Format (4k сектор)? Очень
> похоже, что именно у вашего диска размер физического сектора 512B.
>

Я почему-то подумал что на новых винтах везде уже так?!
А где это увидеть?

# hdparm -i /dev/sdc

/dev/sdc:

  Model=WDC WD5000AAKX-22ERMA0, FwRev=17.01H17, SerialNo=WD-WCC2EUY33482
  Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
  RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
  BuffType=unknown, BuffSize=16384kB, MaxMultSect=16, MultSect=16
  CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=976773168
  IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
  PIO modes:  pio0 pio3 pio4
  DMA modes:  mdma0 mdma1 mdma2
  UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
/это случаем не оно? --------------------------------------------------
  AdvancedPM=no WriteCache=enabled
  Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6,7

  * signifies the current active mode


Глянул на чёрном терабайтнике там стоит AdvancedPM=yes:


# hdparm -i /dev/sda

/dev/sda:

  Model=WDC WD1003FBYZ-010FB0, FwRev=01.01V03, SerialNo=WD-WCAW37297525
  Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
  RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
  BuffType=unknown, BuffSize=unknown, MaxMultSect=16, MultSect=16
  CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=1953525168
  IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
  PIO modes:  pio0 pio3 pio4
  DMA modes:  mdma0 mdma1 mdma2
  UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
  AdvancedPM=yes: unknown setting WriteCache=enabled
  Drive conforms to: Unspecified:  ATA/ATAPI-1,2,3,4,5,6,7

  * signifies the current active mode



-- 
С уважением,
Васюк Максим

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Wed, Aug 20, 2014 at 03:04:01PM +0700, Васюк Максим Анатольевич wrote:
> >А где вы увидели у этого диска Advanced Format (4k сектор)?
> >Очень похоже, что именно у вашего диска размер физического
> >сектора 512B.
> Я почему-то подумал что на новых винтах везде уже так?!

Да нет вроде.

> А где это увидеть?

В спецификации производителя на диск.

> # hdparm -i /dev/sdc

Не-а. :(

> Глянул на чёрном терабайтнике там стоит AdvancedPM=yes:

---
AdvancedPM - Indicates whether or not your hard drive supports
Advanced Power Management.
--- http://www.aboutlinux.info/2004/12/boosting-your-hard-drive-performance.html

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

20.08.2014 16:43, Michael Shigorin пишет:
> On Wed, Aug 20, 2014 at 03:04:01PM +0700, Васюк Максим Анатольевич wrote:
>>> А где вы увидели у этого диска Advanced Format (4k сектор)?
>>> Очень похоже, что именно у вашего диска размер физического
>>> сектора 512B.
>> Я почему-то подумал что на новых винтах везде уже так?!
>
> Да нет вроде.
>
>> А где это увидеть?
>
> В спецификации производителя на диск.
Грутнул его пару раз в iozone:
# iozone -O -i0 -i2 -s16g -r64k -l 1 -u 1 -F /mnt/test/1
Результаты почти одинаковые.

Глянул на его даташит:
Advanced Format (AF) Нет!!!
Получается ему на все предыдущие телодвижения пофигу?

Глянул на терабайтник:
# hdparm -i /dev/sda | grep Model
  Model=WDC WD1003FBYZ-010FB0, FwRev=01.01V03, SerialNo=WD-WCAW37297525
В даташите ничего про Advanced Format нет. Вместо этой строчки вот такая 
прикольная штука Native command queuing Yes.
Попробую его помучить.

-- 
С уважением,
Васюк Максим

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

20.08.2014 16:43, Michael Shigorin пишет:
> On Wed, Aug 20, 2014 at 03:04:01PM +0700, Васюк Максим Анатольевич wrote:
>>> А где вы увидели у этого диска Advanced Format (4k сектор)?
>>> Очень похоже, что именно у вашего диска размер физического
>>> сектора 512B.
>> Я почему-то подумал что на новых винтах везде уже так?!
>
> Да нет вроде.
>
>> А где это увидеть?
>
> В спецификации производителя на диск.
Грутнул его пару раз в iozone с "кривой" и "прямой" разметкой:
# iozone -O -i0 -i2 -s16g -r64k -l 1 -u 1 -F /mnt/test/1
Результаты почти одинаковые.

Глянул на его даташит:
Advanced Format (AF) Нет!!!
Получается ему на все предыдущие телодвижения пофигу?

Глянул на терабайтник:
# hdparm -i /dev/sda | grep Model
  Model=WDC WD1003FBYZ-010FB0, FwRev=01.01V03, SerialNo=WD-WCAW37297525
В даташите ничего про Advanced Format нет. Вместо этой строчки вот такая 
прикольная штука Native command queuing Yes.
Попробую его помучить.

-- 
С уважением,
Васюк Максим

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Wed, Aug 20, 2014 at 10:58:29AM +0300, Andrey Tataranovich wrote:
> > Размер сектора (логич./физич.): 512B/512B
> А где вы увидели у этого диска Advanced Format (4k сектор)? Очень
> похоже, что именно у вашего диска размер физического сектора 512B.

Много какие не признавались вообще, хотя на "промежуточной стадии"
по плану было всё-таки рассказывать про физический размер 4096.

https://ata.wiki.kernel.org/index.php/ATA_4_KiB_sector_issues#C-1._The_standard_is_not_and_won.27t_be_followed_as-is.
(в двух переходах от нашей странички [[BigSector]])

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Wed, Aug 20, 2014 at 09:05:10AM +0700, Васюк Максим Анатольевич wrote:
> Наткнулся на http://rlab.ru/doc/4k_hdd_for_linux.html

Тж. http://altlinux.org/BigSector

> Разницы нету!!!  Что я делаю не так. Может WD пофиксили это на
> уровне железа?

Может, и улучшили RMW в прошивке -- гляньте ещё описанное на вики,
раз интересно поисследовать :-)

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Васюк Максим Анатольевич]

А cgroups это не то что надо? Я почему-то на него напал первым делом. 
Делал две попытки, одну полгода назад виртуалок было 6, оставил как 
есть. Сейчас их количество увеличилось, поэтому вопрос всплыл снова с 
удвоенной силой. Но от второго захода я результата не добился, потратил 
кучу времени.
Кто-нибудь пользовал такую штуку или этот путь ложный?

08.08.2014 11:42, Алексей Варакин пишет:
> А что у Вас за винт? Не из серии "зеленых"? Модель винта напишите, пожалуйста.
black
> Файл или раздел подкачки у Вас, надеюсь, используется? Какой размер у него?
ОЗУ:16Гб
Свап:4ГБ
> LVM  на хосте используется или что там?
Корень, простой раздел ext3
Каждому гостю отпилен 30G lvm раздел
В госте винт подключен через VirtIO
> Сколько оперативы Вы выделяете на каждую виртуалку? Конфигурация виртуальной машины?
1 ядро делят 2 3 ВМ, хосту одно ядро отдельно, здесь проблем. Как раз 
насчет процессора все ок, работает как ожидалось.
Раньше было по 2 гига озу на каждую ВМ, но иза того что их стало много 
ОЗУ стало не хватать, теперь у некоторых 1Гб.
Собрал еще один похожий сервак, только ЖД два но в зеркале. Несколько 
виртуалок на него перекачуют, но проблемы это не решает.

> И сколько у Вас работает одновременно виртуальных машин?
9 - W7x64
1 - alt
> Windows 7x64 жрет памяти в 1,5 раза больше, чем х86.
>
> В качестве KVM у Вас используется qemu или другое?
qemu
> Накидаю пару ссылочек по KVM и WIN7:
Спасибо за ссылки!
Пока 3-4 гостя работают проблем почти нет. Вот дальше веселее.

Хотелось бы просто чтобы в пики загрузки винта не зависало все напроч, 
Пусть медленно, но каждому.

08.08.2014 13:54, Michael A. Kangin пишет:
 > А что за диск? SATA?
SATA

 > Померьте сколько IOPSов получается в момент "когда кто-нибудь из гостей
 > начинает использовать жесткий диск".
 > Например, iostat -x 10
 >
 > Если количество IOPS (rrqm/s, wrqm/s) превосходит допустимое для вашего
 > носителя (по https://en.wikipedia.org/wiki/IOPS, для обычных SATA
 > максимум сотня), то нужно думать или об улучшении дисковой системы, или
 > об ограничении IOPS для одного гостя. То же самое касается и общей
 > пропускной способности диска.

Device:         rrqm/s   wrqm/s
sda             154,00   813,30
т.е. это ни в какие ворота?

 > Про ограничения:
 > 
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Virtualization_Administration_Guide/sect-virsh-blkdeviotune.html 


Спасибо большое за ссылки.
Покрутил, повертел. Реакция есть. Буду смотреть.

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael Shigorin]

On Fri, Aug 08, 2014 at 06:22:10PM +0700, Васюк Максим Анатольевич wrote:
> Пока 3-4 гостя работают проблем почти нет. 
> Вот дальше веселее.

Вероятно, лезет в своп и напрочь убивает I/O seek'ом.

Если лезет, то только добавлять памяти или убавлять аппетит
виртуалок (в т.ч. если они лезут в свои дисковые свопы).

Если все свопы почти пустые -- тогда переезжать на зеркало
либо ещё как усиливать дисковую подсистему.

-- 
 ---- WBR, Michael Shigorin / http://altlinux.org
  ------ http://opennet.ru / http://anna-news.info

Re: [Comm] Балансировка доступа к жесткому диску для госте в KVM

[Michael A. Kangin]

07.08.2014 15:14, Васюк Максим Анатольевич пишет:


А что за диск? SATA?

Померьте сколько IOPSов получается в момент "когда кто-нибудь из гостей 
начинает использовать жесткий диск".
Например, iostat -x 10

Если количество IOPS (rrqm/s, wrqm/s) превосходит допустимое для вашего 
носителя (по https://en.wikipedia.org/wiki/IOPS, для обычных SATA 
максимум сотня), то нужно думать или об улучшении дисковой системы, или 
об ограничении IOPS для одного гостя. То же самое касается и общей 
пропускной способности диска.
Гуглите что-нибудь вроде "interpreting iostat output" про детали и 
вдумчивый анализ.

Про ограничения:
https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Virtualization_Administration_Guide/sect-virsh-blkdeviotune.html
И в virt-manager соответствующие поля в свойствах дисков имеются.

> Сервер установленный из старт-китс и обновленный до локального зеркала t7;
> ядро 3.10.32-std-def-alt1 x86_64;
> Разделы жесткого диска:
> swap на /dev/sda1
> / на /dev/sda2
> все остальное пространство отдано под LVM.
>
> Запущенно несколько гостей KVM, каждому выделен отдельный раздел в LVM
> по 30G.
>
> Система работает уже полгода, жить можно. Проблемы начинаются когда
> кто-нибудь из гостей начинает использовать жесткий диск. Подвисают все
> гости и хост, причем в жесткий ступор. Через пару минут все возвращается
> в норму и дальше все работают. Ну и конечно же если что-то тяжелое
> начинает копировать тоже на продолжительное время все подвисает.
>
> Нужна балансировка или приоритеты для доступа к жесткому диску.
>
> Понимаю что нужен RAID0, но все же мне кажется, если бы один гость не
> мог занять на всю жесткий диск то и тормоза были бы не такие жесткие.