[Sysadmins] hard disk drives with 4kb sector

[Sysadmins] hard disk drives with 4kb sector

[Michael Shigorin]

	Здравствуйте.
Использующим большие диски WD (и, возможно, иные с физическим
сектором размером 4096 байт вместо 512) предлагается глянуть
https://bugzilla.altlinux.org/show_bug.cgi?id=23014
-- при невыровненных по границе 4k разделах возможны
существенные потери производительности.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] hard disk drives with 4kb sector

[MisHel64]

Здравствуйте, Michael.

Вы писали 23 февраля 2010 г., 13:26:19:

>         Здравствуйте.
> Использующим большие диски WD (и, возможно, иные с физическим
> сектором размером 4096 байт вместо 512) предлагается глянуть
> https://bugzilla.altlinux.org/show_bug.cgi?id=23014
> -- при невыровненных по границе 4k разделах возможны
> существенные потери производительности.

Сектор  размером  более  512  байт можно сделать только кривыми руками
используя специальный софт. С завода диски с таким размером сектора не
поставляются.


-- 
С уважением,
 MisHel64                          mailto:MisHel64@Bk.Ru

Re: [Sysadmins] hard disk drives with 4kb sector

[Игорь Окунев]

Здравствуйте, у меня проблема c httpd.
Я установил katrin apt-get'ом, она у меня поставилась не в httpd2, а в 
httpd.
Присутствует следующая ошибка 
Invalid command 'RewriteEngine', perhaps mis-spelled or defined by a 
module not included in the server configuration
mod rewrite раскоментировал.
Если кто сталкивался, подскажите :)

-- 
Okunev Igor,
iokunev@naumen.ru
NAUMEN

Re: [Sysadmins] hard disk drives with 4kb sector

[Anton Farygin]

26.02.2010 05:55, MisHel64 пишет:
> Здравствуйте, Michael.
>
> Вы писали 23 февраля 2010 г., 13:26:19:
>
>>          Здравствуйте.
>> Использующим большие диски WD (и, возможно, иные с физическим
>> сектором размером 4096 байт вместо 512) предлагается глянуть
>> https://bugzilla.altlinux.org/show_bug.cgi?id=23014
>> -- при невыровненных по границе 4k разделах возможны
>> существенные потери производительности.
>
> Сектор  размером  более  512  байт можно сделать только кривыми руками
> используя специальный софт. С завода диски с таким размером сектора не
> поставляются.

http://www.anandtech.com/storage/showdoc.aspx?i=3691

Re: [Sysadmins] hard disk drives with 4kb sector

[Terechkov Evgenii]

26.02.2010 Игорь Окунев писал:

> Здравствуйте, у меня проблема c httpd.
> Я установил katrin apt-get'ом, она у меня поставилась не в httpd2, а в 
> httpd.
> Присутствует следующая ошибка 
> Invalid command 'RewriteEngine', perhaps mis-spelled or defined by a 
> module not included in the server configuration
> mod rewrite раскоментировал.
> Если кто сталкивался, подскажите :)

Подождите свежей сборки fdisk-а и переформируйте им все разделы диска.

-- 
                                                С уважением, Терешков
                                                Евгений, ALT Linux
                                                Team

Re: [Sysadmins] hard disk drives with 4kb sector

[Vasily Tereshko]

26.02.2010 04:55, MisHel64 пишет:
> Здравствуйте, Michael.
> 
> Вы писали 23 февраля 2010 г., 13:26:19:
> 
>>         Здравствуйте.
>> Использующим большие диски WD (и, возможно, иные с физическим
>> сектором размером 4096 байт вместо 512) предлагается глянуть
>> https://bugzilla.altlinux.org/show_bug.cgi?id=23014
>> -- при невыровненных по границе 4k разделах возможны
>> существенные потери производительности.
> 
> Сектор  размером  более  512  байт можно сделать только кривыми руками
> используя специальный софт. С завода диски с таким размером сектора не
> поставляются.
> 
> 
Уже нет. Лежащий вон на столе совершенно себе заводской WD10EARS
поставляется с заводским 4k блоком. И, кроме Windows 7, которую учили
работать с SSD ( у которых размер сектора тоже величина очень
произвольная) , остальные ОС (типа WinXP или ALT Linux) по умолчанию
работают на запись с таким диском крайне неэфективно. Такое впечатление,
что возвратился на 15 лет назад во времена выключенного DMA.
Проблема в :
1. fdisk с его странным выравниванием начала раздела
2. подозреваю, что нужно свежее ядро с патчеными драйверами SATA
3. FS тоже нужно объяснить про размер физического блока. У меня
получилось, что xfs с mkfs.xfs -s 4096 работает втрое-вчетверо быстрее
ext3 с параметрами по умолчанию. ( Про stripe-width= я в курсе, но не
успел попробовать.)


-- 
Толми

Re: [Sysadmins] hard disk drives with 4kb sector

[Vasily Tereshko]

Кстати, у меня не получилось добиться нужной производительности на WD
EARS на томах LVM, на ядре 2.6.30. Кто-то пробовал ядра 2.6.31 и выше,
которые должны поддерживать 4k сектор на SATA в связке с LVM ? Там же по
идее не должно быть проблем с выравниванием, особенно если явно
указать--dataalignment 4096
Что-то ещё я упустил ?


-- 
Толми

Re: [Sysadmins] *hard disk drives with 4kb sector*

[Michael Shigorin]

On Fri, Feb 26, 2010 at 07:22:22PM +0700, Terechkov Evgenii wrote:
> > Здравствуйте, у меня проблема c httpd.

Лучше бы писать новое письмо, а не отвечать в совсем другой тред:
http://www.altlinux.org/ListRules/Etiquette#.D0.A2.D0.B5.D0.BC.D1.8B

> > Если кто сталкивался, подскажите :)
> Подождите свежей сборки fdisk-а и переформируйте им все разделы диска.

Жень, а тебе предложить отправиться к Тео тогда, что ли? :(

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] hard disk drives with 4kb sector

[Michael Shigorin]

On Sat, Feb 27, 2010 at 03:55:08PM +0200, Vasily Tereshko wrote:
> Кстати, у меня не получилось добиться нужной производительности на WD
> EARS на томах LVM, на ядре 2.6.30. Кто-то пробовал ядра 2.6.31 и выше,
> которые должны поддерживать 4k сектор на SATA в связке с LVM ?
> Там же по идее не должно быть проблем с выравниванием, особенно
> если явно указать--dataalignment 4096 Что-то ещё я упустил ?

Вчера проверял на 2.6.27 WD15EARS при lvm прямо на sda, просадки
не заметил.  А вот насчёт "не должно быть проблем" -- Dear Netch
повозился с IDENTIFY DRIVE и перемычкой и пришёл к выводу, что в
WD не смогли даже отдать по стандарту данные о размере сектора.

С перемычкой добраться не вышло -- у меня на старом nforce виснет
уже ядро, пытаясь доступиться к последнему сектору, которого
после сдвига на один нет; на новом чипсете с AHCI, кажется, и до
ядра не дошло.

Насколько понимаю, проблема касается WD10EARS, WD15EARS, WD20EARS.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] hard disk drives with 4kb sector

[Vasily Tereshko]

27.02.2010 22:11, Michael Shigorin пишет:

> 
> Вчера проверял на 2.6.27 WD15EARS при lvm прямо на sda, просадки
> не заметил.  
pvcreate и vgcreate запускались с какими параметрами ?
>А вот насчёт "не должно быть проблем" -- Dear Netch
> повозился с IDENTIFY DRIVE и перемычкой и пришёл к выводу, что в
> WD не смогли даже отдать по стандарту данные о размере сектора.
Что, отдают 512 байт ? Ай, маладца ...
> 
> С перемычкой добраться не вышло -- у меня на старом nforce виснет
> уже ядро, пытаясь доступиться к последнему сектору, которого
> после сдвига на один нет; на новом чипсете с AHCI, кажется, и до
> ядра не дошло.
Ага, значит это эффект повторяющийся, а то я думал может у меня руки
кривые, что система во фриз уходит, хотя на magic key и отзывается.
Я пришел к выводу, что перемычка в Linux совершенно лишняя, точно также
утверждает сама WD. Т.е иногда к их советам нужно прислушиваться.

> 
> Насколько понимаю, проблема касается WD10EARS, WD15EARS, WD20EARS.
> 
Теоретически любых EARS, поскольку они все - с 4к изначально.

-- 
Толми

Re: [Sysadmins] hard disk drives with 4kb sector

[Michael Shigorin]

On Sat, Feb 27, 2010 at 11:05:19PM +0200, Vasily Tereshko wrote:
> > Вчера проверял на 2.6.27 WD15EARS при lvm прямо на sda,
> > просадки не заметил.  
> pvcreate и vgcreate запускались с какими параметрами ?

Это лучше eostapets@ спросить, вручную только lvcreate делали.

> > А вот насчёт "не должно быть проблем" -- Dear Netch повозился
> > с IDENTIFY DRIVE и перемычкой и пришёл к выводу, что в WD не
> > смогли даже отдать по стандарту данные о размере сектора.
> Что, отдают 512 байт ? Ай, маладца ...

Не то слово.  Хотя забыл добавить -- WD Align вроде как
допытывается, возможно, разобрать и посмотреть был бы смысл.

> > Насколько понимаю, проблема касается WD10EARS, WD15EARS, WD20EARS.
> Теоретически любых EARS, поскольку они все - с 4к изначально.

(ощупывая свои) Не, некоторые вообще без секторов. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] hard disk drives with 4kb sector

[Vasily Tereshko]

27.02.2010 23:31, Michael Shigorin пишет:
> On Sat, Feb 27, 2010 at 11:05:19PM +0200, Vasily Tereshko wrote:
>>> Вчера проверял на 2.6.27 WD15EARS при lvm прямо на sda,
>>> просадки не заметил.  
>> pvcreate и vgcreate запускались с какими параметрами ?
> 
> Это лучше eostapets@ спросить, вручную только lvcreate делали.
> 
Я сделал pvcreate --dataalignment 4096
и поверх xfs с параметрами по умолчанию и вполне удовлетворен работой
под 2.6.27-ovz-smp
Я его брал под хранилище для домашнего мультимедийного сервера, и для
поставленных задач результаты отличные:

[tolmi@serval tmp]$ bonnie -s 10240 -d /opt/tmp
Bonnie 1.4: File '/opt/tmp/Bonnie.6298', size: 10737418240, volumes: 1
Writing with putc()...         done:  35006 kB/s  55.2 %CPU
Rewriting...                   done:  27885 kB/s  17.4 %CPU
Writing intelligently...       done:  46550 kB/s  21.2 %CPU
Reading with getc()...         done:  45388 kB/s  68.4 %CPU
Reading intelligently...       done:  53429 kB/s   8.2 %CPU
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
              ---Sequential Output (nosync)--- ---Sequential Input--
--Rnd Seek-
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block---
--04k (03)-
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU
/sec %CPU
serval 1*10240 35006 55.2 46550 21.2 27885 17.4 45388 68.4 53429  8.2
99.5  0.6

И это на фоне потока с музыкой в одной комнате и потока с "Пропавшими" в
другой ;)

-- 
Толми

Re: [Sysadmins] hard disk drives with 4kb sector

[Vitaly Lipatov]

On 28 февраля 2010, Vasily Tereshko wrote:
> 27.02.2010 23:31, Michael Shigorin пишет:
> > On Sat, Feb 27, 2010 at 11:05:19PM +0200, Vasily Tereshko 
wrote:
> >>> Вчера проверял на 2.6.27 WD15EARS при lvm прямо на sda,
> >>> просадки не заметил.
...
Ну что, пора страницу на вики создавать с описанием всех 
тонкостей?

-- 
С уважением,
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [Sysadmins] hard disk drives with 4kb sector

[Vitaly Lipatov]

On 23 февраля 2010, Michael Shigorin wrote:
> 	Здравствуйте.
> Использующим большие диски WD (и, возможно, иные с физическим
> сектором размером 4096 байт вместо 512) предлагается глянуть
> https://bugzilla.altlinux.org/show_bug.cgi?id=23014
> -- при невыровненных по границе 4k разделах возможны
> существенные потери производительности.
Как мог, записал на
http://www.altlinux.org/РаботаСДисками/WD


-- 
С уважением,
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [Sysadmins] hard disk drives with 4kb sector

[Michael Shigorin]

On Thu, Mar 04, 2010 at 04:07:20AM +0300, Vitaly Lipatov wrote:
> On 23 февраля 2010, Michael Shigorin wrote:
> > Использующим большие диски WD (и, возможно, иные с физическим
> > сектором размером 4096 байт вместо 512) предлагается глянуть
> > https://bugzilla.altlinux.org/show_bug.cgi?id=23014
> > -- при невыровненных по границе 4k разделах возможны
> > существенные потери производительности.
> Как мог, записал на
> http://www.altlinux.org/РаботаСДисками/WD

Я болван :(  Написал и забыл анонсировать
http://www.altlinux.org/BigSector :(

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/