[Hardware] Скорость рейда

[Hardware] Скорость рейда

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1169 bytes --]

Здравствуйте.

Имеется рейд 3ware 9500S-12MI и 12 дисков SATA 320G WDC WD3202ABYS-01B7A0
Железка: Supermicro X7DB8, Два Intel(R) Xeon(R) CPU  5110  @ 1.60GHz, 8G ОЗУ

Стоит задача сделать максимально быстрый вариант для раздачи по сети данных.
Для тестирования использовал команду
# sync; dd if=/dev/zero of=/dev/sde bs=1M count=20480

Тестировал на скорость RAID-10.

Чтение: 108 Мб/с
Запись: 161 Мб/с

Почему скорость записи выше скорости чтения?

Тестировал на скорость RAID-5.
Чтение: 135 Мб/с
Запись: 89 Мб/с

Скажите, это максимум что можно выжать из них или нет?
Мне какжется что это мало, т.к. на сайте
http://www.3ware.com/products/benchmarks_sata.asp приводятся совсем
другие цифры.

Может есть какие-то другие идеи по оптимизации?

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Hardware] Скорость рейда

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 2578 bytes --]

On 08.04.2009 20:36, Maks Re wrote:
> В Wed, 08 Apr 2009 19:32:57 +0300
> Slava Dubrovskiy <slava@tangramltd.com> пишет:
>
>   
>> Здравствуйте.
>>
>> Имеется рейд 3ware 9500S-12MI и 12 дисков SATA 320G WDC
>> WD3202ABYS-01B7A0 Железка: Supermicro X7DB8, Два Intel(R) Xeon(R)
>> CPU  5110  @ 1.60GHz, 8G ОЗУ
>>
>> Стоит задача сделать максимально быстрый вариант для раздачи по сети
>> данных. Для тестирования использовал команду
>> # sync; dd if=/dev/zero of=/dev/sde bs=1M count=20480
>>
>> Тестировал на скорость RAID-10.
>>
>> Чтение: 108 Мб/с
>> Запись: 161 Мб/с
>>
>> Почему скорость записи выше скорости чтения?
>>
>> Тестировал на скорость RAID-5.
>> Чтение: 135 Мб/с
>> Запись: 89 Мб/с
>>
>> Скажите, это максимум что можно выжать из них или нет?
>> Мне какжется что это мало, т.к. на сайте
>> http://www.3ware.com/products/benchmarks_sata.asp приводятся совсем
>> другие цифры.
>>
>> Может есть какие-то другие идеи по оптимизации?
>>
>>     
> вы не рассказали, установлена ли батарейка.
>   
Нет, батарейки нет
> включены ли кеш у дисков
>   
Это не знаю. Разве можно отключить кеш диска? Где посмотреть? Вроде
должно быть включено по умолчанию.
> включен ли кеш на контроллере.
>   
Да, это включено.
> рейд5 будет иметь бОльшую скорость чтения в ставнении с рейд10.
> т.е. в 5 уровне у вас чтение происходит с 12 дисков, за минусов диска на
> четность (очень грубо) т.о. 11 дисков
> в 10 уровне. чтение происходит с 12/2 (тоже очень грубо) т.о. с 6
> дисков.
>   
Ага, это объясняет почему 10 рейд медленнее на чтение пятого. Но по
такую же аналогию можно провести относительно записи. А здесь получается
10 быстрее почти в 2 раза.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Hardware] Скорость рейда

[Maks Re]

> >   
> >> Здравствуйте.
> >>
> >> Имеется рейд 3ware 9500S-12MI и 12 дисков SATA 320G WDC
> >> WD3202ABYS-01B7A0 Железка: Supermicro X7DB8, Два Intel(R) Xeon(R)
> >> CPU  5110  @ 1.60GHz, 8G ОЗУ
> >>
> >> Стоит задача сделать максимально быстрый вариант для раздачи по
> >> сети данных. Для тестирования использовал команду
> >> # sync; dd if=/dev/zero of=/dev/sde bs=1M count=20480
> >>
> >> Тестировал на скорость RAID-10.
> >>
> >> Чтение: 108 Мб/с
> >> Запись: 161 Мб/с
> >>
> >> Почему скорость записи выше скорости чтения?
> >>
> >> Тестировал на скорость RAID-5.
> >> Чтение: 135 Мб/с
> >> Запись: 89 Мб/с
> >>
> >> Скажите, это максимум что можно выжать из них или нет?
> >> Мне какжется что это мало, т.к. на сайте
> >> http://www.3ware.com/products/benchmarks_sata.asp приводятся совсем
> >> другие цифры.
> >>
> >> Может есть какие-то другие идеи по оптимизации?
> >>
> >>     
> > вы не рассказали, установлена ли батарейка.
> >   
> Нет, батарейки нет
> > включены ли кеш у дисков
> >   
> Это не знаю. Разве можно отключить кеш диска? Где посмотреть? Вроде
> должно быть включено по умолчанию.
> > включен ли кеш на контроллере.
> >   
> Да, это включено.
> > рейд5 будет иметь бОльшую скорость чтения в ставнении с рейд10.
> > т.е. в 5 уровне у вас чтение происходит с 12 дисков, за минусов
> > диска на четность (очень грубо) т.о. 11 дисков
> > в 10 уровне. чтение происходит с 12/2 (тоже очень грубо) т.о. с 6
> > дисков.
> >   
> Ага, это объясняет почему 10 рейд медленнее на чтение пятого. Но по
> такую же аналогию можно провести относительно записи. А здесь
> получается 10 быстрее почти в 2 раза.
> 

обычно рейд контроллер _выключает_ кеш у дисков.
для корректной записи блоков данных.

поэтому надо включать кеш на контроллера.
без батарейки обычно кеш контролера _выключен_.
могу быть неправ, но это то что мне вспоминается.

про табличку производительности...
вы удава будете мерить в бегемотах? а они в попугаях...

вообщем там не очень много параметров для оптимизации, но они есть.
кста, рейд10 для отдачи - явный оверхед, имхо.

Re: [Hardware] Скорость рейда

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 1216 bytes --]

On 08.04.2009 22:09, Maks Re wrote:
> обычно рейд контроллер _выключает_ кеш у дисков.
> для корректной записи блоков данных.
>
> поэтому надо включать кеш на контроллера.
> без батарейки обычно кеш контролера _выключен_.
> могу быть неправ, но это то что мне вспоминается.
>   
Там очень мало настроек. Но write cache включен точно.
> про табличку производительности...
> вы удава будете мерить в бегемотах? а они в попугаях...
>   
Я это понимаю. Поэтому и спрашиваю у общественности у кого сколько?

> вообщем там не очень много параметров для оптимизации, но они есть.
> кста, рейд10 для отдачи - явный оверхед, имхо.
>   
А для хостинга? Когда-то слышал что 5 рейд не подходит для хостинга...

-- 

WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Hardware] Скорость рейда

[Maks Re]

В Wed, 08 Apr 2009 22:17:38 +0300
Slava Dubrovskiy <slava@tangramltd.com> пишет:

> On 08.04.2009 22:09, Maks Re wrote:
> > обычно рейд контроллер _выключает_ кеш у дисков.
> > для корректной записи блоков данных.
> >
> > поэтому надо включать кеш на контроллера.
> > без батарейки обычно кеш контролера _выключен_.
> > могу быть неправ, но это то что мне вспоминается.
> >   
> Там очень мало настроек. Но write cache включен точно.
там достаточно настроек.
не забудьте про обновленние фирмваре/биос

> > про табличку производительности...
> > вы удава будете мерить в бегемотах? а они в попугаях...
> >   
> Я это понимаю. Поэтому и спрашиваю у общественности у кого сколько?

# lspci |grep 3ware
02:02.0 RAID bus controller: 3ware Inc 9550SX SATA-RAID

4 диска. рейд 5

# hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   2326 MB in  2.00 seconds = 1162.77 MB/sec
 Timing buffered disk reads:  598 MB in  3.01 seconds = 198.81 MB/sec



> > вообщем там не очень много параметров для оптимизации, но они есть.
> > кста, рейд10 для отдачи - явный оверхед, имхо.
> >   
> А для хостинга? Когда-то слышал что 5 рейд не подходит для хостинга...

для хостинга я бы выбрал mdraid5/6. и камни 53хх-54хх
ну а если есть уже 9500S-12MI - то обязательно прикупил бы батарейку.

 

Re: [Hardware] Скорость рейда

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 2121 bytes --]

On 08.04.2009 23:32, Maks Re wrote:
> поэтому надо включать кеш на контроллера.
>>> без батарейки обычно кеш контролера _выключен_.
>>> могу быть неправ, но это то что мне вспоминается.
>>>   
>>>       
>> Там очень мало настроек. Но write cache включен точно.
>>     
> там достаточно настроек.
>   
Я бы сказал что не очень. Из тех что на скорость влияют так только write
cache и все.
> не забудьте про обновленние фирмваре/биос
>   
Это уже сделал
>>> про табличку производительности...
>>> вы удава будете мерить в бегемотах? а они в попугаях...
>>>   
>>>       
>> Я это понимаю. Поэтому и спрашиваю у общественности у кого сколько?
>>     
> # lspci |grep 3ware
> 02:02.0 RAID bus controller: 3ware Inc 9550SX SATA-RAID
>
> 4 диска. рейд 5
>   
Какие диски?
> # hdparm -tT /dev/sda
>
> /dev/sda:
>  Timing cached reads:   2326 MB in  2.00 seconds = 1162.77 MB/sec
>  Timing buffered disk reads:  598 MB in  3.01 seconds = 198.81 MB/sec
>   
Это щас не могу показать, т.к. инициализируется рейд. Завтра уже.
>>> вообщем там не очень много параметров для оптимизации, но они есть.
>>> кста, рейд10 для отдачи - явный оверхед, имхо.
>>>   
>>>       
>> А для хостинга? Когда-то слышал что 5 рейд не подходит для хостинга...
>>     
> для хостинга я бы выбрал mdraid5/6. и камни 53хх-54хх
> ну а если есть уже 9500S-12MI - то обязательно прикупил бы батарейку.
>   
Батарейка в пути.

-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Hardware] Скорость рейда

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 2904 bytes --]

On 08.04.2009 23:32, Maks Re wrote:
>   
>> Я это понимаю. Поэтому и спрашиваю у общественности у кого сколько?
>>     
> # lspci |grep 3ware
> 02:02.0 RAID bus controller: 3ware Inc 9550SX SATA-RAID
>
> 4 диска. рейд 5
>
> # hdparm -tT /dev/sda
>
> /dev/sda:
>  Timing cached reads:   2326 MB in  2.00 seconds = 1162.77 MB/sec
>  Timing buffered disk reads:  598 MB in  3.01 seconds = 198.81 MB/sec
>
>
>
>   
# tw_cli /c6 show all
/c6 Driver Version = 2.26.02.011
/c6 Model = 9500S-12MI
/c6 Available Memory = 112MB
/c6 Firmware Version = FE9X 2.08.00.009
/c6 Bios Version = BE9X 2.03.01.052
/c6 Boot Loader Version = BL9X 2.02.00.001
/c6 Serial Number = L19103A5130267
/c6 PCB Version = Rev 019
/c6 PCHIP Version = 1.50
/c6 ACHIP Version = 3.20
/c6 Number of Ports = 12
/c6 Number of Drives = 12
/c6 Number of Units = 1
/c6 Total Optimal Units = 1
/c6 Not Optimal Units = 0
/c6 JBOD Export Policy = off
/c6 Disk Spinup Policy = 1
/c6 Spinup Stagger Time Policy (sec) = 2
/c6 Cache on Degrade Policy = Follow Unit Policy

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache 
AVrfy
------------------------------------------------------------------------------
u0    RAID-5    OK             -       -       256K    2682.11   ON     ON

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     OK               u0     298.09 GB   625142448     WD-WCAT13729066
p1     OK               u0     298.09 GB   625142448     WD-WCAT13700088
p2     OK               u0     298.09 GB   625142448     WD-WCAT13710015
p3     OK               u0     298.09 GB   625142448     WD-WCAT13909221
p4     OK               u0     298.09 GB   625142448     WD-WCAT13685774
p5     OK               u0     298.09 GB   625142448     WD-WCAT13699606
p6     OK               u0     298.09 GB   625142448     WD-WCAT13685111
p7     OK               u0     298.09 GB   625142448     WD-WCAT13685348
p8     OK               u0     298.09 GB   625142448     WD-WCAT13909283
p9     OK               u0     298.09 GB   625142448     WD-WCAT13730072
p10    OK               -      298.09 GB   625142448     WD-WCAT13700048
p11    OK               -      298.09 GB   625142448     WD-WCAT13685364

# hdparm -tT /dev/sdd

/dev/sdd:
 Timing cached reads:   5116 MB in  2.00 seconds = 2559.79 MB/sec
 Timing buffered disk reads:  244 MB in  3.00 seconds =  81.29 MB/sec


Вот я и спрашиваю, почему скорость всего 81.29 MB/sec?
При этом диск подключенный не через рейд а на прямую в материнку показывает
/dev/sda:
 Timing cached reads:   4914 MB in  2.00 seconds = 2458.82 MB/sec
 Timing buffered disk reads:  326 MB in  3.00 seconds = 108.62 MB/sec


-- 
WBR,
Dubrovskiy Vyacheslav


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/pkcs7-signature, Size: 3262 bytes --]

Re: [Hardware] Скорость рейда

[Gennadii Redko]

Slava Dubrovskiy пишет:

> # hdparm -tT /dev/sdd
> 
> /dev/sdd:
>  Timing cached reads:   5116 MB in  2.00 seconds = 2559.79 MB/sec
>  Timing buffered disk reads:  244 MB in  3.00 seconds =  81.29 MB/sec
> 
> 
> Вот я и спрашиваю, почему скорость всего 81.29 MB/sec?
> При этом диск подключенный не через рейд а на прямую в материнку показывает
> /dev/sda:
>  Timing cached reads:   4914 MB in  2.00 seconds = 2458.82 MB/sec
>  Timing buffered disk reads:  326 MB in  3.00 seconds = 108.62 MB/sec
> 
А почему должно быть больше?
Ускорение чтения для пятого рейда обычно оценивается для 50%-ного 
попадания в кэш и читающих процессов больше чем один.
Почитайте вот эту презентацию, если интересно:
http://old.ournet.md/~pavelalex/A%20short%20Introduction%20to%20Storage%20Subsystem%20Performance%20V2.1.zip
Она на ИБМ-овском железе, но до какой-то степени их диаграммы верны для 
любых рейдов.

Re: [Hardware] Скорость рейда

[Michael Shigorin]

On Thu, Apr 09, 2009 at 12:32:40AM +0400, Maks Re wrote:
> > > вообщем там не очень много параметров для оптимизации, но
> > > они есть.  кста, рейд10 для отдачи - явный оверхед, имхо.
> > А для хостинга? Когда-то слышал что 5 рейд не подходит для хостинга...

Запись любит цеплять много дисков (поскольку меняются суммы)
-- в результате куча seek'ов.

Для отдачи нечасто модифицируемого контента в относительно
небольшое кол-во потоков RAID5/6 неплох, вот если нагрузка растёт
-- лучше RAID10 (за счёт распараллеливания => уменьшения seek
contention).

Где-то тут пылилась стопка bonnie++ для четырёх Hitachi 1000Gb...

> для хостинга я бы выбрал mdraid5/6

А я бы нет.

> и камни 53хх-54хх

54xx/55xx для хостинговых задач не пробовал, но 51xx и 53xx
оставляют довольно удручающее впечатление.

> ну а если есть уже 9500S-12MI - то обязательно прикупил бы батарейку.

Да, тоже слышал про отключение кэша без неё.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Ivan Fedorov]

[-- Attachment #1: Type: text/plain, Size: 335 bytes --]

Michael Shigorin <mike-nVB1ZwtFQf3sG83rWm+8vg@public.gmane.org> writes:

>> и камни 53хх-54хх
>
> 54xx/55xx для хостинговых задач не пробовал, но 51xx и 53xx
> оставляют довольно удручающее впечатление.

А можно чуть подробнее?

[-- Attachment #2: Type: application/pgp-signature, Size: 196 bytes --]

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 546 bytes --]

Hi Ivan!

Saturday 11, at 11:49:23 PM you wrote:

> Michael Shigorin <mike-nVB1ZwtFQf3sG83rWm+8vg@public.gmane.org> writes:
> 
> >> и камни 53хх-54хх
> >
> > 54xx/55xx для хостинговых задач не пробовал, но 51xx и 53xx
> > оставляют довольно удручающее впечатление.
> 
> А можно чуть подробнее?
Это у Майка возрастное :) 54xx/55xx работают весьма неплохо. Особенно,
если учитывать, что современные решения по виртуализации расчитаны на
продукцию Intel. Вот с набортными SAS'ами ситуация действительно
удучающая.

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость =?utf-8?b?INGA0LXQudC00LA=?=)

[Marat Khayrullin]

В сообщении от Sunday 12 April 2009 00:26:41 Konstantin A. Lepikhov написал(а):
> продукцию Intel. Вот с набортными SAS'ами ситуация действительно
> удучающая.
> 

А можно уточнить, что с ними не так?

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость =?utf-8?b?INGA0LXQudC00LA=?=)

[Konstantin A. Lepikhov]

Hi Marat!

Sunday 12, at 10:51:32 AM you wrote:

> В сообщении от Sunday 12 April 2009 00:26:41 Konstantin A. Lepikhov написал(а):
> > продукцию Intel. Вот с набортными SAS'ами ситуация действительно
> > удучающая.
> > 
> 
> А можно уточнить, что с ними не так?
Если говорить про mptsas (да и про aic9410), то в большинстве этих
недоконтроллеров весь "мозг" запрятан в прошивку, а драйвер всего лишь
является оберткой для интерпритации команд. Т.е. это очень похоже на
софтрейды со всеми вытекающими. Например, у вас может не работать hotplug,
или прошивка будет иметь разные с вами мнения о том, нужно ли выкинуть
диск из массива.

-- 
WBR et al.

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость =?utf-8?b?INGA0LXQudC00LA=?=)

[Michael Shigorin]

On Sun, Apr 12, 2009 at 12:58:33PM +0400, Konstantin A. Lepikhov wrote:
> > А можно уточнить, что с ними не так?
> Если говорить про mptsas (да и про aic9410), то в большинстве
> этих недоконтроллеров

Вообще-то mptsas бывают и железные.  aic9410 -- не держал.

-- 
root@triton ~ # mpt-status
ioc0 vol_id 0 type IM, 2 phy, 135 GB, state OPTIMAL, flags ENABLED
ioc0 phy 0 scsi_id 2 SEAGATE  ST3146855SS      S512, 136 GB, state ONLINE, flags NONE
ioc0 phy 1 scsi_id 1 SEAGATE  ST3146855SS      S512, 136 GB, state ONLINE, flags NONE

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Maxim Tyurin]

Konstantin A. Lepikhov writes:

> Это у Майка возрастное :) 54xx/55xx работают весьма неплохо. Особенно,
> если учитывать, что современные решения по виртуализации расчитаны на
> продукцию Intel.

Это какие? Xen HVM перестал тупить на Intel?

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Konstantin A. Lepikhov]

Hi Maxim!

Monday 13, at 03:11:22 PM you wrote:

> Konstantin A. Lepikhov writes:
> 
> > Это у Майка возрастное :) 54xx/55xx работают весьма неплохо. Особенно,
> > если учитывать, что современные решения по виртуализации расчитаны на
> > продукцию Intel.
> 
> Это какие? Xen HVM перестал тупить на Intel?
KVM не тупит.

-- 
WBR et al.

Re: [Hardware] Intel Xeon vs Hosting

[Maxim Tyurin]

Konstantin A. Lepikhov writes:

> Hi Maxim!
>
> Monday 13, at 03:11:22 PM you wrote:
>
>> Konstantin A. Lepikhov writes:
>> 
>> > Это у Майка возрастное :) 54xx/55xx работают весьма неплохо. Особенно,
>> > если учитывать, что современные решения по виртуализации расчитаны на
>> > продукцию Intel.
>> 
>> Это какие? Xen HVM перестал тупить на Intel?
> KVM не тупит.

Спасибо. Надо проверить.
Только kvm еще очень мало что умеет :(
Да и больше 50% серверов у нас уже на оптеронах ;)
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Hardware] Intel Xeon vs Hosting

[Konstantin A. Lepikhov]

Hi Maxim!

Wednesday 15, at 05:00:35 PM you wrote:

> Konstantin A. Lepikhov writes:
> 
> > Hi Maxim!
> >
> > Monday 13, at 03:11:22 PM you wrote:
> >
> >> Konstantin A. Lepikhov writes:
> >> 
> >> > Это у Майка возрастное :) 54xx/55xx работают весьма неплохо. Особенно,
> >> > если учитывать, что современные решения по виртуализации расчитаны на
> >> > продукцию Intel.
> >> 
> >> Это какие? Xen HVM перестал тупить на Intel?
> > KVM не тупит.
> 
> Спасибо. Надо проверить.
> Только kvm еще очень мало что умеет :(
Я бы не сказал - http://et.redhat.com/~rjones/virt-ctrl/ очень неплох.

> Да и больше 50% серверов у нас уже на оптеронах ;)
Лучше nehalem'ы ;)

-- 
WBR et al.

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Michael Shigorin]

On Mon, Apr 13, 2009 at 06:00:27PM +0400, Konstantin A. Lepikhov wrote:
> > Это какие? Xen HVM перестал тупить на Intel?
> KVM не тупит.

Один работает шустро, а несколько контекстов ты мерял по просадке?
У Intel VT (а не Xen) было слабое место -- кажется, полный сброс
кэша при переключении.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] Intel Xeon vs Hosting (was: Скорость рейда)

[Michael Shigorin]

On Sun, Apr 12, 2009 at 12:26:41AM +0400, Konstantin A. Lepikhov wrote:
> > >> и камни 53хх-54хх
> > > 54xx/55xx для хостинговых задач не пробовал
      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
> > > но 51xx и 53xx оставляют довольно удручающее впечатление.
> > А можно чуть подробнее?

FBDIMM заточены под линейную прокачку и сильно проигрывают DDR
на произвольном доступе.

У Xeon безумная цена переключения контекстов, причём
припоминается, что она выражается во времени -- т.е. в тиках
потери с ростом частоты только растут.

У 51xx плохо с масштабируемостью, два сокета -- 75%, что ли.

А ещё у 51/53/54xx к этому всему прилагается отдельный
потребитель 20W в виде внешнего контроллера памяти (неактуально
для недавно анонсированного 55xx, там с запозданием в год DDR3).

В общем, по состоянию на 51xx единственной разумной сферой
применения благодаря двум техническим отличиям (заточка памяти
и сложить-умножить) для Xeon были кластеры, 53xx от них ничем
хорошим не отличались (четыре очень тормозных на апаче ядра
вместо двух умеренно тормозных -- частота-то ниже), а 54xx
действительно просто уже не бенчил -- на хостинге прекрасно
справляется двухсокетный дуалкорный атлон с SAS-зеркалом.

> Это у Майка возрастное :) 54xx/55xx работают весьма неплохо.

Костик, перечитай отчёркнутое.  55xx на полочке лежат, кстати.
Но вряд ли руки дойдут до ab(8) по той же TYPO3 на них.

> Вот с набортными SAS'ами ситуация действительно удучающая.

Каналы и каналы, софтрейд и вперёд.  Не забыть только в BIOS
оторвать какой SWRAID, если это нечто вроде SAS1064ET.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Hardware] Скорость рейда

[Maxim Tyurin]

Maks Re writes:

> поэтому надо включать кеш на контроллера.
> без батарейки обычно кеш контролера _выключен_.
> могу быть неправ, но это то что мне вспоминается.

Выключено кеширование записи. Кешированиее чтения включено по
умолчанию. 
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Hardware] Скорость рейда

[AShen]

Slava Dubrovskiy пишет:
> On 08.04.2009 20:36, Maks Re wrote:
>   
>> вы не рассказали, установлена ли батарейка.
>>   
>>     
> Нет, батарейки нет
>   
К примеру, на контролере Intel SRCU42X при отсутствии BBU кэш не 
работает. Так же не работают режимы упреждающего чтения/записи. Т.е. 
идёт прямое чтение/запись, что существенно снижает производительность.

Re: [Hardware] Скорость рейда

[Maxim Tyurin]

Slava Dubrovskiy writes:

> Скажите, это максимум что можно выжать из них или нет?
> Мне какжется что это мало, т.к. на сайте
> http://www.3ware.com/products/benchmarks_sata.asp приводятся совсем
> другие цифры.
>
> Может есть какие-то другие идеи по оптимизации?

Если будет в основном чтение - то raid5 оптимальный выбор.
А настройки ОС делались для повышения производительности рейда.

И еше 3ware очень любит IO scheduler deadline.
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/