[Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

Привет всем!

Собрались мы тут перевести давно работающие сервера БД с Master 2.4 на 
Branch 4.1 (вопрос - почему не на что-то посвежее - тема отдельная). Ну 
всю логику и базы перевели, вроде отладили, начали гонять, и тут 
заметили: что-то машина более мощная, а работает явно медленнее, чем на 
старой машинке под M24. Начали разбираться, поставили на одну машину 
Master и Branch, для начала тупо стали тестить bonnie++.  Не вдаваясь в 
детали, результат: блочная запись и перезапись под ядрами 2.6.x в 2 с 
лишним раза медленнее, чем под 2.4.33. Остальные характеристики примерно 
одинаковы. Проверялись ядра от 2.6.26 до 2.6.35, различия 
незначительные. Не влияет также ни тип ФС, ни 
использование/неиспользование софтрейда. Гугленье на данную тему ничего 
не дало (ну кроме шедулера BFS, пока не пробовал). Что это, только у 
меня такие грабли ?

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

6 ноября 2010 г. 17:47  Yura Kalinichenko:
> блочная запись и перезапись под ядрами 2.6.x в 2 с лишним раза медленнее,
> чем под 2.4.33. Остальные характеристики примерно одинаковы.

А unixbench что показывает?

Вопрос знатокам: HZ=100/1000 на это влияет?

wbr,
Oleg.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

vx 8400 пишет:
> 6 ноября 2010 г. 17:47  Yura Kalinichenko:
>   
>> блочная запись и перезапись под ядрами 2.6.x в 2 с лишним раза медленнее,
>> чем под 2.4.33. Остальные характеристики примерно одинаковы.
>>     
>
> А unixbench что показывает?
>   
А смысл какой еще один тест пускать ?
Если с одной стороны, субъективные ощущения (тормоза прикладной системы, 
активно работающей с дисками), и с другой - по объективные данные 
(результаты тестирования bonnie++) - говорят об одном и том же ?

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

6 ноября 2010 г. 19:44 Yura Kalinichenko:
> Если с одной стороны, субъективные ощущения (тормоза прикладной системы,
> активно работающей с дисками), и с другой - по объективные данные
> (результаты тестирования bonnie++) - говорят об одном и том же ?

На вывод bonnie++ можно посмотреть c 2.4 и 2.6?

wbr,
Oleg.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

vx 8400 пишет:
> На вывод bonnie++ можно посмотреть c 2.4 и 2.6?
>   
2.4.33:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
master           1G 18316  98 55129  18 20574   4 24019  81 49575   5 314.5   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  2109  96 +++++ +++ +++++ +++  2404  98 +++++ +++ 10794  93
master,1G,18316,98,55129,18,20574,4,24019,81,49575,5,314.5,0,16,2109,96,+++++,+++,+++++,+++,2404,98,+++++

2.6.27:
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
branch           1G 18086  46 22294   7 13560   4 38201  82 46111   7 328.2   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
branch,1G,18086,46,22294,7,13560,4,38201,82,46111,7,328.2,1,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,++

2.6.35:
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
msmserver.bus.co 1G 17371  44 23062  12 13999   6 41440  82 60383   7 184.3   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 18763  92 +++++ +++ 20534  98 19787  97 +++++ +++ 21780  98
msmserver.bus.com.ua,1G,17371,44,23062,12,13999,6,41440,82,60383,7,184.3,0,16,18763,92,+++++,+++,20534,98

-- 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

6 ноября 2010 г. 22:35  Yura Kalinichenko:
>
> 2.4.33:
> Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
>                   -Per Chr- --Block-- -Rewrite- -Per Chr- --Block--   --Seeks--
> Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
> master           1G 18316  98  55129  18  20574   4    24019   81  49575   5   314.5    0
>
> 2.6.27:
> Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
>                   -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
> Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
> branch           1G 18086  46  22294   7   13560   4    38201  82  46111   7    328.2    1

sorry, дурацкий вопрос: block size файловой системы в обоих тестах
один и тот же?
Множитель для block rewrite ~2.

thx,
Oleg.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

vx 8400 пишет:
> sorry, дурацкий вопрос: block size файловой системы в обоих тестах
> один и тот же?
Более того - тестирование выполнялось на одном и том же разделе.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

7 ноября 2010 г. 17:25 Yura Kalinichenko:
> Более того - тестирование выполнялось на одном и том же разделе.

И фс смонтирована одинаково и пр.

Помню, что разница на блочной записи на ext2 (обычный раздел обычного
IDE диска) с 2.4.31 и 2.6.15 была <~10%.

wbr,
Oleg.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

vx 8400 пишет:
> 7 ноября 2010 г. 17:25 Yura Kalinichenko:
>   
>> Более того - тестирование выполнялось на одном и том же разделе.
>>     
>
> И фс смонтирована одинаково и пр.
Разумеется.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

[-- Attachment #1: Type: text/plain, Size: 207 bytes --]

7 ноября 2010 г. 17:38  vx 8400:
> Помню, что разница на блочной записи на ext2 (обычный раздел обычного
> IDE диска) с 2.4.31 и 2.6.15 была <~10%.

Соврал: 2.4.31 -> 2.6.25.
Табличка с unixbench в прицепе.

[-- Attachment #2: 2.4.31-2.6.25.txt --]
[-- Type: text/plain, Size: 3845 bytes --]

   BYTE UNIX Benchmarks (Version 5.1.2)

   System: compas: GNU/Linux
   Machine: i686 (unknown)
   Language: en_US.utf8 (charmap="KOI8-R", collate="KOI8-R")
   CPU 0: Pentium III (Coppermine) (1605.6 bogomips)
          MMX, Physical Address Ext, SYSENTER/SYSEXIT
------------------------------------------------------------------------
                                                             2.4.31                   2.6.25-std-def-alt8.M41.4 
                                            ------------------------------------------------------------------------
Dhrystone 2 using register variables        1467230.4 lps   (10.0 s, 7 samples)    1363184.4 lps   (10.0 s, 7 samples)
Double-Precision Whetstone                      454.4 MWIPS (10.0 s, 7 samples)        587.5 MWIPS (10.1 s, 7 samples)
Execl Throughput                               1885.9 lps   (29.9 s, 2 samples)        398.0 lps   (29.8 s, 2 samples)
File Copy 1024 bufsize 2000 maxblocks         70456.1 KBps  (30.0 s, 2 samples)      74986.0 KBps  (30.0 s, 2 samples)
File Copy 256 bufsize 500 maxblocks           29960.4 KBps  (30.0 s, 2 samples)      33419.7 KBps  (30.0 s, 2 samples)
File Copy 4096 bufsize 8000 maxblocks        102488.0 KBps  (30.0 s, 2 samples)     106400.0 KBps  (30.0 s, 2 samples)
Pipe Throughput                              469376.6 lps   (10.0 s, 7 samples)     292535.0 lps   (10.0 s, 7 samples)
Pipe-based Context Switching                 209730.4 lps   (10.0 s, 7 samples)      56059.3 lps   (10.0 s, 7 samples)
Process Creation                              10652.5 lps   (30.0 s, 2 samples)       2501.7 lps   (30.0 s, 2 samples)
Shell Scripts (1 concurrent)                    417.9 lpm   (60.1 s, 2 samples)        266.2 lpm   (60.2 s, 2 samples)
Shell Scripts (8 concurrent)                     56.3 lpm   (60.8 s, 2 samples)         33.9 lpm   (60.5 s, 2 samples)
System Call Overhead                         419920.4 lps   (10.0 s, 7 samples)     469106.8 lps   (10.0 s, 7 samples)
                                                                                                                      
System Benchmarks Index Values               BASELINE       RESULT    INDEX         BASELINE       RESULT    INDEX
Dhrystone 2 using register variables         116700.0    1467230.4    125.7         116700.0    1363184.4    116.8
Double-Precision Whetstone                       55.0        454.4     82.6             55.0        587.5    106.8
Execl Throughput                                 43.0       1885.9    438.6             43.0        398.0     92.6
File Copy 1024 bufsize 2000 maxblocks          3960.0      70456.1    177.9           3960.0      74986.0    189.4
File Copy 256 bufsize 500 maxblocks            1655.0      29960.4    181.0           1655.0      33419.7    201.9
File Copy 4096 bufsize 8000 maxblocks          5800.0     102488.0    176.7           5800.0     106400.0    183.4
Pipe Throughput                               12440.0     469376.6    377.3          12440.0     292535.0    235.2
Pipe-based Context Switching                   4000.0     209730.4    524.3           4000.0      56059.3    140.1
Process Creation                                126.0      10652.5    845.4            126.0       2501.7    198.5
Shell Scripts (1 concurrent)                     42.4        417.9     98.6             42.4        266.2     62.8
Shell Scripts (8 concurrent)                      6.0         56.3     93.8              6.0         33.9     56.6
System Call Overhead                          15000.0     419920.4    279.9          15000.0     469106.8    312.7
                                                                   ========                               ========
System Benchmarks Index Score                                         217.5                                  140.4    

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

7 ноября 2010 г. 18:47  vx 8400:
> Соврал: 2.4.31 -> 2.6.25.
> Табличка с unixbench в прицепе.
>
Please discard. Там тестировалась запись на nfs. Тест с локальным диском поищу.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Michael Shigorin]

On Sat, Nov 06, 2010 at 07:19:26PM +0100, vx 8400 wrote:
> Вопрос знатокам: HZ=100/1000 на это влияет?

Эээ... в 2005 влиял на общую производительность, именно I/O
или не выделяли, или не помню.  Просадка была очень приличная.
Но нынче ж NOHZ.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Michael Shigorin]

On Sat, Nov 06, 2010 at 06:47:15PM +0200, Yura Kalinichenko wrote:
> Не вдаваясь в детали, результат: блочная запись и перезапись
> под ядрами 2.6.x в 2 с лишним раза медленнее, чем под 2.4.33.
> Остальные характеристики примерно одинаковы. Проверялись ядра
> от 2.6.26 до 2.6.35, различия незначительные. Не влияет также
> ни тип ФС, ни использование/неиспользование софтрейда. Гугленье
> на данную тему ничего не дало (ну кроме шедулера BFS, пока не
> пробовал).  Что это, только у меня такие грабли ?

Погоняй разные io scheduler'ы, меня устроил deadline.

Если вдруг softraid не зеркалом, а 5/6 -- глянь про выравнивание:
http://freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID

Ещё из закромов:

#!/bin/sh
# http://www.mail-archive.com/linux-raid@vger.kernel.org/msg07509.html
# (thanks vsu@)
# https://mail.clusterfs.com/wikis/attachments/LustreManual.html#1.4.3_Proper_Kernel_I/O_Elevator
# `-> The "cfq" and "as" schedulers should never be used for server platform
for i in a b c d e f g h; do
        echo deadline > /sys/block/sd$i/queue/scheduler
        echo 1024 > /sys/block/sd$i/queue/read_ahead_kb
done

# http://scotgate.org/?p=107
echo 2048 > /sys/block/md0/md/stripe_cache_size
#echo 2048 > /sys/block/md4/md/stripe_cache_size

#echo 3000 > /sys/block/md4/md/sync_speed_min
#echo 5000 > /sys/block/md4/md/sync_speed_max

hdparm -a 1024 /dev/sd[a-h] >/dev/null
hdparm -a 4096 /dev/md[04] >/dev/null

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

Michael Shigorin пишет:
> Погоняй разные io scheduler'ы, меня устроил deadline.
>   
Да, конечно. А ты BFQ не пробовал часом ?
> Если вдруг softraid не зеркалом,
Зеркалом, только зеркалом.
> echo 2048 > /sys/block/md0/md/stripe_cache_size
>   
Ммм.. Для raid1 вроде ж страйп не используется ? Да и не только на рейде 
эта ерунда происходит.
> hdparm -a 1024 /dev/sd[a-h] >/dev/null
> hdparm -a 4096 /dev/md[04] >/dev/null
>
>   
Как может read-ahead влиять на производительность записи ? Впрочем попробую.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Michael Shigorin]

On Sat, Nov 06, 2010 at 11:44:30PM +0200, Yura Kalinichenko wrote:
> >Погоняй разные io scheduler'ы, меня устроил deadline.
> Да, конечно. А ты BFQ не пробовал часом ?

Не-а, можешь led@ спросить, у него есть такие (не помню, .27 или .31).

> >hdparm -a 1024 /dev/sd[a-h] >/dev/null
> >hdparm -a 4096 /dev/md[04] >/dev/null
> Как может read-ahead влиять на производительность записи ?

Снижением seek contention, если ляжет на характер чтения.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

Hi, All!

В результате долгих и упорных боев виновник "тормозов" найден. И это - 
"поддержка" SMP в ядре. Не знаю, как в реальной мультипроцессорной 
системе (нету под рукой), но в случае однопроцессорной - независимо от 
того, есть ли там HT или нет - сборка ядра без SMP дает в среднем 
двукратный выигрыш в производительности. На различных платформах Intel и 
AMD. Что показывают и тесты, и субъективные впечатления. Так что рано 
перестали собирать -up ядра, ох рано.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[vx 8400]

17 декабря 2010 г. 10:37 Yura Kalinichenko:
>  в случае однопроцессорной - независимо от того, есть ли
> там HT или нет - сборка ядра без SMP дает в среднем двукратный выигрыш в
> производительности.

Только block rewrite?

Thx,regards,
Oleg.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

vx 8400 пишет:
> 17 декабря 2010 г. 10:37 Yura Kalinichenko:
>   
>>  в случае однопроцессорной - независимо от того, есть ли
>> там HT или нет - сборка ядра без SMP дает в среднем двукратный выигрыш в
>> производительности.
>>     
>
> Только block rewrite?
Увы, не только.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Damir]

> В результате долгих и упорных боев виновник "тормозов" найден. И это -
> "поддержка" SMP в ядре. Не знаю, как в реальной мультипроцессорной системе
> (нету под рукой), но в случае однопроцессорной - независимо от того, есть ли
> там HT или нет - сборка ядра без SMP дает в среднем двукратный выигрыш в
> производительности. На различных платформах Intel и AMD. Что показывают и
> тесты, и субъективные впечатления. Так что рано перестали собирать -up ядра,
> ох рано.
Покажите, пожалуйста, результаты тестов.

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Yura Kalinichenko]

Damir пишет:
>>     
> Покажите, пожалуйста, результаты тестов.
Ну вот типовая картина, unixbench-4.0.1:

                                                      kernels               |     indexes
                                                                            |
                                           2.4.33-up 2.6.27-smp   2.6.27-up | up/smp   2.4/2.6(up)
---------------------------------------------------------------------------------------+---------------------
Arithmetic Test (type = double)             831067,4  759766.4     676133.8 | 0.88       1.22
Dhrystone 2 using register variables       5013867,9 4080404.5    3674679.1 | 0.9        1.36
Execl Throughput                              3582,8    1515.7       2807.7 | 1.85       1.27
File Copy 1024 bufsize 2000 maxblocks       202791,0  128894.0     194383.0 | 1.5        1.04
File Copy 256 bufsize 500 maxblocks          72597,0   37140.0      54127.0 | 1.45       1.34
File Copy 4096 bufsize 8000 maxblocks       410503,0  369411.0     506247.0 | 1.37       0.81
Pipe Throughput                            1375367,5  544135.4     471109.6 | 0.86       2.91
Process Creation                             20115,4    4944.8       9451.6 | 1.91       2.12
Shell Scripts (8 concurrent)                   881,4       0.0        457.3 | ?          1.9
System Call Overhead                       1202914,0  729522.8     652113.2 | 0.89       1.84

2.6.27-up - до 2.4.33 еще не дотягиваем, но с этим уже можно работать. С 
-smp - нельзя.

К тому же, это всего лишь тесты. В случае конкретных задач, с которыми я 
реально сталкиваюсь (аварийное восстановление БД; работа с 
риал-таймовыми устройствами при высокой активности дискового 
ввода-вывода; etc.), - картина значительно хуже, чем могут показать 
какие-либо тесты. Скажу честно, был уже близок к полному отчаянию, пока 
не додумался собрать -up.

-- 
SY, 
   Yura Kalinichenko

Re: [Comm] Запись на жесткий диск - ядро 2.6 хуже, чем 2.4 ???

[Michael Shigorin]

On Fri, Dec 17, 2010 at 11:37:09AM +0200, Yura Kalinichenko wrote:
> В результате долгих и упорных боев виновник "тормозов" найден.
> И это - "поддержка" SMP в ядре. Не знаю, как в реальной
> мультипроцессорной системе (нету под рукой), но в случае
> однопроцессорной - независимо от того, есть ли там HT или нет -
> сборка ядра без SMP дает в среднем двукратный выигрыш в
> производительности. На различных платформах Intel и AMD. Что
> показывают и тесты, и субъективные впечатления. Так что рано
> перестали собирать -up ядра, ох рано.

Хорошо бы подробнее.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/