[Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Andrei M. Laptev]

Здравствуйте,
есть у нас сервер 2 * iP3 / 1Gb крутиться на нем в основном 
FirebirdCS и squid c leafnode
после перехода на мастер -2.2  периодически наблюдаются 
тормоза, при работающих
5-10 клиентах с базой начинает расти load average с обычного 
значения 0.5 - 1.5 вырастает
до 6, а частенько и до 8-9, при этом все работающие с 
firebird-ом жалуются на дикие тормоза.
При этом top не показывает процессы явно и много пожирающие 
ресурсы.

Есть ли способы с этим бороться ?
-- 
С уважением,
Лаптев Андрей

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Andrei M. Laptev]

Вот что показывае top  в подобных случаях:

13:05:16  up 11 days, 17:25,  3 users,  load average: 10.93, 
7.59, 4.87
142 processes: 141 sleeping, 1 running, 0 zombie, 0 stopped
CPU0 states: 21.1% user,  8.2% system,  0.0% nice,  0.0% 
iowait, 70.0% idle
CPU1 states: 16.2% user,  4.0% system,  0.0% nice,  0.0% 
iowait, 79.2% idle
Mem:  1033844k av, 1020372k used,   13472k free,       0k 
shrd,    4788k buff
          7024k active,              90156k inactive
Swap: 3124520k av,    2280k used, 3122240k free 
       91520k cached

   PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM 
TIME COMMAND
  8961 squid     18   0  1640 1640   372 S    12.4  0.1 
79:27 redirector
  8960 squid     11   0  1640 1640   372 S     7.9  0.1 
148:29 redirector
  8962 squid      9   0  1640 1640   372 S     6.7  0.1 
56:15 redirector
  4084 firebird  16   0  1108 1108   820 S     4.1  0.1 
0:10 top
  2668 firebird   9   0 42212  41M  5404 D     3.9  4.0 
1:51 fb_inet_server
  1189 firebird   9   0 39932  38M  5420 S     3.1  3.8 
3:57 fb_inet_server
  2401 firebird   9   0 40828  39M  5384 S     1.7  3.9 
0:38 fb_inet_server
  2086 firebird  11   0 35472  34M  5452 D     1.5  3.4 
0:49 fb_inet_server
  2858 firebird   9   0 33224  32M  5384 D     1.5  3.2 
0:31 fb_inet_server
  4099 root      16   0  1000 1000   724 R     1.5  0.0 
0:02 top
   685 firebird  11   0 36800  35M  5468 D     1.1  3.5 
3:29 fb_inet_server
  1911 firebird  12   0 39212  38M  5420 D     0.9  3.7 
1:23 fb_inet_server
  1930 firebird   9   0 34972  34M  5380 D     0.7  3.3 
6:05 fb_inet_server
  1774 firebird   9   0 41364  40M  5380 D     0.5  4.0 
3:27 fb_inet_server
  1894 firebird   9   0 42816  41M  5472 S     0.5  4.1 
3:32 fb_inet_server
     5 root       9   0     0    0     0 SW    0.3  0.0 
8:27 kswapd
  1148 root       9   0   868  764   640 S     0.3  0.0 
0:25 sshd
16313 squid      9   0 25044  24M  1636 S     0.1  2.4 
22:01 squid
  1942 firebird   9   0 44688  43M  5456 S     0.1  4.3 
4:38 fb_inet_server
     1 root       8   0   172  144   104 S     0.0  0.0 
0:17 init

сразу скажу что squid с редиректорами, работает постоянно и 
течении рабочего дня дает равномерную нагрузку, как в прочем 
и firebird но периодически наступают жуткие тормоза. И еще 
мы заметили следующую особенность - раньше да мастера 2.2 на 
серваке стоял АСП7.2 с тем же набором софта, там
изначально был 1Гб свапа, но наши программеры умудрялись при 
тестах грузить firebird так что
кончался весь этот 1Гб и там приходилось добавлять еще гиг в 
виде файла, при переходе на мастер
выделили  под свап 3 раздела по 1 Гб на 3-х дисках, но 
теперь свап практически всегда пуст. Может
быть это связано с наблюдающимися тормозами.
-- 
С уважением,
Лаптев Андрей

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Denis S. Filimonov]

Тормоза, очевидно, вызваны дисковой подсистемой.
Скорее всего надо firebird понастраивать в этом отношении, или более 
быстрые диски ставить.

On Monday 10 June 2002 15:21, Andrei M. Laptev wrote:
> Вот что показывае top  в подобных случаях:
>
> 13:05:16  up 11 days, 17:25,  3 users,  load average: 10.93,
> 7.59, 4.87
> 142 processes: 141 sleeping, 1 running, 0 zombie, 0 stopped
> CPU0 states: 21.1% user,  8.2% system,  0.0% nice,  0.0%
> iowait, 70.0% idle
> CPU1 states: 16.2% user,  4.0% system,  0.0% nice,  0.0%
> iowait, 79.2% idle
> Mem:  1033844k av, 1020372k used,   13472k free,       0k
> shrd,    4788k buff
>           7024k active,              90156k inactive
> Swap: 3124520k av,    2280k used, 3122240k free
>        91520k cached
>
>    PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM
> TIME COMMAND
>   8961 squid     18   0  1640 1640   372 S    12.4  0.1
> 79:27 redirector
>   8960 squid     11   0  1640 1640   372 S     7.9  0.1
> 148:29 redirector
>   8962 squid      9   0  1640 1640   372 S     6.7  0.1
> 56:15 redirector
>   4084 firebird  16   0  1108 1108   820 S     4.1  0.1
> 0:10 top
>   2668 firebird   9   0 42212  41M  5404 D     3.9  4.0
> 1:51 fb_inet_server
>   1189 firebird   9   0 39932  38M  5420 S     3.1  3.8
> 3:57 fb_inet_server
>   2401 firebird   9   0 40828  39M  5384 S     1.7  3.9
> 0:38 fb_inet_server
>   2086 firebird  11   0 35472  34M  5452 D     1.5  3.4
> 0:49 fb_inet_server
>   2858 firebird   9   0 33224  32M  5384 D     1.5  3.2
> 0:31 fb_inet_server
>   4099 root      16   0  1000 1000   724 R     1.5  0.0
> 0:02 top
>    685 firebird  11   0 36800  35M  5468 D     1.1  3.5
> 3:29 fb_inet_server
>   1911 firebird  12   0 39212  38M  5420 D     0.9  3.7
> 1:23 fb_inet_server
>   1930 firebird   9   0 34972  34M  5380 D     0.7  3.3
> 6:05 fb_inet_server
>   1774 firebird   9   0 41364  40M  5380 D     0.5  4.0
> 3:27 fb_inet_server
>   1894 firebird   9   0 42816  41M  5472 S     0.5  4.1
> 3:32 fb_inet_server
>      5 root       9   0     0    0     0 SW    0.3  0.0
> 8:27 kswapd
>   1148 root       9   0   868  764   640 S     0.3  0.0
> 0:25 sshd
> 16313 squid      9   0 25044  24M  1636 S     0.1  2.4
> 22:01 squid
>   1942 firebird   9   0 44688  43M  5456 S     0.1  4.3
> 4:38 fb_inet_server
>      1 root       8   0   172  144   104 S     0.0  0.0
> 0:17 init
>
> сразу скажу что squid с редиректорами, работает постоянно и
> течении рабочего дня дает равномерную нагрузку, как в прочем
> и firebird но периодически наступают жуткие тормоза. И еще
> мы заметили следующую особенность - раньше да мастера 2.2 на
> серваке стоял АСП7.2 с тем же набором софта, там
> изначально был 1Гб свапа, но наши программеры умудрялись при
> тестах грузить firebird так что
> кончался весь этот 1Гб и там приходилось добавлять еще гиг в
> виде файла, при переходе на мастер
> выделили  под свап 3 раздела по 1 Гб на 3-х дисках, но
> теперь свап практически всегда пуст. Может
> быть это связано с наблюдающимися тормозами.

-- 
A language that doesn't affect the way you think about programming is
not worth knowing.

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Andrei M. Laptev]

Denis S. Filimonov пишет:
> Тормоза, очевидно, вызваны дисковой подсистемой.
> Скорее всего надо firebird понастраивать в этом отношении, или более 
> быстрые диски ставить.
> 
> 
Тогда  вопрос:
значения выдаваемые hdparm следует считать  низкими, 
нормальными, высокими ?

[root@o2 root]# hdparm -tT /dev/sda
/dev/sda:
  Timing buffer-cache reads:   128 MB in  0.57 seconds 
=224.56 MB/sec
  Timing buffered disk reads:  64 MB in  1.22 seconds = 
52.46 MB/sec

[root@o2 root]# hdparm -tT /dev/sdb
/dev/sdb:
  Timing buffer-cache reads:   128 MB in  0.55 seconds 
=232.73 MB/sec
  Timing buffered disk reads:  64 MB in  1.92 seconds = 
33.33 MB/sec

[root@o2 root]# hdparm -tT /dev/sdc
/dev/sdc:
  Timing buffer-cache reads:   128 MB in  0.54 seconds 
=237.04 MB/sec
  Timing buffered disk reads:  64 MB in  4.81 seconds = 
13.31 MB/sec

Винты такие:  cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
   Vendor: FUJITSU  Model: MAN3367MP        Rev: 0109
   Type:   Direct-Access                    ANSI SCSI 
revision: 03
Host: scsi0 Channel: 00 Id: 01 Lun: 00
   Vendor: IBM      Model: DDYS-T18350N     Rev: S96H
   Type:   Direct-Access                    ANSI SCSI 
revision: 03
Host: scsi0 Channel: 00 Id: 02 Lun: 00
   Vendor: IBM      Model: DDYS-T18350N     Rev: S96H
   Type:   Direct-Access                    ANSI SCSI 
revision: 03

-- 
С уважением,
Лаптев Андрей

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Denis S. Filimonov]

On Monday 10 June 2002 18:15, Andrei M. Laptev wrote:
> Denis S. Filimonov пишет:
> > Тормоза, очевидно, вызваны дисковой подсистемой.
> > Скорее всего надо firebird понастраивать в этом отношении, или
> > более быстрые диски ставить.
>
> Тогда  вопрос:
> значения выдаваемые hdparm следует считать  низкими,
> нормальными, высокими ?
первый диск нормальный для 10K RPM, остальные маленькие, но похоже что 
просто замеряли на нагруженой машине...
Собственно, абсолютная производительность редко бывает интересна, обычно 
важнее хватает ее или нет :-)

>
> [root@o2 root]# hdparm -tT /dev/sda
> /dev/sda:
>   Timing buffer-cache reads:   128 MB in  0.57 seconds
> =224.56 MB/sec
>   Timing buffered disk reads:  64 MB in  1.22 seconds =
> 52.46 MB/sec
>
> [root@o2 root]# hdparm -tT /dev/sdb
> /dev/sdb:
>   Timing buffer-cache reads:   128 MB in  0.55 seconds
> =232.73 MB/sec
>   Timing buffered disk reads:  64 MB in  1.92 seconds =
> 33.33 MB/sec
>
> [root@o2 root]# hdparm -tT /dev/sdc
> /dev/sdc:
>   Timing buffer-cache reads:   128 MB in  0.54 seconds
> =237.04 MB/sec
>   Timing buffered disk reads:  64 MB in  4.81 seconds =
> 13.31 MB/sec
>

[Comm] Re: master-2.2 периодические тормоза с LA доходящим до 8-9

[Sergey Vlasov]

On Mon, 10 Jun 2002 16:15:53 +0500
"Andrei M. Laptev" <aml@softex.ru> wrote:

> Denis S. Filimonov пишет:
> > Тормоза, очевидно, вызваны дисковой подсистемой.
> > Скорее всего надо firebird понастраивать в этом отношении, или более 
> > быстрые диски ставить.
> > 
> > 
> Тогда  вопрос:
> значения выдаваемые hdparm следует считать  низкими, 
> нормальными, высокими ?
> 
> [root@o2 root]# hdparm -tT /dev/sda
> /dev/sda:
>   Timing buffer-cache reads:   128 MB in  0.57 seconds 
> =224.56 MB/sec
>   Timing buffered disk reads:  64 MB in  1.22 seconds = 
> 52.46 MB/sec
> 
> [root@o2 root]# hdparm -tT /dev/sdb
> /dev/sdb:
>   Timing buffer-cache reads:   128 MB in  0.55 seconds 
> =232.73 MB/sec
>   Timing buffered disk reads:  64 MB in  1.92 seconds = 
> 33.33 MB/sec
> 
> [root@o2 root]# hdparm -tT /dev/sdc
> /dev/sdc:
>   Timing buffer-cache reads:   128 MB in  0.54 seconds 
> =237.04 MB/sec
>   Timing buffered disk reads:  64 MB in  4.81 seconds = 
> 13.31 MB/sec

Этот явно тормозной.

> Винты такие:  cat /proc/scsi/scsi
> Attached devices:
> Host: scsi0 Channel: 00 Id: 00 Lun: 00
>    Vendor: FUJITSU  Model: MAN3367MP        Rev: 0109
>    Type:   Direct-Access                    ANSI SCSI 
> revision: 03
> Host: scsi0 Channel: 00 Id: 01 Lun: 00
>    Vendor: IBM      Model: DDYS-T18350N     Rev: S96H
>    Type:   Direct-Access                    ANSI SCSI 
> revision: 03
> Host: scsi0 Channel: 00 Id: 02 Lun: 00
>    Vendor: IBM      Model: DDYS-T18350N     Rev: S96H
>    Type:   Direct-Access                    ANSI SCSI 
> revision: 03

С учётом того, что второй и третий винты одной модели - что-то тут не
так.

[Comm] Re[2]: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Maxim Ivanov]

Здравствуйте, Andrei,

Уважаемый!
Пожалуйста, поправьте дату. У моего почтовика крышу сносит.
У вас на дворе 10 июня 2002 года.



_________________
Максим Иванов

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Maxim.Savrilov]

On Mon, 10 Jun 2002 13:21:57 +0500
"Andrei M. Laptev" <aml@softex.ru> wrote:

[skip]
> сразу скажу что squid с редиректорами, работает постоянно и 
> течении рабочего дня дает равномерную нагрузку, как в прочем 
> и firebird но периодически наступают жуткие тормоза. И еще 
> мы заметили следующую особенность - раньше да мастера 2.2 на 
> серваке стоял АСП7.2 с тем же набором софта, там
> изначально был 1Гб свапа, но наши программеры умудрялись при 
> тестах грузить firebird так что
> кончался весь этот 1Гб и там приходилось добавлять еще гиг в 
> виде файла, при переходе на мастер
> выделили  под свап 3 раздела по 1 Гб на 3-х дисках, но 
> теперь свап практически всегда пуст. Может
> быть это связано с наблюдающимися тормозами.

а что пишется в логах во время тормозов?
у меня недавно было такое
SquidGuard настроил на подмену мп3 на свой файлик
и вот от какого-то бешеного клиента поперли тучами запросы
лог и провис - 70 мег в минуту

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Andrei M. Laptev]

Maxim.Savrilov@socenter.ru пишет:
> а что пишется в логах во время тормозов?
> у меня недавно было такое
> SquidGuard настроил на подмену мп3 на свой файлик
> и вот от какого-то бешеного клиента поперли тучами запросы
> лог и провис - 70 мег в минуту
> 
Да нет, в этом плане вроде все нормально,  место на дисках 
есть,  логи растут с обычной скоростью.


-- 
С уважением,
Лаптев Андрей

Re: [Comm] master-2.2 периодические тормоза с LA доходящим до 8-9

[Andrei M. Laptev]

Andrei M. Laptev пишет:
> Здравствуйте,
> есть у нас сервер 2 * iP3 / 1Gb крутиться на нем в основном FirebirdCS и 
> squid c leafnode
> после перехода на мастер -2.2  периодически наблюдаются тормоза, при 
> работающих
> 5-10 клиентах с базой начинает расти load average с обычного значения 
> 0.5 - 1.5 вырастает
> до 6, а частенько и до 8-9, при этом все работающие с firebird-ом 
> жалуются на дикие тормоза.
> При этом top не показывает процессы явно и много пожирающие ресурсы.
> 
> Есть ли способы с этим бороться ?
Спасибо всем откликнувшимся.
дело похоже было в самом FB и проблема видимо решена - вчера 
вечером и сегодня описанные симптомы больше не наблюдаются. 
Вывод к которому пришли в firebird-овской эхе таков:

похоже, была зависшая in-limbo транзакция, потому что gstat 
сказал, что oldest transaction = 5324, oldest active = 2983890
Сделал gfix -rollback all,  gfix -sweep, вроде зашуршало.

-- 
С уважением,
Лаптев Андрей