[Sysadmins] OpenVZ : каких ресурсов не хватает?

[Sysadmins] OpenVZ : каких ресурсов не хватает?

[Eugene Prokopiev]

Здравствуйте!

Требуется в VE запустить не самое тяжелое java-приложение (jManage, хотя 
вряд ли это имеет значение ;) ).  Все попытки заканчиваются печально, 
жалобы java сводятся к нехватке памяти и невозможности запустить еще 
каки-то процессы. И рут в VE при этом получает разные сообщения вроде:

-bash: cannot make pipe for command substitution: Too many open files in 
system
-bash: fork: Cannot allocate memory


Но при этом в /proc/user_beancounters:

        101: kmemsize        2588891    2778574    2752512    2936012 
     1932
             lockedpages           0          0         32         32 
        0
             privvmpages      100083     155725   10000000   11000000 
       50
             shmpages            640        656       8192       8192 
        0
             dummy                 0          0          0          0 
        0
             numproc              53         68        500        500 
        4
             physpages         16718      26209          0 2147483647 
        0
             vmguarpages           0          0       6144 2147483647 
        0
             oomguarpages      16718      26209       6144 2147483647 
        0
             numtcpsock           10         19         80         80 
        0
             numflock              2          3        100        110 
        0
             numpty                2          2         16         16 
        0
             numsiginfo            0         23        256        256 
        0
             tcpsndbuf          2224      40144     319488     524288 
        0
             tcprcvbuf          2400      19136     319488     524288 
        0
             othersockbuf       6672      19040     400000     500000 
        0
             dgramrcvbuf           0       8368     132096     132096 
        0
             numothersock         12         20         80         80 
        0
             dcachesize            0          0    1048576    1097728 
        0
             numfile            1049       1282       2048       2048 
        0
             dummy                 0          0          0          0 
        0
             dummy                 0          0          0          0 
        0
             dummy                 0          0          0          0 
        0
             numiptent            10         10        128        128 
        0


Подозрительны privvmpages и numproc, но они и так задраны выше некуда. И 
не понятно, когда очищается failcnt? service vz restart не помогает. 
Нужно перегружать HN?

-- 
С уважением, Прокопьев Евгений

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Nikolay A. Fetisov]

On Thu, 16 Nov 2006 18:08:40 +0300
Eugene Prokopiev wrote:

> ....
> -bash: cannot make pipe for command substitution: Too many open files in 
> system
> -bash: fork: Cannot allocate memory
> 
> 
> Но при этом в /proc/user_beancounters:
> 
>         101: kmemsize        2588891    2778574    2752512    2936012 
>      1932
      ^^^^^^
Наверное, нужно увеличить размер памяти ядра, доступный VPS.
И посмотреть на вывод утилиты vzcfgvalidate.

> И  не понятно, когда очищается failcnt? 
При перезапуске VPS. См. http://wiki.openvz.org/UBC_failcnt_reset .


-- 
С уважением,	
Николай Фетисов

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 728 bytes --]

Hi Eugene!

Thursday 16, at 06:08:40 PM you wrote:

> Здравствуйте!
> 
> Требуется в VE запустить не самое тяжелое java-приложение (jManage, хотя 
> вряд ли это имеет значение ;) ).  Все попытки заканчиваются печально, 
> жалобы java сводятся к нехватке памяти и невозможности запустить еще 
> каки-то процессы. И рут в VE при этом получает разные сообщения вроде:
> 
> -bash: cannot make pipe for command substitution: Too many open files in 
> system
> -bash: fork: Cannot allocate memory
> 
> 
> Но при этом в /proc/user_beancounters:
> 
>         101: kmemsize        2588891    2778574    2752512    2936012 
>      1932
вот это и увеличивайте. Жаба любит жрать память и отдавать :)

-- 
WBR et al.

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 942 bytes --]

On Thu, Nov 16, 2006 at 11:17:12PM +0300, Konstantin A. Lepikhov wrote:
> Thursday 16, at 06:08:40 PM you wrote:
> 
> > Требуется в VE запустить не самое тяжелое java-приложение (jManage, хотя 
> > вряд ли это имеет значение ;) ).  Все попытки заканчиваются печально, 
> > жалобы java сводятся к нехватке памяти и невозможности запустить еще 
> > каки-то процессы. И рут в VE при этом получает разные сообщения вроде:
> > 
> > -bash: cannot make pipe for command substitution: Too many open files in 
> > system
> > -bash: fork: Cannot allocate memory
> > 
> > Но при этом в /proc/user_beancounters:
> > 
> >         101: kmemsize        2588891    2778574    2752512    2936012 
> >      1932
> вот это и увеличивайте. Жаба любит жрать память и отдавать :)

kmemsize это функция других параметров.  Жаба, конечно, любит жрать, но
в данном случае совет использовать vzcfgvalidate, наверное, более
актуален.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Michael Shigorin]

On Thu, Nov 16, 2006 at 06:08:40PM +0300, Eugene Prokopiev wrote:
> -bash: cannot make pipe for command substitution: Too many open
> files in system
> -bash: fork: Cannot allocate memory

Кстати, диагностика не всегда может быть точной.

> Но при этом в /proc/user_beancounters:

Помогает grep -v ' 0$' /proc/user_beancounters

>         101: kmemsize        2588891    2778574    2752512    2936012       1932

Вот оно и есть, см. vzctl(8).

>              privvmpages      100083     155725   10000000   11000000         50
>              numproc              53         68        500        500          4

BTW 500 -- это не так уж и много при тредовом софте или сборке...

Вообще надо будет профили для разных VE нафиксировать -- "базовый
hasher", "базовый apache"... а то как-то уже поднадоело хорошо
зажатые откручивать на N заметное оборотов.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 592 bytes --]

Michael Shigorin пишет:
>>              privvmpages      100083     155725   10000000   11000000         50
>>              numproc              53         68        500        500          4
>>     
>
> BTW 500 -- это не так уж и много при тредовом софте или сборке...
>
> Вообще надо будет профили для разных VE нафиксировать -- "базовый
> hasher", "базовый apache"... а то как-то уже поднадоело хорошо
> зажатые откручивать на N заметное оборотов.
>   
Точно! Достало уже.
Хотя в доке читал, что можно как-то использовать vzsplit.

-- 
С уважением,
Дубровский Вячеслав.


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3237 bytes --]

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Slava Dubrovskiy]

[-- Attachment #1: Type: text/plain, Size: 879 bytes --]

Slava Dubrovskiy пишет:
> Michael Shigorin пишет:
>   
>>>              privvmpages      100083     155725   10000000   11000000         50
>>>              numproc              53         68        500        500          4
>>>     
>>>       
>> BTW 500 -- это не так уж и много при тредовом софте или сборке...
>>
>> Вообще надо будет профили для разных VE нафиксировать -- "базовый
>> hasher", "базовый apache"... а то как-то уже поднадоело хорошо
>> зажатые откручивать на N заметное оборотов.
>>   
>>     
> Точно! Достало уже.
> Хотя в доке читал, что можно как-то использовать vzsplit.
>   
А еще вот неплохо бы мониторить это. Чтобы когда выскакивает какой-то
failcnt чтобы письмецо или еще как-то хрюкало.
Вроде dstat имеет плагин для openvz -
http://forum.openvz.org/index.php?t=msg&th=1338&#msg_7473

-- 
С уважением,
Дубровский Вячеслав.


[-- Attachment #2: S/MIME Cryptographic Signature --]
[-- Type: application/x-pkcs7-signature, Size: 3237 bytes --]

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 573 bytes --]

* Michael Shigorin <mike@> [061117 12:27]:
> Вообще надо будет профили для разных VE нафиксировать -- "базовый
> hasher", "базовый apache"... а то как-то уже поднадоело хорошо
> зажатые откручивать на N заметное оборотов.
Ну это в принципе просто.  Задираем параметры до "Очень Много",
нагружаем VPS по полной (зависит от задачи), снимаем UBC и
выставляем лимиты в maxheld*{1.2..1.5}.

-- 
Regards, Alexey I. Froloff
AIF5-RIPN, AIF5-RIPE
-------------------------------------------
  Inform-Mobil, Ltd. System Administrator
       http://www.inform-mobil.ru/

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Michael Shigorin]

On Fri, Nov 17, 2006 at 12:12:23PM +0200, Slava Dubrovskiy wrote:
> > Точно! Достало уже.  Хотя в доке читал, что можно как-то
> > использовать vzsplit.
> А еще вот неплохо бы мониторить это. Чтобы когда выскакивает
> какой-то failcnt чтобы письмецо или еще как-то хрюкало.  Вроде
> dstat имеет плагин для openvz -
> http://forum.openvz.org/index.php?t=msg&th=1338&#msg_7473

collectd, кажется, тоже.  Вот только собрать его сейчас не
получается :(

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Vitaly Lipatov]

On Friday 17 November 2006 15:38, Michael Shigorin wrote:
> On Fri, Nov 17, 2006 at 12:12:23PM +0200, Slava Dubrovskiy 
wrote:
> > > Точно! Достало уже.  Хотя в доке читал, что можно как-то
> > > использовать vzsplit.
> >
> > А еще вот неплохо бы мониторить это. Чтобы когда выскакивает
> > какой-то failcnt чтобы письмецо или еще как-то хрюкало. 
> > Вроде dstat имеет плагин для openvz -
> > http://forum.openvz.org/index.php?t=msg&th=1338&#msg_7473
>
> collectd, кажется, тоже.  Вот только собрать его сейчас не
> получается :(
Я не понял, тебе таки помочь с его сборкой? Мне он нужен 
исправный.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! WINE! LaTeX! LyX! http://freesource.info

Re: [Sysadmins] OpenVZ : каких ресурсов не хватает?

[Michael Shigorin]

On Sat, Nov 18, 2006 at 02:03:10AM +0300, Vitaly Lipatov wrote:
> > > > Точно! Достало уже.  Хотя в доке читал, что можно как-то
> > > > использовать vzsplit.
> > > А еще вот неплохо бы мониторить это. Чтобы когда выскакивает
> > > какой-то failcnt чтобы письмецо или еще как-то хрюкало. 
> > > Вроде dstat имеет плагин для openvz -
> > > http://forum.openvz.org/index.php?t=msg&th=1338&#msg_7473
> > collectd, кажется, тоже.  Вот только собрать его сейчас не
> > получается :(
> Я не понял, тебе таки помочь с его сборкой? Мне он нужен
> исправный.

Если не сложно, буду признателен.  Переписку с Димой и авторами
сейчас пришлю.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/