[devel] Нехватка памяти

[devel] Нехватка памяти

[Yury Aliaev]

Впервые :) в своей жизни столкнулся с проблемой: если программа отжирает 
всю имеющуюся в системе память, ядро её молча отстреливает. Посему 
возникло предложение: нельзя ли этои процесс сделать менее жестоким. 
Идей пока 2:
1) Написать прогу, отслеживающую, сколько свопа отожрано, и при 
превышении порога (скажем, 95%), она делала бы страшные глаза, что, мол, 
скоро начнётся сезон охоты за приложениями ;) По крайней мере, 
пользователь был бв предупреждён, и, быть может, успел бы что-нибудь 
предпринять;
2) Пропатчить ядро, чтобы malloc при невозможность выделить указанный 
объём память просто выдавал бы NULL, а не приводил бы к летальному 
исходу. Если прога, malloc'ающая, умная, то она поймёт, в чём дело, и 
предпримет какие-нибудь действия, а если глупая, то просто упадёт в 
Segfault, что практически эквивалентно тому, как если бы её прибило ядро.

Покритикуете?

[devel] Re: Нехватка памяти

[Michael Shigorin]

On Mon, Jul 12, 2004 at 01:20:20PM +0400, Yury Aliaev wrote:
> Покритикуете?

В lkml точно покритикуют...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Нехватка памяти

[Denis Ovsienko]

> 1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
> превышении порога (скажем, 95%), она делала бы страшные глаза, что, мол,
> скоро начнётся сезон охоты за приложениями ;) По крайней мере,
> пользователь был бв предупреждён, и, быть может, успел бы что-нибудь
> предпринять;
При острой нехватке памяти этот сторож скорее всего до процессора не
доберётся.

> 2) Пропатчить ядро, чтобы malloc при невозможность выделить указанный
> объём память просто выдавал бы NULL, а не приводил бы к летальному
> исходу. Если прога, malloc'ающая, умная, то она поймёт, в чём дело, и
> предпримет какие-нибудь действия, а если глупая, то просто упадёт в
> Segfault, что практически эквивалентно тому, как если бы её прибило ядро.
Назначить ulimit и ровно таким же образом и получится.

-- 
    DO4-UANIC

Re: [devel] Нехватка памяти

[Yury Aliaev]

Denis Ovsienko wrote:

>>1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
>>превышении порога (скажем, 95%), она делала бы страшные глаза, что, мол,
>>скоро начнётся сезон охоты за приложениями ;) По крайней мере,
>>пользователь был бв предупреждён, и, быть может, успел бы что-нибудь
>>предпринять;
>>
> При острой нехватке памяти этот сторож скорее всего до процессора не
> доберётся.


Всё зависит от установленного порого и скорости освоения памяти.

> 
> 
>>2) Пропатчить ядро, чтобы malloc при невозможность выделить указанный
>>объём память просто выдавал бы NULL, а не приводил бы к летальному
>>исходу. Если прога, malloc'ающая, умная, то она поймёт, в чём дело, и
>>предпримет какие-нибудь действия, а если глупая, то просто упадёт в
>>Segfault, что практически эквивалентно тому, как если бы её прибило ядро.
>>
> Назначить ulimit и ровно таким же образом и получится.


Спасибо, пойду man ulimit покурю...

[devel] Re: Нехватка памяти

[Michael Shigorin]

On Mon, Jul 12, 2004 at 01:20:20PM +0400, Yury Aliaev wrote:
> 1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
> превышении порога (скажем, 95%), она делала бы страшные глаза,

Недавно на freshmeat пробегал swapd, что ли -- который в
сконфигурированном аварийном порядке добавит в таком случае
свопа.

Мож это более живучий выход?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] Re: Нехватка памяти

[Yury Aliaev]

Michael Shigorin wrote:

> On Mon, Jul 12, 2004 at 01:20:20PM +0400, Yury Aliaev wrote:
> 
>>1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
>>превышении порога (скажем, 95%), она делала бы страшные глаза,
>>
> 
> Недавно на freshmeat пробегал swapd, что ли -- который в
> сконфигурированном аварийном порядке добавит в таком случае
> свопа.
> 
> Мож это более живучий выход?
> 


Хорошая imho идея. Только откуда этот своп возьмётся? В этом случае 
придётся держать кусок свопового раздела зарезервированным для 
экстренных ситуаций. И всё равно, должны быть вопли по поводу нехватки 
свопа, чтоб пользователь знал, что скоро станет _совсем_плохо_...

P.S. По поводу ulimit'а. Под рукой нашёлся сабж от Slackware 7, может, 
конечно, сейчас всё по-другому, но там я не нашёл ограничения объёма 
памяти, выделяемой всем процессам в целом, есть только попроцессное 
ограничение. А моя задумка ка раз и состояла в том, чтобы, скажем, если 
у меня есть свободных 100 М оперативки + 200 М свопа, и процесс хочет 
занять 250 из них -- Бога ради, но если после этого другой процесс 
захочет отхватить более 50 М, то он уже и обломится (в смысле получит 
NULL на выходе malloc'a).

Re: [devel] Re: Нехватка памяти

[Sergey Pinaev]

hi.
On Mon, 12 Jul 2004 14:37:52 +0400
Yury Aliaev <mutab0r@rambler.ru> wrote:

YA> Хорошая imho идея. Только откуда этот своп возьмётся? В этом случае 

Про своп в файле не слышали? =/

-- 
mail="Sergey Pinaev <dfo@antex.ru>"
url="http://`echo $mail | sed 's/.* <\(.*\)@\(.*\)>/\1.\2/'`"

Re: Re: [devel] Re: Нехватка памяти

[Yury Aliaev]

Sergey Pinaev wrote:

> YA> Хорошая imho идея. Только откуда этот своп возьмётся? В этом случае 
> 
> Про своп в файле не слышали? =/


Слышал, и так и не понял в чём прикол. Получаем лишнюю зависимость от 
глюков ФС, на которой этот файл расположен + доп. тормоза по аналогичным 
причинам. Имхо всё это маздайщина.

Re: [devel] Re: Нехватка памяти

[Sergey Pinaev]

hi.
On Mon, 12 Jul 2004 14:56:25 +0400
Yury Aliaev <mutab0r@rambler.ru> wrote:

>> YA> Хорошая imho идея. Только откуда этот своп возьмётся? В этом случае
>> 
>> Про своп в файле не слышали? =/

YA> Слышал, и так и не понял в чём прикол. Получаем лишнюю зависимость от 
YA> глюков ФС, на которой этот файл расположен + доп. тормоза по
YA> аналогичным причинам. Имхо всё это маздайщина.

Ох.
Даже и сказать то нечего.

-- 
mail="Sergey Pinaev <dfo@antex.ru>"
url="http://`echo $mail | sed 's/.* <\(.*\)@\(.*\)>/\1.\2/'`"

[JT] Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 1258 bytes --]

В сообщении от Понедельник 12 Июль 2004 13:56 Sergey Pinaev написал(a):
> hi.
> On Mon, 12 Jul 2004 14:56:25 +0400
>
> Yury Aliaev <mutab0r@rambler.ru> wrote:
> >> YA> Хорошая imho идея. Только откуда этот своп возьмётся? В этом случае
> >>
> >> Про своп в файле не слышали? =/
>
> YA> Слышал, и так и не понял в чём прикол. Получаем лишнюю зависимость от
> YA> глюков ФС, на которой этот файл расположен + доп. тормоза по
> YA> аналогичным причинам. Имхо всё это маздайщина.
>
> Ох.
> Даже и сказать то нечего.

да блин.
своп файл можно создать динамически. для этого он и нужен. вроде в fhs даже 
есть /swap для этих случаев. 
хотя в чем _тут_ прикол - мне непонятно. понятно, что не на корневом. /swap на 
отдельном разделе. а что тогда мешает этот раздел выделить под нормальный 
свап? 

а польза свап-файлов как таковых - очевидна. компилировал я ядро и софтинку, 
параллельно перегоняя в divx фильм. работать на машине невозможно, так что я 
читал газетку, поглядывая на top. и вот вижу что 512 метров свапа кончаются 
( а еще работать и работать). что мы делаем ? правильно. dd if=/dev/zero, 256 
мб файлик, swapon и все. главное потом не забывать удалять их ;-)

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [JT] Re: [devel] Re: Нехватка памяти

[Michael Shigorin]

[-- Attachment #1: Type: text/plain, Size: 602 bytes --]

On Mon, Jul 12, 2004 at 02:00:09PM +0300, Nick S. Grechukh wrote:
> а польза свап-файлов как таковых - очевидна. компилировал я
> ядро и софтинку, параллельно перегоняя в divx фильм. работать
> на машине невозможно, так что я читал газетку, поглядывая на
> top. и вот вижу что 512 метров свапа кончаются ( а еще работать
> и работать). что мы делаем ? правильно. dd if=/dev/zero, 256 мб
> файлик, swapon и все. главное потом не забывать удалять их ;-)

Во-от.  А та байда сама так и делала.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [JT] Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 1049 bytes --]

В сообщении от Понедельник 12 Июль 2004 14:44 Michael Shigorin написал(a):
> On Mon, Jul 12, 2004 at 02:00:09PM +0300, Nick S. Grechukh wrote:
> > а польза свап-файлов как таковых - очевидна. компилировал я
> > ядро и софтинку, параллельно перегоняя в divx фильм. работать
> > на машине невозможно, так что я читал газетку, поглядывая на
> > top. и вот вижу что 512 метров свапа кончаются ( а еще работать
> > и работать). что мы делаем ? правильно. dd if=/dev/zero, 256 мб
> > файлик, swapon и все. главное потом не забывать удалять их ;-)
>
> Во-от.  А та байда сама так и делала.

здорово. правда в полном экстриме она не спасет, ее тоже прибьют :-(

а что насчет правильного использования /swap? отдельный раздел под него, что 
ли держать?
я файлы делаю в /mnt/win_d, там файлопомойка, freespace от 100мб до 5гб в 
зависимости от времени суток и дня недели. 

JT OFF:
совсем извращенный вариант - swapfile держать на шаре win2k смонтированной по 
cifs. ;-)

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [JT] Re: [devel] Re: Нехватка памяти

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 604 bytes --]

* Nick S. Grechukh <ngrechukh@> [040712 15:53]:
> JT OFF:
> совсем извращенный вариант - swapfile держать на шаре win2k
> смонтированной по cifs. ;-)
Некоторые ядерщики говорят, что можно в памяти выше 4G (если
памяти больше 4G) расположить ramdisk и на нём держать swap...
Говорят быстро...

-- 
Regards, Sir Raorn.
-------------------
Мы не будем в своем дереве разработки, коим является Sisyphus,
заботиться о поддержке закрытых приложений третьих фирм.
Если же когда-либо Borland выпустит Kylix под open source лицензией, то
вы просто обнаружите его в Sisyphus.
		-- aen in sisyphus@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [JT] Re: [devel] Re: Нехватка памяти

[Yury Aliaev]

Alexey I. Froloff wrote:

>>
> Некоторые ядерщики говорят, что можно в памяти выше 4G (если
> памяти больше 4G) расположить ramdisk и на нём держать swap...
> Говорят быстро...
> 

Похоже на старую байку про винду, у которой кэш диска иногда оказывается 
в свопе :)

Re: [JT] Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 589 bytes --]

В сообщении от Вторник 13 Июль 2004 13:07 Yury Aliaev написал(a):
> Alexey I. Froloff wrote:
> > Некоторые ядерщики говорят, что можно в памяти выше 4G (если
> > памяти больше 4G) расположить ramdisk и на нём держать swap...
> > Говорят быстро...
>
> Похоже на старую байку про винду, у которой кэш диска иногда оказывается
> в свопе :)
это не байка. за другие не знаю, но в серии 9x это стопроцентно так. и не 
иногда, а по жизни когда памяти нет.

а что свап тоже кэшируется - тут точно неизвестно.

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [JT] Re: [devel] Re: Нехватка памяти

[Sergey Bolshakov]

>>>>> "Nick" == Nick S Grechukh <ngrechukh@ua.fm> writes:
[skipped]

 > а что насчет правильного использования /swap? отдельный раздел под него, что 
 > ли держать?
 > я файлы делаю в /mnt/win_d, там файлопомойка, freespace от 100мб до 5гб в 
 > зависимости от времени суток и дня недели. 

 > JT OFF:
 > совсем извращенный вариант - swapfile держать на шаре win2k смонтированной по 
 > cifs. ;-)

Не бывает :) патчами можно на nfs положить.

-- 

Re: [JT] Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 723 bytes --]

В сообщении от Понедельник 12 Июль 2004 14:59 Sergey Bolshakov написал(a):
> >>>>> "Nick" == Nick S Grechukh <ngrechukh@ua.fm> writes:
>
> [skipped]
>
>  > а что насчет правильного использования /swap? отдельный раздел под него,
>  > что ли держать?
>  > я файлы делаю в /mnt/win_d, там файлопомойка, freespace от 100мб до 5гб
>  > в зависимости от времени суток и дня недели.
>  >
>  > JT OFF:
>  > совсем извращенный вариант - swapfile держать на шаре win2k
>  > смонтированной по cifs. ;-)
>
> Не бывает :) патчами можно на nfs положить.

а шнурок мыши перегрызут или юзер зацепит - и каюк системе? ;-)
:lol:
надо будет попробовать

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 730 bytes --]

В сообщении от Понедельник 12 Июль 2004 13:14 Michael Shigorin написал(a):
> On Mon, Jul 12, 2004 at 01:20:20PM +0400, Yury Aliaev wrote:
> > 1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
> > превышении порога (скажем, 95%), она делала бы страшные глаза,
вопрос: каким образом лучше "делать страшные глаза"?

> Недавно на freshmeat пробегал swapd, что ли -- который в
> сконфигурированном аварийном порядке добавит в таком случае
> свопа.
>
> Мож это более живучий выход?

уже почти собран, доделываю мелкие детали и скрипт, и пойдет в сизиф. 
(в бою непроверен! начинаем тестировать)

если кому срочно надо ;-) - в личку. 

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Нехватка памяти

[Vitaly Lipatov]

On Monday 12 July 2004 16:27, Nick S. Grechukh wrote:
> > Мож это более живучий выход?
>
> уже почти собран, доделываю мелкие детали и скрипт, и пойдет в
> сизиф. (в бою непроверен! начинаем тестировать)
Вот я думаю, что рассматривать надо ситуацию не когда "я запустил 
компиляцию, gcc хотел занять 300Мб, а у меня только 64, всё и 
рухнуло", а более частую и некрасивую ситуацию, когда программа 
начинает бесконтрольно пожирать память при сбое, причём из-за 
ухода системы в своп, контроль за происходящим практически 
теряется. Если нужно выставлять ulimit в зависимости от размера 
ОЗУ, так надо выставлять.

-- 
Lav
Виталий Липатов
Санкт-Петербург
GNU! ALT Linux Team! LaTeX! LyX!

Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 971 bytes --]

В сообщении от Понедельник 12 Июль 2004 18:08 Vitaly Lipatov написал(a):
> On Monday 12 July 2004 16:27, Nick S. Grechukh wrote:
> > > Мож это более живучий выход?
> >
> > уже почти собран, доделываю мелкие детали и скрипт, и пойдет в
> > сизиф. (в бою непроверен! начинаем тестировать)
>
> Вот я думаю, что рассматривать надо ситуацию не когда "я запустил
> компиляцию, gcc хотел занять 300Мб, а у меня только 64, всё и
> рухнуло", а более частую и некрасивую ситуацию, когда программа
> начинает бесконтрольно пожирать память при сбое, причём из-за
> ухода системы в своп, контроль за происходящим практически
> теряется. Если нужно выставлять ulimit в зависимости от размера
> ОЗУ, так надо выставлять.

а swapd пусть сигналит о такой фигне. потому что по новой технологии при таком 
раскладе прибита будет не прога жрущая память, а тот кто первым попросит 
памяти когда ее нет. 

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 1261 bytes --]

В сообщении от Понедельник 12 Июль 2004 18:08 Vitaly Lipatov написал(a):
> On Monday 12 July 2004 16:27, Nick S. Grechukh wrote:
> > > Мож это более живучий выход?
> >
> > уже почти собран, доделываю мелкие детали и скрипт, и пойдет в
> > сизиф. (в бою непроверен! начинаем тестировать)
>
> Вот я думаю, что рассматривать надо ситуацию не когда "я запустил
> компиляцию, gcc хотел занять 300Мб, а у меня только 64, всё и
> рухнуло", а более частую и некрасивую ситуацию, когда программа
> начинает бесконтрольно пожирать память при сбое, причём из-за
> ухода системы в своп, контроль за происходящим практически
> теряется. Если нужно выставлять ulimit в зависимости от размера
> ОЗУ, так надо выставлять.

swapd я бы рассмотривал как технологию позволяющую сгладить пиковую нагрузку 
на память. ведь понятно, что там где создается свап места тоже не бесконечно, 
а в swapd можно задавать максимальный размер выделенного свопа. так что в 
итоге все равно, рано или поздно прога будет прибита. это в случае 
ненаблюдаемого сервера.  
а вообще выделение дополнительного свопа должно привлечь  внимание, ситуация 
нештатная, и позволит что-то сделать не полагаясь на систему.

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] Re: Нехватка памяти

[Yury Aliaev]

Nick S. Grechukh wrote:

> В сообщении от Понедельник 12 Июль 2004 13:14 Michael Shigorin написал(a):
> 
>>On Mon, Jul 12, 2004 at 01:20:20PM +0400, Yury Aliaev wrote:
>>
>>>1) Написать прогу, отслеживающую, сколько свопа отожрано, и при
>>>превышении порога (скажем, 95%), она делала бы страшные глаза,
>>>
> вопрос: каким образом лучше "делать страшные глаза"?
> 


Возможно несколько вариантов:
1) Послать сообщения на все консоли;
2) Создать клиент для Х-ов, который бы вывесил окошко со страшными глазами;
3) cp Rekviem_Mozarta.au /dev/dsp ;)


> 
>>Недавно на freshmeat пробегал swapd, что ли -- который в
>>сконфигурированном аварийном порядке добавит в таком случае
>>свопа.
>>
>>Мож это более живучий выход?
>>
> 
> уже почти собран, доделываю мелкие детали и скрипт, и пойдет в сизиф. 
> (в бою непроверен! начинаем тестировать)
> 
> если кому срочно надо ;-) - в личку. 
> 


А интересно, возможно ли следующее: "нормальный" своп осуществляется с 
помощью своп-раздела, а при его нехватке начинают подключаться файлы? 
Хотя имхо своп в файл однозначно хуже, но когда приближается конец 
света, то в ход идут любые средства для спасения утопающих.

Re: [devel] Re: Нехватка памяти

[Nick S. Grechukh]

[-- Attachment #1: Type: text/plain, Size: 716 bytes --]

> > вопрос: каким образом лучше "делать страшные глаза"?
>
> Возможно несколько вариантов:
> 1) Послать сообщения на все консоли;
не умею :-(
> 2) Создать клиент для Х-ов, который бы вывесил окошко со страшными глазами;
проще всего наверное. 
> 3) cp Rekviem_Mozarta.au /dev/dsp ;)

> А интересно, возможно ли следующее: "нормальный" своп осуществляется с
> помощью своп-раздела, а при его нехватке начинают подключаться файлы?
дык это и так и есть имхо, просто добавляется доп. фича. 

> Хотя имхо своп в файл однозначно хуже, но когда приближается конец
> света, то в ход идут любые средства для спасения утопающих.
ну ессно.

-- 
с уважением, 
Nick S. Grechukh

network administrator of
Refractory Trading House 

[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]