[Comm] при большой нагрузке форки не делаются

[Comm] при большой нагрузке форки не делаются

[Ilya Kuznecov]

При большом количестве открытых файлов и запущенных процессов простейший 
скрипт (запускаемый из Makefile) начинает выдавать ошибку:

./sizer: fork: Resource temporarily unavailable
Но стоит позакрывать программы и всё нормально.
ФС -- EXT3.

% find -type d |wc -l
    172
% find -type f |wc -l
   2769

Но скрипт вызывается в гораздо более щадящих условиях (1-2 директории с ~10 
файлами), но много раз (142 раза, точнее) -- по числу директорий верхнего 
уровня.

Идея скрипта -- создать xml-файл вида:
<?xml version="1.0" encoding="utf-8"?><main>
<file name='abc' size='100K'/>
...
<file name='def' size='1M'/>
</main>


#!/bin/sh
rec() {
for i in $1/* ; do
        if [ -d $i ]; then rec $i
        else
                A=`LANG=C du --max-depth 10 -h $i|awk '{print $1}'`
                B=`echo $i | sed 's/\.\///'`
                echo "<file name='$B' size='$A'/>"
        fi
done
}
echo '<?xml version="1.0" encoding="utf-8"?><main>'
cd $1
rec '.'
echo '</main>'

% ulimit 
unlimited

Система -- АЛМ22 с апдейтами.
-- 
chumpa, Cybernetic Humanoid Used for Mathematics and Potential Assassination
kuznecov@blok-caf.ru       http://chumpa.izhnet.ru     icq 122393064

[Comm] Re: при большой нагрузке форки не делаются

[Michael Shigorin]

On Wed, Sep 03, 2003 at 10:49:44AM +0500, Ilya Kuznecov wrote:
> При большом количестве открытых файлов и запущенных процессов простейший 
> скрипт (запускаемый из Makefile) начинает выдавать ошибку:
> 
> ./sizer: fork: Resource temporarily unavailable

/etc/security/limits.conf

нарисуйте на себя 256+ процессов и relogin

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] при большой нагрузке форки не делаются

[ipAlex]

В сообщении от 3 Сентябрь 2003 08:49 Ilya Kuznecov написал(a):
> При большом количестве открытых файлов и запущенных процессов простейший
> скрипт (запускаемый из Makefile) начинает выдавать ошибку:
>
> ./sizer: fork: Resource temporarily unavailable
> Но стоит позакрывать программы и всё нормально.
> ФС -- EXT3.
>...

а еще попробуй сменить ФС ext3 на reiserfs или xfs

-- 
Наилучшие пожелания,                      Registered         .--.
Пирогов Алексей                       Linux User #293162    |@_@ |
mailto:ipalex@ukr.net                                       |!_/ |
mailto:ipalex@ferplast.com.ua                              //   \ \
(AlekseyPirogov@ferplast.com.ua)                          (|     | )
UIN:172368093                                            /'\_   _/`\
                                       Powered by Linux  \___)=(___/

Re: [Comm] при большой нагрузке форки не делаются

[Ilya Kuznecov]

В сообщении от Среда 03 Сентябрь 2003 12:58 ipAlex написал(a):
> > ФС -- EXT3.
> а еще попробуй сменить ФС ext3 на reiserfs или xfs
Тип ФС я на всякий случай привёл. Думаю, что /etc/security/... исправит 
ситуацию.

-- 
chumpa, Cybernetic Humanoid Used for Mathematics and Potential Assassination
kuznecov@blok-caf.ru       http://chumpa.izhnet.ru     icq 122393064

[Comm] Re: при большой нагрузке форки не делаются

[Michael Shigorin]

On Wed, Sep 03, 2003 at 10:58:30AM +0300, ipAlex wrote:
> > При большом количестве открытых файлов и запущенных процессов простейший
> > скрипт (запускаемый из Makefile) начинает выдавать ошибку:
> > ./sizer: fork: Resource temporarily unavailable
> > Но стоит позакрывать программы и всё нормально.
> > ФС -- EXT3.
> >...
> а еще попробуй сменить ФС ext3 на reiserfs или xfs

И чем это поможет?  Ну чуточку быстрее рассасываться будут
процессы, так ведь и образовываться тоже :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/