[sisyphus] Perl memory leaks?

[sisyphus] Perl memory leaks?

[Ivan Adzhubey]

Доброго времени суток всем!

Никто не замечал утечек памяти в перле в последнее время? У меня падает скрипт 
с Cannot allocate memory, на операции открытия pipe:

open(PIP, "gunzip -qc $file.gz |")

Где-то после тысячи файлов в цикле. После прочтения каждого файла все 
дескрипторы аккуратно закрываются, проверено. Кроме того, скрипт успешно 
работал уже несколько лет и я в нем ничего не менял.

$ rpm -qa|grep perl-base
perl-base-5.8.8-alt18

--Иван

Re: [sisyphus] Perl memory leaks?

[Ivan Adzhubey]

On Monday 03 March 2008 12:04:00 am Ivan Adzhubey wrote:
> Доброго времени суток всем!
>
> Никто не замечал утечек памяти в перле в последнее время? У меня падает
> скрипт с Cannot allocate memory, на операции открытия pipe:
>
> open(PIP, "gunzip -qc $file.gz |")
>
> Где-то после тысячи файлов в цикле. После прочтения каждого файла все
> дескрипторы аккуратно закрываются, проверено. Кроме того, скрипт успешно
> работал уже несколько лет и я в нем ничего не менял.
>
> $ rpm -qa|grep perl-base
> perl-base-5.8.8-alt18

Мда, проверил скрипт на Федоре 7 - тоже течет. Отбой, прошу прощения что 
поторопился с постом.

--Иван

Re: [sisyphus] Perl memory leaks?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1006 bytes --]

On Mon, Mar 03, 2008 at 12:04:00AM -0500, Ivan Adzhubey wrote:
> Никто не замечал утечек памяти в перле в последнее время? У меня падает скрипт 
> с Cannot allocate memory, на операции открытия pipe:
> 
> open(PIP, "gunzip -qc $file.gz |")
> 
> Где-то после тысячи файлов в цикле. После прочтения каждого файла все 

$ cd /usr/share/man/man1
$ ls *.gz |wc -l         
1714
$ perl -e 'for $f (<*.gz>) { open P, "gunzip -qc $f |"; print while <P>; close P; }' |wc -c
8494614
$ zcat *.gz |wc -c
8494614
$ 

Может течь в разных местах, но здесь не похоже.

$ perl -e 'system "ps v $$"'
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND
19284 pts/8    R+     0:00      0     2  3681  1396  0.1 perl -e system "ps v $$"
$ perl -e 'for $f (<*.gz>) { open P, "gunzip -qc $f |"; 1 while <P>; close P; } system "ps v $$"'
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND
19300 pts/8    R+     0:00      0     2  3965  2172  0.2 perl -e for $f (<*.gz>) ...
$ 

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Perl memory leaks?

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 586 bytes --]

On Mon, Mar 03, 2008 at 12:04:00AM -0500, Ivan Adzhubey wrote:
> Никто не замечал утечек памяти в перле в последнее время? У меня падает скрипт 
> с Cannot allocate memory, на операции открытия pipe:

Может быть, где-то есть попытка создать Очень Большую Переменную (то
есть поместить содержимое большого файла в переменную).  В ядре может
быть ограничение на размер непрерывного куска памяти, который можно
подыскать для malloc'а.  То есть malloc(100M) может отвалить, даже
если в системе кумулятивно совободно больше 100M.

vsu лучше знает, как сейчас с этим дело обстоит.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [sisyphus] Perl memory leaks?

[Ivan Adzhubey]

On Monday 03 March 2008 09:55:42 am Alexey Tourbin wrote:
> On Mon, Mar 03, 2008 at 12:04:00AM -0500, Ivan Adzhubey wrote:
> > Никто не замечал утечек памяти в перле в последнее время? У меня падает
> > скрипт с Cannot allocate memory, на операции открытия pipe:
>
> Может быть, где-то есть попытка создать Очень Большую Переменную (то
> есть поместить содержимое большого файла в переменную).  В ядре может
> быть ограничение на размер непрерывного куска памяти, который можно
> подыскать для malloc'а.  То есть malloc(100M) может отвалить, даже
> если в системе кумулятивно совободно больше 100M.
>
> vsu лучше знает, как сейчас с этим дело обстоит.

Похоже таки да - пытается считать большой файл в память. При этом реально 
память заканчивается так как скрипт съедает все 2 гигабайта перед тем как 
упасть, я топом следил. Странно, что если обрабатывать те же 50000 файлов 
циклами по 1000, то все работает. А если запустить цикл сразу на 50000 - 
падает на одном и том же файле. В общем к нашей сборке перла это отношения не 
имеет, буду дальше разбираться.

--Иван