From mboxrd@z Thu Jan  1 00:00:00 1970
Return-Path: <iadzhubey@rics.bwh.harvard.edu>
X-Spam-Checker-Version: SpamAssassin 3.2.3 (2007-08-08) on sa.int.altlinux.org
X-Spam-Level: 
X-Spam-Status: No, score=-0.5 required=5.0 tests=AWL,BAYES_00,
	DATE_IN_PAST_06_12 autolearn=no version=3.2.3
Date: Mon, 03 Mar 2008 10:20:03 -0500
From: Ivan Adzhubey <iadzhubey@rics.bwh.harvard.edu>
In-reply-to: <20080303145542.GA32305@solemn.turbinal>
To: sisyphus@lists.altlinux.org
Message-id: <200803031020.03551.iadzhubey@rics.bwh.harvard.edu>
MIME-version: 1.0
Content-type: text/plain; charset=koi8-r
Content-transfer-encoding: 8BIT
Content-disposition: inline
References: <200803030004.00372.iadzhubey@rics.bwh.harvard.edu>
	<20080303145542.GA32305@solemn.turbinal>
User-Agent: KMail/1.9.9
Subject: Re: [sisyphus] Perl memory leaks?
X-BeenThere: sisyphus@lists.altlinux.org
X-Mailman-Version: 2.1.10b3
Precedence: list
Reply-To: ALT Linux Sisyphus discussions <sisyphus@lists.altlinux.org>
List-Id: ALT Linux Sisyphus discussions <sisyphus.lists.altlinux.org>
List-Unsubscribe: <https://lists.altlinux.org/mailman/listinfo/sisyphus>,
	<mailto:sisyphus-request@lists.altlinux.org?subject=unsubscribe>
List-Archive: <http://lists.altlinux.org/pipermail/sisyphus>
List-Post: <mailto:sisyphus@lists.altlinux.org>
List-Help: <mailto:sisyphus-request@lists.altlinux.org?subject=help>
List-Subscribe: <https://lists.altlinux.org/mailman/listinfo/sisyphus>,
	<mailto:sisyphus-request@lists.altlinux.org?subject=subscribe>
X-List-Received-Date: Tue, 04 Mar 2008 03:00:32 -0000
Archived-At: <http://lore.altlinux.org/sisyphus/200803031020.03551.iadzhubey@rics.bwh.harvard.edu/>
List-Archive: <http://lore.altlinux.org/sisyphus/>
List-Post: <mailto:sisyphus@altlinux.ru>

On Monday 03 March 2008 09:55:42 am Alexey Tourbin wrote:
> On Mon, Mar 03, 2008 at 12:04:00AM -0500, Ivan Adzhubey wrote:
> > Никто не замечал утечек памяти в перле в последнее время? У меня падает
> > скрипт с Cannot allocate memory, на операции открытия pipe:
>
> Может быть, где-то есть попытка создать Очень Большую Переменную (то
> есть поместить содержимое большого файла в переменную).  В ядре может
> быть ограничение на размер непрерывного куска памяти, который можно
> подыскать для malloc'а.  То есть malloc(100M) может отвалить, даже
> если в системе кумулятивно совободно больше 100M.
>
> vsu лучше знает, как сейчас с этим дело обстоит.

Похоже таки да - пытается считать большой файл в память. При этом реально 
память заканчивается так как скрипт съедает все 2 гигабайта перед тем как 
упасть, я топом следил. Странно, что если обрабатывать те же 50000 файлов 
циклами по 1000, то все работает. А если запустить цикл сразу на 50000 - 
падает на одном и том же файле. В общем к нашей сборке перла это отношения не 
имеет, буду дальше разбираться.

--Иван