From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: Message-ID: <3E379F0F.3060201@fioc.kz> Date: Wed, 29 Jan 2003 15:29:51 +0600 From: Ilya Palagin User-Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.0.0) Gecko/20020623 Debian/1.0.0-0.woody.1 X-Accept-Language: en MIME-Version: 1.0 To: community@altlinux.ru Subject: Re: [Comm] [JT] =?KOI8-R?Q?=E6=CF=D2=CD=C1=D4=C9=D2=CF=D7=C1=CE=C9?= =?KOI8-R?Q?=C5_=CC=CF=C7=CF=D7=3A_shell_=C9=CC=C9_perl?= References: <20030129092404.745397A6A@sorry.mcnet.ru> Content-Type: text/plain; charset=KOI8-R; format=flowed Content-Transfer-Encoding: 8bit Sender: community-admin@altlinux.ru Errors-To: community-admin@altlinux.ru X-BeenThere: community@altlinux.ru X-Mailman-Version: 2.0.9 Precedence: bulk Reply-To: community@altlinux.ru List-Unsubscribe: , List-Id: List-Post: List-Help: List-Subscribe: , List-Archive: Archived-At: List-Archive: List-Post: Flach wrote: > Добрый день! > Вопрос не по системе, поэтому обозначил его как второстепенный. > Есть необходимость переформатировать и отсортировать содержимое логов трафика > пользователей. Для этих целей решил использовать grep, awk, sed и, конечно, > sort. Во время теста скрипта на живом логе (7 Мб) все прошло замечательно. Но > я не учел, что тот самый лог был один из первых, когда в системе было всего > 12 пользователей. А их на самом деле гораздо больше. Сейчас суточные логи > представляют собой файлы размером до 100 Мб. Загрузка процессора на sort , > если верить top, составляет 99,5. В результате, на больших логах имею массу > ошибок. > Кинулся тоже самле делать в perl, который по-идее для этого и предназначен, > но червь сомнения точит. А не повторится ли ситуация при обработке больших > логов? Повторится, конечно. Лучше бросайте логи в mуsql базу (с помощью перла, например) и генерируйте репорты средствами mysql (перл здесь понадобится лишь для форматирования). Это быстро, надежно и практично, к тому же можно будет накопить данные за годы!