From: Ilya Palagin <tux@fioc.kz>
To: community@altlinux.ru
Subject: Re: [Comm] [JT] Форматирование логов: shell или perl
Date: Wed, 29 Jan 2003 15:29:51 +0600
Message-ID: <3E379F0F.3060201@fioc.kz> (raw)
In-Reply-To: <20030129092404.745397A6A@sorry.mcnet.ru>
Flach wrote:
> Добрый день!
> Вопрос не по системе, поэтому обозначил его как второстепенный.
> Есть необходимость переформатировать и отсортировать содержимое логов трафика
> пользователей. Для этих целей решил использовать grep, awk, sed и, конечно,
> sort. Во время теста скрипта на живом логе (7 Мб) все прошло замечательно. Но
> я не учел, что тот самый лог был один из первых, когда в системе было всего
> 12 пользователей. А их на самом деле гораздо больше. Сейчас суточные логи
> представляют собой файлы размером до 100 Мб. Загрузка процессора на sort ,
> если верить top, составляет 99,5. В результате, на больших логах имею массу
> ошибок.
> Кинулся тоже самле делать в perl, который по-идее для этого и предназначен,
> но червь сомнения точит. А не повторится ли ситуация при обработке больших
> логов?
Повторится, конечно. Лучше бросайте логи в mуsql базу (с помощью перла,
например) и генерируйте репорты средствами mysql (перл здесь понадобится
лишь для форматирования). Это быстро, надежно и практично, к тому же
можно будет накопить данные за годы!
next prev parent reply other threads:[~2003-01-29 9:29 UTC|newest]
Thread overview: 7+ messages / expand[flat|nested] mbox.gz Atom feed top
2003-01-29 9:14 Flach
2003-01-29 9:29 ` Ilya Palagin [this message]
2003-01-29 11:49 ` [Comm] " Flach
2003-01-29 12:36 ` Denis S. Filimonov
2003-01-29 12:54 ` Sergey Degtyaryov
2003-01-29 13:17 ` Dmitry Lebkov
2003-01-29 13:33 ` Ilya Palagin
Reply instructions:
You may reply publicly to this message via plain-text email
using any one of the following methods:
* Save the following mbox file, import it into your mail client,
and reply-to-all from there: mbox
Avoid top-posting and favor interleaved quoting:
https://en.wikipedia.org/wiki/Posting_style#Interleaved_style
* Reply using the --to, --cc, and --in-reply-to
switches of git-send-email(1):
git send-email \
--in-reply-to=3E379F0F.3060201@fioc.kz \
--to=tux@fioc.kz \
--cc=community@altlinux.ru \
/path/to/YOUR_REPLY
https://kernel.org/pub/software/scm/git/docs/git-send-email.html
* If your mail client supports setting the In-Reply-To header
via mailto: links, try the mailto: link
ALT Linux Community general discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
public-inbox-index community
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.community
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git