ALT Linux Community general discussions
 help / color / mirror / Atom feed
From: "Денис Черносов" <denis0.ru@gmail.com>
To: "ALT Linux Community general discussions" <community@lists.altlinux.org>
Subject: [Comm] Подскажите регулярное выражение для обработки лога rails
Date: Fri, 16 Jan 2009 15:04:22 +0400
Message-ID: <d77783290901160304v3228a489q551eb19496a56407@mail.gmail.com> (raw)

Возникла необходимость посчитать посещаемость на rails-ресурсе. Для
этого нужно лог фильтрануть и завести результат в rails-контроллер,
после чего данные можно будет вертеть, как угодно. Проблема в том, что
в этом логе одно событие на разное количество строк размазано и
приходится их группировать... Кроме того, на первом этапе хочется
считать только успешные визиты на определенную часть сайта (определяем
по url). В процессе отладки фильтра дошел до такой команды (пока не
причёсывал - ногами не бейте):

~/myapp/log]$ cat production.log | grep -B 5 -A 1 "200 OK
\[http://www.cfd-fx.ru" | grep "^Processing\|^Completed\|^$" | sed
"s/^.*(for \(.*\)).*$/\1/" | sed "s/.*cfd\-fx\.ru\(.*\)\]/\1/" | sed
"s/\n\(.*at.*\)\n\(\/.*\)\n/\n\1 on \2\n/"

и до такого вида:

81.29.134.168 at 2008-10-24 08:09:24
/

81.29.134.168 at 2008-10-24 08:09:29
/pages/5

81.29.134.168 at 2008-10-24 08:10:10
/pages/2

81.29.134.168 at 2008-10-24 12:03:58
/

81.29.134.168 at 2008-10-24 12:04:06
/pages/5



а хочу получить в одну строку для каждого посещения. Типа так:
81.29.134.168 at 2008-10-24 08:09:24 to /

81.29.134.168 at 2008-10-24 08:09:29 to /pages/5

81.29.134.168 at 2008-10-24 08:10:10 to /pages/2

81.29.134.168 at 2008-10-24 12:03:58 to /

81.29.134.168 at 2008-10-24 12:04:06 to /pages/5

ну и далее, как-то так:
81.29.134.168;2008-10-24;08:09:24;/
81.29.134.168;2008-10-24;08:09:29;/pages/5
81.29.134.168;2008-10-24;08:10:10;/pages/2
81.29.134.168;2008-10-24;12:03:58;/
81.29.134.168;2008-10-24;12:04:06;/pages/5

с последним я и сам смогу справиться, а вот как нормально склеить
строки - уже голову сломал, но так ничего и не придумал... Видимо в
sed нужно как-то буфера и доп. команды использовать, но я пока до
этого не дорос...
Возможно есть какие-то системные утилитки для этих целей?

Хелп!!!

             reply	other threads:[~2009-01-16 11:04 UTC|newest]

Thread overview: 2+ messages / expand[flat|nested]  mbox.gz  Atom feed  top
2009-01-16 11:04 Денис Черносов [this message]
2009-01-16 11:37 ` Денис Черносов

Reply instructions:

You may reply publicly to this message via plain-text email
using any one of the following methods:

* Save the following mbox file, import it into your mail client,
  and reply-to-all from there: mbox

  Avoid top-posting and favor interleaved quoting:
  https://en.wikipedia.org/wiki/Posting_style#Interleaved_style

* Reply using the --to, --cc, and --in-reply-to
  switches of git-send-email(1):

  git send-email \
    --in-reply-to=d77783290901160304v3228a489q551eb19496a56407@mail.gmail.com \
    --to=denis0.ru@gmail.com \
    --cc=community@lists.altlinux.org \
    /path/to/YOUR_REPLY

  https://kernel.org/pub/software/scm/git/docs/git-send-email.html

* If your mail client supports setting the In-Reply-To header
  via mailto: links, try the mailto: link

ALT Linux Community general discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
		mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
	public-inbox-index community

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.community


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git