[Comm] Подскажите регулярное выражение для обработки лога rails

[Comm] Подскажите регулярное выражение для обработки лога rails

[Денис Черносов]

Возникла необходимость посчитать посещаемость на rails-ресурсе. Для
этого нужно лог фильтрануть и завести результат в rails-контроллер,
после чего данные можно будет вертеть, как угодно. Проблема в том, что
в этом логе одно событие на разное количество строк размазано и
приходится их группировать... Кроме того, на первом этапе хочется
считать только успешные визиты на определенную часть сайта (определяем
по url). В процессе отладки фильтра дошел до такой команды (пока не
причёсывал - ногами не бейте):

~/myapp/log]$ cat production.log | grep -B 5 -A 1 "200 OK
\[http://www.cfd-fx.ru" | grep "^Processing\|^Completed\|^$" | sed
"s/^.*(for \(.*\)).*$/\1/" | sed "s/.*cfd\-fx\.ru\(.*\)\]/\1/" | sed
"s/\n\(.*at.*\)\n\(\/.*\)\n/\n\1 on \2\n/"

и до такого вида:

81.29.134.168 at 2008-10-24 08:09:24
/

81.29.134.168 at 2008-10-24 08:09:29
/pages/5

81.29.134.168 at 2008-10-24 08:10:10
/pages/2

81.29.134.168 at 2008-10-24 12:03:58
/

81.29.134.168 at 2008-10-24 12:04:06
/pages/5



а хочу получить в одну строку для каждого посещения. Типа так:
81.29.134.168 at 2008-10-24 08:09:24 to /

81.29.134.168 at 2008-10-24 08:09:29 to /pages/5

81.29.134.168 at 2008-10-24 08:10:10 to /pages/2

81.29.134.168 at 2008-10-24 12:03:58 to /

81.29.134.168 at 2008-10-24 12:04:06 to /pages/5

ну и далее, как-то так:
81.29.134.168;2008-10-24;08:09:24;/
81.29.134.168;2008-10-24;08:09:29;/pages/5
81.29.134.168;2008-10-24;08:10:10;/pages/2
81.29.134.168;2008-10-24;12:03:58;/
81.29.134.168;2008-10-24;12:04:06;/pages/5

с последним я и сам смогу справиться, а вот как нормально склеить
строки - уже голову сломал, но так ничего и не придумал... Видимо в
sed нужно как-то буфера и доп. команды использовать, но я пока до
этого не дорос...
Возможно есть какие-то системные утилитки для этих целей?

Хелп!!!

Re: [Comm] Подскажите регулярное выражение для обработки лога rails

[Денис Черносов]

Отбой тревоги :) Таки нашлась команда подходящая (спасибо этой ссылке:
http://www.ant0.ru/sed1line.html):

#Если линия начинается с знака "/", то присоединить её к предыдущей
линии и вставить вместо разрыва " to ":
sed -e :a -e '$!N;s/\n\// to \//;ta' -e 'P;D'

Может кому и пригодится...