[Comm] Re: [JT] Форматирование логов: shell или perl

[Comm] Re: [JT] Форматирование логов: shell или perl

[Flach]

>
> Для данной задачи это СЛИШКОМ мощная машина.
>
> Тормоза у вас возникают из-за того, что используемые утилиты работают с
> текстовыми файлами построчно. mysql делает сортировку и запросы гораздо
> более эффективными способами (если, конечно, вы установите индексы на
> столбцы, по которым будете делать сортировку), т.е. загрузка и время
> выполнения будут несравнимо меньшими.
>
> Посмотрите, насколько проще стала задача:
> 1.Ввод данных в mysql базу с помощью perl скрипта (который будет
> содержать лишь 2 основных команды - regex для разбиения строки на
> элементы записи и sql команду INSERT)
> 2. Вывод данных  с помощью perl скрипта  (который будет содержать лишь 2
> основных команды -  sql команду SELECT и print)
> И всё.
>
> Об удобстве хранения информации в этом случае я уже говорил.

 Все написанное Вами и Сергеем Дегтяревым меня порадовало. Пути решения 
проблемы ясны. 
  Если я правильно понял,  не проблема с помощью Perl перенести из текстового 
файла  oределенные колонки в Mysql,  а дальше уже дело техники. Надеюсь что 
все получится :0)

Еще раз спасибо.
С уважением, Михаил

Re: [Comm] Re: [JT] Форматирование логов: shell или perl

[Sergey Degtyaryov]

Flach wrote:
>>Для данной задачи это СЛИШКОМ мощная машина.
>>
>>Тормоза у вас возникают из-за того, что используемые утилиты работают с
>>текстовыми файлами построчно. mysql делает сортировку и запросы гораздо
>>более эффективными способами (если, конечно, вы установите индексы на
>>столбцы, по которым будете делать сортировку), т.е. загрузка и время
>>выполнения будут несравнимо меньшими.
>>
>>Посмотрите, насколько проще стала задача:
>>1.Ввод данных в mysql базу с помощью perl скрипта (который будет
>>содержать лишь 2 основных команды - regex для разбиения строки на
>>элементы записи и sql команду INSERT)
>>2. Вывод данных  с помощью perl скрипта  (который будет содержать лишь 2
>>основных команды -  sql команду SELECT и print)
>>И всё.
>>
>>Об удобстве хранения информации в этом случае я уже говорил.
> 
> 
>  Все написанное Вами и Сергеем Дегтяревым меня порадовало. Пути решения 
> проблемы ясны. 
>   Если я правильно понял,  не проблема с помощью Perl перенести из текстового 
> файла  oределенные колонки в Mysql,  а дальше уже дело техники. Надеюсь что 
> все получится :0)

А какие Вы логи разбираете? Может уже все написано до Вас?
Для сквида точно есть squid2mysql. Есть также apache2mysql.

--
Сергей Дегтярев

[Comm] Re: [JT] Форматирование логов: shell или perl

[Flach]

> А какие Вы логи разбираете? Может уже все написано до Вас?
> Для сквида точно есть squid2mysql. Есть также apache2mysql.
>
>Сергей Дегтярев

У нас около года стоит MS ISA Server. Вот его логи и приходится разбирать. 
(Постепенно переходим на *nix системы, но переход на squid пока в весенних 
планах.) 

Михаил