[Comm] SQUID - log

[Comm] SQUID - log

[Oleg V]

Привет всем.
 Прокси-сервер SQUID записывает работу пользователей в т.н. лог-файл
 (текстовый). Там такие, например, записи :

 1041582738.781   5377 10.5.58.3 TCP_MISS/200 52838 GET
 http://www.rambler.ru/ - DIRECT/81.19.66.109 text/html

 или :
 1041582748.611    438 10.5.58.3 TCP_MISS/200 464 GET
 http://counter.rambler.ru/top100.cnt? - DIRECT/81.19.66.19 image/gif

 Ясно, что, к примеру, "10.5.58.3" - это IP адрес машины, "TCP"-протокол.

 А вот что означают цифры в начале? Где дата, и объём переброшенной
информации?  >
 Спасибо за помощь.

Oleg.   mailto : vt@kdtu.kr.ua

[Comm] Re: SQUID - log

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 386 bytes --]

Oleg V пишет:
> Привет всем.
>  Прокси-сервер SQUID записывает работу пользователей в т.н. лог-файл
>  (текстовый). Там такие, например, записи :
> 
>  1041582738.781   5377 10.5.58.3 TCP_MISS/200 52838 GET
>  http://www.rambler.ru/ - DIRECT/81.19.66.109 text/html

http://www.squid-cache.org/Doc/FAQ/FAQ.html

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 252 bytes --]

Re: [Comm] SQUID - log

[Ilia Menchikh]

On Tue, 18 Mar 2003 14:54:21 +0200
"Oleg V" <vt@kdtu.kr.ua> wrote:

>  1041582738.781   5377 10.5.58.3 TCP_MISS/200 52838 GET
>  http://www.rambler.ru/ - DIRECT/81.19.66.109 text/html
>  А вот что означают цифры в начале? Где дата, и объём переброшенной
> информации?  >
>  Спасибо за помощь.

Первая - unix timestamp - Секунды с 01.01.1970, это дата и есть :)
Что значат остальные есть в его доке.

PS. Сквидовые логи рассматривать вручную - это изврат, настройте
что-нибуть из анализаторов и будет Вам щастье.

-- 
Regards
Ilia Menchikh
JID ililina@jabber.vitamin-e.ru

[Comm] SQUID - log

[Oleg Vladimirovich]

Ilia Menchikh
Sent: Tuesday, March 18, 2003 6:42 PM
wrote:
Сквидовые логи рассматривать вручную - это изврат, настройте
что-нибуть из анализаторов и будет Вам щастье.

А какой именно из анализаторов посоветуете ?
И, если возможно, посоветуйте, где взять ?

Спасибо за помощь.
С уважением, Олег Владимирович.

Re: [Comm] SQUID - log

[Ilia Menchikh]

On Wed, 19 Mar 2003 09:49:07 +0300
"Oleg Vladimirovich" <vt@kdtu.kr.ua> wrote:

> Сквидовые логи рассматривать вручную - это изврат, настройте
> что-нибуть из анализаторов и будет Вам щастье.
> 
> А какой именно из анализаторов посоветуете ?

Я предпочитаю sarg + mrtg + cachemgr.cgi. Но есть еще варианты. 
Начинать выбирать можно отсюда: http://squid.opennet.ru/ 

-- 
Regards
Ilia Menchikh
JID ililina@jabber.vitamin-e.ru

Re: [Comm] SQUID - log

[Mike Lykov]

В сообщении от 19 Март 2003 12:38 Ilia Menchikh написал:

> Я предпочитаю sarg + mrtg + cachemgr.cgi. Но есть еще варианты.

а я его почему-то отвергаю. не нравится мне такое. 
недавно нашел 
http://ledge.co.za/software/squint/index.php

но сам не поставил пока ;)

-- 
Mike

[Comm] Re: SQUID - log

[Sergey Vlasov]

On Wed, 19 Mar 2003 13:27:51 +0400
Mike Lykov <combr@vesna.ru> wrote:

> В сообщении от 19 Март 2003 12:38 Ilia Menchikh написал:
> 
> > Я предпочитаю sarg + mrtg + cachemgr.cgi. Но есть еще варианты.
> 
> а я его почему-то отвергаю. не нравится мне такое. 

А уж внутри там... Функции с 38 параметрами, и вообще всё криво :-(

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 579 bytes --]

19 Март 2003 15:32, Sergey Vlasov написал:
> On Wed, 19 Mar 2003 13:27:51 +0400
>
> Mike Lykov <combr@vesna.ru> wrote:
> > В сообщении от 19 Март 2003 12:38 Ilia Menchikh написал:
> > > Я предпочитаю sarg + mrtg + cachemgr.cgi. Но есть еще
> > > варианты.
> >
> > а я его почему-то отвергаю. не нравится мне такое.
>
> А уж внутри там... Функции с 38 параметрами, и вообще всё
> криво :-(
IMHO самое красивое решение - через пайп укладывать логи в 
реалтайм в SQL и оттуда смотреть.
-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Mike Lykov]

> IMHO самое красивое решение - через пайп укладывать логи в
> реалтайм в SQL и оттуда смотреть.

а смотреть их прямо в базе, задавая sql-запросы вручную красивее, чем смотреть 
текстовый лог? ;)

-- 
Mike

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 437 bytes --]

19 Март 2003 15:52, Mike Lykov написал:
> > IMHO самое красивое решение - через пайп укладывать логи в
> > реалтайм в SQL и оттуда смотреть.
>
> а смотреть их прямо в базе, задавая sql-запросы вручную
> красивее, чем смотреть текстовый лог? ;)
А еще можно смотреть прямо sql базу less bla-bla-bla.MYD

На самом деле пишется простенький php 
-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Mike Lykov]

> > а смотреть их прямо в базе, задавая sql-запросы вручную
> > красивее, чем смотреть текстовый лог? ;)
> На самом деле пишется простенький php

простенький он в зависимости от сложности запросов. 

поэтому тут выбор - или городить пайпы, sql-сервер, ставить php, писать 
скрипты (все - самому), или взять готовое и не заморачиваться ;)

-- 
Mike

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 568 bytes --]

19 Март 2003 16:48, Mike Lykov написал:
> > > а смотреть их прямо в базе, задавая sql-запросы вручную
> > > красивее, чем смотреть текстовый лог? ;)
> >
> > На самом деле пишется простенький php
>
> простенький он в зависимости от сложности запросов.
>
> поэтому тут выбор - или городить пайпы, sql-сервер, ставить
> php, писать скрипты (все - самому), или взять готовое и не
> заморачиваться ;)
1. есть готовое
2. не могу представить "сложный запрос" по сквидовым логам.
-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Mike Lykov]

В сообщении от 19 Март 2003 17:57 Artem Pastukhov написал:

> 1. есть готовое

где? покажи ;)

> 2. не могу представить "сложный запрос" по сквидовым логам.

ты, видимо, большой спец в sql, и у тебя на под столом всегда валяется парочка 
серверов ;)
у меня - нет.
-- 
Mike

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 531 bytes --]

19 Март 2003 17:18, Mike Lykov написал:
> В сообщении от 19 Март 2003 17:57 Artem Pastukhov написал:
> > 1. есть готовое
>
> где? покажи ;)

http://evc.fromru.com/squid2mysql/


>
> > 2. не могу представить "сложный запрос" по сквидовым логам.
>
> ты, видимо, большой спец в sql,
Нет. Просто действительно считаю, что там особо мудрить негде.

> и у тебя на под столом всегда
> валяется парочка серверов ;)
> у меня - нет.
Не понял.


-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Mike Lykov]

> > > 1. есть готовое
> > где? покажи ;)
> http://evc.fromru.com/squid2mysql/

ну, это только скрипт по засовыванию в базу ;)
к тому же двре моих знакомых пытались его использовать в разное время. оба с 
криками "какая кривизна!!" переписывали. второй переписал, как он сказал, 40% 
скрипта, и хотел было уже отослать изменения автору... но автор молчит.
проект не поддерживается. 

АУ! кто знает автора, скажите ему, пусть на письма реагирует! ;)

> > ты, видимо, большой спец в sql,
> Нет. Просто действительно считаю, что там особо мудрить негде.

я рад, поскольку сам собирался этим заняться ;)

> > и у тебя на под столом всегда
> > валяется парочка серверов ;)
> > у меня - нет.
> Не понял.

у меня не валяется, т.е. нет sql-сервера под рукой ;)

-- 
Mike

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 1019 bytes --]

19 Март 2003 17:51, Mike Lykov написал:
> > > > 1. есть готовое
> > >
> > > где? покажи ;)
> >
> > http://evc.fromru.com/squid2mysql/
>
> ну, это только скрипт по засовыванию в базу ;)
> к тому же двре моих знакомых пытались его использовать в
> разное время. оба с криками "какая кривизна!!" переписывали.
> второй переписал, как он сказал, 40% скрипта, и хотел было уже
> отослать изменения автору... но автор молчит. проект не
> поддерживается.
>

Ну я тоже не AS-IS его ставил ;)


> АУ! кто знает автора, скажите ему, пусть на письма реагирует!
> ;)
>
> > > ты, видимо, большой спец в sql,
> >
> > Нет. Просто действительно считаю, что там особо мудрить
> > негде.
>
> я рад, поскольку сам собирался этим заняться ;)
>
> > > и у тебя на под столом всегда
> > > валяется парочка серверов ;)
> > > у меня - нет.
> >
> > Не понял.
>
> у меня не валяется, т.е. нет sql-сервера под рукой ;)

apt-get install MySQL-server


-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Mike Lykov]

> > у меня не валяется, т.е. нет sql-сервера под рукой ;)
> apt-get install MySQL-server

apt, конечно, штука хорошая, но иногда перед этим и подумать надо ;)

зачем мне тянуть сотню-две метров mysql&php, если я сам написал на перле 
скрипт разбора сквидового лога в статический хтмл? ;)

занимает около 25 кил. ;)

-- 
Mike

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 765 bytes --]

19 Март 2003 18:08, Mike Lykov написал:
> > > у меня не валяется, т.е. нет sql-сервера под рукой ;)
> >
> > apt-get install MySQL-server
>
> apt, конечно, штука хорошая, но иногда перед этим и подумать
> надо ;)
>
> зачем мне тянуть сотню-две метров mysql&php, если я сам
> написал на перле скрипт разбора сквидового лога в статический
> хтмл? ;)
>
> занимает около 25 кил. ;)
Там где хватает статического html конечно не нужен ни SQL ни PHP,
но если нужна гибкость - выход только один  -SQL
На счет сотен мегабайт ты загнул , там отсилы 10 мег наберется.

И насчет скриптов ~ 5 kb на перле для укладки в MySQL и ~ 7 kb на 
php для вытаскивания и оборачивания в хтмл.

-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Denis Smirnov]

[-- Attachment #1: Type: text/plain, Size: 384 bytes --]

On Wed, Mar 19, 2003 at 06:26:08PM +0300, Artem Pastukhov wrote:

 > И насчет скриптов ~ 5 kb на перле для укладки в MySQL и ~ 7 kb на 
 > php для вытаскивания и оборачивания в хтмл.

Если знаешь perl (что требуется для первой части), то и вторая часть
тоже пишется на нём. HTML::Template, Text::Template, и mod_perl рулят.

-- 
С уважением, Денис

http://freesource.info

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

Re: [Comm] Re: SQUID - log

[Artem Pastukhov]

[-- Attachment #1: signed data --]
[-- Type: text/plain, Size: 571 bytes --]

21 Март 2003 10:09, Denis Smirnov написал:
> On Wed, Mar 19, 2003 at 06:26:08PM +0300, Artem Pastukhov 
wrote:
>  > И насчет скриптов ~ 5 kb на перле для укладки в MySQL и ~ 7
>  > kb на php для вытаскивания и оборачивания в хтмл.
>
> Если знаешь perl (что требуется для первой части), то и вторая
> часть тоже пишется на нём. HTML::Template, Text::Template, и
> mod_perl рулят.

Если знаешь перл - начать писать на php дело минут 15
IMHO вторую часть удобней писать на php.
-- 
 С уважением,
Артем Пастухов          past@yam.ru
 ЯМ Интернешнл         http://www.yam.ru


[-- Attachment #2: signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: SQUID - log

[Denis Smirnov]

[-- Attachment #1: Type: text/plain, Size: 1023 bytes --]

On Fri, Mar 21, 2003 at 10:42:42AM +0300, Artem Pastukhov wrote:
Content-Description: signed data

 > >  > И насчет скриптов ~ 5 kb на перле для укладки в MySQL и ~ 7
 > >  > kb на php для вытаскивания и оборачивания в хтмл.
 > > Если знаешь perl (что требуется для первой части), то и вторая
 > > часть тоже пишется на нём. HTML::Template, Text::Template, и
 > > mod_perl рулят.
 > Если знаешь перл - начать писать на php дело минут 15
 > IMHO вторую часть удобней писать на php.

С этим лучше пошли в личную почту, или talk-room. Но если на перле
писать действительно умеешь -- нет смысла браться за PHP. Ибо как только
проект становится хотя бы в пару десятков разных страниц -- работать с
ним на PHP по сравнению с перлом ад. Ибо смесь кода с данными никогда
ещё никому не помогала, а только мешала.

Вариант на mod_perl + Text::Template будет к тому же работать заметно
быстрее PHP, ибо кэшировать данные (в том числе разобраные шаблоны)
умеет.

-- 
С уважением, Денис

http://freesource.info

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

[Comm] [JT] Perl, PHP, OMG (was: SQUID - log)

[Michael Shigorin]

On Sat, Mar 22, 2003 at 11:37:53AM +0300, Denis Smirnov wrote:
> писать действительно умеешь -- нет смысла браться за PHP. Ибо
> как только проект становится хотя бы в пару десятков разных
> страниц -- работать с ним на PHP по сравнению с перлом ад.

Но это только на PHP и не используя все тех же темплейтных
движков вроде Smarty, не так ли?

И... perl... ммм... ;-?

> Ибо смесь кода с данными никогда ещё никому не помогала, а
> только мешала.

Sure.

/me косится то ли на amrita, то ли на narf-lib -- еще сам не
поймет.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] [JT] Perl, PHP, OMG (was: SQUID - log)

[Denis Smirnov]

[-- Attachment #1: Type: text/plain, Size: 925 bytes --]

On Sat, Mar 22, 2003 at 11:26:37AM +0200, Michael Shigorin wrote:

 > > писать действительно умеешь -- нет смысла браться за PHP. Ибо
 > > как только проект становится хотя бы в пару десятков разных
 > > страниц -- работать с ним на PHP по сравнению с перлом ад.
 > Но это только на PHP и не используя все тех же темплейтных
 > движков вроде Smarty, не так ли?
 > И... perl... ммм... ;-?

Если челоек уже знает перл, то смысла вообще использовать PHP у него
нет.

PHP полезен только хостерам -- на перле легче ошибиться и сделать
ресурсожралку, а потом ищи и бей по голове клиента. Самому же
добровольно использовать PHP там, где можно использовать перл... После
базового знакомства с модулем CGI и Text::Template такое желание
исчезает полностью. После HTML::Template и изучения возможностей
mod_perl начинаешь смотреть на PHP-программистов с жалостью.

-- 
С уважением, Денис

http://freesource.info

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]

[Comm] Re: [JT] Perl, PHP, OMG (was: SQUID - log)

[Michael Shigorin]

On Sat, Mar 22, 2003 at 02:01:32PM +0300, Denis Smirnov wrote:
> После HTML::Template и изучения возможностей mod_perl начинаешь
> смотреть на PHP-программистов с жалостью.

А после изучения REXML начинаешь смотреть что на перловые, что на
пхповые API для работы сXML с жалостью ;-P

Я серьезно -- мы тут вдвоем писали в параллель код для этакого
XML-based RPC, ну так вот на перле это человек делать обломался
(хотя знает его более чем, т.е. тот же mod_perl патчил в свое
время) и нарисовал на PHP.  Парсер -- ~ два экрана.  У меня
парсер (с ексепшн хэндлерами и прочим) занял полэкрана, ну и еще
полэкрана -- обработчик запросов в первом приближении.

Воттактовот (C) :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: [JT] Perl, PHP, OMG (was: SQUID - log)

[Denis Smirnov]

[-- Attachment #1: Type: text/plain, Size: 915 bytes --]

On Sat, Mar 22, 2003 at 03:24:25PM +0200, Michael Shigorin wrote:

 > > После HTML::Template и изучения возможностей mod_perl начинаешь
 > > смотреть на PHP-программистов с жалостью.
 > А после изучения REXML начинаешь смотреть что на перловые, что на
 > пхповые API для работы сXML с жалостью ;-P
 > Я серьезно -- мы тут вдвоем писали в параллель код для этакого
 > XML-based RPC, ну так вот на перле это человек делать обломался
 > (хотя знает его более чем, т.е. тот же mod_perl патчил в свое
 > время) и нарисовал на PHP.  Парсер -- ~ два экрана.  У меня
 > парсер (с ексепшн хэндлерами и прочим) занял полэкрана, ну и еще
 > полэкрана -- обработчик запросов в первом приближении.
 > Воттактовот (C) :)

Вполне естественно это. Оба языка по своей структуре не рассчитаны на
работу с XML. Работать, конечно, можно, но лучше этого не делать :)

-- 
С уважением, Денис

http://freesource.info

[-- Attachment #2: Type: application/pgp-signature, Size: 232 bytes --]