[Comm] squid

[Comm] squid

[Роман Тутов]

Доброе утро (вечер/ночь) 

Возможно-ли в реальном времени моему скрипту передать строку сквида
которая попадает в лог ?

Грубо говоря в скрипт должна попасть строка
1059105675.677    248 192.168.1.227 TCP_MISS/200 473 GET http://www.opennet.ru/opennews/style.css tutov  DIRECT/194.85.34.226 text/css

ЗЫ. А что это за цифры первое и второе число в строке ?

-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Тормозить плохо, а хорошо тормозить еще хуже!

Re: [Comm] squid

[Maxim.Savrilov]

[-- Attachment #1: Type: text/plain, Size: 603 bytes --]

On Fri, 1 Aug 2003 12:19:19 +0400
Роман Тутов <tutov@empils.ru> wrote:

> Доброе утро (вечер/ночь) 
> 
> Возможно-ли в реальном времени моему скрипту передать строку сквида
> которая попадает в лог ?
> 
> Грубо говоря в скрипт должна попасть строка
> 1059105675.677    248 192.168.1.227 TCP_MISS/200 473 GET http://www.opennet.ru/opennews/style.css tutov  DIRECT/194.85.34.226 text/css
> 
> ЗЫ. А что это за цифры первое и второе число в строке ?

Посмотрите, пожалуюста, в документации squid log format

-- 
Главное - чтобы в Новый Год тебя окружали хорошие люди!
Фельдмаршал Паулюс.

[-- Attachment #2: Type: application/pgp-signature, Size: 307 bytes --]

Re: [Comm] squid

[Maxim.Savrilov]

[-- Attachment #1: Type: text/plain, Size: 329 bytes --]

On Fri, 1 Aug 2003 12:19:19 +0400
Роман Тутов <tutov@empils.ru> wrote:

> Доброе утро (вечер/ночь) 
> 
> Возможно-ли в реальном времени моему скрипту передать строку сквида
> которая попадает в лог ?
tail -f | script.py
?


-- 
>как там у вынь с fork()-ом то?
отлично, ставишь cygwin и отлично х!@#$%ь форки! (LOR)

[-- Attachment #2: Type: application/pgp-signature, Size: 307 bytes --]

Re: [Comm] squid

[Mike Lykov]

В сообщении от Пятница 01 Август 2003 13:19 Роман Тутов написал:

> Возможно-ли в реальном времени моему скрипту передать строку сквида
> которая попадает в лог ?

а зачем в реальном? если очень надо - настрой редиректор (в качестве которого 
твой скрипт

> ЗЫ. А что это за цифры первое и второе число в строке ?

смотри в доку.
это unixtime и время отклика удаженного сервера

-- 
Mike
registered linux user #315334

Re: [Comm] squid

[Maxim Tyurin]

On Fri, Aug 01, 2003 at 12:19:19PM +0400, Роман Тутов wrote:
> Доброе утро (вечер/ночь) 
> 
> Возможно-ли в реальном времени моему скрипту передать строку сквида
> которая попадает в лог ?

Можно. Но не нужно. Лучше по крону парсить логфайл.

> 
> Грубо говоря в скрипт должна попасть строка
> 1059105675.677    248 192.168.1.227 TCP_MISS/200 473 GET http://www.opennet.ru/opennews/style.css tutov  DIRECT/194.85.34.226 text/css
> 
> ЗЫ. А что это за цифры первое и второе число в строке ?
Первое число - Datetime (дата и время когда произошло событие)
Второе elapsed (затраченное время)
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

[Comm] Re: [JT] squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 527 bytes --]

On Fri, 1 Aug 2003 11:37:39 +0300
Maxim Tyurin <mrkooll@tdr.pibhe.com> wrote:

> On Fri, Aug 01, 2003 at 12:19:19PM +0400, Роман Тутов wrote:
> > Доброе утро (вечер/ночь) 
> > 
> > Возможно-ли в реальном времени моему скрипту передать строку
> > сквида которая попадает в лог ?

Это частый вопрос начинающих админов squid'а :)

> Можно. Но не нужно. Лучше по крону парсить логфайл.

А это хороший совет опытных админов squid'а :)

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: [JT] squid

["KoLyA"]

-----Original Message-----
From: Vitaly Ostanin <vyt@vzljot.ru>
To: community@altlinux.ru
Date: Fri, 1 Aug 2003 12:41:14 +0400
Subject: [Comm] Re: [JT] squid

> On Fri, 1 Aug 2003 11:37:39 +0300
> Maxim Tyurin <mrkooll@tdr.pibhe.com> wrote:
> 
> > On Fri, Aug 01, 2003 at 12:19:19PM +0400, Роман Тутов wrote:
> > > Доброе утро (вечер/ночь) 
> > > 
> > > Возможно-ли в реальном времени моему скрипту передать строку
> > > сквида которая попадает в лог ?
> 
> Это частый вопрос начинающих админов squid'а :)
> 
> > Можно. Но не нужно. Лучше по крону парсить логфайл.
> 
> А это хороший совет опытных админов squid'а :)

если сквид при записи в лог юзает стандартные средства (ну, аналгоично как echo fdgs >> squid.log), то наверное можно сделать access.log симлинком на pipe? или я что-то не то говорю :) ?

Re[2]: [Comm] squid

[Роман Тутов]

Добрый день Maxim Tyurin
1 августа 2003 г. в 12:37  вы мне писали на тему 
" [Comm] squid "
>> Возможно-ли в реальном времени моему скрипту передать строку сквида
>> которая попадает в лог ?

MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
Нужно. Это хочет шеф. В моем случае вопрос не обсуждается


-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Hастоящий мyжчина постоит за себя и полежит за дpyгих

Re[2]: [Comm] Re: [JT] squid

[Роман Тутов]

Добрый день "KoLyA" 
1 августа 2003 г. в 2:03  вы мне писали на тему 
" [Comm] Re: [JT] squid "




K> если сквид при записи в лог юзает стандартные средства (ну, аналгоично как echo fdgs >> squid.log), то наверное можно сделать access.log симлинком на pipe? или я что-то не то говорю :) ?
Примерчик. маленький. Ибо дебют

-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Праведную жизнь начинаешь вести, когда на грешную не остается ни сил, ни денег.

Re: [JT][Comm] squid

[Mike Lykov]

В сообщении от Пятница 01 Август 2003 15:09 Роман Тутов написал:

> >> Возможно-ли в реальном времени моему скрипту передать строку сквида
> >> которая попадает в лог ?
> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается

А если шеф скажет прыгнуть с крыши здания, тоже не будет обсуждаться? 

Запускай крон раз в минуту, если уж так шефу надо настолько быстро видеть 
результаты подсчета.
естественно, что тут уже не grep по всему логу каждый раз надо, а, например, 
на перле небольшой скрипт:

#!/usr/bin/perl -w
просмотреть лог (посчитать)
запомнить позицию в файле (tell)
сохранить позицию (в к-ве байт) в файле

при следующем запуске seek в эту позицию
обсчитать новый кусок

-- 
Mike
registered linux user #315334

Re[2]: [JT][Comm] squid

[Роман Тутов]

Добрый день Mike Lykov
1 августа 2003 г. в 2:26  вы мне писали на тему 
" [JT][Comm] squid "

ML> естественно, что тут уже не grep по всему логу каждый раз надо, а, например, 
ML> на перле небольшой скрипт:

ML> #!/usr/bin/perl -w
ML> просмотреть лог (посчитать)
ML> запомнить позицию в файле (tell)
ML> сохранить позицию (в к-ве байт) в файле

ML> при следующем запуске seek в эту позицию
ML> обсчитать новый кусок

У вас не найдется какого-нибудь близкого примера .
В первый раз оно как-то сложновато .

-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Чем шире кругозор, тем уже плечи.

Re: [Comm] squid

[Maxim Tyurin]

On Fri, Aug 01, 2003 at 02:09:13PM +0400, Роман Тутов wrote:
> Добрый день Maxim Tyurin
> 1 августа 2003 г. в 12:37  вы мне писали на тему 
> " [Comm] squid "
> >> Возможно-ли в реальном времени моему скрипту передать строку сквида
> >> которая попадает в лог ?
> 
> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается

А зачем? Пускайте кроном почаще и через tail гоните в скрипт последние
записи.

Или какая-то хитрая постановка задачи?
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

Re[3]: [Comm] Re: [JT] squid

["KoLyA"]

-----Original Message-----
From: Роман Тутов <tutov@empils.ru>
To: "\"KoLyA\" " <community@altlinux.ru>
Date: Fri, 1 Aug 2003 14:15:18 +0400
Subject: Re[2]: [Comm] Re: [JT] squid

> 
> Добрый день "KoLyA" 
> 1 августа 2003 г. в 2:03  вы мне писали на тему 
> " [Comm] Re: [JT] squid "
> 
> 
> 
> 
> K> если сквид при записи в лог юзает стандартные средства (ну, аналгоично как echo fdgs >> squid.log), то наверное можно сделать access.log симлинком на pipe? или я что-то не то говорю :) ?
> Примерчик. маленький. Ибо дебют

да какой уж тут пример...

по-моему это команда mkfifo access.log
а своей проге подсовУешь на вход access.log. сквид туда пишет, а прога читает по мере поступления. только надо сделать так чтобы прога не одноразово прочитала и отвалилась, а крутилась в бесконечном цикле

Re: Re[2]: [JT][Comm] squid

[Mike Lykov]

В сообщении от Пятница 01 Август 2003 15:32 Роман Тутов написал:

> У вас не найдется какого-нибудь близкого примера .
> В первый раз оно как-то сложновато .

нет, мой скрипт для этого дела вырос до 25 килобайт, а тоже начинался с 
"первого раза".. ;)
Книги по perl помогут ;)

-- 
Mike
registered linux user #315334

[Comm] Re: [JT] squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 574 bytes --]

On Fri, 01 Aug 2003 14:03:12 +0400
"KoLyA"  <kolyag@mail.ru> wrote:

<skipped/>

> если сквид при записи в лог юзает стандартные средства (ну,
> аналгоично как echo fdgs >> squid.log), то наверное можно
> сделать access.log симлинком на pipe? или я что-то не то говорю
> :) ?

Наверное, можно, и когда я тоже хотел real time, то видел
утилиту для squid на эту тему. Только real time всё равно не
будет - AFAIK, squid пишет запись в лог после конца действия, а
не в его начале.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[Comm] Re: squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 762 bytes --]

On Fri, 1 Aug 2003 14:09:13 +0400
Роман Тутов <tutov@empils.ru> wrote:

> Добрый день Maxim Tyurin
> 1 августа 2003 г. в 12:37  вы мне писали на тему 
> " [Comm] squid "
> >> Возможно-ли в реальном времени моему скрипту передать строку
> >сквида> которая попадает в лог ?
> 
> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается

Вряд ли шеф хочет именно такую реализацию, скорее всего, ему
нужен результат. Вот его и нужно озвучить :)

Есть squid2mysql, который заносит логи в базу данных, откуда
можно делать отчёты.

Есть netstat, который показывает, кто в данный момент пользуется
squid'ом.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re[2]: [Comm] squid

[Роман Тутов]

Добрый день Maxim Tyurin
1 августа 2003 г. в 2:37  вы мне писали на тему 
" [Comm] squid "

MT> А зачем? Пускайте кроном почаще и через tail гоните в скрипт последние
MT> записи.

MT> Или какая-то хитрая постановка задачи?
я с tail'om пробовал . Почему-то такая конструкция
tail -f /log/sqid.log |grep чтолибо не работает

отдельно tail работает и греп отдельно тоже . вместе нет .
видимо что-то я не так делаю .

да и разве может таил работать бакгроунд? мне ведь полный автомат
нужен


-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Если в споре уступает умнейший, то как же тогда рождается истина ?

Re: [Comm] Re: [JT] squid

["KoLyA"]

-----Original Message-----
From: Vitaly Ostanin <vyt@vzljot.ru>
To: community@altlinux.ru
Date: Fri, 1 Aug 2003 14:44:56 +0400
Subject: [Comm] Re: [JT] squid

> On Fri, 01 Aug 2003 14:03:12 +0400
> "KoLyA"  <kolyag@mail.ru> wrote:
> 
> <skipped/>
> 
> > если сквид при записи в лог юзает стандартные средства (ну,
> > аналгоично как echo fdgs >> squid.log), то наверное можно
> > сделать access.log симлинком на pipe? или я что-то не то говорю
> > :) ?
> 
> Наверное, можно, и когда я тоже хотел real time, то видел
> утилиту для squid на эту тему. Только real time всё равно не
> будет - AFAIK, squid пишет запись в лог после конца действия, а
> не в его начале.
> 
и это вполне естественно, в лог ведь пишется время затраченное на обработку. можно внешнюю прогу прикрутить к сквиду как редиректор, тогда будет видно реал-тайм

Re: [Comm] Re: squid

[Роман Тутов]

Добрый день Vitaly Ostanin
1 августа 2003 г. в 2:47  вы мне писали на тему 
" [Comm] Re: squid "
>>
>> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
>> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается

VO> Вряд ли шеф хочет именно такую реализацию, скорее всего, ему
VO> нужен результат. Вот его и нужно озвучить :)

VO> Есть squid2mysql, который заносит логи в базу данных, откуда
VO> можно делать отчёты.

VO> Есть netstat, который показывает, кто в данный момент пользуется
VO> squid'ом.
Не. Нужно в реальном времени анализировать строчку , что попадает в
лог . Ежели кто чего не так ,писать письмо на имя рута

ЗЫ .Возможно задача и неграмотна но она именно такая

-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Hе ссать в компоРт !

Re: [Comm] Re: squid

[Maxim Tyurin]

On Fri, Aug 01, 2003 at 02:47:47PM +0400, Vitaly Ostanin wrote:
> On Fri, 1 Aug 2003 14:09:13 +0400
> Роман Тутов <tutov@empils.ru> wrote:
> 
> > Добрый день Maxim Tyurin
> > 1 августа 2003 г. в 12:37  вы мне писали на тему 
> > " [Comm] squid "
> > >> Возможно-ли в реальном времени моему скрипту передать строку
> > >сквида> которая попадает в лог ?
> > 
> > MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> > Нужно. Это хочет шеф. В моем случае вопрос не обсуждается
> 
> Вряд ли шеф хочет именно такую реализацию, скорее всего, ему
> нужен результат. Вот его и нужно озвучить :)
> 
> Есть squid2mysql, который заносит логи в базу данных, откуда
> можно делать отчёты.

Могу кинуть свой squid2PostgreSQL если кому-то знающему питон будет
интересно - можно вместе доработать :)

<scip>
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

Re[2]: [Comm] Re: squid

["KoLyA"]

-----Original Message-----
From: Роман Тутов <tutov@empils.ru>
To: Vitaly Ostanin <community@altlinux.ru>
Date: Fri, 1 Aug 2003 15:07:37 +0400
Subject: Re: [Comm] Re: squid

> 
> Добрый день Vitaly Ostanin
> 1 августа 2003 г. в 2:47  вы мне писали на тему 
> " [Comm] Re: squid "
> >>
> >> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> >> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается
> 
> VO> Вряд ли шеф хочет именно такую реализацию, скорее всего, ему
> VO> нужен результат. Вот его и нужно озвучить :)
> 
> VO> Есть squid2mysql, который заносит логи в базу данных, откуда
> VO> можно делать отчёты.
> 
> VO> Есть netstat, который показывает, кто в данный момент пользуется
> VO> squid'ом.
> Не. Нужно в реальном времени анализировать строчку , что попадает в
> лог . Ежели кто чего не так ,писать письмо на имя рута
> 
> ЗЫ .Возможно задача и неграмотна но она именно такая

я кажется придумал в какой ситуации может быть надо именно так:
злые пользователи качают мп3, и о факте скачивания надо узнать не после того как скачает (а в лог оно только тогда попадет!), а в начале качания, чтобы прийти и дать по голове. 
в таком роде? тогда конечно, лог парсить бессмысленно, хоть кроном раз в минуту, хоть непрерывно tail'ом.

Re: [Comm] Re: squid

[Dmytro O. Redchuk]

On Fri, Aug 01, 2003 at 03:07:37PM +0400, Роман Тутов wrote:
> Добрый день Vitaly Ostanin
> 1 августа 2003 г. в 2:47  вы мне писали на тему 
> " [Comm] Re: squid "
> >>
> >> MT> Можно. Но не нужно. Лучше по крону парсить логфайл.
> >> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается
> 
> VO> Вряд ли шеф хочет именно такую реализацию, скорее всего, ему
> VO> нужен результат. Вот его и нужно озвучить :)
> 
> VO> Есть squid2mysql, который заносит логи в базу данных, откуда
> VO> можно делать отчёты.
> 
> VO> Есть netstat, который показывает, кто в данный момент пользуется
> VO> squid'ом.
> Не. Нужно в реальном времени анализировать строчку , что попадает в
> лог . Ежели кто чего не так ,писать письмо на имя рута
> 
> ЗЫ .Возможно задача и неграмотна но она именно такая
Что-то не так в алгоритме...
(А какова постановка? Что надо иметь?)

Писать письмо -- это не то реальное время, ради которого надо убиваться.

(даже snmp trap лучше, думаю)

Я бы брал каждые десять минут строчки из лога за последние десять минут
(если вырезать sed'ом по /от/,/до/, где "от" и "до" генерить в минутах,
то получается хорошо) .. и эти строчки прорабатывал бы...
Ну пять минут :-)

Или, как уже говорилось -- fifo на скрипт...

Но слать мыло -- это да, это риалтайм...

> -- 
>  С уважением Тутов Роман
>  Отдел АСУП
>  mailto:tutov@empils.ru
-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk


XMMS:  ... silence.

Re: [Comm] Re: squid

[Dmytro O. Redchuk]

On Fri, Aug 01, 2003 at 03:16:05PM +0400, "KoLyA"  wrote:
> 

> я кажется придумал в какой ситуации может быть надо именно так: злые
> пользователи качают мп3, и о факте скачивания надо узнать не после
> того как скачает (а в лог оно только тогда попадет!), а в начале
> качания, чтобы прийти и дать по голове. 
Тогда лучше по размеру, или расширению...
Просто не пускать, и всё тут -- зачем по голове?

> в таком роде? тогда конечно, лог парсить бессмысленно, хоть кроном раз
> в минуту, хоть непрерывно tail'ом.

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk


XMMS:  ... silence.

Re[2]: [Comm] Re: squid

["KoLyA"]

-----Original Message-----
From: "Dmytro O. Redchuk" <dor@kiev-online.net>
To: community@altlinux.ru
Date: Fri, 1 Aug 2003 14:20:40 +0300
Subject: Re: [Comm] Re: squid

> 
> On Fri, Aug 01, 2003 at 03:16:05PM +0400, "KoLyA"  wrote:
> > 
> 
> > я кажется придумал в какой ситуации может быть надо именно так: злые
> > пользователи качают мп3, и о факте скачивания надо узнать не после
> > того как скачает (а в лог оно только тогда попадет!), а в начале
> > качания, чтобы прийти и дать по голове. 
> Тогда лучше по размеру, или расширению...
> Просто не пускать, и всё тут -- зачем по голове?

и я о том же.
здесь уже обоснование может быть не техническое, а организационное: к примеру шеф решил сократить штат :-) 

[Comm] Re: squid

[Dmytro O. Redchuk]

On Fri, Aug 01, 2003 at 03:28:54PM +0400, "KoLyA"  wrote:
> 
> 
> -----Original Message-----
> From: "Dmytro O. Redchuk" <dor@kiev-online.net>
> To: community@altlinux.ru
> Date: Fri, 1 Aug 2003 14:20:40 +0300
> Subject: Re: [Comm] Re: squid
> 
> > 
> > On Fri, Aug 01, 2003 at 03:16:05PM +0400, "KoLyA"  wrote:
> > > 
> > 
> > > я кажется придумал в какой ситуации может быть надо именно так: злые
> > > пользователи качают мп3, и о факте скачивания надо узнать не после
> > > того как скачает (а в лог оно только тогда попадет!), а в начале
> > > качания, чтобы прийти и дать по голове. 
> > Тогда лучше по размеру, или расширению...
> > Просто не пускать, и всё тут -- зачем по голове?
> 
> и я о том же.
> здесь уже обоснование может быть не техническое, а организационное: к
> примеру шеф решил сократить штат :-) 
В реальном времени?-))

Даже до пятницы не дотерпит?

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk


XMMS:  ... silence.

Re: [Comm] Re: squid

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 574 bytes --]

* "KoLyA"  <kolyag@mail.ru> [030801 15:30]:
> злые пользователи качают мп3, и о факте скачивания надо узнать
> не после того как скачает (а в лог оно только тогда попадет!),
> а в начале качания, чтобы прийти и дать по голове.  в таком
> роде? тогда конечно, лог парсить бессмысленно, хоть кроном раз
> в минуту, хоть непрерывно tail'ом.
Таки юзерам надо отдавать /dev/null, а по башке давать в конце
месяца, за всё сразу.

-- 
Regards, Sir Raorn.
-------------------
 Мне очень стыдно, но я это, как бы, чуть-чуть потерял опять немножко
пароль от BTS :(
		-- vsl in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: squid

[Mike Lykov]

В сообщении от Пятница 01 Август 2003 16:07 Роман Тутов написал:

> Не. Нужно в реальном времени анализировать строчку , что попадает в
> лог . Ежели кто чего не так ,писать письмо на имя рута
> ЗЫ .Возможно задача и неграмотна но она именно такая

Рут почтой захлебнется.
при средней нагрузке у меня в месяц проходит миллиона три строк, из них 
наверняка тысяч 10 писем получится ;)

ЗЫ свой скрипт как редиректор

-- 
Mike
registered linux user #315334

Re[2]: [Comm] Re: squid

[Роман Тутов]

Добрый день Dmytro O. Redchuk
1 августа 2003 г. в 3:18  вы мне писали на тему 
" [Comm] Re: squid "
>> ЗЫ .Возможно задача и неграмотна но она именно такая
DOR> Что-то не так в алгоритме...
DOR> (А какова постановка? Что надо иметь?)
Нужно отследить что кто-то например качает mp3 и незамедлительно дать
по голове. Я предлагал генерировать статистику ежемесячно ,но мне было
сказано (цитата) :"Наказание должно последовать незамедлительно "

DOR> Писать письмо -- это не то реальное время, ради которого надо убиваться.

DOR> (даже snmp trap лучше, думаю)

DOR> Я бы брал каждые десять минут строчки из лога за последние десять минут
DOR> (если вырезать sed'ом по /от/,/до/, где "от" и "до" генерить в минутах,
DOR> то получается хорошо) .. и эти строчки прорабатывал бы...
DOR> Ну пять минут :-)

DOR> Или, как уже говорилось -- fifo на скрипт...

DOR> Но слать мыло -- это да, это риалтайм...
а я и не спорю

-- 
 С уважением Тутов Роман
 Отдел АСУП
 mailto:tutov@empils.ru

Origin: Плюшeвыe чexлы нa yши пpидaдyт вaм зaгaдoчнocть...

Re: [Comm] Re: squid

[Maxim Tyurin]

On Fri, Aug 01, 2003 at 03:49:53PM +0400, Роман Тутов wrote:
> Добрый день Dmytro O. Redchuk
> 1 августа 2003 г. в 3:18  вы мне писали на тему 
> " [Comm] Re: squid "
> >> ЗЫ .Возможно задача и неграмотна но она именно такая
> DOR> Что-то не так в алгоритме...
> DOR> (А какова постановка? Что надо иметь?)
> Нужно отследить что кто-то например качает mp3 и незамедлительно дать
> по голове. Я предлагал генерировать статистику ежемесячно ,но мне было
> сказано (цитата) :"Наказание должно последовать незамедлительно "

Проще запретить качать mp3
Недопустить проще чем бить потом.

-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
			

Re[3]: [Comm] Re: squid

["KoLyA"]

-----Original Message-----
From: Роман Тутов <tutov@empils.ru>
To: "Dmytro O. Redchuk" <community@altlinux.ru>
Date: Fri, 1 Aug 2003 15:49:53 +0400
Subject: Re[2]: [Comm] Re: squid

> 
> Добрый день Dmytro O. Redchuk
> 1 августа 2003 г. в 3:18  вы мне писали на тему 
> " [Comm] Re: squid "
> >> ЗЫ .Возможно задача и неграмотна но она именно такая
> DOR> Что-то не так в алгоритме...
> DOR> (А какова постановка? Что надо иметь?)
> Нужно отследить что кто-то например качает mp3 и незамедлительно дать
> по голове. Я предлагал генерировать статистику ежемесячно ,но мне было
> сказано (цитата) :"Наказание должно последовать незамедлительно "
> 
> DOR> Писать письмо -- это не то реальное время, ради которого надо убиваться.
> 
> DOR> (даже snmp trap лучше, думаю)
> 
> DOR> Я бы брал каждые десять минут строчки из лога за последние десять минут
> DOR> (если вырезать sed'ом по /от/,/до/, где "от" и "до" генерить в минутах,
> DOR> то получается хорошо) .. и эти строчки прорабатывал бы...
> DOR> Ну пять минут :-)
> 
> DOR> Или, как уже говорилось -- fifo на скрипт...
> 
> DOR> Но слать мыло -- это да, это риалтайм...
> а я и не спорю
> 

ну давай ход конем: mp3 вообще запретить (шефу необязательно об этом знать), а шефу ежеминутную статистику, в которой никаких эмпэтрей все равно нет.

Re[3]: [JT][Comm] squid

[Nick S. Novikov]

Hello Роман,

Friday, August 1, 2003, 7:32:03 PM, you wrote:

ML>> просмотреть лог (посчитать)
ML>> запомнить позицию в файле (tell)
ML>> сохранить позицию (в к-ве байт) в файле
ML>> при следующем запуске seek в эту позицию
ML>> обсчитать новый кусок

РТ> У вас не найдется какого-нибудь близкого примера .
РТ> В первый раз оно как-то сложновато .

Поищи на ftp-шниках logsentry-1.1.1.tar.gz
Там, в частности, есть подходящая утилитка `logtail`

Раньше лежало на psionic.com, но увы авторы продались Cisco, и сайт
прикрыли.



-- 
Best regards,
 Nick                            mailto:novns@sensimilia.eu.org

[Comm] Re: [JT] squid

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 898 bytes --]

On Fri, 01 Aug 2003 15:28:54 +0400
"KoLyA"  <kolyag@mail.ru> wrote:

<skipped/>

> > > я кажется придумал в какой ситуации может быть надо именно
> > > так: злые пользователи качают мп3, и о факте скачивания
> > > надо узнать не после того как скачает (а в лог оно только
> > > тогда попадет!), а в начале качания, чтобы прийти и дать по
> > > голове. 
> > Тогда лучше по размеру, или расширению...
> > Просто не пускать, и всё тут -- зачем по голове?
> 
> и я о том же.
> здесь уже обоснование может быть не техническое, а
> организационное: к примеру шеф решил сократить штат :-)

Он таким образом определяет нужность сотрудников? Лучше
увольняйтесь сами :)

А по поводу ограничений - на практике их проще делать
административными мерами, а не техническими - замучаетесь всё
анализировать.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@vzljot.ru
JID:     vyt@vzljot.ru

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Re: [JT] squid

[Michael Bykov]

On Fri, 1 Aug 2003 16:49:59 +0400
Vitaly Ostanin <vyt@vzljot.ru> wrote:

> 
> > > > я кажется придумал в какой ситуации может быть
> > > > надо именно так: злые пользователи качают мп3, и о
> > > > факте скачивания надо узнать не после того как
> > > > скачает (а в лог оно только тогда попадет!), а в
> > > > начале качания, чтобы прийти и дать по голове. 


А я вот в этой ситуации для приятеля из мастербанка
написал скриптик, который из sarg-овой странички
отправляет по крону первым десяти пользователям их
статистику. $email здесь - имя пользователя, $email.html
- его файл. Приятель сказал, помогает. 


$ for ((i=10;i<20;i++)); \
do lynx -dump -nolist index.html | \
head -n $i |tail -n 1 | \
awk'{print $3}'; done | \ 
while read email; do mail \
$email@masterbank.ru < $email.html; done

--
Regards,

М.

[Comm] Re: squid

[Ilya Palagin]

On Fri, Aug 01, 2003 at 03:07:37PM +0400, Роман Тутов wrote:
...
> Не. Нужно в реальном времени анализировать строчку , что попадает в
> лог . Ежели кто чего не так ,писать письмо на имя рута

Можно сделать перловый, например, скрипт, который будет раз в
секунду читать приращения лога и анализировать строчки:

open(FH, "</var/log/squid/access.log");
for (;;) {
	while (<FH>) {
		# проверки с помощью regex
		# отсюда же посылайте письма админу
	}
	sleep 1
	seek(FH, 0, 1);
}

Re[2]: [Comm] Re: squid

[Vv]

День добрый!

А что-нибудь tail -f squid.log | grep mp3 | myaction.pl
не пойдет ?  (Я немного утрирую конечно ;) )

Какая задача такое решение, хотя можно еще syslogd настроить, чтоб
писал в какой нибудь парсер :)

Friday, August 01, 2003, 5:07:37 PM, you wrote:

>>> Нужно. Это хочет шеф. В моем случае вопрос не обсуждается

РТ> ЗЫ .Возможно задача и неграмотна но она именно такая




-- 
Best regards,
 Vv                            mailto:vv@fen.nsu.ru

Re[3]: [Comm] squid

[Vv]

День добрый!

Friday, August 01, 2003, 4:47:55 PM, you wrote:

Кто его мешает запустить в скрине ?
кстати если grep не работает , обрабатывай вывод прямо в скрипте.

РТ> да и разве может таил работать бакгроунд? мне ведь полный автомат
РТ> нужен





-- 
Best regards,
 Vv                            mailto:vv@fen.nsu.ru

[Comm] Re: squid

[Denis Smirnov]

On Fri, Aug 01, 2003 at 03:49:53PM +0400, Роман Тутов wrote:

> Нужно отследить что кто-то например качает mp3 и незамедлительно дать
> по голове. Я предлагал генерировать статистику ежемесячно ,но мне было
> сказано (цитата) :"Наказание должно последовать незамедлительно "

``Незамдлительно'', это сколько секунд? Через минуту нельзя никак? А через
час?

-- 
С уважением, Денис

http://freesource.info

Re[3]: [Comm] Re: squid

["KoLyA"]

-----Original Message-----
From: Vv <vv@fen.nsu.ru>
To: Роман Тутов <community@altlinux.ru>
Date: Sat, 2 Aug 2003 18:01:56 +0600
Subject: Re[2]: [Comm] Re: squid

> 
> День добрый!
> 
> А что-нибудь tail -f squid.log | grep mp3 | myaction.pl
> не пойдет ?  (Я немного утрирую конечно ;) )
> 
> Какая задача такое решение, хотя можно еще syslogd настроить, чтоб
> писал в какой нибудь парсер :)

да сказано же, что в лог попадает только _завершенное_ действие, то бишь юзер может два дня качать фильм, и только _после_ скачивания урл попадет в лог. а интересует как я понял возможность реал-тайм наблюдения