[Comm] система центрального логирования...

[Comm] система центрального логирования...

[Maks Re]

привет.

вот тут появилась идея,
от разных систем и продуктов собирать их логи и хранить для
дальнейшего употребления...
представим, что есть какая-то площадка, где стоят серваки, на них
крутится какая-либо прокакшен система, (у нус в частности апликухи на
ждаве и прочее)
эта система кидает пока все логи в файл. (кста, работет под офтопиком
и не только).

теперь мой вапрос.
как правильно _идеологически_ сделать сабж:
забирать все логи (ну каким нибудь способом, наверняка имеюся с
оффтопика что-то типа кидать в сислог-сервер) на один компуш (замечу,
что это _один_ пока копм)
и потом с этого компа бакапить файлы рсинком куда либо.  (для дублирования)

в этом варианте непонятно - что делать, когдга этот сервак накрылся,
понятно что второй должен быть под рукой, но это _почти_ ручное
переключение.

или писать все в какию-либо БД, и потом уже средствами БД данные
реплицировать для надежности... опять вапрос - а если то куда пишем
накрылся???

данные, которые сейчас пишутся пока только в лог файлы (текстовые) на
компах очень объемны, до 0,5-1,5 Г в сутки., а таких серваком много...


и опять такиже,  что если данные которые передаются, еще и
криптовать в тунелле??? имеет смысл али нет? с т.з. здавого смыла я в ответах
ответа пока не нашел. сеть ВПН-новская, мне кажется кадать пакеты в
крипто канал -не дело, пусть эти зпнивается ВПН-рутер


вобшем вапрос свелся к таму  - как делают умные люди систему
центрального логирования... может уть уже готовые решения...


-- 
С уважением, 
  Макс.

Re: [Comm] система центрального логирования...

[Maxim Bodyansky]

On Втр, Авг 09, 2005 at 11:24:06 +0400 Maks Re wrote:
> привет.
> 
> вот тут появилась идея,
> от разных систем и продуктов собирать их логи и хранить для
> дальнейшего употребления...
> представим, что есть какая-то площадка, где стоят серваки, на них
> крутится какая-либо прокакшен система, (у нус в частности апликухи на
> ждаве и прочее)
> эта система кидает пока все логи в файл. (кста, работет под офтопиком
> и не только).
> 
> теперь мой вапрос.
> как правильно _идеологически_ сделать сабж:
> забирать все логи (ну каким нибудь способом, наверняка имеюся с
> оффтопика что-то типа кидать в сислог-сервер) на один компуш (замечу,
> что это _один_ пока копм)
> и потом с этого компа бакапить файлы рсинком куда либо.  (для дублирования)
> 
> в этом варианте непонятно - что делать, когдга этот сервак накрылся,
> понятно что второй должен быть под рукой, но это _почти_ ручное
> переключение.
> 
> или писать все в какию-либо БД, и потом уже средствами БД данные
> реплицировать для надежности... опять вапрос - а если то куда пишем
> накрылся???
> 
> данные, которые сейчас пишутся пока только в лог файлы (текстовые) на
> компах очень объемны, до 0,5-1,5 Г в сутки., а таких серваком много...
> 
> 
> и опять такиже,  что если данные которые передаются, еще и
> криптовать в тунелле??? имеет смысл али нет? с т.з. здавого смыла я в ответах
> ответа пока не нашел. сеть ВПН-новская, мне кажется кадать пакеты в
> крипто канал -не дело, пусть эти зпнивается ВПН-рутер
> 
> 
> вобшем вапрос свелся к таму  - как делают умные люди систему
> центрального логирования... может уть уже готовые решения...

Не могли бы Вы написать тоже самое более привычным языком?
/me еле-еле прочёл

-- 
A list is only as strong as its weakest link.
		-- Don Knuth

Re: [Comm] система центрального логирования...

[Maks Re]

извиняюсь за сбивчивый стиль написания...

но полагаю суть вапроса ясна... 

какие есть идеи по организации центрального лог-сервера,
отказоустойчивого при том же...

зы: лог от апачей, где-то 0.5Г/сут... и устолько же от остальных систем


-- 
С уважением, 
  Макс.

Re: [Comm] система центрального логирования...

[Michael Holzman]

On 8/10/05, Maks Re <admaks@gmail.com> wrote:
> 
> какие есть идеи по организации центрального лог-сервера,
> отказоустойчивого при том же...
Я голосую за кластерную БД поскольку с аналогичной проблемой маюсь
довольно долго  и ничего лучшего не придумал.

-- 
Regards,
    Michael Holzman

Re: [Comm] система центрального логирования...

[Eugene Prokopiev]

Maks Re пишет:
> в частности апликухи на ждаве

apache commons logging используют? Если да, просторы для фантазии не 
ограничены, читать про log4j. Например, можно лить напрямую в любую СУБД :)

-- 
С уважением, Прокопьев Евгений

Re: [Comm] система центрального логирования...

[Olvin]

Maks Re wrote:
> извиняюсь за сбивчивый стиль написания...

Бывает.

> но полагаю суть вапроса ясна... 
> какие есть идеи по организации центрального лог-сервера,
> отказоустойчивого при том же...
> зы: лог от апачей, где-то 0.5Г/сут... и устолько же от остальных систем

Это не столько отказоустойчивая система нужна, сколь _распределённая_.

Re: [Comm] система центрального логирования...

[Maks Re]

> Я голосую за кластерную БД поскольку с аналогичной проблемой маюсь
> довольно долго  и ничего лучшего не придумал.

а все таки почему БД?

задачи логирования: 
сохранить инфу..
-желательно в компактной форме
-если что надо... то распоковать чужный файл и grep`om его, ну или fgrep


-- 
С уважением, 
  Макс.

Re: [Comm] система центрального логирования...

[Maks Re]

не дописал...
> 
> задачи логирования:
> сохранить инфу..
> -желательно в компактной форме
> -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep

поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
xfs и туда уже писать...


вот только как масштабировать размеры... и как повышать надешность...
акромя РАИД-5 что-то в голову не лезет...







-- 
С уважением, 
  Макс.

Re: [Comm] система центрального логирования...

[Michael Holzman]

On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> не дописал...
> >
> > задачи логирования:
> > сохранить инфу..
> > -желательно в компактной форме
> > -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
> 
> поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
> xfs и туда уже писать...
> 
> 
> вот только как масштабировать размеры... и как повышать надешность...
> акромя РАИД-5 что-то в голову не лезет...
> 
Подробно описывать сейчас не могу (времени нет совсем). Но несколько
болевых точек для файлов укажу:
1. Монтирование/расмонтирование ФС на разные машины - геморрой.
2. Затык NFS сервера = затык всей системы. Можно, конечно, поставить
кластерную ФС. Только я пока им не слишком верю - молодые,  зеленые. В
смысле недозревшие.
А вот кластерные БД чуток понадежней.
3. Отсутствие транзакций, плохие блокировки и т.д. при работе с
файлами. Приводит к тому, что на каждый чих надо создавать отдельный
файл, а то и каталог. Да и стереть по ошибке файл проще, чем запись в
БД.

А в плюсы БД еще можно добавить наличие всяческих готовых генераторов
отчетов и прозрачный доступ с любой ОС, места (даже через медленную
линию), GUI для просмотра "сырых" данных глазками.

-- 
Regards,
    Michael Holzman

Re: [Comm] система центрального логирования...

[Maks Re]

ну...
в ваших словах есть истина...

но вот как быть, если логов набирается где-то уже под 300Г...
какая БД с ними будет легко справляться...?
а если логов больше???

да... эта система мне кажется легче распаралеливается...
но все же... должны быть и минусы с применением БД.



On 8/18/05, Michael Holzman <michaelholzman@gmail.com> wrote:
> On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> > не дописал...
> > >
> > > задачи логирования:
> > > сохранить инфу..
> > > -желательно в компактной форме
> > > -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
> >
> > поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
> > xfs и туда уже писать...
> >
> >
> > вот только как масштабировать размеры... и как повышать надешность...
> > акромя РАИД-5 что-то в голову не лезет...
> >
> Подробно описывать сейчас не могу (времени нет совсем). Но несколько
> болевых точек для файлов укажу:
> 1. Монтирование/расмонтирование ФС на разные машины - геморрой.
> 2. Затык NFS сервера = затык всей системы. Можно, конечно, поставить
> кластерную ФС. Только я пока им не слишком верю - молодые,  зеленые. В
> смысле недозревшие.
> А вот кластерные БД чуток понадежней.
> 3. Отсутствие транзакций, плохие блокировки и т.д. при работе с
> файлами. Приводит к тому, что на каждый чих надо создавать отдельный
> файл, а то и каталог. Да и стереть по ошибке файл проще, чем запись в
> БД.
> 
> А в плюсы БД еще можно добавить наличие всяческих готовых генераторов
> отчетов и прозрачный доступ с любой ОС, места (даже через медленную
> линию), GUI для просмотра "сырых" данных глазками.
> 
> --
> Regards,
>     Michael Holzman
> 
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> https://lists.altlinux.ru/mailman/listinfo/community
> 


-- 
С уважением, 
  Макс.

Re: [Comm] система центрального логирования...

[Michael Holzman]

On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> но вот как быть, если логов набирается где-то уже под 300Г...
> какая БД с ними будет легко справляться...?
> а если логов больше???
На самом деле при таких объемах логов с файлами проблем будет не меньше.
Приличная БД тянет терабайты без проблем. Понятно, что нужен хороший
DBA для планирования системы. Например, разбиения особо больших таблиц
на partitions.
У меня тестовые базы на Oracle размером больше 100Г. 

> да... эта система мне кажется легче распаралеливается...
> но все же... должны быть и минусы с применением БД.
Безусловно есть минусы. Самый главный - для управления такой системой
нужно больше знать и использовать большее количество софта.
Следовательно стыковки, синхронизации,  взаимное непонимание
системного админа и админа базы, ...

Но. Все недостатки, которые я вижу,  - организационные. А вот
достоинства - технические. Что Вам важнее - не знаю :-)

-- 
Regards,
    Michael Holzman

Re: [Comm] система центрального логирования...

[Maks Re]

ок. послушаем...

а вот что из БД??? Oracle, MySQL, PgSQL???

ну у тебя Оракл, а почему?

как с распределенностью??? ну всмыле если один хост накрвывается??

Re: [Comm] система центрального логирования...

[Michael Holzman]

On 8/19/05, Maks Re <admaks@gmail.com> wrote:
> ок. послушаем...
> 
> а вот что из БД??? Oracle, MySQL, PgSQL???
> 
Брать надо  то, что дают :-)

> ну у тебя Оракл, а почему?
> 
Это как раз то, что дали.

> как с распределенностью??? ну всмыле если один хост накрвывается??
Для того, что есть, строить отказоустойчивый кластер. С бэкапом,
распределением нагрузки, ну и прочими доступными вкусностями...

А если серьезно, то разговаривать надо не со мной (DBA-любителем), а с
профессионалом, который и объяснит, что брать и как использовать. Я
так и поступаю.

-- 
Regards,
    Michael Holzman

Re: [Comm] система центрального логирования...

[Maks Re]

идеологически сохлись на:
-использовании в качестве хранилища БД (типа Оракла)
-для отказуустойчивости хранения - использовать шишки Оракла


а вот как теперь всем приложениям сказать писать в лог-сервер.. тут у
меня сислог видится... ну или log4j (еще не смотрел что это)

он как продублировать работоспособноть сислог-сервера?