* [Comm] система центрального логирования...
@ 2005-08-09 19:24 Maks Re
2005-08-10 3:51 ` Maxim Bodyansky
2005-08-10 4:30 ` Eugene Prokopiev
0 siblings, 2 replies; 14+ messages in thread
From: Maks Re @ 2005-08-09 19:24 UTC (permalink / raw)
To: community
привет.
вот тут появилась идея,
от разных систем и продуктов собирать их логи и хранить для
дальнейшего употребления...
представим, что есть какая-то площадка, где стоят серваки, на них
крутится какая-либо прокакшен система, (у нус в частности апликухи на
ждаве и прочее)
эта система кидает пока все логи в файл. (кста, работет под офтопиком
и не только).
теперь мой вапрос.
как правильно _идеологически_ сделать сабж:
забирать все логи (ну каким нибудь способом, наверняка имеюся с
оффтопика что-то типа кидать в сислог-сервер) на один компуш (замечу,
что это _один_ пока копм)
и потом с этого компа бакапить файлы рсинком куда либо. (для дублирования)
в этом варианте непонятно - что делать, когдга этот сервак накрылся,
понятно что второй должен быть под рукой, но это _почти_ ручное
переключение.
или писать все в какию-либо БД, и потом уже средствами БД данные
реплицировать для надежности... опять вапрос - а если то куда пишем
накрылся???
данные, которые сейчас пишутся пока только в лог файлы (текстовые) на
компах очень объемны, до 0,5-1,5 Г в сутки., а таких серваком много...
и опять такиже, что если данные которые передаются, еще и
криптовать в тунелле??? имеет смысл али нет? с т.з. здавого смыла я в ответах
ответа пока не нашел. сеть ВПН-новская, мне кажется кадать пакеты в
крипто канал -не дело, пусть эти зпнивается ВПН-рутер
вобшем вапрос свелся к таму - как делают умные люди систему
центрального логирования... может уть уже готовые решения...
--
С уважением,
Макс.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-09 19:24 [Comm] система центрального логирования Maks Re
@ 2005-08-10 3:51 ` Maxim Bodyansky
2005-08-10 4:06 ` Maks Re
2005-08-10 4:30 ` Eugene Prokopiev
1 sibling, 1 reply; 14+ messages in thread
From: Maxim Bodyansky @ 2005-08-10 3:51 UTC (permalink / raw)
To: ALT Linux Community
On Втр, Авг 09, 2005 at 11:24:06 +0400 Maks Re wrote:
> привет.
>
> вот тут появилась идея,
> от разных систем и продуктов собирать их логи и хранить для
> дальнейшего употребления...
> представим, что есть какая-то площадка, где стоят серваки, на них
> крутится какая-либо прокакшен система, (у нус в частности апликухи на
> ждаве и прочее)
> эта система кидает пока все логи в файл. (кста, работет под офтопиком
> и не только).
>
> теперь мой вапрос.
> как правильно _идеологически_ сделать сабж:
> забирать все логи (ну каким нибудь способом, наверняка имеюся с
> оффтопика что-то типа кидать в сислог-сервер) на один компуш (замечу,
> что это _один_ пока копм)
> и потом с этого компа бакапить файлы рсинком куда либо. (для дублирования)
>
> в этом варианте непонятно - что делать, когдга этот сервак накрылся,
> понятно что второй должен быть под рукой, но это _почти_ ручное
> переключение.
>
> или писать все в какию-либо БД, и потом уже средствами БД данные
> реплицировать для надежности... опять вапрос - а если то куда пишем
> накрылся???
>
> данные, которые сейчас пишутся пока только в лог файлы (текстовые) на
> компах очень объемны, до 0,5-1,5 Г в сутки., а таких серваком много...
>
>
> и опять такиже, что если данные которые передаются, еще и
> криптовать в тунелле??? имеет смысл али нет? с т.з. здавого смыла я в ответах
> ответа пока не нашел. сеть ВПН-новская, мне кажется кадать пакеты в
> крипто канал -не дело, пусть эти зпнивается ВПН-рутер
>
>
> вобшем вапрос свелся к таму - как делают умные люди систему
> центрального логирования... может уть уже готовые решения...
Не могли бы Вы написать тоже самое более привычным языком?
/me еле-еле прочёл
--
A list is only as strong as its weakest link.
-- Don Knuth
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-10 3:51 ` Maxim Bodyansky
@ 2005-08-10 4:06 ` Maks Re
2005-08-10 4:29 ` Michael Holzman
2005-08-10 12:58 ` Olvin
0 siblings, 2 replies; 14+ messages in thread
From: Maks Re @ 2005-08-10 4:06 UTC (permalink / raw)
To: ALT Linux Community
извиняюсь за сбивчивый стиль написания...
но полагаю суть вапроса ясна...
какие есть идеи по организации центрального лог-сервера,
отказоустойчивого при том же...
зы: лог от апачей, где-то 0.5Г/сут... и устолько же от остальных систем
--
С уважением,
Макс.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-10 4:06 ` Maks Re
@ 2005-08-10 4:29 ` Michael Holzman
2005-08-18 6:01 ` Maks Re
2005-08-10 12:58 ` Olvin
1 sibling, 1 reply; 14+ messages in thread
From: Michael Holzman @ 2005-08-10 4:29 UTC (permalink / raw)
To: ALT Linux Community
On 8/10/05, Maks Re <admaks@gmail.com> wrote:
>
> какие есть идеи по организации центрального лог-сервера,
> отказоустойчивого при том же...
Я голосую за кластерную БД поскольку с аналогичной проблемой маюсь
довольно долго и ничего лучшего не придумал.
--
Regards,
Michael Holzman
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-10 4:29 ` Michael Holzman
@ 2005-08-18 6:01 ` Maks Re
2005-08-18 6:17 ` Maks Re
0 siblings, 1 reply; 14+ messages in thread
From: Maks Re @ 2005-08-18 6:01 UTC (permalink / raw)
To: ALT Linux Community
> Я голосую за кластерную БД поскольку с аналогичной проблемой маюсь
> довольно долго и ничего лучшего не придумал.
а все таки почему БД?
задачи логирования:
сохранить инфу..
-желательно в компактной форме
-если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
--
С уважением,
Макс.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-18 6:01 ` Maks Re
@ 2005-08-18 6:17 ` Maks Re
2005-08-18 6:43 ` Michael Holzman
0 siblings, 1 reply; 14+ messages in thread
From: Maks Re @ 2005-08-18 6:17 UTC (permalink / raw)
To: ALT Linux Community
не дописал...
>
> задачи логирования:
> сохранить инфу..
> -желательно в компактной форме
> -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
xfs и туда уже писать...
вот только как масштабировать размеры... и как повышать надешность...
акромя РАИД-5 что-то в голову не лезет...
--
С уважением,
Макс.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-18 6:17 ` Maks Re
@ 2005-08-18 6:43 ` Michael Holzman
2005-08-18 6:48 ` Maks Re
0 siblings, 1 reply; 14+ messages in thread
From: Michael Holzman @ 2005-08-18 6:43 UTC (permalink / raw)
To: ALT Linux Community
On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> не дописал...
> >
> > задачи логирования:
> > сохранить инфу..
> > -желательно в компактной форме
> > -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
>
> поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
> xfs и туда уже писать...
>
>
> вот только как масштабировать размеры... и как повышать надешность...
> акромя РАИД-5 что-то в голову не лезет...
>
Подробно описывать сейчас не могу (времени нет совсем). Но несколько
болевых точек для файлов укажу:
1. Монтирование/расмонтирование ФС на разные машины - геморрой.
2. Затык NFS сервера = затык всей системы. Можно, конечно, поставить
кластерную ФС. Только я пока им не слишком верю - молодые, зеленые. В
смысле недозревшие.
А вот кластерные БД чуток понадежней.
3. Отсутствие транзакций, плохие блокировки и т.д. при работе с
файлами. Приводит к тому, что на каждый чих надо создавать отдельный
файл, а то и каталог. Да и стереть по ошибке файл проще, чем запись в
БД.
А в плюсы БД еще можно добавить наличие всяческих готовых генераторов
отчетов и прозрачный доступ с любой ОС, места (даже через медленную
линию), GUI для просмотра "сырых" данных глазками.
--
Regards,
Michael Holzman
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-18 6:43 ` Michael Holzman
@ 2005-08-18 6:48 ` Maks Re
2005-08-18 7:20 ` Michael Holzman
0 siblings, 1 reply; 14+ messages in thread
From: Maks Re @ 2005-08-18 6:48 UTC (permalink / raw)
To: ALT Linux Community
ну...
в ваших словах есть истина...
но вот как быть, если логов набирается где-то уже под 300Г...
какая БД с ними будет легко справляться...?
а если логов больше???
да... эта система мне кажется легче распаралеливается...
но все же... должны быть и минусы с применением БД.
On 8/18/05, Michael Holzman <michaelholzman@gmail.com> wrote:
> On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> > не дописал...
> > >
> > > задачи логирования:
> > > сохранить инфу..
> > > -желательно в компактной форме
> > > -если что надо... то распоковать чужный файл и grep`om его, ну или fgrep
> >
> > поэтому мне кажется проще сделать на быструю ФС, ну типа reiserfs or
> > xfs и туда уже писать...
> >
> >
> > вот только как масштабировать размеры... и как повышать надешность...
> > акромя РАИД-5 что-то в голову не лезет...
> >
> Подробно описывать сейчас не могу (времени нет совсем). Но несколько
> болевых точек для файлов укажу:
> 1. Монтирование/расмонтирование ФС на разные машины - геморрой.
> 2. Затык NFS сервера = затык всей системы. Можно, конечно, поставить
> кластерную ФС. Только я пока им не слишком верю - молодые, зеленые. В
> смысле недозревшие.
> А вот кластерные БД чуток понадежней.
> 3. Отсутствие транзакций, плохие блокировки и т.д. при работе с
> файлами. Приводит к тому, что на каждый чих надо создавать отдельный
> файл, а то и каталог. Да и стереть по ошибке файл проще, чем запись в
> БД.
>
> А в плюсы БД еще можно добавить наличие всяческих готовых генераторов
> отчетов и прозрачный доступ с любой ОС, места (даже через медленную
> линию), GUI для просмотра "сырых" данных глазками.
>
> --
> Regards,
> Michael Holzman
>
> _______________________________________________
> Community mailing list
> Community@altlinux.ru
> https://lists.altlinux.ru/mailman/listinfo/community
>
--
С уважением,
Макс.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-18 6:48 ` Maks Re
@ 2005-08-18 7:20 ` Michael Holzman
2005-08-19 9:59 ` Maks Re
0 siblings, 1 reply; 14+ messages in thread
From: Michael Holzman @ 2005-08-18 7:20 UTC (permalink / raw)
To: ALT Linux Community
On 8/18/05, Maks Re <admaks@gmail.com> wrote:
> но вот как быть, если логов набирается где-то уже под 300Г...
> какая БД с ними будет легко справляться...?
> а если логов больше???
На самом деле при таких объемах логов с файлами проблем будет не меньше.
Приличная БД тянет терабайты без проблем. Понятно, что нужен хороший
DBA для планирования системы. Например, разбиения особо больших таблиц
на partitions.
У меня тестовые базы на Oracle размером больше 100Г.
> да... эта система мне кажется легче распаралеливается...
> но все же... должны быть и минусы с применением БД.
Безусловно есть минусы. Самый главный - для управления такой системой
нужно больше знать и использовать большее количество софта.
Следовательно стыковки, синхронизации, взаимное непонимание
системного админа и админа базы, ...
Но. Все недостатки, которые я вижу, - организационные. А вот
достоинства - технические. Что Вам важнее - не знаю :-)
--
Regards,
Michael Holzman
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-18 7:20 ` Michael Holzman
@ 2005-08-19 9:59 ` Maks Re
2005-08-19 10:38 ` Michael Holzman
0 siblings, 1 reply; 14+ messages in thread
From: Maks Re @ 2005-08-19 9:59 UTC (permalink / raw)
To: ALT Linux Community
ок. послушаем...
а вот что из БД??? Oracle, MySQL, PgSQL???
ну у тебя Оракл, а почему?
как с распределенностью??? ну всмыле если один хост накрвывается??
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-19 9:59 ` Maks Re
@ 2005-08-19 10:38 ` Michael Holzman
2005-08-19 10:48 ` Maks Re
0 siblings, 1 reply; 14+ messages in thread
From: Michael Holzman @ 2005-08-19 10:38 UTC (permalink / raw)
To: ALT Linux Community
On 8/19/05, Maks Re <admaks@gmail.com> wrote:
> ок. послушаем...
>
> а вот что из БД??? Oracle, MySQL, PgSQL???
>
Брать надо то, что дают :-)
> ну у тебя Оракл, а почему?
>
Это как раз то, что дали.
> как с распределенностью??? ну всмыле если один хост накрвывается??
Для того, что есть, строить отказоустойчивый кластер. С бэкапом,
распределением нагрузки, ну и прочими доступными вкусностями...
А если серьезно, то разговаривать надо не со мной (DBA-любителем), а с
профессионалом, который и объяснит, что брать и как использовать. Я
так и поступаю.
--
Regards,
Michael Holzman
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-19 10:38 ` Michael Holzman
@ 2005-08-19 10:48 ` Maks Re
0 siblings, 0 replies; 14+ messages in thread
From: Maks Re @ 2005-08-19 10:48 UTC (permalink / raw)
To: ALT Linux Community
идеологически сохлись на:
-использовании в качестве хранилища БД (типа Оракла)
-для отказуустойчивости хранения - использовать шишки Оракла
а вот как теперь всем приложениям сказать писать в лог-сервер.. тут у
меня сислог видится... ну или log4j (еще не смотрел что это)
он как продублировать работоспособноть сислог-сервера?
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-10 4:06 ` Maks Re
2005-08-10 4:29 ` Michael Holzman
@ 2005-08-10 12:58 ` Olvin
1 sibling, 0 replies; 14+ messages in thread
From: Olvin @ 2005-08-10 12:58 UTC (permalink / raw)
To: ALT Linux Community
Maks Re wrote:
> извиняюсь за сбивчивый стиль написания...
Бывает.
> но полагаю суть вапроса ясна...
> какие есть идеи по организации центрального лог-сервера,
> отказоустойчивого при том же...
> зы: лог от апачей, где-то 0.5Г/сут... и устолько же от остальных систем
Это не столько отказоустойчивая система нужна, сколь _распределённая_.
^ permalink raw reply [flat|nested] 14+ messages in thread
* Re: [Comm] система центрального логирования...
2005-08-09 19:24 [Comm] система центрального логирования Maks Re
2005-08-10 3:51 ` Maxim Bodyansky
@ 2005-08-10 4:30 ` Eugene Prokopiev
1 sibling, 0 replies; 14+ messages in thread
From: Eugene Prokopiev @ 2005-08-10 4:30 UTC (permalink / raw)
To: ALT Linux Community
Maks Re пишет:
> в частности апликухи на ждаве
apache commons logging используют? Если да, просторы для фантазии не
ограничены, читать про log4j. Например, можно лить напрямую в любую СУБД :)
--
С уважением, Прокопьев Евгений
^ permalink raw reply [flat|nested] 14+ messages in thread
end of thread, other threads:[~2005-08-19 10:48 UTC | newest]
Thread overview: 14+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2005-08-09 19:24 [Comm] система центрального логирования Maks Re
2005-08-10 3:51 ` Maxim Bodyansky
2005-08-10 4:06 ` Maks Re
2005-08-10 4:29 ` Michael Holzman
2005-08-18 6:01 ` Maks Re
2005-08-18 6:17 ` Maks Re
2005-08-18 6:43 ` Michael Holzman
2005-08-18 6:48 ` Maks Re
2005-08-18 7:20 ` Michael Holzman
2005-08-19 9:59 ` Maks Re
2005-08-19 10:38 ` Michael Holzman
2005-08-19 10:48 ` Maks Re
2005-08-10 12:58 ` Olvin
2005-08-10 4:30 ` Eugene Prokopiev
ALT Linux Community general discussions
This inbox may be cloned and mirrored by anyone:
git clone --mirror http://lore.altlinux.org/community/0 community/git/0.git
# If you have public-inbox 1.1+ installed, you may
# initialize and index your mirror using the following commands:
public-inbox-init -V2 community community/ http://lore.altlinux.org/community \
mandrake-russian@linuxteam.iplabs.ru community@lists.altlinux.org community@lists.altlinux.ru community@lists.altlinux.com
public-inbox-index community
Example config snippet for mirrors.
Newsgroup available over NNTP:
nntp://lore.altlinux.org/org.altlinux.lists.community
AGPL code for this site: git clone https://public-inbox.org/public-inbox.git