[Sysadmins] NetAMS with VE

[Sysadmins] NetAMS with VE

[Gennady Kovalev]

[-- Attachment #1: Type: text/plain, Size: 314 bytes --]

Я тоже пока не в теме...

Существует возможность netams запихать внутрь VE? Или оно обязательно на 
основном серваке должно быть запущено?

-- 
Геннадий Ковалев, 
БИГУР, http://www.bigur.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] NetAMS with VE

[Mikhail A. Pokidko]

http://lists.altlinux.org/pipermail/sysadmins/2007-November/012189.html
Посмотрите вот этот трид от ноября сего года

19.11.07, Gennady Kovalev написал(а):
> Я тоже пока не в теме...
>
> Существует возможность netams запихать внутрь VE? Или оно обязательно на
> основном серваке должно быть запущено?
>
> --
> Геннадий Ковалев,
> БИГУР, http://www.bigur.ru/


-- 

ALTLinux Team
xmpp: solar AT solar.net.ru

Re: [Sysadmins] NetAMS with VE

[Gennady Kovalev]

[-- Attachment #1: Type: text/plain, Size: 262 bytes --]

В сообщении от Monday 19 November 2007 12:59:49 Mikhail A. Pokidko написал(а):
> http://lists.altlinux.org/pipermail/sysadmins/2007-November/012189.html
> Посмотрите вот этот трид от ноября сего года

Спасибо.

-- 
Геннадий Ковалев, 
БИГУР, http://www.bigur.ru/

[-- Attachment #2: This is a digitally signed message part. --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> Существует возможность netams запихать внутрь VE? Или оно обязательно на
> основном серваке должно быть запущено?

Запихать можно куда угодно, вопрос в коллекторе, который может и не
работать в VE, если он использует ULOG/QUEUE -
http://bugzilla.openvz.org/show_bug.cgi?id=701

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] NetAMS with VE

[Timur Batyrshin]

Eugene Prokopiev (Mon, 19 Nov 2007 16:38:06 +0300):

> > Существует возможность netams запихать внутрь VE? Или оно
> > обязательно на основном серваке должно быть запущено?
> 
> Запихать можно куда угодно, вопрос в коллекторе, который может и не
> работать в VE, если он использует ULOG/QUEUE -
> http://bugzilla.openvz.org/show_bug.cgi?id=701

Хм, а на самом HN сейчас netams по ULOG может собирать статистику?

[root@web netams]# rpm -qa | grep netams
netams-3.4.0rc2-alt2

[root@web netams]# iptables -L | grep ULOG
ULOG  0  -- anywhere anywhere ULOG copy_range 0 nlgroup 1
queue_threshold 1
ULOG  0  -- anywhere anywhere ULOG copy_range 0 nlgroup 2
queue_threshold 1
ULOG  0  -- anywhere anywhere ULOG copy_range 0 nlgroup 3
queue_threshold 1 

выдержка из /etc/netams/netams.conf :

service data-source 1
type ip-traffic
source ulog NL1

service data-source 2
type ip-traffic
source ulog NL2

service data-source 3
type ip-traffic
source ulog NL3
....


Однако, на запрос show config выдается вот что:

service data-source 1
type ip-traffic
source (null)

service data-source 2
type ip-traffic
source (null)

service data-source 3
type ip-traffic
source (null)

Это так и должно быть, глюк нетамса или я что-то неверно задаю?

Складывается такое впечатление, что в этой сборке глючит все, что
только может =(
Попробую еще, конечно, версию 3.3.5 -- может там не такая удручающая
ситуация.

Сразу и вопрос: какие существуют альтернативы netams ?
Требуется собирать статистику по трафику для сервера с несколькими
поднятыми на нем VPS -- кто, когда и куда заходил и сколько
скачал/отправил по протоколам TCP и UDP. Статистика должна быть
доступна в человекочитаемом формате

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> Сразу и вопрос: какие существуют альтернативы netams ?
> Требуется собирать статистику по трафику для сервера с несколькими
> поднятыми на нем VPS -- кто, когда и куда заходил и сколько
> скачал/отправил по протоколам TCP и UDP. Статистика должна быть
> доступна в человекочитаемом формате

Меня устраивает то, что собирает ulog-acctd (работает в HN), он
складывает в текстовый файл и группирует (что складывать и
группировать - настраивается), а содержимое файла время от времени
заливается в БД.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] NetAMS with VE

[Timur Batyrshin]

В письме от Чтв, 22 Ноя 2007, 00:05 Eugene Prokopiev
пишет:
>> Сразу и вопрос: какие существуют
>> альтернативы netams ?
>> Требуется собирать статистику по
>> трафику для сервера с несколькими
>> поднятыми на нем VPS -- кто, когда и куда
>> заходил и сколько
>> скачал/отправил по протоколам TCP и UDP.
>> Статистика должна быть
>> доступна в человекочитаемом формате
>
> Меня устраивает то, что собирает ulog-acctd
> (работает в HN), он
> складывает в текстовый файл и
> группирует (что складывать и
> группировать - настраивается), а
> содержимое файла время от времени
> заливается в БД.

Спасибо, его завтра попробую. А ipcad -- это
не из этой же оперы?
Или он слишком навороченный для такой
задачи?

Re: [Sysadmins] NetAMS with VE

[Dmitry Dolgopolov]

> > Сразу и вопрос: какие существуют альтернативы netams ?
> > Требуется собирать статистику по трафику для сервера с несколькими
> > поднятыми на нем VPS -- кто, когда и куда заходил и сколько
> > скачал/отправил по протоколам TCP и UDP. Статистика должна быть
> > доступна в человекочитаемом формате
> 
> Меня устраивает то, что собирает ulog-acctd (работает в HN), он
> складывает в текстовый файл и группирует (что складывать и
> группировать - настраивается), а содержимое файла время от времени
> заливается в БД.
> 
> -- 
> С уважением,
> Прокопьев Евгений

И что вы предпринимаете на время "выгребания" статистики из файла в базу? Приостанавливаете ulog-acctd?

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> И что вы предпринимаете на время "выгребания" статистики из файла в базу? Приостанавливаете ulog-acctd?

Да, см. logrotate-скрипт. Приостановка не означает, что данные
теряются, просто в это время они не пишутся в account.log

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> Спасибо, его завтра попробую. А ipcad -- это
> не из этой же оперы?
> Или он слишком навороченный для такой
> задачи?

Он, как и NetAMS, умеет собирать из разных источников, но вывод для
меня неудобен. БД с полной детализацией лучше.

Есть еще ulogd, он умеет лить в БД напрямую, но это не совсем хорошо,
особенно с учетом того, что он не группирует пакеты.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] Katrin

[Denis Klimov]

On Wed, 21 Nov 2007 18:54:16 +0300 Timur Batyrshin wrote:


> Сразу и вопрос: какие существуют альтернативы netams ?

Разрабатываю биллинг (katrin.sf.net) возможно он подойдет Вам.
Собран для бранча, но туда не заливаю до релиза :). Лучше всего перед
установкой самому пересобрать последнюю версию из git. При
необходимости помогу в настройке. Веб-интерфейс на django, но он еще в
разработке.

--
Denis Klimov 
zver

Re: [Sysadmins] NetAMS with VE

[Timur Batyrshin]

Eugene Prokopiev (Thu, 22 Nov 2007 00:05:27 +0300):

> > Сразу и вопрос: какие существуют альтернативы netams ?
> > Требуется собирать статистику по трафику для сервера с несколькими
> > поднятыми на нем VPS -- кто, когда и куда заходил и сколько
> > скачал/отправил по протоколам TCP и UDP. Статистика должна быть
> > доступна в человекочитаемом формате
> 
> Меня устраивает то, что собирает ulog-acctd (работает в HN), он
> складывает в текстовый файл и группирует (что складывать и
> группировать - настраивается), а содержимое файла время от времени
> заливается в БД.

Как это лучше реализовать? Во время ротации логов заливать?
А через pipe/fifo никто не пробовал это делать?
Или так лучше не делать, т.к. менее надежно?

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> > > Сразу и вопрос: какие существуют альтернативы netams ?
> > > Требуется собирать статистику по трафику для сервера с несколькими
> > > поднятыми на нем VPS -- кто, когда и куда заходил и сколько
> > > скачал/отправил по протоколам TCP и UDP. Статистика должна быть
> > > доступна в человекочитаемом формате
> >
> > Меня устраивает то, что собирает ulog-acctd (работает в HN), он
> > складывает в текстовый файл и группирует (что складывать и
> > группировать - настраивается), а содержимое файла время от времени
> > заливается в БД.
>
> Как это лучше реализовать? Во время ротации логов заливать?

Если нужно нечасто, то да. У меня это происходит по крону, после
заливки вызывается несколько процедур, которые заполняют суммарную
таблицу ежедневного расхода трафика по таким параметрам:
хосты/входящий-исходящий/пропущенный или завернутый средствами
iptables (в этом прелесть ULOG - можно промаркировать пакеты и считать
по этим меткам). Пример в пакете есть, но он слишком замороченный, там
заполнением занимается одна процедура, которую без бутылки не понять.
Сейчас я ее разрезал на несколько, если надо, то обновлю пример в
пакете.

> А через pipe/fifo никто не пробовал это делать?
> Или так лучше не делать, т.к. менее надежно?

А смысл? Если писать в БД сразу, то лучше использовать ulogd и
получить все проблемы этого подхода. Если не сразу, а порциями, то
нужно где-то хранить эти порции (в RAM его можно и потерять) - снова
файл?

Идельным средством был бы гибрид ulogd и ulog-acctd, который бы умел и
группировать/откладывать запись, и писать в разные источники,
используя подгружаемые модули.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] NetAMS with VE

[Alexander Volkov]

On 2007-11-22 14:11:04 +0300, Eugene Prokopiev wrote:
EP> по этим меткам). Пример в пакете есть, но он слишком замороченный, там
EP> заполнением занимается одна процедура, которую без бутылки не понять.
EP> Сейчас я ее разрезал на несколько, если надо, то обновлю пример в
EP> пакете.
Было бы замечтательно :)

--
 Regards, Alexander

Re: [Sysadmins] NetAMS with VE

[Timur Batyrshin]

В письме от Чтв, 22 Ноя 2007, 14:11 Eugene Prokopiev
пишет:
>> А через pipe/fifo никто не пробовал это
>> делать?
>> Или так лучше не делать, т.к. менее
>> надежно?
> А смысл? Если писать в БД сразу, то лучше
> использовать ulogd и получить все
проблемы этого подхода.

А в чем его проблема, не совсем понял?

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> проблемы этого подхода.
>
> А в чем его проблема, не совсем понял?

слишком большая нагрузка на СУБД (дешевле вставить много записей
сразу, чем еще больше и по одной) + вероятность недоступности БД.

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] Katrin

[ABATAPA]

{22.11.07} Denis Klimov написал:
> Разрабатываю биллинг (katrin.sf.net) возможно он подойдет Вам.
> Собран для бранча, но туда не заливаю до релиза :). Лучше всего перед
> установкой самому пересобрать последнюю версию из git. При
> необходимости помогу в настройке. Веб-интерфейс на django, но он еще в
> разработке.
Там ссылка
http://blog.romanlagunov.ru/2006/10/24/howto-contribute-to-oss-projects.html
битая.
А вообще, еще слишком многого нет.


-- 
ABATAPA

Re: [Sysadmins] Katrin

[Denis Klimov]

On Thu, 22 Nov 2007 19:06:13 +0300 ABATAPA wrote:

> Там ссылка
> http://blog.romanlagunov.ru/2006/10/24/howto-contribute-to-oss-projects.html
> битая.
> А вообще, еще слишком многого нет.

Действительно, ссылка протухла :о)
А по поводу того что слишком многого нет, многое в планах и реализуется
по мере свободного времени и необходимости. Какого конкретно
функционала не хватает в Вашем конкретном случае?

--
Denis Klimov 
zver

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> EP> Сейчас я ее разрезал на несколько, если надо, то обновлю пример в
> EP> пакете.
> Было бы замечтательно :)

ушло в Сизиф

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] NetAMS with VE

[Timur Batyrshin]

Eugene Prokopiev (Thu, 22 Nov 2007 14:11:04 +0300):

> Если нужно нечасто, то да. У меня это происходит по крону, после
> заливки вызывается несколько процедур, которые заполняют суммарную
> таблицу ежедневного расхода трафика по таким параметрам:
> хосты/входящий-исходящий/пропущенный или завернутый средствами
> iptables (в этом прелесть ULOG - можно промаркировать пакеты и считать
> по этим меткам). Пример в пакете есть, но он слишком замороченный, там
> заполнением занимается одна процедура, которую без бутылки не понять.
> Сейчас я ее разрезал на несколько, если надо, то обновлю пример в
> пакете.

Тогда возник такой вопрос: чем лучше можно просматривать собранную
статистику? MRTG ?
Велосипед изобретать не хочется..

Re: [Sysadmins] NetAMS with VE

[Eugene Prokopiev]

> Тогда возник такой вопрос: чем лучше можно просматривать собранную
> статистику? MRTG ?
> Велосипед изобретать не хочется..

Вообще-то ulogd и ulog-acctd удобны именно для велосипедов ;)

-- 
С уважением,
Прокопьев Евгений

Re: [Sysadmins] Katrin

[Anton Farygin]

Denis Klimov пишет:
> On Thu, 22 Nov 2007 19:06:13 +0300 ABATAPA wrote:
> 
>> Там ссылка
>> http://blog.romanlagunov.ru/2006/10/24/howto-contribute-to-oss-projects.html
>> битая.
>> А вообще, еще слишком многого нет.
> 
> Действительно, ссылка протухла :о)
> А по поводу того что слишком многого нет, многое в планах и реализуется
> по мере свободного времени и необходимости. Какого конкретно
> функционала не хватает в Вашем конкретном случае?

мне нужен аналог Traffic inspector ;(

Re: [Sysadmins] Katrin

[Denis Klimov]

On Fri, 23 Nov 2007 12:49:48 +0300 Anton Farygin wrote:

> мне нужен аналог Traffic inspector ;(

Хех, когда то я тоже его использовал, приходилось поднимать систему
раз в месяц, в два, а сервер в другом городе... То одно сглючит, то другое.

Между прочим, Katrin имеет аналогчиную систему тарифов, поэтому бывшим
пользователем TI будет проще для понимания их настройка.

На мой взгляд Katrin уступает TI пока лишь в интерфейсе администратора и пользователя.
Сейчас это более менее реализовано на Django, но надо многое чего
доделать.

--
Denis Klimov 
zver

Re: [Sysadmins] Katrin

[Anton Farygin]

Denis Klimov пишет:
> On Fri, 23 Nov 2007 12:49:48 +0300 Anton Farygin wrote:
> 
>> мне нужен аналог Traffic inspector ;(
> 
> Хех, когда то я тоже его использовал, приходилось поднимать систему
> раз в месяц, в два, а сервер в другом городе... То одно сглючит, то другое.

Никто не сомневается в глючности решений на Windows...

> 
> Между прочим, Katrin имеет аналогчиную систему тарифов, поэтому бывшим
> пользователем TI будет проще для понимания их настройка.

Отлично.

> 
> На мой взгляд Katrin уступает TI пока лишь в интерфейсе администратора и пользователя.
> Сейчас это более менее реализовано на Django, но надо многое чего
> доделать.

Выложите пожалуйста katrin в sisyphus. что бы можно было поставить и 
посмотреть.

Re: [Sysadmins] Katrin

[ABATAPA]

{23.11.07} Denis Klimov написал:
> Действительно, ссылка протухла :о)
> А по поводу того что слишком многого нет, многое в планах и реализуется
> по мере свободного времени и необходимости. Какого конкретно
> функционала не хватает в Вашем конкретном случае?
О! Тут много можно говорить... Даже UTM многим не хватает, хотя всем хватает 
его глюков и замысловатости...


-- 
ABATAPA

Re: [Sysadmins] Katrin

[Anton Farygin]

ABATAPA пишет:
> {23.11.07} Denis Klimov написал:
>> Действительно, ссылка протухла :о)
>> А по поводу того что слишком многого нет, многое в планах и реализуется
>> по мере свободного времени и необходимости. Какого конкретно
>> функционала не хватает в Вашем конкретном случае?
> О! Тут много можно говорить... Даже UTM многим не хватает, хотя всем хватает 
> его глюков и замысловатости...

На самом деле реально нужен хороший и безглючный биллинг ;)

Легко настраиваемый, удобный и функциональный.

Re: [Sysadmins] Katrin

[Konstantin A. Lepikhov]

Hi Anton!

Saturday 24, at 01:12:44 AM you wrote:

> ABATAPA пишет:
> > {23.11.07} Denis Klimov написал:
> >> Действительно, ссылка протухла :о)
> >> А по поводу того что слишком многого нет, многое в планах и реализуется
> >> по мере свободного времени и необходимости. Какого конкретно
> >> функционала не хватает в Вашем конкретном случае?
> > О! Тут много можно говорить... Даже UTM многим не хватает, хотя всем хватает 
> > его глюков и замысловатости...
> 
> На самом деле реально нужен хороший и безглючный биллинг ;)
> 
> Легко настраиваемый, удобный и функциональный.
И бесплатным сертификатом госсвязи ;)

-- 
WBR et al.

Re: [Sysadmins] Katrin

[Anton Farygin]

Konstantin A. Lepikhov пишет:
> Hi Anton!
> 
> Saturday 24, at 01:12:44 AM you wrote:
> 
>> ABATAPA пишет:
>>> {23.11.07} Denis Klimov написал:
>>>> Действительно, ссылка протухла :о)
>>>> А по поводу того что слишком многого нет, многое в планах и реализуется
>>>> по мере свободного времени и необходимости. Какого конкретно
>>>> функционала не хватает в Вашем конкретном случае?
>>> О! Тут много можно говорить... Даже UTM многим не хватает, хотя всем хватает 
>>> его глюков и замысловатости...
>> На самом деле реально нужен хороший и безглючный биллинг ;)
>>
>> Легко настраиваемый, удобный и функциональный.
> И бесплатным сертификатом госсвязи ;)
> 

С сертификатом вопрос будем решать, как только появится достойный биллинг ;)

Безусловно, сертификаты бесплатными не бывают.. но я думаю что можно 
заплатить какую-то денюжку за сертификат, и получить при этом хороший 
биллинг.

Re: [Sysadmins] Katrin

[Denis Klimov]

On Fri, 23 Nov 2007 16:05:04 +0300 Anton Farygin wrote:

> Выложите пожалуйста katrin в sisyphus. что бы можно было поставить и 
> посмотреть.
> 

Хорошо, сегодня выложу.

--
Denis Klimov 
zver