[Comm] Reverse DNS records database creation

[Comm] Reverse DNS records database creation

[Pavel S. Khmelinsky]

Вступление:
Как протоколируется трафик? Обычно
ip_from ip_to bytes time (иногда еще dst_port src_port)

Далее предположим что так сохраняется пользовательский трафик 
крупного провайдера.
В один прекрасный момент звонит злой пользователь и шумит что 
провайдер кидает его на бабки. На вопрос в чем дело отвечает, что 
мол 100 мегабайт ушло за день, а он за весь день только по 
форумам шарился и вообще ничего не качал.
Что ему предъявить? Статистику по трафику, с кучей циферек 
которые ему ничего не говорят?  Бесполезное занятие нужно как 
минимум имена хостов предлявлять --  это уже более менее 
вразумляет. Но тут другая проблема -- не все IP адресса есть в 
обратной зоне и даже если есть полученное этим способом имя не 
всегда совпадает с тем именем по которому был получен IP адрес.

Что же делать? Как правило пользователи провайдера используют 
провайдерский DNS сервер. Т.е., теоретически если кешировать все 
DNS запросы то потом можно будет хотябы точно сказать с какого 
доменного имени пользователь сколько скачал.

Вопрос:
Как это реализовать? То что выдает Bind по rnds dumpdb не 
подходит. То что выдает на этот счет tcpdump  довольно сложно 
парсить.
Может у кого есть наработки на эту тему?
Squid не предлагать это конечно кардинальное и удобное, с точки 
зрения предоставления отчетов, решение но оно мне не подходит.

Re: [Comm] Reverse DNS records database creation

[Alexander Leschinsky]

Hello Pavel,

   On Wed, 24 Mar 2004 17:36:20 +0300 (24.03.2004 19:36 my local time),
   received Wednesday, March 24, 2004 at 21:07:09,
   you wrote about "[Comm] Reverse DNS records database creation"
   at least in part:

> Как протоколируется трафик? Обычно
> ip_from ip_to bytes time (иногда еще dst_port src_port)
Если я все правильно помню, то с кискиного netflow внятнее чем

213.221.193.135  213.242.234.40       1            48
с отбивкой времени отдельными строками вытянуть не можно (хотя,
вероятно, я просто не умею их готовить)
   
> Далее предположим что так сохраняется пользовательский трафик 
> крупного провайдера.
И его биллинговая система насквозь вся, все элементы цепочки, имеет
соответствующие сертификаты. Т.е _сертифицирующий орган_ своим словом
удостоверяет, что данный АПК исключает возможность подделки данных и
приписок.

> В один прекрасный момент звонит злой пользователь и шумит что 
> провайдер кидает его на бабки.

"Уважаемый Пупкин, мы будем Вам очень призннательны, если Вы сможете в
подтверждение предоставить документы с системы, заслуживающей такого же
доверия, как используемая нами система X, имеющая сертификаты A, B, C (с
оригиналами которых Вы можете ознакомиться в нашем головном офисе) от
организаций X, Y, Z , и мы рассмотрим Ваши претензии в установленном
Договором о предоставлении услуг и Регламентом предоставления услуг
связи порядке и сроки, определяемые этими же документами... Хочу также
обратить Ваше внимание, что в соответствии с пп. "a-b-c" Договора
(подписанным Вами в момент подключения) данные системы X являются
основанием для расчета суммы предоставленных в течение расчетного
периода услуг, каковые должны быть внесены на счет в течение <> дней с
момента выставления счета за услуги связи в соответствии с пунктом "d"
Договора, а также на то, что в соответствии с пунктом "e" Договора
Оператор вправе приостановить оказание услуг до полного погашения
задолженности Пользователем"


Излечивает от жадности просто на раз...
-- 
Best regards,
 Alexander Leschinsky

Re: [Comm] Reverse DNS records database creation

[Pavel S. Khmelinsky]

Alexander Leschinsky wrote:
> Hello Pavel,
> 
>    On Wed, 24 Mar 2004 17:36:20 +0300 (24.03.2004 19:36 my local time),
>    received Wednesday, March 24, 2004 at 21:07:09,
>    you wrote about "[Comm] Reverse DNS records database creation"
>    at least in part:
> 
> 
>>Как протоколируется трафик? Обычно
>>ip_from ip_to bytes time (иногда еще dst_port src_port)
> 
> Если я все правильно помню, то с кискиного netflow внятнее чем
> 
> 213.221.193.135  213.242.234.40       1            48
> с отбивкой времени отдельными строками вытянуть не можно (хотя,
> вероятно, я просто не умею их готовить)
>    
> 
>>Далее предположим что так сохраняется пользовательский трафик 
>>крупного провайдера.
> 
> И его биллинговая система насквозь вся, все элементы цепочки, имеет
> соответствующие сертификаты. Т.е _сертифицирующий орган_ своим словом
> удостоверяет, что данный АПК исключает возможность подделки данных и
> приписок.
Само собой, иначе организация не имела бы право называть себя 
провайдером, вот только это немного не по теме ;)

>>В один прекрасный момент звонит злой пользователь и шумит что 
>>провайдер кидает его на бабки.
> 
> 
> "Уважаемый Пупкин, мы будем Вам очень призннательны, если Вы сможете в
> подтверждение предоставить документы с системы, заслуживающей такого же
> доверия, как используемая нами система X, имеющая сертификаты A, B, C (с
> оригиналами которых Вы можете ознакомиться в нашем головном офисе) от
> организаций X, Y, Z , и мы рассмотрим Ваши претензии в установленном
> Договором о предоставлении услуг и Регламентом предоставления услуг
> связи порядке и сроки, определяемые этими же документами... Хочу также
> обратить Ваше внимание, что в соответствии с пп. "a-b-c" Договора
> (подписанным Вами в момент подключения) данные системы X являются
> основанием для расчета суммы предоставленных в течение расчетного
> периода услуг, каковые должны быть внесены на счет в течение <> дней с
> момента выставления счета за услуги связи в соответствии с пунктом "d"
> Договора, а также на то, что в соответствии с пунктом "e" Договора
> Оператор вправе приостановить оказание услуг до полного погашения
> задолженности Пользователем"
> 
> 
> Излечивает от жадности просто на раз...

Спасибо за текст, пригодится.
Вот только хотелось бы еще ответа на вопрос, штука то могла бы 
получится полезная.
Хотя придется наверное в сорцы Бинда за этим лезть.

Re: [Comm] Reverse DNS records database creation

[Alexander Leschinsky]

Hello Pavel,

   On Wed, 24 Mar 2004 17:36:20 +0300 (24.03.2004 19:36 my local time),
   received Wednesday, March 24, 2004 at 21:07:09,
   you wrote about "[Comm] Reverse DNS records database creation"
   at least in part:

> То что выдает на этот счет tcpdump  довольно сложно 
> парсить.
Я где-то в свое время видел фронтенд к tcpdump - "дампы с человеческим
лицом"

Только учти, что если дампить все, что никакого винта не хватит
"локальное зеркало интернета" получится через некоторое время
-- 
Best regards,
 Alexander Leschinsky

Re: [Comm] Reverse DNS records database creation

[Pavel S. Khmelinsky]

Alexander Leschinsky wrote:
> Hello Pavel,
> 
>    On Wed, 24 Mar 2004 17:36:20 +0300 (24.03.2004 19:36 my local time),
>    received Wednesday, March 24, 2004 at 21:07:09,
>    you wrote about "[Comm] Reverse DNS records database creation"
>    at least in part:
> 
> 
>>То что выдает на этот счет tcpdump  довольно сложно 
>>парсить.
> 
> Я где-то в свое время видел фронтенд к tcpdump - "дампы с человеческим
> лицом"
Дело даже не в человеческом лице. А в самом протоколе:
Клиент посылает запрос, сервер посылает ответ причем в ответе не 
сказано на какой запрос этот ответ
19:17:42.652722 > 192.168.2.10.32771 > ns.demos.su.domain: 43129+ 
PTR? 9.0.87.194.in-addr.arpa. (41) (DF)
19:17:42.725009 < ns.demos.su.domain > 192.168.2.10.32771: 43129* 
1/3/5 PTR ns.demos.su. (221)
клиент то понимает на какой вопрос ему ответили, т.к. сервер 
ответил ему в рамках того же соединения которым был послан запрос.
А вот если писать под это парсер то придется учитывать номера 
пакетов, а это уже будет не самый тривиальный парсер. Сомневаюсь 
что front-end к tcpdump поможет решить эту проблему, хотя 
попробую поискать в этом направлении.
Идеальным решением на мой взгляд был бы патч к бинду.
> 
> Только учти, что если дампить все, что никакого винта не хватит
> "локальное зеркало интернета" получится через некоторое время
У меня достаточно опыта чтобы судить об объемах при хранении 
трафика в разных форматах, но к вопросу это имеет мало отношения.