[Sysadmins] greylist

[Sysadmins] greylist

[gray_graff]

какой из грейлистов сможет справиться с огромным количеством запросов?
sqlgrey тупо не может обработать нужное кол-во одновременно
остается:
policyd и postgrey
кто имел опыт работы с ними?
или как правильно настроить sqlgrey

Re: [Sysadmins] greylist

[Maxim Tyurin]

gray graff writes:

> какой из грейлистов сможет справиться с огромным количеством запросов?
> sqlgrey тупо не может обработать нужное кол-во одновременно
> остается:
> policyd и postgrey
> кто имел опыт работы с ними?
> или как правильно настроить sqlgrey

Я не знаю показателей огромности, но policyd у меня работает
нормально. В top замечен не был :)
-- 

With Best Regards, Maxim Tyurin
JID:	MrKooll@jabber.pibhe.com
   ___                                 
  / _ )__ _____  ___ ____ _______ _____
 / _  / // / _ \/ _ `/ _ `/ __/ // (_-<
/____/\_,_/_//_/\_, /\_,_/_/  \_,_/___/
               /___/  

Re: [Sysadmins] greylist

[gray_graff]

Maxim Tyurin wrote:
> Я не знаю показателей огромности, но policyd у меня работает
> нормально. В top замечен не был :)

как минимум 2 человека здесь используют policyd...
если postgrey облажается, то эту штуку буду ставить :)

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Nikolay A. Fetisov]

On Mon, 05 May 2008 16:34:31 +0800
gray_graff wrote:

> какой из грейлистов сможет справиться с огромным количеством запросов?
А куча - это сколько?

Один из policyd у меня в последнее время обрабатывает порядка
18-20 запросов/секунду (~700-800 тыс/день). Живёт в VPS на достаточно
средней машине, с настройками MySQL из коробки.

-- 
С уважением,	
Николай Фетисов

Re: [Sysadmins] greylist

[gray_graff]

Nikolay A. Fetisov wrote:

> On Mon, 05 May 2008 16:34:31 +0800
> gray_graff wrote:
> 
>> какой из грейлистов сможет справиться с огромным количеством запросов?
> А куча - это сколько?

Куча - это 70-100 в секунду...
Поставил пока Postgrey. посмотрю до завтра, как он себя поведет
за 4 часа база разрослась до:
-rw------- 1 postgrey postgrey 46850048 May  5 21:03 postgrey.db

> Один из policyd у меня в последнее время обрабатывает порядка
> 18-20 запросов/секунду (~700-800 тыс/день). Живёт в VPS на достаточно
> средней машине, с настройками MySQL из коробки.
> 

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Serge]

В сообщении от Monday 05 May 2008 16:05:40 gray_graff написал(а):
> Nikolay A. Fetisov wrote:
> > On Mon, 05 May 2008 16:34:31 +0800
> >
> > gray_graff wrote:
> >> какой из грейлистов сможет справиться с огромным количеством запросов?
> >
> > А куча - это сколько?
>
> Куча - это 70-100 в секунду...
> Поставил пока Postgrey. посмотрю до завтра, как он себя поведет
> за 4 часа база разрослась до:
> -rw------- 1 postgrey postgrey 46850048 May  5 21:03 postgrey.db
>
> > Один из policyd у меня в последнее время обрабатывает порядка
> > 18-20 запросов/секунду (~700-800 тыс/день). Живёт в VPS на достаточно
> > средней машине, с настройками MySQL из коробки.
мне нравится postgrey :-)

Re: [Sysadmins] greylist

[gray_graff]

Serge wrote:
> мне нравится postgrey :-)
О! тогда вопрос. удалось ли прикрутить к нему collectd?
если пишу в конфиге 
POSTGREY_OPTIONS="--inet=127.0.0.1:60000 --lookup-by-host --collectd_socket=/tmp/.collectd-email"
то ругается так
"my" variable $diff masks earlier declaration in same scope
at /usr/sbin/postgrey line 461.
Unknown option: collectd_socket
Если убрать "--" перед collectd_socket в конфиге, то не ругается, но никакие
данные не попадают в collectd :(

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Mike]

В сообщении от Monday 05 May 2008 19:24:28 gray_graff написал(а):
> Serge wrote:
> > мне нравится postgrey :-)
>
> О! тогда вопрос. удалось ли прикрутить к нему collectd?
> если пишу в конфиге
> POSTGREY_OPTIONS="--inet=127.0.0.1:60000 --lookup-by-host
> --collectd_socket=/tmp/.collectd-email" то ругается так
> "my" variable $diff masks earlier declaration in same scope
> at /usr/sbin/postgrey line 461.
> Unknown option: collectd_socket
> Если убрать "--" перед collectd_socket в конфиге, то не ругается, но
> никакие данные не попадают в collectd :(
У меня тоже такая ошибка. Вы нашли решение?

Re: [Sysadmins] greylist

[gray_graff]

Mike пишет:
> В сообщении от Monday 05 May 2008 19:24:28 gray_graff написал(а):
>> Serge wrote:
>>> мне нравится postgrey :-)
>> О! тогда вопрос. удалось ли прикрутить к нему collectd?
>> если пишу в конфиге
>> POSTGREY_OPTIONS="--inet=127.0.0.1:60000 --lookup-by-host
>> --collectd_socket=/tmp/.collectd-email" то ругается так
>> "my" variable $diff masks earlier declaration in same scope
>> at /usr/sbin/postgrey line 461.
>> Unknown option: collectd_socket
>> Если убрать "--" перед collectd_socket в конфиге, то не ругается, но
>> никакие данные не попадают в collectd :(
> У меня тоже такая ошибка. Вы нашли решение?

конечно. наверное в мане ошибка. походу синтаксис изменился
надо писать --collectd-socket=/path/to/soket (тире, а не подчеркивание)

Re: [Sysadmins] greylist

[Sergey]

On Monday 05 May 2008, gray_graff wrote:

> >> какой из грейлистов сможет справиться с огромным количеством запросов?

> > А куча - это сколько?
 
> Куча - это 70-100 в секунду...
 
Что-то не слабо... А не последствия ли это самого грейлистинга ?

До кучи можно попробовать посмотреть mailfromd, но он тоже с bdb работает,
не факт, что будет отличаться от Postgrey.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] greylist

[gray_graff]

Sergey wrote:

> On Monday 05 May 2008, gray_graff wrote:
> 
>> >> какой из грейлистов сможет справиться с огромным количеством запросов?
> 
>> > А куча - это сколько?
>  
>> Куча - это 70-100 в секунду...
>  
> Что-то не слабо... А не последствия ли это самого грейлистинга ?

нет. не последствия. если отключить грэйлист, то спамеры забивают весь инет
канал, что пользоваться инетом становится невозможно (немного спасает
только прокси)
сервак обслуживает 2 почтовых домена

> До кучи можно попробовать посмотреть mailfromd, но он тоже с bdb работает,
> не факт, что будет отличаться от Postgrey.
> 

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Sergey]

On Monday 05 May 2008, gray_graff wrote:

> > Что-то не слабо... А не последствия ли это самого грейлистинга ?
> 
> нет. не последствия. если отключить грэйлист, то спамеры забивают весь инет
> канал,

Это какой канал ? У нас, на суммарных около 100M, именно на неудачно 
включенном грейлистенге, проблемы возникали. Далеко от загрузки каналов,
просто, в ракообразную позу, почта вставала.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] greylist

[gray_graff]

Sergey wrote:

> On Monday 05 May 2008, gray_graff wrote:
> 
>> > Что-то не слабо... А не последствия ли это самого грейлистинга ?
>> 
>> нет. не последствия. если отключить грэйлист, то спамеры забивают весь
>> инет канал,
> 
> Это какой канал ? У нас, на суммарных около 100M, именно на неудачно
> включенном грейлистенге, проблемы возникали. Далеко от загрузки каналов,
> просто, в ракообразную позу, почта вставала.

У нас всего-лишь 10 Мбит (и то мы делимся им с радиостанцией)


-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Konstantin A. Lepikhov]

Hi gray_graff!

Monday 05, at 04:34:31 PM you wrote:

> какой из грейлистов сможет справиться с огромным количеством запросов?
> sqlgrey тупо не может обработать нужное кол-во одновременно
В какой конфигурации? sqlgrey умеет хранить в sqlite и PGSQL/MySQL

> остается:
> policyd и postgrey
> кто имел опыт работы с ними?
> или как правильно настроить sqlgrey
> 
> _______________________________________________
> Sysadmins mailing list
> Sysadmins@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/sysadmins

-- 
WBR et al.

Re: [Sysadmins] greylist

[gray_graff]

Konstantin A. Lepikhov wrote:

> Hi gray_graff!
> 
> Monday 05, at 04:34:31 PM you wrote:
> 
>> какой из грейлистов сможет справиться с огромным количеством запросов?
>> sqlgrey тупо не может обработать нужное кол-во одновременно
> В какой конфигурации? sqlgrey умеет хранить в sqlite и PGSQL/MySQL
Думал, что в MySQL, но потом удивился тому, что база не заполняется
Оказалось, что все-таки sqlite (к этому времени она уже была больше 120
мег)...

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Konstantin A. Lepikhov]

Hi gray_graff!

Monday 05, at 11:31:44 PM you wrote:

> Konstantin A. Lepikhov wrote:
> 
> > Hi gray_graff!
> > 
> > Monday 05, at 04:34:31 PM you wrote:
> > 
> >> какой из грейлистов сможет справиться с огромным количеством запросов?
> >> sqlgrey тупо не может обработать нужное кол-во одновременно
> > В какой конфигурации? sqlgrey умеет хранить в sqlite и PGSQL/MySQL
> Думал, что в MySQL, но потом удивился тому, что база не заполняется
> Оказалось, что все-таки sqlite (к этому времени она уже была больше 120
> мег)...
Так у вас могут быть задержки не из-за самого sqlgrey, а из-за storage'а.

-- 
WBR et al.

Re: [Sysadmins] greylist

[gray_graff]

Konstantin A. Lepikhov wrote:

> Hi gray_graff!
> 
> Monday 05, at 11:31:44 PM you wrote:
> 
>> Konstantin A. Lepikhov wrote:
>> 
>> > Hi gray_graff!
>> > 
>> > Monday 05, at 04:34:31 PM you wrote:
>> > 
>> >> какой из грейлистов сможет справиться с огромным количеством запросов?
>> >> sqlgrey тупо не может обработать нужное кол-во одновременно
>> > В какой конфигурации? sqlgrey умеет хранить в sqlite и PGSQL/MySQL
>> Думал, что в MySQL, но потом удивился тому, что база не заполняется
>> Оказалось, что все-таки sqlite (к этому времени она уже была больше 120
>> мег)...
> Так у вас могут быть задержки не из-за самого sqlgrey, а из-за storage'а.
> 
не могу запустить его с mysql базой...

Binding to TCP port 2501 on host localhost
Setting gid to "434 434"
Setting uid to "128"
Use of uninitialized value in concatenation (.) or string
at /usr/sbin/sqlgrey line 227.
dbaccess: warning: couldn't do query:
CREATE TABLE from_awl (sender_name varchar(64) NOT NULL, sender_domain
varchar(255) NOT NULL, src varchar(39) NOT NULL, first_seen timestamp NOT
NULL, last_seen timestamp NOT NULL, PRIMARY KEY (src, sender_domain,
sender_name)):
, reconnecting to DB
mail: /root/tmp/mail.RsFF98Ng: Permission denied
mail: failed to send: No child processes
create_from_awl_table error at /usr/sbin/sqlgrey line 176.


-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)

Re: [Sysadmins] greylist

[Anton Kvashin]

gray_graff пишет:
> не могу запустить его с mysql базой...
> 
> mail: /root/tmp/mail.RsFF98Ng: Permission denied

Это директория root'а, ковыряйте настройки (/tmp -- куда лучше).

-- 
Anton Kvashin

Re: [Sysadmins] greylist

[gray_graff]

gray_graff wrote:

> какой из грейлистов сможет справиться с огромным количеством запросов?
> sqlgrey тупо не может обработать нужное кол-во одновременно
> остается:
> policyd и postgrey
> кто имел опыт работы с ними?
> или как правильно настроить sqlgrey

5 Дней безупречной работы postgrey. выбор сделан
а еще и графики красивые в collectd рисует (начальнику нравится)

-- 
--Respect--
Aeliya Grevnyov aka Gray_graff
gray_graff@jabber.ru
Welcome to ROCK MUSIC room - rock@conference.jabber.ru
OS: ALT Linux Sisyphus (20071221)
np: Atrox - Transportal [Binocular]

Re: [Sysadmins] greylist

[Vladimir V. Kamarzin]

>>>>> On 10 May 2008 at 13:40 "gg" == gray graff writes:

>> какой из грейлистов сможет справиться с огромным количеством запросов?
>> sqlgrey тупо не может обработать нужное кол-во одновременно
>> остается:
>> policyd и postgrey
>> кто имел опыт работы с ними?
>> или как правильно настроить sqlgrey

gg> 5 Дней безупречной работы postgrey. выбор сделан
gg> а еще и графики красивые в collectd рисует (начальнику нравится)

Обратите внимание, что наша сборка ещё и tarpit поддерживает:
http://freesource.info/wiki/Dokumentacija/Postfix/antispam/smtppolicy/greylisting/postgreytarpit?v=q4s&

-- 
vvk

Postfix page on f.i: http://freesource.info/wiki/Dokumentacija/Postfix

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] greylist

[gray_graff]

Vladimir V. Kamarzin пишет:
>>>>>> On 10 May 2008 at 13:40 "gg" == gray graff writes:
> 
>>> какой из грейлистов сможет справиться с огромным количеством запросов?
>>> sqlgrey тупо не может обработать нужное кол-во одновременно
>>> остается:
>>> policyd и postgrey
>>> кто имел опыт работы с ними?
>>> или как правильно настроить sqlgrey
> 
> gg> 5 Дней безупречной работы postgrey. выбор сделан
> gg> а еще и графики красивые в collectd рисует (начальнику нравится)
> 
> Обратите внимание, что наша сборка ещё и tarpit поддерживает:
> http://freesource.info/wiki/Dokumentacija/Postfix/antispam/smtppolicy/greylisting/postgreytarpit?v=q4s&
угу. эту штуку я заметил. пока не пробовал

но вот наткнулся на одну неприятность. база постгрея очень "ранимая" :)
Сервак тестовый и пока без упса работает. было отключение питания и база 
порушилась... пришлось ее удалять, что не понравилось...
и в свете того, что постгрей все равно не чистит за собой базу и 
теоретически она может сожрать все место на винте, я собираюсь раз в 
неделю по крону удалять базу (тем более так и рекомендуется в манах 
постфикса)

Re: [Sysadmins] greylist

[Vladimir V. Kamarzin]

>>>>> On 23 May 2008 at 18:26 "gg" == gray graff writes:

gg> но вот наткнулся на одну неприятность. база постгрея очень "ранимая" :)
gg> Сервак тестовый и пока без упса работает. было отключение питания и
gg> база порушилась... пришлось ее удалять, что не понравилось...
gg> и в свете того, что постгрей все равно не чистит за собой базу и

Чистит.

gg> теоретически она может сожрать все место на винте, я собираюсь раз в
gg> неделю по крону удалять базу (тем более так и рекомендуется в манах
gg> постфикса)

Маны постфикса про postgrey абсолютно ничего не говорят.

-- 
vvk

Postfix page on f.i: http://freesource.info/wiki/Dokumentacija/Postfix

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] greylist

[Serge]

В сообщении от Tuesday 27 May 2008 08:15:05 Vladimir V. Kamarzin написал(а):
> >>>>> On 23 May 2008 at 18:26 "gg" == gray graff writes:
>
> gg> но вот наткнулся на одну неприятность. база постгрея очень "ранимая" :)
> gg> Сервак тестовый и пока без упса работает. было отключение питания и
> gg> база порушилась... пришлось ее удалять, что не понравилось...
> gg> и в свете того, что постгрей все равно не чистит за собой базу и
>
> Чистит.
не чистит дубляжи записей (во всяком случае у меня). Пришлось писать скрипт 
который это делает

Re: [Sysadmins] greylist

[gray_graff]

Vladimir V. Kamarzin пишет:
>>>>>> On 23 May 2008 at 18:26 "gg" == gray graff writes:
> 
> gg> но вот наткнулся на одну неприятность. база постгрея очень "ранимая" :)
> gg> Сервак тестовый и пока без упса работает. было отключение питания и
> gg> база порушилась... пришлось ее удалять, что не понравилось...
> gg> и в свете того, что постгрей все равно не чистит за собой базу и
> 
> Чистит.

может я что делаю не так, но вот что получилось за неделю работы:
http://pastebin.ca/1030830
и
# du /var/lib/postgrey
3.5G    /var/lib/postgrey

смущает огромное количество файлов log.0000000xxx и размер postgrey.db
если это нормально, то я успокоюсь :)

> gg> теоретически она может сожрать все место на винте, я собираюсь раз в
> gg> неделю по крону удалять базу (тем более так и рекомендуется в манах
> gg> постфикса)
> 
> Маны постфикса про postgrey абсолютно ничего не говорят.
прошу прощения, там говорится про просто greylist и не совсем про то, о 
чем я написал :)
http://www.postfix.org/SMTPD_POLICY_README.html#greylist

"Postfix can survive "out of space" conditions with the mail queue and 
with the mailbox store, but it cannot survive a corrupted greylist 
database. If the file becomes corrupted you may not be able to receive 
mail at all until you delete the file by hand."

Re: [Sysadmins] greylist

[Sergey]

On Friday 23 May 2008, gray_graff wrote:

> и в свете того, что постгрей все равно не чистит за собой базу и 
> теоретически она может сожрать все место на винте, я собираюсь раз в 
> неделю по крону удалять базу (тем более так и рекомендуется в манах 
> постфикса)

Может mailfromd попробовать тогда ? Там есть --compact, оно же и фиксит...
Единственно что, я не смогу помочь в плане связки с Postfix, так как
Sendmail использую. Но, говорят, работает.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] greylist

[Vladimir V. Kamarzin]

>>>>> On 27 May 2008 at 13:40 "S" == Sergey  writes:

>> и в свете того, что постгрей все равно не чистит за собой базу и 
>> теоретически она может сожрать все место на винте, я собираюсь раз в 
>> неделю по крону удалять базу (тем более так и рекомендуется в манах 
>> постфикса)

S> Может mailfromd попробовать тогда ? Там есть --compact, оно же и фиксит...
S> Единственно что, я не смогу помочь в плане связки с Postfix, так как
S> Sendmail использую. Но, говорят, работает.

Работает, проверял. В конфиг постфикса надо засунуть нечно вроде
smtpd_milters = unix:/milters/mailfrom

и сворее всего надо просунуть сокет mailfromd в чрут постфикса.

-- 
vvk

Postfix page on f.i: http://freesource.info/wiki/Dokumentacija/Postfix

Russian Postfix irc: irc.freenode.net #postfix-ru

Re: [Sysadmins] greylist

[Alexander Volkov]

On 2008-05-27 15:50:02 +0600, Vladimir V. Kamarzin wrote:
VVK> >>>>> On 27 May 2008 at 13:40 "S" == Sergey  writes:

VVK> S> Может mailfromd попробовать тогда ? Там есть --compact, оно же и фиксит...
VVK> S> Единственно что, я не смогу помочь в плане связки с Postfix, так как
VVK> S> Sendmail использую. Но, говорят, работает.

VVK> Работает, проверял. В конфиг постфикса надо засунуть нечно вроде
VVK> smtpd_milters = unix:/milters/mailfrom

VVK> и сворее всего надо просунуть сокет mailfromd в чрут постфикса.
а если inet: ?
--
 Regards, Alexander

Re: [Sysadmins] greylist

[Sergey]

On Tuesday 27 May 2008, Alexander Volkov wrote:

> VVK> и сворее всего надо просунуть сокет mailfromd в чрут постфикса.

> а если inet: ?
 
Значит не нужно. :-)

Вообще, у меня как-то пробегала идея 127.0.0.0/8 разобрать по сервисам
и полиси написать на эту тему. Как раз, чтобы сервисы можно было в чруты
запихивать, не особенно заморачиваясь с месторасположением сокетов.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [Sysadmins] greylist

[Alexander Volkov]

On 2008-05-27 18:36:02 +0500, Sergey wrote:
S> On Tuesday 27 May 2008, Alexander Volkov wrote:

S> > VVK> и сворее всего надо просунуть сокет mailfromd в чрут постфикса.

S> > а если inet: ?
S>  
S> Значит не нужно. :-)

S> Вообще, у меня как-то пробегала идея 127.0.0.0/8 разобрать по сервисам
S> и полиси написать на эту тему. Как раз, чтобы сервисы можно было в чруты
S> запихивать, не особенно заморачиваясь с месторасположением сокетов.
А по контейнерам не проще рассовать?
--
 Regards, Alexander

Re: [Sysadmins] greylist

[Sergey]

On Tuesday 27 May 2008, Alexander Volkov wrote:

> А по контейнерам не проще рассовать?

Накладных расходов больше.

-- 
С уважением, Сергей
a_s_y@sama.ru