[Comm] Test for postfix+clamd+amavis

[Comm] Test for postfix+clamd+amavis

[Dmytro O. Redchuk]

Добрый день.

   Не скажете, есть ли какие-нибудь "тестеры" для гоняния связки
   postfix+clamd+amavis (spamass..) под нагрузкой?

   Могу, конечно, заскриптить на самого себя засылку тестовых сообщений и
   смотреть при этом на проценты этих товарищей плюс syslogd, но ...
   нет ли чего лучше, умнее, показательней?

   :-)

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] Test for postfix+clamd+amavis

[Dmitry Lebkov]

Dmytro O. Redchuk wrote:
> Добрый день.
> 
>    Не скажете, есть ли какие-нибудь "тестеры" для гоняния связки
>    postfix+clamd+amavis (spamass..) под нагрузкой?
> 
>    Могу, конечно, заскриптить на самого себя засылку тестовых сообщений и
>    смотреть при этом на проценты этих товарищей плюс syslogd, но ...
>    нет ли чего лучше, умнее, показательней?
> 
>    :-)

http://www.coker.com.au/postal/ - это для SMTP. Практически stress-test.
И вполне может быть, что для генерации payload'а можно подставить какие-то
реальные сообщения, содержащие как вирусы, так и нормальные файлы.

Правда я этой тулзой гонял просто производительность связки postfix+maildrop+ldap,
без антивируса.

-- 
WBR, Dmitry Lebkov

Re: [Comm] Test for postfix+clamd+amavis

[Dmytro O. Redchuk]

On Tue, Mar 15, 2005 at 01:40:14AM +1000, Dmitry Lebkov wrote:
> Dmytro O. Redchuk wrote:
> >Добрый день.
> >
> >   Не скажете, есть ли какие-нибудь "тестеры" для гоняния связки
> >   postfix+clamd+amavis (spamass..) под нагрузкой?
> http://www.coker.com.au/postal/ - это для SMTP. Практически stress-test.
> И вполне может быть, что для генерации payload'а можно подставить какие-то
> реальные сообщения, содержащие как вирусы, так и нормальные файлы.
> 
> Правда я этой тулзой гонял просто производительность связки 
> postfix+maildrop+ldap,
> без антивируса.
Ынтиресно %)

Подставлять payload можно, наверное, научить (исходники не смотрел, да и
не сильно я смотрец), но на стороне сервера всё происходит (естественно)
"в натуре" -- со всеми проверками, как положено. Поэтому можно смотреть на
статистику amavisd (в ушедших на разные составляющие процентах) и думать.

[Только... что можно считать хорошим результатом?-)]

> 
> -- 
> WBR, Dmitry Lebkov

Спасибо,
-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] Test for postfix+clamd+amavis

[Dmitry Lebkov]

On Mon, 14 Mar 2005 19:32:07 +0200
Dmytro O. Redchuk wrote:

> On Tue, Mar 15, 2005 at 01:40:14AM +1000, Dmitry Lebkov wrote:
> > Dmytro O. Redchuk wrote:
> > >Добрый день.
> > >
> > >   Не скажете, есть ли какие-нибудь "тестеры" для гоняния связки
> > >   postfix+clamd+amavis (spamass..) под нагрузкой?
> > http://www.coker.com.au/postal/ - это для SMTP. Практически stress-test.
> > И вполне может быть, что для генерации payload'а можно подставить какие-то
> > реальные сообщения, содержащие как вирусы, так и нормальные файлы.
> > 
> > Правда я этой тулзой гонял просто производительность связки 
> > postfix+maildrop+ldap,
> > без антивируса.
> Ынтиресно %)

Дык давно это было ... %) В архивах этой рассылки (search.altlinux.ru,
по ключевому слову postal) поищи - я приводил конфигурацию железа и
достигнутые результаты.

> 
> Подставлять payload можно, наверное, научить (исходники не смотрел, да и
> не сильно я смотрец), но на стороне сервера всё происходит (естественно)
> "в натуре" -- со всеми проверками, как положено. Поэтому можно смотреть на
> статистику amavisd (в ушедших на разные составляющие процентах) и думать.
> 
> [Только... что можно считать хорошим результатом?-)]

Это зависит от роли этого почтового сервера (транзитный релэй, mailbox-server
и т.п.), от предполагаемого объема обрабатываемой почты и еще от кучи
условий ... ;)


Кста, будет интересно посмотреть, насколько "проседает" почтовик при включении
антиспама/антивируса.


-- 
WBR, Dmitry Lebkov

Re: [Comm] Test for postfix+clamd+amavis

[Dmytro O. Redchuk]

On Tue, Mar 15, 2005 at 09:09:41AM +1000, Dmitry Lebkov wrote:
> > [Только... что можно считать хорошим результатом?-)]
> 
> Это зависит от роли этого почтового сервера (транзитный релэй, mailbox-server
> и т.п.), от предполагаемого объема обрабатываемой почты и еще от кучи
> условий ... ;)
Я пока собираюсь использовать postfix+amavisd+clamd.

(Кстати, у amavisd есть свой anti-virus code -- насколько это "то же
самое", что и clamd (по функциональности/надёжности)?)

Так как смутно понимаю разницу между smtp, lmtp и иже, пока "остановился
на чём-то одном" и буду, по возможности, читать и пробовать.

> 
> Кста, будет интересно посмотреть, насколько "проседает" почтовик при включении
> антиспама/антивируса.
Идеально было бы, наверное, наскриптить что-то типа просмотра лога на
предмет прочёсывания статистики amavisd, а заодно смотреть на загрузку
системы. Скрипту сказать длительность теста (чтобы потом сказал, сколько
времени длилась релаксация;).

Я так понимаю, надо "на выходе" иметь аппаратную конфигурацию (и
"расстояние" между машиной, с которой это запускалось, и почтовиком) плюс
набор тестов с помощью postal (командная строка, количество получателей,
ошибки).


ПыСы. Только пока некогда :-(
	И вечная проблема в том, что мне это "нужно один раз", типа.
	С этим очень трудно бороться :-)
> 
> -- 
> WBR, Dmitry Lebkov

-- 
  _,-=._              /|_/|
  `-.}   `=._,.-=-._.,  @ @._,
     `._ _,-.   )      _,.-'
        `    G.m-"^m`m'        Dmytro O. Redchuk

Re: [Comm] Test for postfix+clamd+amavis

[Alexey Morsov]

Dmytro O. Redchuk wrote:

> Идеально было бы, наверное, наскриптить что-то типа просмотра лога на
> предмет прочёсывания статистики amavisd, а заодно смотреть на загрузку
А возьми mailgraph + pflogsumm  - вот тебе и статистика будет 
какая-никакая :D

-- 
Всего наилучшего,
Системный Администратор ЗАО "ИК "РИКОМ-ТРАСТ"
Алексей Морсов
ICQ: 196766290
Jabber: Samurai@jabber.pibhe.com
http://www.ricom.ru
http://www.fondmarket.ru

Re: [Comm] Test for postfix+clamd+amavis

[Konstantin Klimchev]

On Tue, 15 Mar 2005 01:40:14 +1000
Dmitry Lebkov <dima@sakhalin.ru> wrote:

> http://www.coker.com.au/postal/ - это для SMTP.
> Практически stress-test. И вполне может быть, что для
> генерации payload'а можно подставить какие-то реальные
> сообщения, содержащие как вирусы, так и нормальные файлы.

Добавлю свои 3 копейки:
Проверяйте на реальном количестве пользователей. Из своей
практики - проверял на 100 тестовых пользователях связку
postfix+ldap и был несколько удивлен отличием (в разы)
результатов при количестве пользователей ~4000. (у меня еще
и персональные пользовательские access-права в ldap'е)

-- 
Best Regards, Konstantin Klimchev 
(mailto:koka@atvc.ru    jabber:koka@jabber.atvc.ru)
ATK-Internet ISP, Arkhangelsk, Russia

Re: [Comm] Test for postfix+clamd+amavis

[Dmitry Lebkov]

Konstantin Klimchev wrote:
> On Tue, 15 Mar 2005 01:40:14 +1000
> Dmitry Lebkov <dima@sakhalin.ru> wrote:
> 
> 
>>http://www.coker.com.au/postal/ - это для SMTP.
>>Практически stress-test. И вполне может быть, что для
>>генерации payload'а можно подставить какие-то реальные
>>сообщения, содержащие как вирусы, так и нормальные файлы.
> 
> 
> Добавлю свои 3 копейки:
> Проверяйте на реальном количестве пользователей. Из своей
> практики - проверял на 100 тестовых пользователях связку
> postfix+ldap и был несколько удивлен отличием (в разы)
> результатов при количестве пользователей ~4000. (у меня еще
> и персональные пользовательские access-права в ldap'е)

А поделиться результатами с сообществом? Слабо? ;)

-- 
WBR, Dmitry Lebkov

Re: [Comm] Test for postfix+clamd+amavis

[Konstantin Klimchev]

On Tue, 15 Mar 2005 22:48:10 +1000
Dmitry Lebkov <dima@sakhalin.ru> wrote:

> А поделиться результатами с сообществом? Слабо? ;)
Наверное уже да. Год назад это было - не повторить, хотя
недавно проводил тестирование postfix+cyrus-imap (хотим
уйти от ldap - не оправдал, так сказать...) - если
интересно, пару цифр могу привести (хотя они в это рассылке
мелькали уже)

-- 
Best Regards, Konstantin Klimchev 
(mailto:koka@atvc.ru    jabber:koka@jabber.atvc.ru)
ATK-Internet ISP, Arkhangelsk, Russia

Re: [Comm] Test for postfix+clamd+amavis

[Dmitry Lebkov]

Konstantin Klimchev wrote:
> On Tue, 15 Mar 2005 22:48:10 +1000
> Dmitry Lebkov <dima@sakhalin.ru> wrote:
> 
> 
>>А поделиться результатами с сообществом? Слабо? ;)
> 
> Наверное уже да. Год назад это было - не повторить, хотя
> недавно проводил тестирование postfix+cyrus-imap (хотим
> уйти от ldap - не оправдал, так сказать...) - если
> интересно, пару цифр могу привести (хотя они в это рассылке
> мелькали уже)

Интересно. Хотя бы примерно. Конфигурация железа, кол-во почтовых
ящиков, обрабатываемый поток сообщений. Ну и какие-то особенности
конфигурации софта/железа, если есть ...

И если не секрет - в чем ldap ldap не оправдал?

-- 
WBR, Dmitry Lebkov

Re: [Comm] Test for postfix+clamd+amavis

[Konstantin Klimchev]

On Tue, 15 Mar 2005 23:07:28 +1000
Dmitry Lebkov <dima@sakhalin.ru> wrote:

> Интересно. Хотя бы примерно. Конфигурация железа, кол-во
> почтовых ящиков, обрабатываемый поток сообщений. Ну и
> какие-то особенности конфигурации софта/железа, если есть
> ...

Фрагмент моего отчета по результатам:

Тестируемый:
------------
Аппаратное обеспечение:
CPU: 2xPIII450 
Mem: 256 Mb 
HDD: SCSI-RAID1 (аппаратный) 
отдельный раздел /var (т.е. спул и ящики на одном разделе),
fs - reiser 3.6.19 

Программное обеспечение:
OS: debian sarge (testing) 
postfix 2.1.4 
cyrus-imap 2.1.17 
sasl2 2.1.19

Тестирующий:
------------
postal 0.62, набор python-скриптов по управлению почтовыми
ящиками (создание, удаление и т.п.)
[...]
Почтовые пользователи: виртуальные, хранятся в базе
пользователей cyrus-imap (db-файл)
[...]
Какие-либо правила в отношении почтовых аккаунтов
(блокирование получение почты, разрешение получение всей
почты и т.п.) хранятся в файлах db (созданных с помощью
postmap) postfix'а.
[...]
С помощью скриптов, запущенных на тестирующем компьютере,
была создана база пользователей (около 4200 пользователей).
Время на создание пользователей : 25 минут.
[...]

Итоговые выводы
----------------
[...]
Работа, используя доставщик cyrus-imap, более
производительна и стабильна по сравнению с использованием
lmtp-доставщика postfix'а. При использовании
cyrus-доставщика на указанном оборудовании обеспечивалась
стабильная работа в течение 30-40 минут (далее не
проверялось) для следующего потока писем: 300 писем в минуту
в 100 потоков. При этом количество процессов доставщика было
на уровне 15-18, почтовая очередь postfix'а не переполнялась
(не отмечено более 5-7 писем в очереди; обычное значение
0-3). При использовании lmtp-доставщика постфикса при
указанном потоке писем отмечалось переполнение очереди
postfix'а и проведение проверки останавливалось явно через
5-10 минут после начала проверки. Количество процессов
доставщика было на уровне 50-60.
[...]
зы. Система настроенна по умолчанию (на основании README
пакетов).
main.cf:
cyrus_destination_recipient_limit=1

master.cf
cyrus     unix  -       n       n       -       -       pipe
  user=cyrus argv=/usr/sbin/cyrdeliver -e -r ${sender} -m
${extension} ${user}

> 
> И если не секрет - в чем ldap ldap не оправдал?
наша специфика. Клиентский почтовик, правила доступа к
ящикам (блокировки и какие блокировки) в ldap, специфики
софтовой обвязки (интеграция с биллингом) и т.п. Вообщем
приходим к тому, что часть не удается эффективно "запихать"
в ldap и тогда плюсы начинают переходить в минусы (поддержка
нескольких хранилищ и т.п.). Вообщем минусов больше чем
плюсов.

-- 
Best Regards, Konstantin Klimchev 
(mailto:koka@atvc.ru    jabber:koka@jabber.atvc.ru)
ATK-Internet ISP, Arkhangelsk, Russia

Re: [Comm] Test for postfix+clamd+amavis

[Alexei Takaseev]

On Tue, 15 Mar 2005 16:37:40 +0300
Konstantin Klimchev <koka@atvc.ru> wrote:

> On Tue, 15 Mar 2005 23:07:28 +1000
> Dmitry Lebkov <dima@sakhalin.ru> wrote:
> 
> > Интересно. Хотя бы примерно. Конфигурация железа, кол-во
> > почтовых ящиков, обрабатываемый поток сообщений. Ну и
> > какие-то особенности конфигурации софта/железа, если есть
> > ...
> 
> Фрагмент моего отчета по результатам:
> 
> Тестируемый:
> ------------
> Аппаратное обеспечение:
> CPU: 2xPIII450 
> Mem: 256 Mb 
> HDD: SCSI-RAID1 (аппаратный) 
> отдельный раздел /var (т.е. спул и ящики на одном разделе),
> fs - reiser 3.6.19 
> 
> Программное обеспечение:
> OS: debian sarge (testing) 
> postfix 2.1.4 
> cyrus-imap 2.1.17 

Именно 2.1.17, или 2.2.x? Просто интересен именно опыт для 2.2, который
имеется в Мастере/Сизифе.

Re: [Comm] Test for postfix+clamd+amavis

[Konstantin Klimchev]

On Tue, 15 Mar 2005 22:56:36 +0800
Alexei Takaseev <alexei@taf.ru> wrote:

> Именно 2.1.17, или 2.2.x? Просто интересен именно опыт для
> 2.2, который имеется в Мастере/Сизифе.
Именно 2.1.17 - тот что в Debian Sarge
(До сих пор используем ALTM22, но переход на ALTM24 не
планируем)

-- 
Best Regards, Konstantin Klimchev 
(mailto:koka@atvc.ru    jabber:koka@jabber.atvc.ru)
ATK-Internet ISP, Arkhangelsk, Russia