[sisyphus] spamassasin - 2.63

[sisyphus] spamassasin - 2.63

[Mike Lykov]

Здравствуйте.

Что-то не все мне понятно после установки себе 
spamassassin-spamd-2.60-alt1
spamassassin-2.63-alt1
spamassassin-spamc-2.60-alt1
(компакт контриб).
Кто разьяснит? ;)

1. в конфиге /etc/mail/spamassassin/local.cf:

# Enable or disable network checks                                              
skip_rbl_checks  1  (0 - тот же эффект ;)
use_razor2 0                                                                    
use_dcc 0                                                                       
use_pyzor 0  

в проверенном письме:

        *  1.1 RCVD_IN_DSBL RBL: Received via a relay in list.dsbl.org
        *      [<http://dsbl.org/listing?ip=219.10.36.115>]
        *  2.2 RCVD_IN_BL_SPAMCOP_NET RBL: Received via a relay in 
bl.spamcop.net
        *      [Blocked - see <http://www.spamcop.net/bl.shtml?219.10.36.115>]
        *  2.5 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP address
        *      [219.10.36.115 listed in dnsbl.sorbs.net]
        *  0.1 RCVD_IN_SORBS RBL: SORBS: sender is listed in SORBS
        *      [219.10.36.115 listed in dnsbl.sorbs.net]

Откуда? 
Не потому ли он так медленно работает:
identified spam (9.0/7.0) for combr:500 in 4.8 seconds, 2086 bytes.
identified spam (9.0/7.0) for combr:500 in 3.5 seconds, 2086 bytes.

?
как сделать, чтобы обработка одного письма у него занимала 0.5 секунды хотя 
бы?

 2 .перезагрузил spamd (на случай, если он читает local.cf однократно при 
старте):

[combr@combr spamassassin]$ sudo service spamd reload
Reloading spamd service: Service spamd is not running.

он у меня, вообще-то, был running и после этого остался running.. ;)

3. в ~/.spamassassin/auto-whitelist нашел (сразу после усттановки пакетов):

aeqbukppsbkz@msn.com|ip=219.10.7.892.john@igtel.ru|ip=194.186|totscore          

что это за происки m$ ?? откуда там это взялось? ;)

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re: [sisyphus] spamassasin - 2.63

[Vladimir V. Kamarzin]

Приветствую, Mike Lykov!
Wed, 9 Jun 2004 17:22:23 +0500 вы писали:

> Что-то не все мне понятно после установки себе 
> spamassassin-spamd-2.60-alt1
> spamassassin-2.63-alt1
> spamassassin-spamc-2.60-alt1

Странно, почему это версии разные? Всё должно быть 2.63, имхо...
                     
> skip_rbl_checks  1  (0 - тот же эффект ;)

>  2 .перезагрузил spamd (на случай, если он читает local.cf однократно при 
> старте):
> 
> [combr@combr spamassassin]$ sudo service spamd reload
> Reloading spamd service: Service spamd is not running.
> 
> он у меня, вообще-то, был running и после этого остался running.. ;)

А вы сделайте service spamd restart


-- 
WBR, Vladimir V. Kamarzin, 2:5077/16.35

Re: [sisyphus] spamassasin - 2.63

[Mike Lykov]

В сообщении от Четверг 10 Июнь 2004 10:51 Vladimir V. Kamarzin написал:

> Wed, 9 Jun 2004 17:22:23 +0500 вы писали:
> > Что-то не все мне понятно после установки себе
> > spamassassin-spamd-2.60-alt1
> > spamassassin-2.63-alt1
> > spamassassin-spamc-2.60-alt1
> Странно, почему это версии разные? Всё должно быть 2.63, имхо...

Похоже на то, что в контриб в compact 2.3 попали пакеты разных версий.
Сейчас поставил из сизифа всё 2.63, сделал еще раз рестарт - изменения в 
конфиге теперь применяются.

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re: [sisyphus] spamassasin - 2.63

[Victor Forsyuk]

On Wed, Jun 09, 2004 at 05:22:23PM +0500, Mike Lykov wrote:
> 
> Здравствуйте.
> 
> Что-то не все мне понятно после установки себе 
> spamassassin-spamd-2.60-alt1
> spamassassin-2.63-alt1
> spamassassin-spamc-2.60-alt1
> (компакт контриб).
> Кто разьяснит? ;)

А perl-Mail-SpamAssassin какой версии?

> 1. в конфиге /etc/mail/spamassassin/local.cf:
> 
> # Enable or disable network checks                                              
> skip_rbl_checks  1  (0 - тот же эффект ;)
> use_razor2 0                                                                    
> use_dcc 0                                                                       
> use_pyzor 0  
> 
> в проверенном письме:
> 
>         *  1.1 RCVD_IN_DSBL RBL: Received via a relay in list.dsbl.org
>         *      [<http://dsbl.org/listing?ip=219.10.36.115>]
>         *  2.2 RCVD_IN_BL_SPAMCOP_NET RBL: Received via a relay in 
> bl.spamcop.net
>         *      [Blocked - see <http://www.spamcop.net/bl.shtml?219.10.36.115>]
>         *  2.5 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP address
>         *      [219.10.36.115 listed in dnsbl.sorbs.net]
>         *  0.1 RCVD_IN_SORBS RBL: SORBS: sender is listed in SORBS
>         *      [219.10.36.115 listed in dnsbl.sorbs.net]
> 
> Откуда? 

В смысле почему skip_rbl_checks не дают эффекта? А spamd перестартовывали?

> Не потому ли он так медленно работает:
> identified spam (9.0/7.0) for combr:500 in 4.8 seconds, 2086 bytes.
> identified spam (9.0/7.0) for combr:500 in 3.5 seconds, 2086 bytes.

Вполне может быть. Проверки в RBL и прочие сетевые проверки могут заметно
увеличить время обработки письма.
 
> ?
> как сделать, чтобы обработка одного письма у него занимала 0.5 секунды хотя 
> бы?

Как минимум, обходиться только локальными проверками, без RBL и прочего.
 
>  2 .перезагрузил spamd (на случай, если он читает local.cf однократно при 
> старте):

Именно, конфиги он считывает только при запуске.
 
> 3. в ~/.spamassassin/auto-whitelist нашел (сразу после усттановки пакетов):
> 
> aeqbukppsbkz@msn.com|ip=219.10.7.892.john@igtel.ru|ip=194.186|totscore          
> 
> что это за происки m$ ?? откуда там это взялось? ;)

Ну откуда же этой строчке взяться кроме как в результате работы
спамассассина в включенным auto-whitelist?

Re: [sisyphus] spamassasin - 2.63

[Mike Lykov]

В сообщении от Четверг 10 Июнь 2004 13:40 вы написали:

> > Что-то не все мне понятно после установки себе
> > spamassassin-spamd-2.60-alt1
> > spamassassin-2.63-alt1
> > spamassassin-spamc-2.60-alt1
> > (компакт контриб).

> А perl-Mail-SpamAssassin какой версии?

perl-Mail-SpamAssassin-2.63-alt1 

Но все же надо проверить - когда у меня источником был контриб компакта, то 
apt-get мне поставил именно вышеуказанные версии. настрроил на сизиф - 
апгрейдились до 2.63.
Вероятно, в контрибе они так и лежат - половина 2.60б половина 2.63?

> > Откуда?
> В смысле почему skip_rbl_checks не дают эффекта? А spamd перестартовывали?

по reload. что там делает reload - не смотрел пока. но эффекта не дает, а 
только ругается как я привел 
[combr@combr spamassassin]$ sudo service spamd reload
Reloading spamd service: Service spamd is not running.
;)
по restart все работает как надо.

> Вполне может быть. Проверки в RBL и прочие сетевые проверки могут заметно
> увеличить время обработки письма.

С этим ясно - отключил, стало 0.5 секунды. rbl и так postfix проверяет.

> Как минимум, обходиться только локальными проверками, без RBL и прочего.

Тут тоже интересно. стал на своей машине проверять некоторые письма ( с пом. 
spamc < письмо) , так что-то результаты удручающие ;)

примеры (все письма - спам):
X-Bogosity: Unsure, tests=bogofilter, spamicity=0.934618, version=0.16.4 
X-Spam-Status: No, hits=3.6 required=5.0 tests=FORGED_OUTLOOK_TAGS,HTML_50_60,  
        HTML_FONTCOLOR_BLUE,HTML_IMAGE_ONLY_04,HTML_MESSAGE,HTML_TITLE_EMPTY,   
        MIME_HTML_ONLY autolearn=no version=2.63 

X-Bogosity: Unsure, tests=bogofilter, spamicity=0.941999, version=0.16.4 
X-Spam-Status: No, hits=0.0 required=5.0 tests=none autolearn=no version=2.63 

(короткое письмо с русским текстом без хтмл)

X-Bogosity: Unsure, tests=bogofilter, spamicity=0.969739, version=0.16.4 
X-Spam-Status: No, hits=1.1 required=5.0 tests=BIZ_TLD,HTML_60_70,              
        HTML_FONTCOLOR_BLUE,HTML_MESSAGE,HTML_TAG_EXISTS_TBODY,                 
        LINES_OF_YELLING autolearn=no version=2.63  

(очень мало хитов по сравнению с bogofilter)

X-Bogosity: Unsure, tests=bogofilter, spamicity=0.966192, version=0.16.4 
X-Spam-Status: No, hits=2.9 required=5.0 tests=NO_REAL_NAME,                    
        SUBJ_ILLEGAL_CHARS autolearn=no version=2.63 

(письмо средней длины с русским текстом, без хтмл)
Тесты какие-то явно не очевидные..  ;)

bayes-классификация отключена. 
Протестировал так штук 7 писем - из них, кажется, только одно набрало хитов 
больше 5 (английское про виагру в хтмл).
На другие он реагировать у меня не будет, что ли?
С русским текстом без хтмл он не работает, выходит?


> > 3. в ~/.spamassassin/auto-whitelist нашел (сразу после усттановки
> > пакетов):
> > aeqbukppsbkz@msn.com|ip=219.10.7.892.john@igtel.ru|ip=194.186|totscore
> > что это за происки m$ ?? откуда там это взялось? ;)
> Ну откуда же этой строчке взяться кроме как в результате работы
> спамассассина в включенным auto-whitelist?

Работает он только на моем компе и только тогда, когда я вручную запускаю 
spamc (сейчас).
Я вовсе не хотел этих адресов вносить в whitelist. как они могли туда попасть?


-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re: [sisyphus] spamassasin - 2.63

[Vladimir V. Kamarzin]

Приветствую, Mike Lykov!
Thu, 10 Jun 2004 14:23:21 +0500 вы писали:

> (очень мало хитов по сравнению с bogofilter)

> Тесты какие-то явно не очевидные..  ;)

Обучите байеса в спамотсосине.. ;)

-- 
WBR, Vladimir V. Kamarzin, 2:5077/16.35

Re: [sisyphus] spamassasin - 2.63

[Mike Lykov]

В сообщении от Четверг 10 Июнь 2004 15:07 Vladimir V. Kamarzin написал:

> > (очень мало хитов по сравнению с bogofilter)
> > Тесты какие-то явно не очевидные..  ;)
> Обучите байеса в спамотсосине.. ;)

Зачем делать двойную работу?? у меня есть уже обученный bogofilter, прекрасно 
работает.. ;)

Надеюсь, что ассассин тоже что-то, да будет ловить ;)

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re: [sisyphus] spamassasin - 2.63

[Vladimir V. Kamarzin]

Приветствую, Mike Lykov!
Thu, 10 Jun 2004 15:12:54 +0500 вы писали:

> > > (очень мало хитов по сравнению с bogofilter)
> > > Тесты какие-то явно не очевидные..  ;)
> > Обучите байеса в спамотсосине.. ;)
> 
> Зачем делать двойную работу?? у меня есть уже обученный bogofilter, прекрасно 
> работает.. ;)

Ну если устраивает, зачем же вам спамотсосин? ;)

> Надеюсь, что ассассин тоже что-то, да будет ловить ;)

У меня ловит отлично ;) Кстати богофильтер у вас ещё нормальной почты не прибивал? ;)

-- 
WBR, Vladimir V. Kamarzin, 2:5077/16.35

Re: [sisyphus] spamassasin - 2.63

[Mike Lykov]

В сообщении от Четверг 10 Июнь 2004 15:36 Vladimir V. Kamarzin написал:

> Ну если устраивает, зачем же вам спамотсосин? ;)

чтобы увеличить процент пойманного, очевидно ;) 
Критерии-то разные.

> > Надеюсь, что ассассин тоже что-то, да будет ловить ;)
> У меня ловит отлично ;) Кстати богофильтер у вас ещё нормальной почты не
> прибивал? ;)

А у меня он вообще ничего не прибивает. только вставляет хеадре, и письмо 
потом откдалывается в ящик spam.. из которого я всегда могу вытащить.
Несколько хороших писем туда попадало, пока базы обучал.

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re: [sisyphus] spamassasin - 2.63

[Victor Forsyuk]

On Thu, Jun 10, 2004 at 02:23:21PM +0500, Mike Lykov wrote:
> 
> > > Откуда?
> > В смысле почему skip_rbl_checks не дают эффекта? А spamd перестартовывали?
> 
> по reload. что там делает reload - не смотрел пока.

В man spamd описано.

> но эффекта не дает, а только ругается как я привел 

Я как-то привык после правки конфигов restart делать, а не reload,
так что из своего опыта не скажу, но все же reload должен тоже
перечитывать конфиги. Что-то Вы невнимательно делали.

> [combr@combr spamassassin]$ sudo service spamd reload
> Reloading spamd service: Service spamd is not running.
> ;)

# service spamd reload
Reloading spamd service:					[ DONE ]
# service spamd reload
Reloading spamd service: Service spamd is not running. 		[PASSED]

Дело в том, что reload - это посылка spamd сигнала HUP и немедленно
после этого вызов service завершается. По сути же spamd дальше выполняет
внутреннюю перезагрузку, которая занимает сопоставимое время с запуском
spamd. До окончания этого процесса будет рассинхронизация по pid и Вы
будете видеть такую картину, а также

# service spamd status
spamd is dead, but subsystem is locked

> > Вполне может быть. Проверки в RBL и прочие сетевые проверки могут заметно
> > увеличить время обработки письма.
> 
> С этим ясно - отключил, стало 0.5 секунды. rbl и так postfix проверяет.

Но спамассассин проверяет их с весами, а не блокирует получение по факту
попадания хоста в rbl. Поэтому имеет смысл проверять и там и там. В MTA   
оставить reject по надежным rbl не включающим в себя лишнего, а добивать
спам с хостов, попадающих в несколько более агрессивных rbl'ей, будет
спамассассин.

> > Как минимум, обходиться только локальными проверками, без RBL и прочего.
> 
> Тут тоже интересно. стал на своей машине проверять некоторые письма ( с пом. 
> spamc < письмо) , так что-то результаты удручающие ;)

Ну так Вы же этого и хотели. Включите RBL - результаты будут получше. :)
 
> bayes-классификация отключена. 
> Протестировал так штук 7 писем - из них, кажется, только одно набрало хитов 
> больше 5 (английское про виагру в хтмл).
> На другие он реагировать у меня не будет, что ли?

Так он на все "реагирует", то есть score выставляет. А то что мало - ну так
Вы же сами намеренно отключили некоторые возможности, вот очков и
недобираете.

> С русским текстом без хтмл он не работает, выходит?
 
Из чего следует такой вывод?
 
> > > 3. в ~/.spamassassin/auto-whitelist нашел (сразу после усттановки
> > > пакетов):
> > > aeqbukppsbkz@msn.com|ip=219.10.7.892.john@igtel.ru|ip=194.186|totscore
> > > что это за происки m$ ?? откуда там это взялось? ;)
> > Ну откуда же этой строчке взяться кроме как в результате работы
> > спамассассина в включенным auto-whitelist?
> 
> Работает он только на моем компе и только тогда, когда я вручную запускаю 
> spamc (сейчас).
> Я вовсе не хотел этих адресов вносить в whitelist. как они могли туда попасть?

Ну, RTFM на тему auto-whitelist. Или просто обратить внимание на приставку
auto-. :)

Re: [sisyphus] spamassasin - 2.63

[Mike Lykov]

В сообщении от Пятница 11 Июнь 2004 13:54 Victor Forsyuk написал:

> Дело в том, что reload - это посылка spamd сигнала HUP и немедленно
> после этого вызов service завершается. По сути же spamd дальше выполняет
> внутреннюю перезагрузку, которая занимает сопоставимое время с запуском
> spamd.

Понятно ;)

> Но спамассассин проверяет их с весами, а не блокирует получение по факту
> попадания хоста в rbl. Поэтому имеет смысл проверять и там и там. В MTA
> оставить reject по надежным rbl не включающим в себя лишнего, а добивать
> спам с хостов, попадающих в несколько более агрессивных rbl'ей, будет
> спамассассин. 
> Ну так Вы же этого и хотели. Включите RBL - результаты будут получше. :)

ну как-то... меня не устраивает время обработки каждого письма "от 5 секунд".. 
;))
spamd итак в лидерах по обьемам занимаемой процессом памяти...

> Так он на все "реагирует", то есть score выставляет. А то что мало - ну так
> Вы же сами намеренно отключили некоторые возможности, вот очков и
> недобираете.

Правильно, потому что цель - вовсе не "набрать как можно больше очков", а 
"использовать возможности анализа, заложенные в sa изначально, которых нет в 
других местах, при этом не попадаясь на false positives" ;)

Сейчас подключил, что-то ловит.. required_hits 6
дополнительно процентов 5 отбирает после bogofilter .. %)

> > С русским текстом без хтмл он не работает, выходит?
> Из чего следует такой вывод?

письма с коротким русским текстом он оценивает в 0.0 - 1.0 макс.

> > > Ну откуда же этой строчке взяться кроме как в результате работы
> > > спамассассина в включенным auto-whitelist?

нашел, это оттого что он запускается по дефолту с -a. читал про метод 
рассчета. не понял ;)

   1. Compute the SCORE of the message without AWL (auto-whitelist)             
   2. Compute AWL DELTA as (MEAN-SCORE)*auto_whitelist_factor                   
   3. Increment TOTAL by SCORE                                                  
   4. Increment COUNT by one                                                    
   5. Set the final score of the message to SCORE+DELTA 

К чему это все приводит... ;)

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator