[Sysadmins] amavisd-new + spamassassin

[Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

Доброго всем.

Помогите разобраться. Никак не могу разобраться со спамом.
Перечитал рассылку, еще несколько статей на freesource. Вроде все
включил, но заголовков в письмах о работе спам-фильтра не появляются.

Почта с внешних ящиков забирается fetchmail'ом, затем раскладывается в
Cyrus-IMAP. Заголовок антивируса есть, а вот намека на работу sa_*
никакого нет.
Сервис spamd запущен. В /etc/amavisd/conf.d/50-extprograms вроде все
необходимое раскоментировано, но спам прет, заголовков в письмах нет.

Куда копать?

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Алексей Шенцев]

В сообщении от Tuesday 13 November 2007 11:08:18 Oleg Dolgov написал(а):
> Доброго всем.
>
> Помогите разобраться. Никак не могу разобраться со спамом.
> Перечитал рассылку, еще несколько статей на freesource. Вроде все
> включил, но заголовков в письмах о работе спам-фильтра не появляются.
>
> Почта с внешних ящиков забирается fetchmail'ом, затем раскладывается в
> Cyrus-IMAP. Заголовок антивируса есть, а вот намека на работу sa_*
> никакого нет.
> Сервис spamd запущен. В /etc/amavisd/conf.d/50-extprograms вроде все
> необходимое раскоментировано, но спам прет, заголовков в письмах нет.
>
> Куда копать?

1) в логах должно быть примерно так:
[root@gw /]# cat /var/log/mail/all | grep 'ANTI-'
Nov 12 10:19:04 gw amavis[8789]: ANTI-VIRUS code      loaded
Nov 12 10:19:04 gw amavis[8789]: ANTI-SPAM code       loaded
Nov 12 10:19:04 gw amavis[8789]: ANTI-SPAM-SA code    loaded
Nov 12 10:29:37 gw amavis[8827]: ANTI-VIRUS code      loaded
Nov 12 10:29:37 gw amavis[8827]: ANTI-SPAM code       loaded
Nov 12 10:29:37 gw amavis[8827]: ANTI-SPAM-SA code    loaded
[root@gw /]#

2) в /etc/amavis/conf.d/50-extprograms.conf примерно так (значения балов тут 
уж сам выбираешь, да и spamassassin надо тренеровать, что есть спам, а что не 
есть спам):
[root@gw /]# cat /etc/amavis/conf.d/50-extprograms.conf | grep 'sa_'
# $sa_local_tests_only is passed to Mail::SpamAssassin::new as a value
$sa_local_tests_only = 0;   # only tests which do not require internet access?
#$sa_auto_whitelist = 1;    # turn on AWL in SA 2.63 or older (irrelevant
$sa_mail_body_size_limit = 400*1024; # don't waste time on SA if mail is 
larger
$sa_tag_level_deflt  = -999; # add spam info headers if at, or above that 
level;
#$sa_tag2_level_deflt = 6.31;# add 'spam detected' headers at that level to
$sa_tag2_level_deflt = 4.0;
$sa_kill_level_deflt = 5.0; #$sa_tag2_level_deflt; # triggers spam evasive 
actions
$sa_dsn_cutoff_level = 5.0;   # spam level beyond which a DSN is not sent,
#see also $sa_quarantine_cutoff_level above, which only controls quarantining
$penpals_threshold_high = $sa_kill_level_deflt; # don't waste time on hi spam
#@spam_tag_level_maps  = (\$sa_tag_level_deflt);  # this is a default
#  \$sa_tag2_level_deflt,   # catchall default
#  \$sa_kill_level_deflt,   # catchall default
#  \$sa_dsn_cutoff_level,   # catchall default
  \$sa_dsn_cutoff_level,  # catchall default value
$sa_spam_subject_tag = '***SPAM***';    # (defaults to undef, disabled)
$sa_spam_modifies_subj =1; # in @spam_modifies_subj_maps, default is true
$sa_spam_level_char = '*';  # char for X-Spam-Level bar, defaults to '*';
$sa_spam_report_header = 1; # insert X-Spam-Report header field? default false
[root@gw /]#


-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

Да, вроде, все так-же:
# cat /var/log/mail/all | grep 'ANTI-'
Nov 13 11:18:34 server amavis[10503]: ANTI-VIRUS code      loaded
Nov 13 11:18:34 server amavis[10503]: ANTI-SPAM code       loaded
Nov 13 11:18:34 server amavis[10503]: ANTI-SPAM-SA code    loaded

[root@server conf.d]# cat /etc/amavis/conf.d/50-extprograms | grep 'sa_'
# $sa_local_tests_only is passed to Mail::SpamAssassin::new as a value
$sa_local_tests_only = 0;   # only tests which do not require internet
access?
#$sa_auto_whitelist = 1;    # turn on AWL in SA 2.63 or older
#(irrelevant
$sa_mail_body_size_limit = 400*1024; # don't waste time on SA if mail
is larger 
$sa_tag_level_deflt  = -999; # add spam info headers if at,
or above that level; 
$sa_tag2_level_deflt = 2.0;# add 'spam detected' headers at that level
to 
$sa_kill_level_deflt = 10.0; # triggers spam evasive actions
$sa_dsn_cutoff_level = 10.0;   # spam level beyond which a DSN is not
sent,
# see also $sa_quarantine_cutoff_level above, which only controls
# quarantining
$penpals_threshold_high = $sa_kill_level_deflt; # don't waste time on
hi spam
#@spam_tag_level_maps  = (\$sa_tag_level_deflt);  # this is a default
#  \$sa_tag2_level_deflt,   # catchall default
#  \$sa_kill_level_deflt,   # catchall default
#  \$sa_dsn_cutoff_level,   # catchall default
  \$sa_dsn_cutoff_level,  # catchall default value
$sa_spam_subject_tag = '***SPAM*** ';   # (defaults to undef, disabled)
$sa_spam_modifies_subj = 1; # in @spam_modifies_subj_maps, default is
true 
$sa_spam_level_char = '*';  # char for X-Spam-Level bar, defaults to
'*'; $sa_spam_report_header = 1; # insert X-Spam-Report header field?
default false

Понаблюдаю еще, но не уверен, что что-то изменится.
Должен же в любомслучае добавлять свой заголовок в письмо? Что-то не
видно...

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Алексей Шенцев]

В сообщении от Tuesday 13 November 2007 12:23:01 Oleg Dolgov написал(а):
> $sa_spam_level_char = '*';  # char for X-Spam-Level bar, defaults to
> '*'; $sa_spam_report_header = 1; # insert X-Spam-Report header field?
> default false
То ли это в клиенте у меня так отображается, то ли у вас на самом деле 
$sa_spam_report_header = 1 не начинается с новой строки?
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 12:29:43 +0300
Алексей Шенцев <ashen@nsrz.ru> wrote:

> То ли это в клиенте у меня так отображается, то ли у вас на самом
> деле $sa_spam_report_header = 1 не начинается с новой строки?

Силфида абзац отформатировала :-)
Все с новой строки.

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 11:40:51 +0200
Oleg Dolgov <dolgov@mail.zp.ua> wrote:
> Все с новой строки.

Есть бредовая мысль, но где посмотреть? Может после проверки на вирусы
проверка на спам не запускается? Может такое где-то в конфигах
закопано? Чисто теоретически.

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

Вроде работает.
по крайней мере в карантине пеисьмо лежит, явно спам. Но уведомления
получателя небыло.

В заголовках писем, которые были пропущены, информации о спам-фильтре
нет. только 
X-Virus-Scanned: amavisd-new at dolgov

Почему не вставляет заголовок от SA?

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Алексей Шенцев]

В сообщении от Tuesday 13 November 2007 14:34:17 Oleg Dolgov написал(а):
> Вроде работает.
> по крайней мере в карантине пеисьмо лежит, явно спам. Но уведомления
> получателя небыло.
Это определяется в районе 30-rules.conf

> В заголовках писем, которые были пропущены, информации о спам-фильтре
> нет. только
> X-Virus-Scanned: amavisd-new at dolgov
Хм ... Должно быть примерно так:

X-Virus-Scanned: amavisd-new at nsrz.ru
X-Spam-Flag: NO
X-Spam-Score: 0
X-Spam-Level: 
X-Spam-Status: No, score=x tagged_above=-999 required=4 WHITELISTED tests=[]

> Почему не вставляет заголовок от SA?
Ещё раз вычитывайте ваши конфиги.
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 15:53:44 +0300
Алексей Шенцев <ashen@nsrz.ru> wrote:
> > по крайней мере в карантине пеисьмо лежит, явно спам. Но уведомления
> > получателя небыло.
> Это определяется в районе 30-rules.conf

Явного включения/выключения не видно, но строки с шаблонами
информ.писем раскоментированы.

Конфиг по умолчанию, за исключением правил на баны экзешников и т.п.

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Dmitry Lebkov]

Oleg Dolgov пишет:
> On Tue, 13 Nov 2007 15:53:44 +0300
> Алексей Шенцев <ashen@nsrz.ru> wrote:
>>> по крайней мере в карантине пеисьмо лежит, явно спам. Но уведомления
>>> получателя небыло.
>> Это определяется в районе 30-rules.conf
> 
> Явного включения/выключения не видно, но строки с шаблонами
> информ.писем раскоментированы.
> 
> Конфиг по умолчанию, за исключением правил на баны экзешников и т.п.

См. 50-extprograms.conf на предмет $sa_tag_level_deflt и $sa_tag2_level_deflt

-- 
WBR, Dmitry Lebkov

Re: [Sysadmins] amavisd-new + spamassassin

[Алексей Шенцев]

В сообщении от Tuesday 13 November 2007 16:35:42 Oleg Dolgov написал(а):
> Явного включения/выключения не видно, но строки с шаблонами
> информ.писем раскоментированы.
>
> Конфиг по умолчанию, за исключением правил на баны экзешников и т.п.
Посмотрите в этом районе:

[root@gw conf.d]# cat 30-rules.conf | grep '$spam_'
#$spam_admin = "postmaster\@$mydomain";
$spam_admin = undef;    # do not send spam admin notifications (default)
#  $spam_admin,   # the usual default
#$spam_quarantine_method           = 'local:spam-%m.gz';   # default
#$spam_quarantine_method           = 'local:spam/%m.gz';
#$spam_quarantine_method  = "bsmtp:$QUARANTINEDIR/spam-%m.bsmtp";
#$spam_quarantine_method = 'pipe:argv=/usr/bin/myscript.sh spam-%b ${sender}';
#$virus_quarantine_method = $spam_quarantine_method =
# variables $virus_quarantine_method/$spam_quarantine_method/
# The value of scalar $virus_quarantine_to/$spam_quarantine_to (or a
# Setting $virus_quarantine_to ($spam_quarantine_to) to this string will:
$spam_quarantine_to       = 'spam-quarantine';       # local quarantine
#$spam_quarantine_to = "spam-quarantine\@$mydomain";
#  $spam_quarantine_to,  # the usual default
# It is similar to $spam_quarantine_to, but the lookup key is the
#$spam_quarantine_bysender_to = undef;   # dflt: no by-sender spam quarantine
[root@gw conf.d]# cat 30-rules.conf | grep '$virus_'
$virus_admin = "postmaster\@$mydomain";
# $virus_admin = 'virus-admin@example.com';
# $virus_admin = undef;   # do not send virus admin notifications (default)
#  $virus_admin,   # the usual default
# equivalent to $virus_admin, but for spam admin notifications:
#$virus_quarantine_method          = 'local:virus-%m';     # default
#$virus_quarantine_method          = 'local:virus/%m';
#$virus_quarantine_method = "bsmtp:$QUARANTINEDIR/virus-%m.bsmtp";
#$virus_quarantine_method = $spam_quarantine_method =
# variables $virus_quarantine_method/$spam_quarantine_method/
# The value of scalar $virus_quarantine_to/$spam_quarantine_to (or a
# Setting $virus_quarantine_to ($spam_quarantine_to) to this string will:
$virus_quarantine_to  = 'virus-quarantine';    # traditional local quarantine
#$virus_quarantine_to = 'infected@';           # forward to MTA for delivery
#$virus_quarantine_to = "virus-quarantine\@$mydomain";   # similar
#$virus_quarantine_to = 'virus-quarantine@example.com';  # similar
#$virus_quarantine_to = undef;                 # no quarantine
#  $virus_quarantine_to,  # the usual default
[root@gw conf.d]# cat 30-rules.conf | grep '$mail'
$mailfrom_notify_admin     = "postmaster\@$mydomain";
$mailfrom_notify_recip     = "postmaster\@$mydomain";
$mailfrom_notify_spamadmin = "postmaster\@$mydomain";
# with $mailfrom_notify_sender, which is the envelope return address
# $hdrfrom_notify_admin = $mailfrom_notify_admin;
# $hdrfrom_notify_spamadmin = $mailfrom_notify_spamadmin;
$mailfrom_to_quarantine = '';   # override sender address with null return 
path
#$mailfrom_to_quarantine = undef;  # pass on the original sender address
[root@gw conf.d]#
-- 
С уважением Шенцев Алексей Владимирович.
E-mail: ashen@nsrz.ru
XMPP: ashen@altlinux.org, AlexShen@jabber.ru
ICQ: 271053845

Re: [Sysadmins] amavisd-new + spamassassin

[Alexey Shabalin]

13.11.07, Oleg Dolgov написал(а):
> Доброго всем.
>
> Помогите разобраться. Никак не могу разобраться со спамом.
> Перечитал рассылку, еще несколько статей на freesource. Вроде все
> включил, но заголовков в письмах о работе спам-фильтра не появляются.
>
> Почта с внешних ящиков забирается fetchmail'ом, затем раскладывается в
> Cyrus-IMAP. Заголовок антивируса есть, а вот намека на работу sa_*
> никакого нет.
> Сервис spamd запущен. В /etc/amavisd/conf.d/50-extprograms вроде все
> необходимое раскоментировано, но спам прет, заголовков в письмах нет.
>
> Куда копать?
>

control amavisd-av
control amavisd-spam

такой вопрос, а кому передаёт почту после приёма fetchmail? postfix'у
или кому другому(procmail, maildrop)? Подозреваю что cyrus (извиняюсь
за невежество - не разу не использовал cyrus-imap)

-- 
Alexey Shabalin

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Wed, 14 Nov 2007 01:40:02 +0300
"Alexey Shabalin" <a.shabalin@gmail.com>
wrote:
> control amavisd-av
> control amavisd-spam

# control amavisd-spam
enabled
# control amavisd-av
enabled

> 
> такой вопрос, а кому передаёт почту после приёма fetchmail? postfix'у
> или кому другому(procmail, maildrop)? Подозреваю что cyrus (извиняюсь
> за невежество - не разу не использовал cyrus-imap)

postfix'у, а он через lmtp дальше.

PS. Блин, может действительно дело в постфиксе? Гляну, чего там
редактировал для работы с cyrus'ом...

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 16:42:25 +0300
Алексей Шенцев <ashen@nsrz.ru> wrote:
> Посмотрите в этом районе:
> 
> [root@gw conf.d]# cat 30-rules.conf | grep '$spam_'
> #$spam_admin = "postmaster\@$mydomain";
> $spam_admin = undef;    # do not send spam admin notifications
> (default)
> #  $spam_admin,   # the usual default

Да, вроде, все нормально. Спам-админом объявлен postmaster и т.п.
По идее должно работать, но...

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 23:41:23 +1000
Dmitry Lebkov <dima@sakhalin.ru> wrote:
> См. 50-extprograms.conf

Может єто и не принципиально, но почему у всех советующих содержимое
папки /etc/amavisd/conf.d/*.conf
			  ^^^^^^
а у меня просто типа 50-extprograms
?

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Tue, 13 Nov 2007 23:41:23 +1000
Dmitry Lebkov <dima@sakhalin.ru> wrote:
> См. 50-extprograms.conf

А содержание /etc/amavis/amavisd.conf-default
учитывается? Или это просто перечень умолчательных значений?

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Alexey Shabalin]

2007/11/14, Oleg Dolgov <dolgov>:
> On Tue, 13 Nov 2007 23:41:23 +1000
> Dmitry Lebkov <dima@sakhalin.ru> wrote:
> > См. 50-extprograms.conf
>
> А содержание /etc/amavis/amavisd.conf-default
> учитывается? Или это просто перечень умолчательных значений?
не учитывается - просто перечень.
а вот если есть /etc/amavis/amavisd.conf - то будет работать именно
он, а не conf.d/*.conf

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Wed, 14 Nov 2007 10:33:02 +0200
Oleg Dolgov <dolgov@mail.zp.ua> wrote:
> postfix'у, а он через lmtp дальше.
> 
> PS. Блин, может действительно дело в постфиксе? Гляну, чего там
> редактировал для работы с cyrus'ом...

Да нет, вроде никакого криминала. Postfix настраивал давно. Частично по
этой статье
http://www.freesource.info/wiki/AltLinux/Dokumentacija/PostfixCyrusImap?v=12sw&
частично по подсказкам в этой рассылке. Изменилось только пару строк в
main.cfg и master.cfg

fetchmail отдает забранную почту postfix'у, а тот перенаправляет на
amavis по lmtp.

Авот сам amavis вроде проверяет все, т.к. некоторый спам попадает в
карантин, но никаких заголовков в письма не добавляет, кроме заголовка
о проверке на вирусы clamav. И уведомлений о спаме в карантине
postmaster'у не посылает. Перелистал все конфиги в /etc/amavis/conf.d/
вроде все параметры, относящиеся к спаму отредактировал. Спам в
карантин запретил помещать, тему писем указал изменять, заголовки в
тело писем указал проставлять, но результата нет. Письма в карантин так
и ложаться, уведомлений нет, заголовках в остальных письмах нет.

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454

Re: [Sysadmins] amavisd-new + spamassassin

[Oleg Dolgov]

On Wed, 14 Nov 2007 11:56:33 +0300
"Alexey Shabalin" <a.shabalin@gmail.com>
wrote:
> 2007/11/14, Oleg Dolgov <dolgov>:
> > On Tue, 13 Nov 2007 23:41:23 +1000
> > Dmitry Lebkov <dima@sakhalin.ru> wrote:
> > > См. 50-extprograms.conf
> >
> > А содержание /etc/amavis/amavisd.conf-default
> > учитывается? Или это просто перечень умолчательных значений?
> не учитывается - просто перечень.
> а вот если есть /etc/amavis/amavisd.conf - то будет работать именно
> он, а не conf.d/*.conf

/etc/amavis/amavisd.conf-default
содержит все необходимые опции?
т.к. я уже начинаю на стену лезть. Не хочет SA добавлять заголовки в
письма ни со тарым конфигом, ни по новым (разбросаным) правилам.
Вообще ни на что не обращает внимания. Письма как складывались в
карантин, так и складываются (хотя в конфиге указал пропускать весь
спам, балы для карантина поставил заоблачные - 30).
Похоже что в основной массе параметров amavisd работает по умолчанию.

сейчас возьму amavisd.conf-default и пересмотрю (скопирую, изменю) ВСЕ
представленные параметры в конфигах. 
Иначе "Ничёнипонимаю" (с)колобки.

PS. может кто кинет в меня рабочим конфигом (для сравнения)?

-- 
С наилучшими,
Олег Долгов
<dolgov AT mail DOT zp DOT ua>
Registered Linux user #315454