[sisyphus] SpamAssassin

[sisyphus] SpamAssassin

[Serj]

Всем привет,

Поставил SpamAssassin, сразу стал отсеивать % 30 спама, но для получения
большего % на сколько я понял надо обучать bayes фильтр.
Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
фильтром ?

Может поделится кто, у кого он хорошо обучен ?

Sy, Serj

[sisyphus] Re: SpamAssassin

[Michael Shigorin]

On Mon, Oct 27, 2003 at 11:46:09AM +0300, Serj wrote:
> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
> фильтром ?  Может поделится кто, у кого он хорошо обучен ?

Слишком индивидуально, боюсь.  Можете попробовать скормить ему
вот это: http://xms.com.ua/~mike/spam.tar.gz -- но оно довольно
старое и новых веяний может не учитывать.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] SpamAssassin

[Victor Forsyuk]

On Mon, Oct 27, 2003 at 11:46:09AM +0300, Serj wrote:
> Всем привет,
> 
> Поставил SpamAssassin, сразу стал отсеивать % 30 спама, но для получения

Всего 30% ? Что-то мало. Не модифицировали установленный из пакета
/etc/mail/spamassassin/local.cf ? Там - совершенно намеренно! - установлен
достаточно высокий порог срабатывания:

required_hits 7.5

Попробуйте понизить его до 5 (что является прописанным внутри SA
умолчанием).

> большего % на сколько я понял надо обучать bayes фильтр.

Я бы сформулировал иначе. Для получения большего процента отсева спама
необходимо - если мы говорим не только конкретно о SA - строить
комплексную "эшелонированную" :) оборону. Начиная с отсева спама еще
во время SMTP-сеанса по различным критериям и только заканчивая
контекстной фильтрацией инструментами типа spamassassin.

Для SpamAssassin - больше увеличит процент отсева понижение порога
срабатывания, если Вас устраивает сопутствующее увеличение вероятности
false positives.

> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
> фильтром ?

Это невозможно. По самой сути методов частотного разделения типа bayes
не может быть "обученного вообще" фильтра с соответствующими базами,
_подходящими для всех_.
 
> Может поделится кто, у кого он хорошо обучен ?

И это по сути неправильно. Объясню на простых примерах. Представим себе,
что Вы работаете в фирме, которая занимается семинарами... да или вообще,
допустим, по какой-то себе причине часто упоминаете их в письмах.

В Украине одни из самых наглых и активных спамеров рассылают спам с
рекламой семинаров (это наш аналог вашего ALC). Легко догадаться,
что произойдет, если Вы попытаетесь воспользоваться частотными базами,
обученными вовсе не на Вашем почтовом трафике. Такие базы неминуемо
дадут большие false positives и false negatives.

Включайте в SpamAssassin'е site-wide bayes autolearn и получите еще
немного более "догадливый" в отношении спама фильтр. Причем без
ручного вмешательства. Ну а если учите его ручками на своем профайле,
получите еще более точный инструмент.

Re[2]: [sisyphus] SpamAssassin

[Sergey Solopov]

Hello Victor,


VF> Попробуйте понизить его до 5 (что является прописанным внутри SA
VF> умолчанием).

Спасибо, изменю...

>> большего % на сколько я понял надо обучать bayes фильтр.

VF> Я бы сформулировал иначе. Для получения большего процента отсева спама
VF> необходимо - если мы говорим не только конкретно о SA - строить
VF> комплексную "эшелонированную" :) оборону. Начиная с отсева спама еще
VF> во время SMTP-сеанса по различным критериям и только заканчивая
VF> контекстной фильтрацией инструментами типа spamassassin.
Это по поводу различных RBL и blacklist-ов ? Так уже используются.


>> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
>> фильтром ?

VF> Это невозможно. По самой сути методов частотного разделения типа bayes
VF> не может быть "обученного вообще" фильтра с соответствующими базами,
VF> _подходящими для всех_.

В принципе понятно, по ведь SA ставят, те-же ISP провайдеры, у которых
под обучение попадает "общая" часть спама, а до учить уже можно на
месте. Например, bayes-овский фильтр для 'the bat' имеет в поставке и
обученную базу, хочешь используй, нет - обучай сам. На такой "общей
базе" достигается показатель 80-90% и она подошла большенству моих
знакомых.

А ложные сработатывания можно дооубчать с помошью sa-learn, если я
правильно понял.


VF> Включайте в SpamAssassin'е site-wide bayes autolearn и получите еще
VF> немного более "догадливый" в отношении спама фильтр.
autolearn стоит

-- 
SY, Serj

Re: Re[2]: [sisyphus] SpamAssassin

[vserge]

Добрый день

А не подскажите как SA работает на одной машине с KAV?

Вы написали Sergey Solopov <serj@arte.ru> Mon, 27 Oct 2003 20:02:44 +0300:

> Hello Victor,
> 
> 
> VF> Попробуйте понизить его до 5 (что является прописанным внутри SA
> VF> умолчанием).
> 
> Спасибо, изменю...
> 
> >> большего % на сколько я понял надо обучать bayes фильтр.
> 
> VF> Я бы сформулировал иначе. Для получения большего процента отсева спама
> VF> необходимо - если мы говорим не только конкретно о SA - строить
> VF> комплексную "эшелонированную" :) оборону. Начиная с отсева спама еще
> VF> во время SMTP-сеанса по различным критериям и только заканчивая
> VF> контекстной фильтрацией инструментами типа spamassassin.
> Это по поводу различных RBL и blacklist-ов ? Так уже используются.
> 
> 
> >> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
> >> фильтром ?
> 
> VF> Это невозможно. По самой сути методов частотного разделения типа bayes
> VF> не может быть "обученного вообще" фильтра с соответствующими базами,
> VF> _подходящими для всех_.
> 
> В принципе понятно, по ведь SA ставят, те-же ISP провайдеры, у которых
> под обучение попадает "общая" часть спама, а до учить уже можно на
> месте. Например, bayes-овский фильтр для 'the bat' имеет в поставке и
> обученную базу, хочешь используй, нет - обучай сам. На такой "общей
> базе" достигается показатель 80-90% и она подошла большенству моих
> знакомых.
> 
> А ложные сработатывания можно дооубчать с помошью sa-learn, если я
> правильно понял.
> 
> 
> VF> Включайте в SpamAssassin'е site-wide bayes autolearn и получите еще
> VF> немного более "догадливый" в отношении спама фильтр.
> autolearn стоит
> 

Re: [sisyphus] SpamAssassin

[Salavat Yarmukhametov]

On Thu, Oct 30, 2003 at 01:35:58PM +0300, vserge wrote:
> Добрый день
> 
> А не подскажите как SA работает на одной машине с KAV?
> 

В смысле "как работает"? Нормально работают оба вместе.

> Вы написали Sergey Solopov <serj@arte.ru> Mon, 27 Oct 2003 20:02:44 +0300:
> 
> > Hello Victor,
> > 
> > 
> > VF> Попробуйте понизить его до 5 (что является прописанным внутри SA
> > VF> умолчанием).
> > 
> > Спасибо, изменю...
> > 
> > >> большего % на сколько я понял надо обучать bayes фильтр.
> > 
> > VF> Я бы сформулировал иначе. Для получения большего процента отсева спама
> > VF> необходимо - если мы говорим не только конкретно о SA - строить
> > VF> комплексную "эшелонированную" :) оборону. Начиная с отсева спама еще
> > VF> во время SMTP-сеанса по различным критериям и только заканчивая
> > VF> контекстной фильтрацией инструментами типа spamassassin.
> > Это по поводу различных RBL и blacklist-ов ? Так уже используются.
> > 
> > 
> > >> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
> > >> фильтром ?
> > 
> > VF> Это невозможно. По самой сути методов частотного разделения типа bayes
> > VF> не может быть "обученного вообще" фильтра с соответствующими базами,
> > VF> _подходящими для всех_.
> > 
> > В принципе понятно, по ведь SA ставят, те-же ISP провайдеры, у которых
> > под обучение попадает "общая" часть спама, а до учить уже можно на
> > месте. Например, bayes-овский фильтр для 'the bat' имеет в поставке и
> > обученную базу, хочешь используй, нет - обучай сам. На такой "общей
> > базе" достигается показатель 80-90% и она подошла большенству моих
> > знакомых.
> > 
> > А ложные сработатывания можно дооубчать с помошью sa-learn, если я
> > правильно понял.
> > 
> > 
> > VF> Включайте в SpamAssassin'е site-wide bayes autolearn и получите еще
> > VF> немного более "догадливый" в отношении спама фильтр.
> > autolearn стоит
> > 
> 
> 
> 
> _______________________________________________
> Sisyphus mailing list
> Sisyphus@altlinux.ru
> http://altlinux.ru/mailman/listinfo/sisyphus
--
Salavat Yarmukhametov
salavat@regiongarant.ru
ICQ 21144441

Re: Re[2]: [sisyphus] SpamAssassin

[Victor Forsyuk]

On Thu, Oct 30, 2003 at 01:35:58PM +0300, vserge wrote:
> Добрый день
> 
> А не подскажите как SA работает на одной машине с KAV?

Нормально работает. Если честно, не совсем понятен вопрос.
Ну вот у меня он работает плечом к плечу с ClamAV. Какие
могут быть у SA проблемы от наличия на той же машине KAV?

Re: [sisyphus] SpamAssassin

[Victor Forsyuk]

On Mon, Oct 27, 2003 at 08:02:44PM +0300, Sergey Solopov wrote:
> 
> >> большего % на сколько я понял надо обучать bayes фильтр.
> 
> VF> Я бы сформулировал иначе. Для получения большего процента отсева спама
> VF> необходимо - если мы говорим не только конкретно о SA - строить
> VF> комплексную "эшелонированную" :) оборону. Начиная с отсева спама еще
> VF> во время SMTP-сеанса по различным критериям и только заканчивая
> VF> контекстной фильтрацией инструментами типа spamassassin.
> Это по поводу различных RBL и blacklist-ов ? Так уже используются.

И о них тоже, но далеко не только лишь о них. К примеру, если к вам из
внешнего Интернета (не от своих клиентов с виндюками) пришло соединение,
в котором параметр EHLO не содержит точки - это спам. Если параметр
EHLO compuserve.com - это спам. Если параметр EHLO является одним из
ваших доменных имен или IP одного из интерфейсов - это спам. И т.д.
 
> >> Отсюда вопрос, может стоит сделать дополнительный пакет с обученным
> >> фильтром ?
> 
> VF> Это невозможно. По самой сути методов частотного разделения типа bayes
> VF> не может быть "обученного вообще" фильтра с соответствующими базами,
> VF> _подходящими для всех_.
> 
> В принципе понятно, по ведь SA ставят, те-же ISP провайдеры, у которых
> под обучение попадает "общая" часть спама, а до учить уже можно на

Ну вот я поставил (ISP "Global Ukraine"). Обучается на живом потоке.
Вот как раз для ISP, где адресаты по определению получают разнопрофильную
почту, с "общей" частью лучше не играться.

> месте. Например, bayes-овский фильтр для 'the bat' имеет в поставке и
> обученную базу, хочешь используй, нет - обучай сам. На такой "общей
> базе" достигается показатель 80-90% и она подошла большенству моих
> знакомых.

Это Ritlabs такое поставляет?? Я конечно могу понять мотивы, но IMNSHO
это не вполне ответственное решение.
 
> А ложные сработатывания можно дооубчать с помошью sa-learn, если я
> правильно понял.
> 
> 
> VF> Включайте в SpamAssassin'е site-wide bayes autolearn и получите еще
> VF> немного более "догадливый" в отношении спама фильтр.
> autolearn стоит

Тогда подождите немного или покормите его своими архивами спама - пока
у SA bayes-база маленькая она слабо влияет на скоринг. Можете также
_немного_ понизить (с дефолтных 12) порог срабатывания spam autolearn,
для более быстрого наполнения.