ALT Linux Sisyphus discussions
 help / color / mirror / Atom feed
* [sisyphus] I: new package (amavisd-new)
@ 2004-01-07 13:33 Alexey Shabalin
  2004-01-07 14:54 ` [sisyphus] " Andrey Khavryuchenko
  2004-01-12 11:50 ` [sisyphus] " Arkadiy Pavlik
  0 siblings, 2 replies; 25+ messages in thread
From: Alexey Shabalin @ 2004-01-07 13:33 UTC (permalink / raw)
  To: Sisyphus mail list

[-- Attachment #1: Type: text/plain, Size: 102 bytes --]

До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые 
модули.

-- 
Alexey Shabalin


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 256 bytes --]

^ permalink raw reply	[flat|nested] 25+ messages in thread

* [sisyphus] Re: I: new package (amavisd-new)
  2004-01-07 13:33 [sisyphus] I: new package (amavisd-new) Alexey Shabalin
@ 2004-01-07 14:54 ` Andrey Khavryuchenko
  2004-01-09  7:30   ` Alexey Shabalin
  2004-01-12 11:50 ` [sisyphus] " Arkadiy Pavlik
  1 sibling, 1 reply; 25+ messages in thread
From: Andrey Khavryuchenko @ 2004-01-07 14:54 UTC (permalink / raw)
  To: sisyphus

Alexey,

"AS" == Alexey Shabalin wrote:

 AS> До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
 AS> модули.

Заметил.  Работает.  При переезде в Сизиф хотелось бы добавить работу с
постфиксом "из коробки", а не по README :)

-- 
Andrey V Khavryuchenko            http://www.kds.com.ua/
Silver Bullet Software Solutions  http://www.kds.com.ua/training/


^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] Re: I: new package (amavisd-new)
  2004-01-07 14:54 ` [sisyphus] " Andrey Khavryuchenko
@ 2004-01-09  7:30   ` Alexey Shabalin
  2004-01-09 14:41     ` Andrey Khavryuchenko
  0 siblings, 1 reply; 25+ messages in thread
From: Alexey Shabalin @ 2004-01-09  7:30 UTC (permalink / raw)
  To: sisyphus

Andrey Khavryuchenko пишет:

>Alexey,
>
>"AS" == Alexey Shabalin wrote:
>
> AS> До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> AS> модули.
>
>Заметил.  Работает.  При переезде в Сизиф хотелось бы добавить работу с
>постфиксом "из коробки", а не по README :)
>
>  
>
хорошо. дополните меня плз, что хотелось бы видеть:
1. в /etc/aliases - вроде все добавляется.
2. добавить нужные записи в /etc/postfix/master.cf
3. добавить в закоментированном виде в main.cf параметр content_filtr

Что еще?

-- 
Alexey Shabalin



^ permalink raw reply	[flat|nested] 25+ messages in thread

* [sisyphus] Re: I: new package (amavisd-new)
  2004-01-09  7:30   ` Alexey Shabalin
@ 2004-01-09 14:41     ` Andrey Khavryuchenko
  2004-01-11  0:33       ` Alexey Shabalin
  0 siblings, 1 reply; 25+ messages in thread
From: Andrey Khavryuchenko @ 2004-01-09 14:41 UTC (permalink / raw)
  To: sisyphus

Alexey,

"AS" == Alexey Shabalin wrote:

 AS> Andrey Khavryuchenko пишет:
 >> "AS" == Alexey Shabalin wrote:
 AS> До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
 AS> модули.
 >> 
 >> Заметил.  Работает.  При переезде в Сизиф хотелось бы добавить работу с
 >> постфиксом "из коробки", а не по README :)
 >> 
 >> 
 AS> хорошо. дополните меня плз, что хотелось бы видеть:
 AS> 1. в /etc/aliases - вроде все добавляется.
 AS> 2. добавить нужные записи в /etc/postfix/master.cf
 AS> 3. добавить в закоментированном виде в main.cf параметр content_filtr

 AS> Что еще?

Пока всё.

Ну, ещё понять почему spamassasin -r фигню пишет, но это уже не к amavisd ;)

-- 
Andrey V Khavryuchenko            http://www.kds.com.ua/
Silver Bullet Software Solutions  http://www.kds.com.ua/training/


^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] Re: I: new package (amavisd-new)
  2004-01-09 14:41     ` Andrey Khavryuchenko
@ 2004-01-11  0:33       ` Alexey Shabalin
  2004-01-11 14:30         ` Andrey Khavryuchenko
  0 siblings, 1 reply; 25+ messages in thread
From: Alexey Shabalin @ 2004-01-11  0:33 UTC (permalink / raw)
  To: sisyphus

Andrey Khavryuchenko пишет:

>Alexey,
>
>"AS" == Alexey Shabalin wrote:
>
> AS> Andrey Khavryuchenko пишет:
> >> "AS" == Alexey Shabalin wrote:
> AS> До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> AS> модули.
> >> 
> >> Заметил.  Работает.  При переезде в Сизиф хотелось бы добавить работу с
> >> постфиксом "из коробки", а не по README :)
> >> 
> >> 
> AS> хорошо. дополните меня плз, что хотелось бы видеть:
> AS> 1. в /etc/aliases - вроде все добавляется.
> AS> 2. добавить нужные записи в /etc/postfix/master.cf
> AS> 3. добавить в закоментированном виде в main.cf параметр content_filtr
>
> AS> Что еще?
>
>Пока всё.
>
>Ну, ещё понять почему spamassasin -r фигню пишет, но это уже не к amavisd ;)
>
>  
>
А от какого пользователя Вы эту команду даете?
Я думаю надо от юзера mail.
Посмотрите скрипты /usr/bin/amavisd-*


-- 
Alexey Shabalin




^ permalink raw reply	[flat|nested] 25+ messages in thread

* [sisyphus] Re: I: new package (amavisd-new)
  2004-01-11  0:33       ` Alexey Shabalin
@ 2004-01-11 14:30         ` Andrey Khavryuchenko
  0 siblings, 0 replies; 25+ messages in thread
From: Andrey Khavryuchenko @ 2004-01-11 14:30 UTC (permalink / raw)
  To: sisyphus

Alexey,

"AS" == Alexey Shabalin wrote:

 >> Ну, ещё понять почему spamassasin -r фигню пишет, но это уже не к amavisd ;)
 AS> А от какого пользователя Вы эту команду даете?
 AS> Я думаю надо от юзера mail.
 AS> Посмотрите скрипты /usr/bin/amavisd-*

Хм, а как юзеру дать отвёртку помечать то, что нужно спамом?

-- 
Andrey V Khavryuchenko            http://www.kds.com.ua/
Silver Bullet Software Solutions  http://www.kds.com.ua/training/


^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-07 13:33 [sisyphus] I: new package (amavisd-new) Alexey Shabalin
  2004-01-07 14:54 ` [sisyphus] " Andrey Khavryuchenko
@ 2004-01-12 11:50 ` Arkadiy Pavlik
  2004-01-12 14:14   ` Victor Forsyuk
  1 sibling, 1 reply; 25+ messages in thread
From: Arkadiy Pavlik @ 2004-01-12 11:50 UTC (permalink / raw)
  To: sisyphus

В сообщении от 7 Январь 2004 23:33 Alexey Shabalin написал(a):
> До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> модули.

То что дошли просто здорово! :) Своевременный ответ др-вебу... :)
Спасибо!

Только вот вопрос мучает:
А что надо сделать если есть желание поменять assasina на богофильтра? 
Навскидку ассасин там чуть ли не модулем...

-- 
С наилучшими пожеланиями,
Аркадий Павлик



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-12 11:50 ` [sisyphus] " Arkadiy Pavlik
@ 2004-01-12 14:14   ` Victor Forsyuk
  2004-01-13  0:56     ` Аркадий Павлик
  0 siblings, 1 reply; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-12 14:14 UTC (permalink / raw)
  To: sisyphus

On Mon, Jan 12, 2004 at 09:50:04PM +1000, Arkadiy Pavlik wrote:
> В сообщении от 7 Январь 2004 23:33 Alexey Shabalin написал(a):
> > До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> > модули.
> 
> То что дошли просто здорово! :) Своевременный ответ др-вебу... :)

Это в каком смысле "ответ др-вебу"? Неужели в amavis уже встроили
антивирус? Ответ др-др-вебу - это ClamAV.

> Только вот вопрос мучает:
> А что надо сделать если есть желание поменять assasina на богофильтра? 

Сделать так, чтобы это желание пропало. :)

> Навскидку ассасин там чуть ли не модулем...


^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-12 14:14   ` Victor Forsyuk
@ 2004-01-13  0:56     ` Аркадий Павлик
  2004-01-13 10:23       ` Алексей Любимов
  2004-01-13 13:34       ` Victor Forsyuk
  0 siblings, 2 replies; 25+ messages in thread
From: Аркадий Павлик @ 2004-01-13  0:56 UTC (permalink / raw)
  To: sisyphus

В сообщении от 13 Январь 2004 00:14 Victor Forsyuk написал:
> > > До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> > > модули.
> >
> > То что дошли просто здорово! :) Своевременный ответ др-вебу... :)
>
> Это в каком смысле "ответ др-вебу"? Неужели в amavis уже встроили
> антивирус? Ответ др-др-вебу - это ClamAV.

Без amavis'а ClamAV - как автомобиль без колёс! :)
(мечтательно): вот если б его (clam) ещё и к самбе прикрутить...

> > Только вот вопрос мучает:
> > А что надо сделать если есть желание поменять assasina на богофильтра?
>
> Сделать так, чтобы это желание пропало. :)

Можно, конечно, но для этого нужны веские причины! Например, чем ассасин 
лучше?

-- 
С наилучшими пожеланиями,
Аркадий Павлик



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13  0:56     ` Аркадий Павлик
@ 2004-01-13 10:23       ` Алексей Любимов
  2004-01-13 13:34       ` Victor Forsyuk
  1 sibling, 0 replies; 25+ messages in thread
From: Алексей Любимов @ 2004-01-13 10:23 UTC (permalink / raw)
  To: sisyphus



Аркадий Павлик пишет:

>В сообщении от 13 Январь 2004 00:14 Victor Forsyuk написал:
>  
>
>>>>До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
>>>>модули.
>>>>        
>>>>
>>>То что дошли просто здорово! :) Своевременный ответ др-вебу... :)
>>>      
>>>
>>Это в каком смысле "ответ др-вебу"? Неужели в amavis уже встроили
>>антивирус? Ответ др-др-вебу - это ClamAV.
>>

>>    
>>
>
>Без amavis'а ClamAV - как автомобиль без колёс! :)
>(мечтательно): вот если б его (clam) ещё и к самбе прикрутить...
>  
>
там же свой модуль есть. позволяет проверять любые директории на лету. в 
том числе  расшареные через самбу.
clamuka  называется или как то так.




^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13  0:56     ` Аркадий Павлик
  2004-01-13 10:23       ` Алексей Любимов
@ 2004-01-13 13:34       ` Victor Forsyuk
  2004-01-13 13:58         ` Arkadiy Pavlik
  2004-01-14  6:13         ` Mike Lykov
  1 sibling, 2 replies; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-13 13:34 UTC (permalink / raw)
  To: sisyphus

On Tue, Jan 13, 2004 at 10:56:40AM +1000, Аркадий Павлик wrote:
> В сообщении от 13 Январь 2004 00:14 Victor Forsyuk написал:
> > > > До Daedalus наконец-то дошли :)  amavisd-new и  сопутствующие перловые
> > > > модули.
> > >
> > > То что дошли просто здорово! :) Своевременный ответ др-вебу... :)
> >
> > Это в каком смысле "ответ др-вебу"? Неужели в amavis уже встроили
> > антивирус? Ответ др-др-вебу - это ClamAV.
> 
> Без amavis'а ClamAV - как автомобиль без колёс! :)

Заблуждение счастливых пользователей постфикса. Связка
exim+clamav(+spamassassin) прекрасно работает без костылей.

Если говорить о контекстной фильтрации, то "автомобиль без колёс" -
это скорее постфикс без amavis'а...

> (мечтательно): вот если б его (clam) ещё и к самбе прикрутить...
> 
> > > Только вот вопрос мучает:
> > > А что надо сделать если есть желание поменять assasina на богофильтра?
> >
> > Сделать так, чтобы это желание пропало. :)
> 
> Можно, конечно, но для этого нужны веские причины!

Скорее нужно обоснование для такой странной замены ;-)

> Например, чем ассасин  лучше?

Тем, что это далеко не только байесовский классификатор.



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 13:34       ` Victor Forsyuk
@ 2004-01-13 13:58         ` Arkadiy Pavlik
  2004-01-13 15:19           ` Victor Forsyuk
  2004-01-14  6:13         ` Mike Lykov
  1 sibling, 1 reply; 25+ messages in thread
From: Arkadiy Pavlik @ 2004-01-13 13:58 UTC (permalink / raw)
  To: sisyphus

В сообщении от 13 Январь 2004 23:34 Victor Forsyuk написал(a):
> >
> > Без amavis'а ClamAV - как автомобиль без колёс! :)
>
> Заблуждение счастливых пользователей постфикса. Связка
> exim+clamav(+spamassassin) прекрасно работает без костылей.

Ой, чтой-то я сумлеваюсь... Когда я натравил простого сламава на карантин 
др-веба, там у меня под тыщу писем скопилось, clam нашел только процентов 
80... А через амавис всё нормально ловится. Похоже собственно у clam'а 
проблемы с распаковкой писем и архивов. Неужели exim занимается 
распаковкой???

> > > > Только вот вопрос мучает:
> > > > А что надо сделать если есть желание поменять assasina на
> > > > богофильтра?
> > >
> > > Сделать так, чтобы это желание пропало. :)
> >
> > Можно, конечно, но для этого нужны веские причины!
>
> Скорее нужно обоснование для такой странной замены ;-)

Почему замены??? Bogofilter уже крутиться с момента его появления в сизифе!
И никаких нареканий на его работу нет! Есть поговорка такая: "лучшее враг 
хорошего!" :)

> > Например, чем ассасин  лучше?
>
> Тем, что это далеко не только байесовский классификатор.

Хорошо. Как в нём письма регистрировать спам/не спам? Или типа для него это 
лишнее??? :)))

-- 
С наилучшими пожеланиями,
Аркадий Павлик



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 13:58         ` Arkadiy Pavlik
@ 2004-01-13 15:19           ` Victor Forsyuk
  2004-01-13 23:43             ` Аркадий Павлик
  2004-01-14  6:38             ` Mike Lykov
  0 siblings, 2 replies; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-13 15:19 UTC (permalink / raw)
  To: sisyphus

On Tue, Jan 13, 2004 at 11:58:52PM +1000, Arkadiy Pavlik wrote:
> В сообщении от 13 Январь 2004 23:34 Victor Forsyuk написал(a):
> > >
> > > Без amavis'а ClamAV - как автомобиль без колёс! :)
> >
> > Заблуждение счастливых пользователей постфикса. Связка
> > exim+clamav(+spamassassin) прекрасно работает без костылей.
> 
> Ой, чтой-то я сумлеваюсь...

Лучший способ избавиться от сомнений - попробовать.

До этого можно помедитировать на тему того, насколько SMTP time
content filtering лучше внешних пришлепок к MTA и реинжектинга
писем в очередь...

> Когда я натравил простого сламава на карантин 
> др-веба, там у меня под тыщу писем скопилось, clam нашел только процентов 
> 80... А через амавис всё нормально ловится. Похоже собственно у clam'а 
> проблемы с распаковкой писем и архивов. Неужели exim занимается 
> распаковкой???

Да, exim занимается "распаковкой писем", демаймингом, то бишь.

> > > > > Только вот вопрос мучает:
> > > > > А что надо сделать если есть желание поменять assasina на
> > > > > богофильтра?
> > > >
> > > > Сделать так, чтобы это желание пропало. :)
> > >
> > > Можно, конечно, но для этого нужны веские причины!
> >
> > Скорее нужно обоснование для такой странной замены ;-)
> 
> Почему замены??? Bogofilter уже крутиться с момента его появления в сизифе!

Ну и что это меняет? Смысл бороться над заменой стандартного решения с
использованием спамассассина на менее мощное, которое заведомо будет
пропускать больше спама?

> И никаких нареканий на его работу нет! Есть поговорка такая: "лучшее враг 
> хорошего!" :)
> 
> > > Например, чем ассасин  лучше?
> >
> > Тем, что это далеко не только байесовский классификатор.
> 
> Хорошо. Как в нём письма регистрировать спам/не спам? Или типа для него это 
> лишнее??? :)))

man sa-learn -- если интересовало ручное обучение.

Если даже этого не делать, spamassassin самообучается на проходящих письмах.



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 15:19           ` Victor Forsyuk
@ 2004-01-13 23:43             ` Аркадий Павлик
  2004-01-14 12:57               ` Victor Forsyuk
  2004-01-14  6:38             ` Mike Lykov
  1 sibling, 1 reply; 25+ messages in thread
From: Аркадий Павлик @ 2004-01-13 23:43 UTC (permalink / raw)
  To: sisyphus

В сообщении от 14 Январь 2004 01:19 Victor Forsyuk написал:
>
> Лучший способ избавиться от сомнений - попробовать.

Это, конечно, лучший способ и я даже попробую :) 

> man sa-learn -- если интересовало ручное обучение.

Thanks.

> Если даже этого не делать, spamassassin самообучается на проходящих
> письмах.

Искуственный интеллект пока бессилен перед человеческой изобретальностью и/или 
глупостью... :)

-- 
С наилучшими пожеланиями,
Аркадий Павлик



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 13:34       ` Victor Forsyuk
  2004-01-13 13:58         ` Arkadiy Pavlik
@ 2004-01-14  6:13         ` Mike Lykov
  2004-01-14 13:05           ` Victor Forsyuk
  1 sibling, 1 reply; 25+ messages in thread
From: Mike Lykov @ 2004-01-14  6:13 UTC (permalink / raw)
  To: sisyphus

В сообщении от Вторник 13 Январь 2004 17:34 Victor Forsyuk написал:

> > Например, чем ассасин  лучше?
> Тем, что это далеко не только байесовский классификатор.

а какой процент ложных срабатываний (в обоих смыслах  - false 
positive/negative) он дает?

а не выше ли он (особенно это интересно для false positive), чем у bogofilter, 
из-за дополнительных проверок?

а как реализован там байесовский классификатор? так же он теоретически 
вылизан, как в bogofilter ?

а он игнорирует в письмах бинарные вложения при разборе? а различает ли он 
регистр букв при разборе письма?

-- 
Mike



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 15:19           ` Victor Forsyuk
  2004-01-13 23:43             ` Аркадий Павлик
@ 2004-01-14  6:38             ` Mike Lykov
  2004-01-14 13:16               ` Victor Forsyuk
  1 sibling, 1 reply; 25+ messages in thread
From: Mike Lykov @ 2004-01-14  6:38 UTC (permalink / raw)
  To: sisyphus

В сообщении от Вторник 13 Январь 2004 19:19 Victor Forsyuk написал:

> Если даже этого не делать, spamassassin самообучается на проходящих
> письмах.

при этом постоянно увеличивая количество ошибок?

есть ли у него tri-state filtering (оценка как spam/ham/unsure) ?

-- 
Mike



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-13 23:43             ` Аркадий Павлик
@ 2004-01-14 12:57               ` Victor Forsyuk
  0 siblings, 0 replies; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-14 12:57 UTC (permalink / raw)
  To: sisyphus

On Wed, Jan 14, 2004 at 09:43:48AM +1000, Аркадий Павлик wrote:
> 
> > man sa-learn -- если интересовало ручное обучение.
> 
> Thanks.
> 
> > Если даже этого не делать, spamassassin самообучается на проходящих
> > письмах.
> 
> Искуственный интеллект пока бессилен перед человеческой изобретальностью и/или 
> глупостью... :)

А никакого особенного искуственного интеллекта для самообучения не
требуется. Используется тот факт, что и без байеса spamassassin
обладает способностью с достаточной долей уверенности по другим
критериям определять спамовое письмо или нет.

То есть, если письмо без использования байес-правил набрало достаточно
много спам-баллов - оно на автомате обучает базу как спамовое. Если
набрало меньше разумно низкого порога (умолчание - 0.1), то обучает,
как "ham".





^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14  6:13         ` Mike Lykov
@ 2004-01-14 13:05           ` Victor Forsyuk
  2004-01-14 13:51             ` Gerasimov Dmitry
  2004-01-15 11:08             ` Mike Lykov
  0 siblings, 2 replies; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-14 13:05 UTC (permalink / raw)
  To: combr, sisyphus

On Wed, Jan 14, 2004 at 10:13:00AM +0400, Mike Lykov wrote:
> 
> > > Например, чем ассасин  лучше?
> > Тем, что это далеко не только байесовский классификатор.
> 
> а какой процент ложных срабатываний (в обоих смыслах  - false 
> positive/negative) он дает?

Кто "он"? Если spamassassin - зависит от многих факторов, как то:
включена ли проверка по RBL, включен ли AWL (auto-whitelisting),
используются ли dcc/razor...

Если байесовский классификатор внутри spamassassin'а - то вопрос
поставлен некорректно, поскольку spamassassin только начисляет
спам-баллы за попадание в один из отрезков байесовской оценки
spamicity.
 
> а не выше ли он (особенно это интересно для false positive), чем у bogofilter, 
> из-за дополнительных проверок?

Нельзя ли пояснить, как из-за _дополнительных_ проверок результат может
быть хуже?
 
> а как реализован там байесовский классификатор? так же он теоретически 
> вылизан, как в bogofilter ?

Меня меньше всего волнует вылизан ли он теоретически. Меня практически
устраивает spamassassin как качественный комплексный инструмент.
 
> а он игнорирует в письмах бинарные вложения при разборе?

То бишь, не text/* mime-типы? А смысл их не игнорировать?

> а различает ли он регистр букв при разборе письма?

Предполагаю, что нет. Если интересует точный ответ - исходники к Вашим
услугам. Впрочем, повторюсь, что spamassassin далеко не только байесовский
классификатор. Поэтому сравнивать его с тем же bogofilter особого смысла
не имеет.




^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14  6:38             ` Mike Lykov
@ 2004-01-14 13:16               ` Victor Forsyuk
  2004-01-15 11:58                 ` Mike Lykov
  0 siblings, 1 reply; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-14 13:16 UTC (permalink / raw)
  To: combr, sisyphus

On Wed, Jan 14, 2004 at 10:38:47AM +0400, Mike Lykov wrote:
> В сообщении от Вторник 13 Январь 2004 19:19 Victor Forsyuk написал:
> 
> > Если даже этого не делать, spamassassin самообучается на проходящих
> > письмах.
> 
> при этом постоянно увеличивая количество ошибок?

Не могли бы Вы пояснить, каким образом пришли к такому выводу?
Поскольку происходит самообучение, то процент ошибок благодаря
росту объема байесовской базы уменьшается.
 
> есть ли у него tri-state filtering (оценка как spam/ham/unsure) ?

Здесь эти понятия не совсем применимы. 




^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14 13:05           ` Victor Forsyuk
@ 2004-01-14 13:51             ` Gerasimov Dmitry
  2004-01-14 15:42               ` Victor Forsyuk
  2004-01-15 11:08             ` Mike Lykov
  1 sibling, 1 reply; 25+ messages in thread
From: Gerasimov Dmitry @ 2004-01-14 13:51 UTC (permalink / raw)
  To: sisyphus

[-- Attachment #1: Type: text/plain, Size: 2133 bytes --]

On Wed, Jan 14, 2004 at 03:05:33PM +0200, Victor Forsyuk wrote:
> On Wed, Jan 14, 2004 at 10:13:00AM +0400, Mike Lykov wrote:
> > 
> > > > Например, чем ассасин  лучше?
> > > Тем, что это далеко не только байесовский классификатор.
> > 
> > а какой процент ложных срабатываний (в обоих смыслах  - false 
> > positive/negative) он дает?
> 
> Кто "он"? Если spamassassin - зависит от многих факторов, как то:
> включена ли проверка по RBL, включен ли AWL (auto-whitelisting),
> используются ли dcc/razor...
> 
> Если байесовский классификатор внутри spamassassin'а - то вопрос
> поставлен некорректно, поскольку spamassassin только начисляет
> спам-баллы за попадание в один из отрезков байесовской оценки
> spamicity.
>  
> > а не выше ли он (особенно это интересно для false positive), чем у bogofilter, 
> > из-за дополнительных проверок?
> 
> Нельзя ли пояснить, как из-за _дополнительных_ проверок результат может
> быть хуже?
>  
> > а как реализован там байесовский классификатор? так же он теоретически 
> > вылизан, как в bogofilter ?
> 
> Меня меньше всего волнует вылизан ли он теоретически. Меня практически
> устраивает spamassassin как качественный комплексный инструмент.
>  
> > а он игнорирует в письмах бинарные вложения при разборе?
> 
> То бишь, не text/* mime-типы? А смысл их не игнорировать?
У него есть правила для реакции на различные типы вложений. Подробности не
помню - давно занимался, но то что они есть - к гадалке не ходить.
> 
> > а различает ли он регистр букв при разборе письма?
Такие правила у него также есть.
Правил к нему - как грязи.. 
> 
> Предполагаю, что нет. Если интересует точный ответ - исходники к Вашим
> услугам. Впрочем, повторюсь, что spamassassin далеко не только байесовский
> классификатор. Поэтому сравнивать его с тем же bogofilter особого смысла
> не имеет.
> 
> 
> _______________________________________________
> Sisyphus mailing list
> Sisyphus@altlinux.ru
> http://altlinux.ru/mailman/listinfo/sisyphus
--
    =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=
    Gerasimov Dmitry
    e-mail:	dima AT polarcup DOT ru
    icq:	26277841
    =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=

        

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14 13:51             ` Gerasimov Dmitry
@ 2004-01-14 15:42               ` Victor Forsyuk
  0 siblings, 0 replies; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-14 15:42 UTC (permalink / raw)
  To: Gerasimov Dmitry, sisyphus

On Wed, Jan 14, 2004 at 04:51:39PM +0300, Gerasimov Dmitry wrote:
> >  
> > > а он игнорирует в письмах бинарные вложения при разборе?
> > 
> > То бишь, не text/* mime-типы? А смысл их не игнорировать?
> У него есть правила для реакции на различные типы вложений. Подробности не
> помню - давно занимался, но то что они есть - к гадалке не ходить.

Он поддерживает работу тестов с

body -- это текстовые части тела письма, "any non-text MIME parts are
stripped, and the message decoded from Quoted-Printable or Base-64-encoded
format if necessary";

raw body -- в отличие от body не удаляет HTML tags и line breaks;

full body -- а вот это и есть нераскодированное тело письма со всеми
аттачментами, даже не текстовых типов.




^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14 13:05           ` Victor Forsyuk
  2004-01-14 13:51             ` Gerasimov Dmitry
@ 2004-01-15 11:08             ` Mike Lykov
  2004-01-15 17:51               ` Victor Forsyuk
  1 sibling, 1 reply; 25+ messages in thread
From: Mike Lykov @ 2004-01-15 11:08 UTC (permalink / raw)
  To: sisyphus

В сообщении от Среда 14 Январь 2004 17:05 Victor Forsyuk написал:

> > > > Например, чем ассасин  лучше?
> > > Тем, что это далеко не только байесовский классификатор.
> > а какой процент ложных срабатываний (в обоих смыслах  - false
> > positive/negative) он дает?
> Кто "он"? Если spamassassin - зависит от многих факторов, как то:
> включена ли проверка по RBL, включен ли AWL (auto-whitelisting),
> используются ли dcc/razor...

ассасин. с не включенными доп. проверками(для которых надо куда-то 
обращаться). то есть : 
допустим, bogofilter на массиве из 1000 писем посчитал 3 штуки за спам 
неверно. сколько таких ошибок сделает spamassasin, если будет учитывать такую 
же спамбазу + свои дополнительные проверки?
Думаю, больше.

> > а не выше ли он (особенно это интересно для false positive), чем у
> > bogofilter, из-за дополнительных проверок?
> Нельзя ли пояснить, как из-за _дополнительных_ проверок результат может
> быть хуже?

так он может начислить лишние спам-баллы письму, которое спамом не является (и 
ошибиться).

> > а как реализован там байесовский классификатор? так же он теоретически
> > вылизан, как в bogofilter ?
> Меня меньше всего волнует вылизан ли он теоретически.

а зря. теория + статистика тут решают все ;)

-- 
Mike



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-14 13:16               ` Victor Forsyuk
@ 2004-01-15 11:58                 ` Mike Lykov
  0 siblings, 0 replies; 25+ messages in thread
From: Mike Lykov @ 2004-01-15 11:58 UTC (permalink / raw)
  To: sisyphus

В сообщении от Среда 14 Январь 2004 17:16 Victor Forsyuk написал:

> > > Если даже этого не делать, spamassassin самообучается на проходящих
> > > письмах.
> > при этом постоянно увеличивая количество ошибок?
> Не могли бы Вы пояснить, каким образом пришли к такому выводу?
> Поскольку происходит самообучение, то процент ошибок благодаря
> росту объема байесовской базы уменьшается.

Логика такая - в процессе работы он будет неизбежно ошибаться. Допустим, он 
принял хорошее письмо за спам. И самообучил текст этого письма в базу 
спамовых писем.
Тогда следующее хорошее письмо, похожее на первое, будет вероятнее принято за 
спам. Третье еще более вероятно, и так далее. То есть количество ошибок 
растет.
И наоборот - допустим, он пропустил явный спам, и самообучил его в базу 
хороших писем. Тогда со временем (накапливая в базе ошибки) он будет 
пропускать все больше похожего спама.

> > есть ли у него tri-state filtering (оценка как spam/ham/unsure) ?
> Здесь эти понятия не совсем применимы.

Речь о том, чтобы выставить порог не только для определения спама, а еще и 
определения хорошего письма. Например, spamcity: 0.95  и 0.10
(в spamassasin баллы не процентные, насколько я помнимаю).

Тогда в середине будут unsure, и на них автообучения не будет. обучение будет 
только на явном спаме (в спам-базу) и на явно хороших письмах (в базу хороших 
писем). есть такое?

-- 
Mike



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-15 11:08             ` Mike Lykov
@ 2004-01-15 17:51               ` Victor Forsyuk
  2004-01-16  7:13                 ` Mike Lykov
  0 siblings, 1 reply; 25+ messages in thread
From: Victor Forsyuk @ 2004-01-15 17:51 UTC (permalink / raw)
  To: combr, sisyphus

On Thu, Jan 15, 2004 at 03:08:36PM +0400, Mike Lykov wrote:
> 
> > > > > Например, чем ассасин  лучше?
> > > > Тем, что это далеко не только байесовский классификатор.
> > > а какой процент ложных срабатываний (в обоих смыслах  - false
> > > positive/negative) он дает?
> > Кто "он"? Если spamassassin - зависит от многих факторов, как то:
> > включена ли проверка по RBL, включен ли AWL (auto-whitelisting),
> > используются ли dcc/razor...
> 
> ассасин. с не включенными доп. проверками(для которых надо куда-то 
> обращаться). то есть : 
> допустим, bogofilter на массиве из 1000 писем посчитал 3 штуки за спам 
> неверно. сколько таких ошибок сделает spamassasin, если будет учитывать такую 
> же спамбазу + свои дополнительные проверки?
> Думаю, больше.

Так ведь, что spamassasin посчитает за спам, зависит от required_hits!

Дефолтом в нем самом является 5, но в стандартном local.cf, устанавливаемом
с этим пакетом у меня прописано required_hits 7. Это более безопасное
значение (при 7-8 баллах false positives на практике крайне маловероятны).

Поймите, что любой инструмент типа bogofilter (то есть, только байесовский
классификатор) всегда будет иметь FP больше, даже если предположить,
что реализация его классификатора теоретически совершеннее. Ведь даже
при spamicity далекой от 1, но и ощутимо большей 0.5 ему приходится
отбрасывать письмо как спам, в то время как spamassasin имеет возможность
отобразить такую spamicity в меньшее количество спам-баллов, справедливо
надеясь, что если уж письмо и в самом деле было спамом, то другие тесты
с большой вероятностью доберут баллов до spam threshold!

> > > а не выше ли он (особенно это интересно для false positive), чем у
> > > bogofilter, из-за дополнительных проверок?
> > Нельзя ли пояснить, как из-за _дополнительных_ проверок результат может
> > быть хуже?
> 
> так он может начислить лишние спам-баллы письму, которое спамом не является (и 
> ошибиться).

Понимаете, спам-баллы начисляются не просто так. Если они (я сейчас говорю
не о баллах за байес-значения) начисляются, значит что-то в этом письме не
так, как в обычной электронной корреспонденции.

Баллы за срабатывание ассассиновских правил не с потолка берутся, кстати.
Используется система уточнения "веса" правил при прогоне на реальных
коллекциях спама.
 
> > > а как реализован там байесовский классификатор? так же он теоретически
> > > вылизан, как в bogofilter ?
> > Меня меньше всего волнует вылизан ли он теоретически.
> 
> а зря. теория + статистика тут решают все ;)

Критерием истины, помнится, была признана практика. Или сейчас приняты
другие критерии? ;)



^ permalink raw reply	[flat|nested] 25+ messages in thread

* Re: [sisyphus] I: new package (amavisd-new)
  2004-01-15 17:51               ` Victor Forsyuk
@ 2004-01-16  7:13                 ` Mike Lykov
  0 siblings, 0 replies; 25+ messages in thread
From: Mike Lykov @ 2004-01-16  7:13 UTC (permalink / raw)
  To: sisyphus

В сообщении от Четверг 15 Январь 2004 21:51 Victor Forsyuk написал:
Ведь даже
> при spamicity далекой от 1, но и ощутимо большей 0.5 ему приходится
> отбрасывать письмо как спам, 

почему приходится? все четко - если больше 0.95 - то спам. если меньше - не 
спам ;) (число можно выставить любое, причем при хорошей базе большинство 
спама отмечается 1.00). но он еше и ham/unsure отмечает ;)

> > в то время как spamassasin имеет возможность
> отобразить такую spamicity в меньшее количество спам-баллов, справедливо
> надеясь, что если уж письмо и в самом деле было спамом, то другие тесты
> с большой вероятностью доберут баллов до spam threshold!

понятно. надо пробовать ;)

> > > Меня меньше всего волнует вылизан ли он теоретически.
> > а зря. теория + статистика тут решают все ;)
> Критерием истины, помнится, была признана практика. Или сейчас приняты
> другие критерии? ;)

ну практика = статистика в данном случае ;)

-- 
Mike



^ permalink raw reply	[flat|nested] 25+ messages in thread

end of thread, other threads:[~2004-01-16  7:13 UTC | newest]

Thread overview: 25+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2004-01-07 13:33 [sisyphus] I: new package (amavisd-new) Alexey Shabalin
2004-01-07 14:54 ` [sisyphus] " Andrey Khavryuchenko
2004-01-09  7:30   ` Alexey Shabalin
2004-01-09 14:41     ` Andrey Khavryuchenko
2004-01-11  0:33       ` Alexey Shabalin
2004-01-11 14:30         ` Andrey Khavryuchenko
2004-01-12 11:50 ` [sisyphus] " Arkadiy Pavlik
2004-01-12 14:14   ` Victor Forsyuk
2004-01-13  0:56     ` Аркадий Павлик
2004-01-13 10:23       ` Алексей Любимов
2004-01-13 13:34       ` Victor Forsyuk
2004-01-13 13:58         ` Arkadiy Pavlik
2004-01-13 15:19           ` Victor Forsyuk
2004-01-13 23:43             ` Аркадий Павлик
2004-01-14 12:57               ` Victor Forsyuk
2004-01-14  6:38             ` Mike Lykov
2004-01-14 13:16               ` Victor Forsyuk
2004-01-15 11:58                 ` Mike Lykov
2004-01-14  6:13         ` Mike Lykov
2004-01-14 13:05           ` Victor Forsyuk
2004-01-14 13:51             ` Gerasimov Dmitry
2004-01-14 15:42               ` Victor Forsyuk
2004-01-15 11:08             ` Mike Lykov
2004-01-15 17:51               ` Victor Forsyuk
2004-01-16  7:13                 ` Mike Lykov

ALT Linux Sisyphus discussions

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/sisyphus/0 sisyphus/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 sisyphus sisyphus/ http://lore.altlinux.org/sisyphus \
		sisyphus@altlinux.ru sisyphus@altlinux.org sisyphus@lists.altlinux.org sisyphus@lists.altlinux.ru sisyphus@lists.altlinux.com sisyphus@linuxteam.iplabs.ru sisyphus@list.linux-os.ru
	public-inbox-index sisyphus

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.sisyphus


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git