The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск системы фильтрации спама SpamAssassin 3.4.2

17.09.2018 20:15

Спустя три c половиной года с момента прошлого выпуска представлен релиз платформы для фильтрации спама - SpamAssassin 3.4.2. В SpamAssassin реализован комплексный подход в принятии решения о блокировании: сообщение подвергается ряду проверок (контекстный анализ, черные и белые списки DNSBL, обучаемые байесовские классификаторы, проверка по сигнатурам, аутентификация отправителя по SPF и DKIM и т.п.). После оценки сообщения разными методами, накапливается определенный весовой коэффициент. Если вычисленный коэффициент превышает определенный порог - сообщение блокируется или помечается как спам. Поддерживаются средства автоматического обновления правил фильтрации. Пакет может использоваться как на клиентских, так и на серверных системах. Код SpamAssassin написан на языке Perl и распространяется под лицензией Apache.

Особенности нового выпуска:

  • Добавлены плагины (отключены по умолчанию):
    • Mail::SpamAssassin::Plugin::HashBL - интерфейс к EBL (Email Blocklist), списку блокировки email-адресов, специфичных для spam-сообщений. Список блокировки может оказаться полезен в ситуациях, когда блокировка по доменам и IP невозможна из-за значительного числа ложных срабатываний;
    • Mail::SpamAssassin::Plugin::ResourceLimits - использует perl-модуль BSD::Resource для ограничения ресурсов CPU и памяти для дочерних процессов spamd;
    • Mail::SpamAssassin::Plugin::FromNameSpoof - выявляет спуфинг содержимого поля "From:", когда спамеры подставляют в качестве отправителя адреса легитимных пользователей;
    • Mail::SpamAssassin::Plugin::Phishing - осуществляет поиск в сообщении ссылок на фишинговые сайты, присутствующие в чёрных списках OpenPhish и PhishTank;
  • Из соображений безопасности из spamc удалена поддержка протокола SSLv3, который уже не считается надёжным;
  • Проведена оптимизация кода, позволившая ускорить запуск процесса spamd;
  • В скрипт sa-update добавлена возможность проверки целостности загружаемых правил с использованием хэщ-функций SHA-256 и SHA-512, вместо ранее применяемого SHA1 (SpamAssassin прекращает применение цифровых подписей на базе SHA1 для верификации обновлений правил);
  • Проведена работа по усилению безопасности плагина TxRep. Переработан код для работы с временными файлами. Усилены проверки в обработчиках spamd;
  • В плагины RelayCountry и URILocalBL добавлена поддержка API GeoIP2;
  • Добавлены новые элементы конфигурации, в том числе тег шаблонов "_DKIMSELECTOR_" для извлечения из сигнатуры селектора DKIM (тег 's'), опция 'uri_block_cont' для учёта континентов в плагине URILocalBL, 'country_db_type', 'country_db_path' и 'uri_country_db_path' для выбора баз территориальной привязки IP (GeoIP, GeoIP2, IP::Country::Fast или IP::Country::DB_File), 'resource_limit_cpu' и 'resource_limit_mem'для задания лимита на потребление ресурсов CPU и памяти;
  • Добавлена возможность сборки с OpenSSL 1.1.0;
  • Устранены четыре уязвимости:
    • CVE-2018-11780 - уязвимость в плагине PDFInfo, позволяющая организовать удалённое выполнение кода при обработке специально оформленных PDF-файлов;
    • CVE-2017-15705 - позволяет осуществить отказ в обслуживании. При указании в тексте письма определённой комбинации незакрытых HTML-тегов, обработка письма не завершается до истечения таймаута, что можно использовать для исчерпания доступных ресурсов в системе;
    • CVE-2016-1238 - в одном из скриптов конфигурации в пути поиска модулей (@INC) использовался символ ".", что могло привести к переопределению модулей при доступе атакующего к каталогу из которого был запущен SpamAssassin;
    • CVE-2018-11781 - возможность подстановки кода локальным пользователем через манипуляции со значением в правиле meta.

Дополнительно сообщается о начале подготовки выпуска SpamAssassin 4.0.0, основным изменением в котором станет полноценная встроенная поддержка окружений с кодировкой UTF-8.

  1. Главная ссылка к новости (https://lists.apache.org/threa...)
  2. OpenNews: Доступна система фильтрации спама Rspamd 1.7
  3. OpenNews: В рамках проекта Spamnesty развивается бот для увеличения затрат спамеров
  4. OpenNews: Увидел свет Apache SpamAssassin 3.4.1
  5. OpenNews: Увидел свет Apache SpamAssassin 3.4.0
  6. OpenNews: Критическая уязвимость в Milter-плагине к Spamassassin. Проблемы в MaxDB, TikiWiki и Samba
Лицензия: CC-BY
Тип: Программы
Ключевые слова: spamassassin, spam
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (47) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 20:55, 17/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вопрос администраторам почтовиков. Какие альтернативы сабжу сейчас актуальны?
     
     
  • 2.2, Аноним (2), 21:06, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Rspamd
     
  • 2.6, администратор почтовика (?), 21:33, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • –10 +/
    альтернативы сабжу сейчас - неактуальны. Так же как и он сам. Доисторическое тормозное ненужно.

    байесовые фильтры спаммеры прекрасно научились обходить. А поскольку всем лень/некогда кормить их ham'ом - то реальная почта как раз отлично попадается.
    валидные dkim/spf - сегодня неотъемлемая фича каждого уважающего себя спаммера (а у корпоративной почтовки/вебмагазина/много кого еще - их может и не быть)
    остальные критерии дают массу ложных срабатываний, поскольку являются лишь чьим-то представлением о том, как выглядят "правильные" почтовки, а пользователь, вот сюрприз, имеет совершенно другие.
    Даже когда-то казавшаяся панацеей relay reputation в эпоху облачков не стоит выеденного яйца.

    ставьте ironport, не мелочитесь. Это работает.

     
     
  • 3.8, Sw00p aka Jerom (?), 22:10, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ironport - его давно уже закрыли, там щас другое название
     
  • 3.10, Catwoolfii (ok), 22:23, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Rspamd как раз таки с ham'ом поставляется
     
     
  • 4.18, Sw00p aka Jerom (?), 23:47, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    китайским ham-ом?
     
  • 3.21, лютый лютик__ (?), 05:35, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > ставьте ironport, не мелочитесь. Это работает.

    Ну, с точки зрения юзера со старым, но особо не незасвеченным корпоративным адресом - через ironport регулярно пролетает спам. И наоборот в блокировку уходят вполне адекватные письма от всяких саппортов или даже рабочая переписка.

    А вот в бесплатном gmail никакого спама не вижу. Так что не молочитесь с ironport, идите в гмэйл!

     
     
  • 4.22, пох (?), 07:41, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    странно, я, правда, давно с ним дела не имел, но он был хорош именно минимальным числом ложных срабатываний. Подписка-то у вас не протухла ли пару лет назад? С тех пор как касперский окончательно засветился как вор данных, выбора что-то и не осталось :-(

    > А вот в бесплатном gmail никакого спама не вижу. Так что не молочитесь с ironport, идите в гмэйл!

    это если почту получать собираетесь только с gmail'а. Ну, может еще с яндекса и мэйлсpy, они партнеры.
    Причем спам на мой "не особо засвеченный" но времен когда их можно было завести только по invite, почтовый ящик эпизодически таки прорывается (и даже мимо spam-folder - "оно ж с gmail, на гугле ж не могут быть спамеры, у него капча и номер телефона!"), а вот нормальная почта уже иногда и реджектится, даже до спам-фолдера не доходя.

    Эх, а было ведь время, когда я действительно его советовал людям, спрашивавшим "где бы завести почту для сайтика"... Сейчас советую нанять, наконец, нормального админа (не помогает).

     
  • 2.16, Аноним (16), 23:24, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А чем плох спамасазин?
     
     
  • 3.17, Аноним (17), 23:41, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Никто не говорит, что он плох. Вопрос, какие ещё варианты народ использует. Для расширения кругозора, так сказать.
     
  • 3.23, Catwoolfii (ok), 07:58, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    В первом абзаце:
    https://habr.com/post/125007/
     
  • 3.36, ann none (?), 18:54, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    perl. а в этом вашем rspamd lua.
    для настоящего хардкора товарищ Эрик Реймонд написал еще ндцать лет назад bogofilter. но у него ровно один недостаток - девопсы и админы локалхостов не могут нагуглить готовый рецепт как его присобачить к экзиму.
     
     
  • 4.38, GedNN (?), 08:50, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Пошел тестить...
    На вскидку хаутушек не хватает. Пришлось по тем, что для SpamProbe делать.
     
  • 2.34, GedNN (?), 18:21, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    RspamD и забытый проект spamprob. :-) Работают в паре.

    Корпоратив, около 300 пользователей. Обучение на исходящих + перемещение спам/не спам.

    Detected spam by ALL    1849
    Detected spam by SpamProbe and RSpamD     895
    Detected spam only by RSpamD      43
    Detected spam only by SpamProbe     911

     
     
  • 3.48, Vsevolod Stakhov (?), 14:22, 23/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Я как-то читал ваш пост в ЖЖ, но так и не смог понять, зачем тут этот spamprobe? Разве что если он уже натренирован, корпусов не сохранилось, а учить Bayes в Rspamd лень.

    В прошлом этих bayes фильтров наплодили множество: bogofilter, spamoracle, spamprobe, crm114, dspam. У всех примерно одинаковые проблемы: паршивый (а то и дырявый) парсинг mime, наивный bayes (кроме crm/dspam), отсутствие поддержки стоп слов, отсутствие поддержки utf8 (например, нормализации юникода), отсутствие лингвистической нормализации, неумение работать с заголовками (то, что написано в документации spamprobe про это, меня умиляет, да).

     
  • 2.39, linvinus (?), 11:07, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    amavis + spamassain + самописные плагины

    1) автоматический белый список по полю TO для всех исходящих писем кроме системных, присутствие в списке добавляет отрицательные балы в spamassian
    2) при получении письма проверка на то что отправитель существует на сервере отправителя (конект + RCPT TO == 250?) (по полю from), проверка добавляет положительные баллы, частично задевает рассылки
    3) автоматическая тренировка баяса на spam по ящикам уволенных пользователей на которые клиенты писать не будут
    4) автоматическая тренировка на ham по исходящим письмам (случайная выборка, не всё подряд)
    5) автоматическая тренировка на spam если письмо перемещено из входящей папки в папку нежелательная почта (powershell на exchange).
    6) ручная тренировка на ham, для пользователей есть инструкция как обучить антиспам путём пересылки сообщения на специальный адрес, некоторые пользуются, но в основном работает п.1

    порядка 200 пользователей за два дня
          1 Passed BAD
       1348 Passed CLEAN
       1812 Passed SPAM

    какие баллы сколько раз сработали https://pastebin.com/tjum6pEJ (самописные начинаются с AWL_)
    если больше 3 баллов то спам.

     
     
  • 3.42, GedNN (?), 15:48, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А почему случайная, а не всё подряд?
    >4) автоматическая тренировка на ham по исходящим письмам (случайная выборка, не всё подряд)
     
     
  • 4.47, linvinus (?), 16:24, 20/09/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    в идеале баяс нужно кормить только теми письмами которые он пропустил как спам тогда как пользователь посчитал что это не спам.

    Но автоматизировать это очень сложно, если почтовик exchange, поэтому для баланса подкармливаю случайными исходящими письмами.

    если кормить всеми словами как не спам он мало что будет ловить, у меня получалось так что он реагировал только на точные копии спаммерских писем которыми его обучили, а чуть текст меняется всё считает не спам.

    я думаю лучше не перекармливать его ham'ом :)

     
     
  • 5.50, GedNN (?), 18:53, 25/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Нинаю. Я все что уходит скармливаю как Ham, все что люди положили в папку Spam скармливаю как спам.

    Еще есть доверенные организации/сервера, письма от которых скармливаю как Ham.

    Вроде не жалуются.

     

  • 1.3, Аноним (3), 21:20, 17/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Как нубу запустить почтовый сервер?
     
     
  • 2.4, Anonymouss (?), 21:24, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Вам для исходящей почты или входящей?
     
     
  • 3.5, IdeaFix (ok), 21:31, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Да :)
     
  • 3.14, Аноним (-), 23:20, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    И входит... и выходит... Замечательно выходит!
     
  • 3.19, Аноним (3), 23:58, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    И для входящей, и для исходящей
     
  • 2.7, Аноним (7), 21:43, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +7 +/
    yum install postfix

    Главное не забыть в конфиг в mynetworks 0.0.0.0/0 вписать.

     
     
  • 3.9, Sw00p aka Jerom (?), 22:10, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    так он по дефолту стоит в место сендмейлера
     
  • 3.11, Аноним (11), 22:25, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Да кому сейчас нужны те опенрелеи.
     
     
  • 4.15, Аноним (-), 23:22, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Да и почта уже устарела, щас быдло сидит в телеграме.
     
     
  • 5.20, fske (?), 00:32, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Ну так вылазь из телеграма, что ты там забыл?
     
     
  • 6.35, А (??), 18:47, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Он не может, как как попадает под определение)
     
  • 2.12, PereresusNeVlezaetBuggy (ok), 22:30, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +5 +/
    «Эй, Алиса, запусти почтовый сервер»
     
  • 2.13, Аноним (-), 23:19, 17/09/2018 [^] [^^] [^^^] [ответить]  
  • +22 +/
    Не служай этих безумцев! Use iRedMail, Luke.
     

  • 1.24, CHERTS (ok), 08:25, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Rspamd - самая адекватная альтернатива, если правильно его настроить + посадить всех юзеров на web-интерфейс в котором есть кнопки Spam/Ham для обучения rspamd, то он вполне нормально обучается и начинает неплохо отлавливать спам.
     
     
  • 2.26, Mikula (?), 09:37, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >посадить всех юзеров на web-интерфейс в котором есть кнопки Spam/Ham для обучения rspamd

    Это где такое в rspamd реализовано?

     
     
  • 3.27, exSun (ok), 09:59, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Я просто по крону Maildir разбираю. Всё прочитанное более 3 часов назад (find -cmin) и оставшееся в INBOX или его потомках, уходит в хам, всё прочитанное более 3 часов назад из Junk - в спам. Перемещение в Junk и обратно - работа сторонних средств (веб-интерфейса или IMAP-клиента). Не шибко быстро, но работает.
     
     
  • 4.30, Аноним (30), 10:56, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Правильное решение это через Sieve
     
     
  • 5.31, exSun (ok), 11:15, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Правильное решение это через Sieve

    Согласен. Просто лень делать, когда и так хорошо работает. Но как запихивать в ham по Sieve то, что пришло в инбокс, там было прочитано и там осталось?

     
  • 3.29, Аноним (30), 10:56, 18/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Легко реализуемо через два хука ManageSieve и stdin
     
  • 2.44, Аноним (44), 16:21, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    как может быть адекватной альтернатива, которую ведет 1 (один) человек.
     
     
  • 3.46, Аноним (30), 05:39, 20/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Человек пароход! Ведет всю компанию с дна!
     

  • 1.33, Аноним (44), 13:53, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Самую смешняшку не озвучили. 3.4.1 не резолвил через локалхост, ошибка в перловке. Это-то починили ?

     
     
  • 2.41, An (??), 12:28, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Сообщение о баге было отправлено?
     
     
  • 3.43, Аноним (44), 16:15, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ога. было пофикшено в транке. но в сипане до последнего лежала багнутая версия.
     

  • 1.37, SubGun (ok), 23:48, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Переписали бы его уже на питоне или на новомодном го. Нет, блин, тянут это тормозное чудовище на перле.
     
     
  • 2.40, xm (ok), 12:16, 19/09/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Так вперёд - переписывайте
     
  • 2.45, angra (ok), 01:43, 20/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Я тебя сейчас ошарашу. На go будет работать медленее, так как у него очень тормозной регекс движок. Вот на rust другое дело, но кто же это осилит.
     
  • 2.49, Vsevolod Stakhov (?), 17:30, 23/09/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Давно уже переписали, когда новомодных go и растов еще в проекте не было. Зачем тянут это чудовище - я сам не очень понимаю: лучше бы присылали идеи, багрепорты, а еще лучше - pull request'ы - мне.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру