The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск системы фильтрации спама Rspamd 1.5, opennews (??), 02-Мрт-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


3. "Выпуск системы фильтрации спама Rspamd 1.5"  +3 +/
Сообщение от Аноним (-), 02-Мрт-17, 07:16 
С другой стороны, в Rspamd из-за Си больше рисков нарваться на опасную уязвимость.
Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск системы фильтрации спама Rspamd 1.5"  +/
Сообщение от Аноним (-), 02-Мрт-17, 08:57 
Сейчас придут буйные сишники и скажут, что двойное освобождение памяти - это "логическая ошибка", а "логические ошибки" можно допустить в любом языке.
Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск системы фильтрации спама Rspamd 1.5"  +4 +/
Сообщение от пох (?), 02-Мрт-17, 09:09 
вы прослушали две urban legends, не имеющие ничего общего с реальностью.

P.S. к реальности еще и здорово досыпано маркетоидного шлака. Ох не зря на slideshare рядом с их агиткой советуют "sales skills fundamentals", а стаховские слайды начинаются с пятого. Помимо действительно полезных и правильных техник оптимизации (не имеющих, кстати, ничего общего с выбором языка программирования), "в 10 раз быстрее" намеряно на конфигурации, зачем-то отправляющей "тысячи dns requests". У меня спамотсосин отправляет ноль dns requests (dnsbl обрабатывается в mta, а зачем антиспамилке анализировать ссылки внутри письма - я, в целом, не очень понимаю, и предпочел бы, чтобы дальше анализа структуры тега дело не заходило. Пример в их рекламе - как раз письмо, которое можно отправлять в спам, совершенно на эти ссылки не глядя, достаточно их количества и отсутствия содержания.)

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

9. "Выпуск системы фильтрации спама Rspamd 1.5"  +2 +/
Сообщение от vstakhovemail (ok), 02-Мрт-17, 12:01 
Насчет перла и си: да си быстрее и потенциально более опасен, чем perl, при прочих равных условиях. Memory safety редко бывает бесплатной (из положительных примеров в голову, впрочем, приходит Rust).

Насчет DNS запросов: вы неверно поняли этот слайд (или я его неверно составил). Посыл был в том, что ресурсы на обработку писем нужно лимитировать, иначе будет "ой". Данное письмо обрабатывалось SA с дефолтными настройками 3 минуты (!!). К слову, у Rspamd число DNS запросов на письмо ограничено 64-мя (кроме SPF, DKIM и ряда других, где есть собственные ограничения). Просто в том примере эти лимиты искусственно задрались.

Насчет "не глядя": тут такое дело, что обычный гопник Вася будет лучше, чем самая сложная и совершенная система антиспама. Другое дело, что работает этот Вася медленно и, соответственно, дорого. Поэтому и гонка за скоростью.

Насчет сравнения по скорости с SA: я делал довольно много масштабных бенчмарков SA и Rspamd в разных условиях и с разными конфигами. Например, на своей текущей работе у нас в SA было очень много странных регэскпов. И даже в такой, очень неудобной для себя, ситуации Rspamd был в 10 раз быстрее по медиане времени проверки. Когда я подключил гиперскан - стал в 50 раз быстрее... Ну и в других неудобных ситуациях, скажем, Raspberry Pi (а Rspamd вообще оптимизирован под x86_64), юзеры сообщали, что SA работает значительно медленнее. И, что забавно, кушает намного больше памяти, хотя экономия памяти никогда не была целью при разработке Rspamd.

Насчет рекламы: я это все дело ненавижу гораздо больше вас, вы уж поверьте, и я предпочел бы писать код, чем делать release notes, документацию, общаться с пользователями, выступать на конференциях. Но реальность такова, что мне нужны пользователи, чтобы улучшать Rspamd. И мне нужен фидбек, неважно положительный или отрицательный.

Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск системы фильтрации спама Rspamd 1.5"  +/
Сообщение от пох (?), 02-Мрт-17, 15:07 
> Насчет перла и си: да си быстрее и потенциально более опасен, чем perl, при прочих равных
> условиях.

ну то есть в сферическом вакууме, да ;-) Главное, чтоб этот код ничего полезного ненароком не делал.

> Насчет DNS запросов: вы неверно поняли этот слайд (или я его неверно составил). Посыл был
> в том, что ресурсы на обработку писем нужно лимитировать, иначе будет "ой".

необязательно - не все же бразильские локалвебы, у кого-то просто небольшой почтовик в углу тарахтит - если там даже вообще спамфильтр sig11 по башке завершится, ничего прямо ужасного не произойдет (в крайнем случае потеряется письмо, что тоже не ужасно), к тому же помимо спамфильтра другие ресурсоеды есть, включая сам mta.

Это не к тому что продукт плохой, а к тому что храждане, делающие выбор на основе бредятины типа "написано не на расте", вообще лучше б занялись другой отраслью.

Существует мульон причин вообще не рассматривать SA как замену rspamd во многих случаях, впрочем, как и наоборот (во всяких микросетапах, где SA и так уже есть и работает - вот совсем не надо открывать для себя и своих юзеров новенькое поле непаханных грабель)

8s, конечно, случай клинический (в смысле, это само по себе признак, что ничего в том письме хорошего не было ;-) но, возможно, если поискать, найдется и для rspamd подобный образчик? (для таргетированной атаки на того же бразильеру - очень даже могут поискать) Понятно, там надо в первую очередь обмануть логику, запускающую отброс на ранних стадиях, то есть оно совсем по-другому должно выглядеть.

btw, про dns: на всяк случай напоминаю, что любой домен в письме, кроме тех что и так анализируются mta, может оказаться валидацией существования почтового ящика (url открывать не надо, достаточно поресолвить <encoded mailid>.roguedomain.com )

> Насчет "не глядя": тут такое дело, что обычный гопник Вася будет лучше, чем самая
> сложная и совершенная система антиспама.

не, он false positives дает при нечетких критериях - subject закорючками, del...ой, это ж от Ли из Синьдзяня письмо...было.

А насчет скорости и прожорливости - так тут вопроса-то нет, просто дело-то не столько в сях, сколько в узкоспециализированном самописном коде вместо собирания из CPAN всего что в рот полезло (кстати, и как там у нас с безопасностью при зависимостях зависимостей от незнамочьих модулей, обновляемых по чесанию левой пятки? Вот того же Net:DNS, хотя бы? ;-) Ну и опять таки - кому-то нужна скорость, потому что иначе можно просто бизнес закрывать и идти по домам, а у кого-то критерий влезть при надобности в потроха самому - и вот тут плюсы резко становятся минусами, ибо разбираться долго и сложно.

Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск системы фильтрации спама Rspamd 1.5"  +/
Сообщение от vstakhovemail (ok), 02-Мрт-17, 15:33 
>> Насчет DNS запросов: вы неверно поняли этот слайд (или я его неверно составил). Посыл был
>> в том, что ресурсы на обработку писем нужно лимитировать, иначе будет "ой".
> Существует мульон причин вообще не рассматривать SA как замену rspamd во многих
> случаях, впрочем, как и наоборот (во всяких микросетапах, где SA и
> так уже есть и работает - вот совсем не надо открывать
> для себя и своих юзеров новенькое поле непаханных грабель)

Все так.

> 8s, конечно, случай клинический (в смысле, это само по себе признак, что
> ничего в том письме хорошего не было ;-) но, возможно, если
> поискать, найдется и для rspamd подобный образчик? (для таргетированной атаки на
> того же бразильеру - очень даже могут поискать) Понятно, там надо
> в первую очередь обмануть логику, запускающую отброс на ранних стадиях, то
> есть оно совсем по-другому должно выглядеть.

И это тоже верно.

> btw, про dns: на всяк случай напоминаю, что любой домен в письме,
> кроме тех что и так анализируются mta, может оказаться валидацией существования
> почтового ящика (url открывать не надо, достаточно поресолвить <encoded mailid>.roguedomain.com
> )

Ну да, это понятно, поэтому url resolver ходит только на заданный список url redirectors (типа, goo.gl или t.co) и делает ровно один HEAD запрос. Старый редиректор пытался резолвить до конца. Новый делает менее точно, но более безопасно на мой взгляд. В дальнейшем я его научу проверять более одного уровня редиректа, если они все находятся в том же разрешенном списке редиректоров, а также ходить через прокси (например, через тот же тор).

>> Насчет "не глядя": тут такое дело, что обычный гопник Вася будет лучше, чем самая
>> сложная и совершенная система антиспама.
> не, он false positives дает при нечетких критериях - subject закорючками, del...ой,
> это ж от Ли из Синьдзяня письмо...было.

Да-да, вот только у автоматических систем фильтрации те же проблемы, что и у Васи :) Если с закорючками ходит 9000 писем спама и одно хама, то всякие статистические или другие ML алгоритмы радостно скажут, что они увидели тут 9001 письмо со спамом в закорючках.

> А насчет скорости и прожорливости - так тут вопроса-то нет, просто дело-то
> не столько в сях, сколько в узкоспециализированном самописном коде вместо собирания
> из CPAN всего что в рот полезло (кстати, и как там
> у нас с безопасностью при зависимостях зависимостей от незнамочьих модулей, обновляемых
> по чесанию левой пятки? Вот того же Net:DNS, хотя бы? ;-)
> Ну и опять таки - кому-то нужна скорость, потому что иначе
> можно просто бизнес закрывать и идти по домам, а у кого-то
> критерий влезть при надобности в потроха самому - и вот тут
> плюсы резко становятся минусами, ибо разбираться долго и сложно.

Ну вот поэтому я и выношу почти всю логику в Lua. Практика показывает, что пользователи очень быстро начинают писать осмысленные правила и плагины на Lua, и почти все контрибьюшены в проект, что сделаны не мною, сделаны именно на Lua. Ну а для сишных кишок меня одного, вроде бы, вполне себе хватает. На багрепорты я реагирую оперативно.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск системы фильтрации спама Rspamd 1.5"  +1 +/
Сообщение от Аноним (-), 03-Мрт-17, 07:37 
> Memory safety редко бывает бесплатной (из положительных примеров в голову, впрочем, приходит Rust

Там платишь за "безопасность"[1] выносом мозга borrow-checker'ом.

[1] которая всё равно протекает на первом блоке unsafe {}, работающий с внешним миром.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

6. "Выпуск системы фильтрации спама Rspamd 1.5"  +11 +/
Сообщение от kai3341 (ok), 02-Мрт-17, 09:26 
> в Rspamd из-за Си больше рисков нарваться на опасную уязвимость

Так как похапе -- язык высокого уровня, рисков нарваться на опасную уязвимость там очень мало.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

7. "Выпуск системы фильтрации спама Rspamd 1.5"  +/
Сообщение от пох (?), 02-Мрт-17, 11:08 
браво! ;-)
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру