The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

OpenNews: Почтовая система среднего офиса на базе Postfix и FreeBSD, opennews (ok), 24-Окт-07, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


23. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Sampan (?), 25-Окт-07, 08:05 
>А по мне, так лучше чтоб вы задолбались ОРГАНИЗОВЫВАТЬ, чем бы мы
>задолбались принимать по ~30.000 smtp соединений в день от спаменов.

Вот в этом и есть основная проблема! Админы берутся решать, что важно, а что нет для бизнеса фирмы. И в статье то-же: "Я предлагаю достаточно жесткую политику защиты от вирусов и СПАМа, которая не исключает потерю некоторых валидных сообщений". Вы попробуйте это сказать хозяину бизнеса. Угадайте с трех раз, как он ответит? На моей практике в 100% случаев бизнесмен выбирает: "пусть пройдет лишних 100 спам писем, но не заблокируется ни одного валидного". И он прав!

Ответить | Правка | Наверх | Cообщить модератору

24. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от sh (??), 25-Окт-07, 09:15 
Угу. Только когда тому же бизнесмену доступно объясняешь, что разговор идёт не о ста и даже не о тысяче писем, тут уже позиция довольно часто меняется.
И вообще, все ситуации разные. В случае, когда у организации переписка гарантированно происходит только с российскими корреспондентами, то можно смело закрывать всю Корею-Японию-Китай-Тайвань-кто там ещё особо отличившийся...
Ответить | Правка | Наверх | Cообщить модератору

26. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от dtemail (??), 25-Окт-07, 09:19 
>Админы берутся решать, что важно, а что нет для бизнеса фирмы

Здрассьте... Нас обязали принимать решения, и деньги за это платят. Да, решения компромиссные, а иначе и не бывает.
>"пусть пройдет лишних 100 спам писем, но не заблокируется ни одного валидного"

Ну, абсолютной истины не бывает, и бизнес бизнесу - рознь.
Предположим, сессия блокируется с указанием причины и указанием адреса для апелляций.
А, к примеру, адресное пространство деловой переписки 500 пользователей почтовой системы некоего предприятия, занимающегося материально-товарным производством, можно описать файлом в 25-50 строк. Проверено. А вы говорите 100 писем прочитать, чтоб найти нужное.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

33. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Zerotemail (?), 25-Окт-07, 10:17 
крупный банк в топах по россии с присутствием в половине регионов
- за самодеятельность типа резать .dsl, японские зоны и т.п. не в меру ретивый админ был уволен, и это правильно, ибо нефиг.
- и таки внедрил же я потом свои решения, которые резали больше существенно - без серьёзного риска потери важных писем со всего мира
- ну порядка 90 тыс. попыток отправки почты щас в сутки на 2 релеях в балансире, ну вполне удовлетворенный бизнес и никакого идиотизма типа рубим усе, если не настроили обратную зону - ну насрать, пардон, бизнесу на то, как у клиентов настроена почта. Бизнесу работать надо с клиентами - по всему миру
.
так что борьба со спамом - задача вполне решаемая
обзор, если интересно - на http://www.ourorbits.org/itview/articles/mailsystem.shtml
с высоты прошедшего времени все видится еще яснее, но описать детально никак не соберусь
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

36. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Open Open (?), 25-Окт-07, 11:49 
>[оверквотинг удален]
>- ну порядка 90 тыс. попыток отправки почты щас в сутки на
>2 релеях в балансире, ну вполне удовлетворенный бизнес и никакого идиотизма
>типа рубим усе, если не настроили обратную зону - ну насрать,
>пардон, бизнесу на то, как у клиентов настроена почта. Бизнесу работать
>надо с клиентами - по всему миру
>.
>так что борьба со спамом - задача вполне решаемая
>обзор, если интересно - на http://www.ourorbits.org/itview/articles/mailsystem.shtml
>с высоты прошедшего времени все видится еще яснее, но описать детально никак
>не соберусь

Всем добрый день!
Я не поленился и сходил на сайт "ИТ специалиста Белонина Сергея Станиславовича" :)...
В его труде описана простая система из Sendmail'а с Milter'ом и прикрученного Spamassassin'а с ClamAV. Ни с Postfix, ни с Exim автор никогда не работал. Но у нас же страна советов - все дураки, а он Д'Артаньян :).

С каких пор простой трудяга-специалист отвечает в банке за бизнес? Может быть вышел новый циркуляр ЦБ на эту тему?! И не он ли "помог" уволить человека, который пытался улучшить ситуацию. А потом на "чистом" месте "создал и внедрил"... Вы только почитайте эти общие фразы в его опусе... Слов нет от пафоса и самолюбования. Описанная в обсуждаемой статье система по сложности и универсальности на 2 головы выше "внедрённого таки решения" - 90000 в сутки - это примерно письмо в секунду (зачем балансир?) - и это крупный банк??! Вы в каком далёком филиале работаете, если на чистоту??! С таким потоком даже описанный Amavis (с 2-ми процессами по предложенному конфигу) справится играючи, без распределёнки и задержек - учите мат.часть "товарисъч" :). Вы наверное не в курсе, что Postfix может за один tcp connect отправлять несколько писем, а очередь отсылается потоками, одновременно?? А про безопасность Sendmail'а установленного у Вас я бы даже не вспоминал по сравнению с Postfix'ом. Удачи Вам в карьере - подайте наконец заявление на администратора! Хватит зарывать талант в специалистах :)...

Автор же обсуждаемой статьи молодец! Большое уважение и благодарность. :Р
От себя добавлю, по практике работы... Базу Spamassassin'а можно хранить и в r-tee'шных деревьях, без базы данных, они не растут со временем, а "переиндексируются" при обучении. Процессов на Amavis'е можно увеличить до 50 (или как кому), потому что, если они исчерпаются, то письма пойдут в отказ, а это не дело. Правда на каждую пару процессов (к Amavis и обратно к Postfix) надо примерно 50Мб оперативной памяти - считайте заранее мощности на сервере. При подобной (50) конфигурации надо минимум 4Гб RAM, так как нужна ещё дополнительная память под процессы Postfix и кое-какие области, например временный каталог антивируса, лучше держать на RAM-диске :). Список RBL можно рассширить по желанию (есть on-line проверялки в сети, http://www.kloth.net/services/dnsbl.php, и прочие варианты - по вкусу), при обработке Pflogsumm станет ясно, какие из них не активны в том объёме, который Вам господа, нужен (российские обычно очень вялые). Если соберётесь использовать директивы always_bcc (копирование всей почты на unix-box), то увеличте объём ящиков до суточной нормы почты с запасом, под суточную ротацию, тогда не заклинит сервер при переполнении. Не фиксированные адреса резать - модемы, dsl и прочее - гайка должна быть закручена, если она есть, ослабить успеете. Реверсивные зоны проверять. Исключения прописывать. И читать в tail -f логи с почтовика - всё время, хорошая привычка :).

Удачи всем! И не слушайте "учёных", так как путь в Unix - делай по своему, то есть элегантно и надёжно, но по разному и творчески!! :Р

Ответить | Правка | Наверх | Cообщить модератору

37. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Open Open (?), 25-Окт-07, 12:08 
P.S.: Забыл :Р, извиняюсь - пользователя в процессе ClamAV лучше сделать таким же как пользователь Amavis - при обнослении баз и рестарте, базам будем "проще" прочитаться с диска :), ну конечно если Вы не хотите, чтобы их читали все :). И сортировать процессы по пользователям легче.
Ответить | Правка | Наверх | Cообщить модератору

39. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от uldus (ok), 25-Окт-07, 12:15 
>"переиндексируются" при обучении. Процессов на Amavis'е можно увеличить до 50 (или
>как кому), потому что, если они исчерпаются, то письма пойдут в
>отказ, а это не дело.

Процессы amavis'а не исчерпаются никогда, будь их хоть 2 :-) Число потоков устанавливается в настройках postfix и больше чем там написано он лить не будет, сообщения просто будут ждать в очереди. Более того, много процессов amavis даже вредно, они только мешать друг другу будут конкурируя за IO и CPU. Пусть лучше несколько писем будут проверены максимально быстро, чем много - но на проверку каждого уйдет больше времени.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

41. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Open Open (?), 25-Окт-07, 12:53 
>[оверквотинг удален]
>>как кому), потому что, если они исчерпаются, то письма пойдут в
>>отказ, а это не дело.
>
>Процессы amavis'а не исчерпаются никогда, будь их хоть 2 :-) Число потоков
>устанавливается в настройках postfix и больше чем там написано он лить
>не будет, сообщения просто будут ждать в очереди. Более того, много
>процессов amavis даже вредно, они только мешать друг другу будут конкурируя
>за IO и CPU. Пусть лучше несколько писем будут проверены максимально
>быстро, чем много - но на проверку каждого уйдет больше времени.
>

Отказ в данном случае надо понимать как постановка в очередь (а зачем?), но и расти сами процессы Amavis не будут - у них жесткое ограничение в конфиге. Если у Postfix'а можно задать предел, то в Amavis'е сколько скажешь, столько и стартует, и перестартуются процессы только после чёткого количества обработанных писем (см. конфиг). А ресурсы IO и CPU - не смешите - если у Вас не шлют письма по 20Мб всё время - загрузка на CPU минимальна, они простаивают, тем более IO - сравните полосу канала и скорость работы дисков - раз 10 точно будет разница :)! На много-много-ядерном сервере все процессы проверки идут параллельно - нет ни задержек, ни очередей - очередь возникает только в одном случае, когда в канал не пропихнуть разом :Р. А это редкость. Так что если процессов в Postfix'е у Вас 100, то в Amavis'е можете смело поставить 50 - и нет проблем.

Ответить | Правка | Наверх | Cообщить модератору

42. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от uldus (ok), 25-Окт-07, 13:54 
Ok, не верите на слово, проведите тест, попробуйте создать исскуственный флуд в 100 потоков и посмотреть, как поведет себя amavis (с задействованными clamav и SpamAssassin) с 10-15 и 50 воркерами.
Ответить | Правка | Наверх | Cообщить модератору

47. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от Open Open (?), 25-Окт-07, 14:58 
>Ok, не верите на слово, проведите тест, попробуйте создать исскуственный флуд в
>100 потоков и посмотреть, как поведет себя amavis (с задействованными clamav
>и SpamAssassin) с 10-15 и 50 воркерами.

Удачи Вам в искусственном флуде - очень интересно, этим и надо заниматься - нагрузочным тестированием систем написаных на Perl'е. Вы бы ещё на скрипты накинулись! :Р

У меня прописано 50 процессов на Amavis'е и ни разу за последние 4 года не было тормозов "не совместимых с жизнью" - почтовой очереди нет, как таковой. Не тот масштаб. Вот если бы у меня надо было задействовать соединений тысячи две, тогда вероятно имело бы место для тестов. Но таких систем нет - все предпочитают распределёнку :)...

Ответить | Правка | Наверх | Cообщить модератору

81. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от uldus (ok), 25-Окт-07, 20:35 
>Удачи Вам в искусственном флуде - очень интересно, этим и надо заниматься
>- нагрузочным тестированием систем написаных на Perl'е. Вы бы ещё на
>скрипты накинулись! :Р

А чем вам Perl не угодил ? На нем например балансер livejournal.com написан.
Сам по себе amavis-new ресурсов потребляет крайне мало, систему очень хорошо подсаживает SpamAssassin.

>У меня прописано 50 процессов на Amavis'е и ни разу за последние
>4 года не было тормозов "не совместимых с жизнью" - почтовой
>очереди нет, как таковой.

Я и предлагал оценить на сколько изменится его пропускная способность, если уменьшить число рабочих процессов.

А по поводу пика в 1000 коннектов, то это обычная ситуация, - такое раз в пару месяцев бывает, когда спамерские трояны сходят сума и все разом накидываются.

Ответить | Правка | Наверх | Cообщить модератору

88. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от mcTNT (ok), 26-Окт-07, 00:24 
В документации к Amavis-new ясно сказано:

"Going beyond 10 usually brings no more improvements in overall system
throughput, it just wastes memory."

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

106. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от zerotemail (?), 26-Окт-07, 22:46 
спасибо за то, что не поленились сходить и прочитать статью

- уже во времена ее написания мои внутренние сервера работали на Exime. Поэтому голословное махание шашкой со стороны OpenOpen не принимаю

- простая схема на Sendmail однако ни разу не справится с такой нагрузкой без тюнинга того самого Sendmaila, который предусмотрен авторами

- дальше - балансир нужен для того, чтобы вся почтовая система не встала при отказе железа, например, а не чтобы поиграться специалистам

- дальше отвечаю на гусарские выпады - вы видимо плохо походили по сайту, могли бы найти интересующую вас определенную информацию по поводу филиалов и квалификации автора

- теперь еще - в статье, которую вы вычитывали, специально даны общие сведения - потому описан скелет архитектуры коммерческого решения от этого самого Белонина Сергея Станиславовича, и если у нас в стране идеи не защищаются законом, то коммерческие реализации защищаются. А если кто то при этом закон не уважает, и предпочитает трындеж о прелести открытых решений или прелести закрытых - отправлю его к 4 части ГК России и 146 статье УК России

ну и напоследок - перечислю состав текущего антиспам модуля для Exim в моих разработках
- гритинг пауза, проверка домена для заявленного ip отправителя, авторские модули несколько модифицированного greylist (на хранимых процедурах PostgreeSQL), модули автоматического формирования черных списков по IP и адресу отправителя на основе данных greylist, контент фильтр на SpamAssassin, те самые черные списки ...

почему я об этом говорю вообще - потому что антиспам система должна быть комплексной, и, возможно, кому то такое перечисление поможет найти свое решение

- дальше, меня тут упрекнули в том, что я ушел SMTP администратора, навесили ярлык трудяги администратора и т.п. Не первый год имею еще и свой небольшой бизнес и могу себе позволить быть еще и трудягой ... При этом понимая потребности бизнеса, в т.ч. обслуживаемого моей организацией. Обычно принято писать что то типа - оставляю на вашей совести, но я не считаю это правильным. Поэтому если урод, который допускает подобные высказывания, а так нормальные люди себя не ведут - пусть весь вложенный негатив возьмет своей матери, либо таки согласится, что он погорячился и заберет свои слова. Я пойму

- про свой путь в UNIX - спорно. Сначала долго играем простые аккорды, потом только сочиняем свою музыку

Sergey S. Belonin

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

109. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от zerotemail (?), 26-Окт-07, 23:07 
ну е еще там, конечно, проверка существования отправителя - благо в Exim она реализована нативно, в отличие от Sendmail.

Да, еще специально для Open Open. Не люблю я ваш postfix - и без него все решается, ставил последний раз лет 5 назад. Знакомые говорили, что он вырос за эти годы, но и без него намоленные решения вполне себе есть и вполне себе работают

ps. OpenOpen вы таки попробуйте разобраться, какие пальцы загнули не по делу - я то свои обоснованно гну, т.к. попробовал разные варианты почтовых решений ну разве что только не в масштабах провайдера. И учитесь таки общаться - очень поспешно выводы делаете. Вам, в принципе, вот сюда надо было сходить - http://www.ourorbits.org. Искренне надеюсь, что вы дойдете до того, что были неправы

И давайте уж дальше переписку вынесем в почту, если есть что сказать. Мой ящик - belonin@yandex.ru

Ответить | Правка | Наверх | Cообщить модератору

113. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от zerotemail (?), 26-Окт-07, 23:57 
ну и чтобы завершить тему - не нравится мне манера некоторых редисок плеваться в Инете, надо дорасставить точки

поддержку SMTP решений на меня навалили как факультатив из за отсутствия людей, и она таки была выведена мной же на уровень, когда выделенный специалист по этой теме уже не требовался, уже года как полтора я не занимаюсь поддержкой SMTP как основной администратор

За прошедших полтора года пришедший основным администратором направления SMTP специалист практически ничего не изменил в моей схеме, только что мы докрутили к ней технологию greylist, реализованную стандартным бесплатным модулем для Sendmail, с уволенным специалистом я, в отличие от многих сотрудников, до сих пор поддерживаю вполне себе нормальные отношения, он работает руководителем IT в одной из фирм Москвы

И, конечно, внедряемое решение было согласовано отдельным детальным проектом с бизнесом - потому что это правильный путь решения таких вопросов в большой конторе

Ответить | Правка | Наверх | Cообщить модератору

58. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от SergeySL (ok), 25-Окт-07, 16:57 
>крупный банк в топах по россии с присутствием в половине регионов
>- за самодеятельность типа резать .dsl, японские зоны и т.п. не в
>меру ретивый админ был уволен, и это правильно, ибо нефиг.
>- и таки внедрил же я потом свои решения, которые резали больше
>существенно - без серьёзного риска потери важных писем со всего мира

Я думаю в крупном банке меньше экономят на железе, софте и ЗП админов ;)

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

55. "Почтовая система среднего офиса на базе Postfix и FreeBSD"  +/
Сообщение от SergeySL (ok), 25-Окт-07, 16:37 
>>А по мне, так лучше чтоб вы задолбались ОРГАНИЗОВЫВАТЬ, чем бы мы
>>задолбались принимать по ~30.000 smtp соединений в день от спаменов.
>
>Вот в этом и есть основная проблема! Админы берутся решать, что важно,
>а что нет для бизнеса фирмы. И в статье то-же: "Я
>предлагаю достаточно жесткую политику защиты от вирусов и СПАМа, которая не
>исключает потерю некоторых валидных сообщений". Вы попробуйте это сказать хозяину бизнеса.
>Угадайте с трех раз, как он ответит? На моей практике в
>100% случаев бизнесмен выбирает: "пусть пройдет лишних 100 спам писем, но
>не заблокируется ни одного валидного". И он прав!

Хозяин в курсе. Он прекрасно понимает, что менеджеры не должны отвлекаться на разную каку. Еще есть телефон, ICQ и контактная форма сайта, через которые человек, получивший отлуп, всегда может попросить поправить настройки. Как правило те, кого серьезно что-то интересует сначала звонят, а по почте уже передаются заявки, счета и т.д. и т.п.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру