URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 87880
[ Назад ]

Исходное сообщение
"высокопроизводительный mail-сервер"

Отправлено пупкен , 18-Янв-10 15:55 
Добрый день, планируется создание высокопроизводительного почтового сервера.
план таков:
все юзеры и их почта в oracle.
smtp - postfix либо exim (пока не определились).
pop3 - самописный, либо, возможно, какой-нибудь curier.
imap - все тот же courier.

Уважаемые господа, поделитесь своими мыслями\советами, может быть кто-либо делал такое.
какие могут быть подводные камни ?
из моих вопросов - чтото я пока никак не найду "ровную" реализацию pop3-сервера+ oracle, может быть посоветуете?
Возможно есть какие-либо готовые решения?
Я уверен, что мир един не только sendmail, exim,qmail,postfix,kerio mail server и иже с ними. Может быть есть какие-либо интересные реализации?

заранее буду благодарен за любой совет.


Содержание

Сообщения в этом обсуждении
"высокопроизводительный mail-сервер"
Отправлено Pahanivo , 18-Янв-10 16:02 
ммм а что хранить почту в субд да еще монстроидальной это сильно производителнее maildir?
или я уже ничего не понимаю в этай жизни?



"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 16:41 
>ммм а что хранить почту в субд да еще монстроидальной это сильно
>производителнее maildir?
>или я уже ничего не понимаю в этай жизни?

если чтото случиться с ФС ? что делать ? банальниый чек диск может так все пофиксить что ппц.
Конечно же бакап никто не отменял.
почему оракл - потому что хорошо знаю эту субд, да и через дамп, имхо - восстанавливать бакап удобнее.


"высокопроизводительный mail-сервер"
Отправлено Pahanivo , 18-Янв-10 17:08 
>>ммм а что хранить почту в субд да еще монстроидальной это сильно
>>производителнее maildir?
>>или я уже ничего не понимаю в этай жизни?
>
>если чтото случиться с ФС ? что делать ? банальниый чек диск
>может так все пофиксить что ппц.
>Конечно же бакап никто не отменял.
>почему оракл - потому что хорошо знаю эту субд, да и через
>дамп, имхо - восстанавливать бакап удобнее.

я думаю мускула гараздо больший процент людей знает ) с бекапом там все нормально )


"высокопроизводительный mail-сервер"
Отправлено ALex_hha , 18-Янв-10 16:02 
1. Что есть понятие высокопроизводительный?
2. Для чего использовать oracle?

"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 16:41 
>1. Что есть понятие высокопроизводительный?
>2. Для чего использовать oracle?

1) более 100 000 почтовых аккаунтов. более 50 одновременных запросов в секунду.
2) для хранения логинов, паролей, настроек и почты юзеров.


"высокопроизводительный mail-сервер"
Отправлено ALex_hha , 18-Янв-10 17:06 
>>1. Что есть понятие высокопроизводительный?
>>2. Для чего использовать oracle?
>
>1) более 100 000 почтовых аккаунтов. более 50 одновременных запросов в секунду.
>2) для хранения логинов, паролей, настроек и почты юзеров.

1. Делать распределенную архитектуру.
2. Если нарушится целостность ФС, то как ты думаешь, что будет с твоими базами?

> более 50 одновременных запросов в секунду.

это не говорит о нагрузке. Запросов куда? Вот 50 писем в секунду это большая нагрузка


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 17:10 
>[оверквотинг удален]
>>2) для хранения логинов, паролей, настроек и почты юзеров.
>
>1. Делать распределенную архитектуру.
>2. Если нарушится целостность ФС, то как ты думаешь, что будет с
>твоими базами?
>
>> более 50 одновременных запросов в секунду.
>
>это не говорит о нагрузке. Запросов куда? Вот 50 писем в секунду
>это большая нагрузка

запросов на получение почты к pop3 серверу я имею ввиду.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 17:12 
>[оверквотинг удален]
>>2) для хранения логинов, паролей, настроек и почты юзеров.
>
>1. Делать распределенную архитектуру.
>2. Если нарушится целостность ФС, то как ты думаешь, что будет с
>твоими базами?
>
>> более 50 одновременных запросов в секунду.
>
>это не говорит о нагрузке. Запросов куда? Вот 50 писем в секунду
>это большая нагрузка

ну по поводу целостности ФС - понятное дело что наступет капец и датафайлам.
в этом случае бакап всему голова.
но просто я как то более конкретно преставляю себе рестор дампа sql, чем данных.
распаковка данных влечет за собой установку корректных прав доступа и бла бла бла ...
хотя может я и не прав.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 17:15 
>[оверквотинг удален]
>>2) для хранения логинов, паролей, настроек и почты юзеров.
>
>1. Делать распределенную архитектуру.
>2. Если нарушится целостность ФС, то как ты думаешь, что будет с
>твоими базами?
>
>> более 50 одновременных запросов в секунду.
>
>это не говорит о нагрузке. Запросов куда? Вот 50 писем в секунду
>это большая нагрузка

ну и распределенная структура - это понятно.
я планировал oracle на двух нодах кластера.
мыльник сам еще на двух нодах кластера...


"высокопроизводительный mail-сервер"
Отправлено bill , 18-Янв-10 21:09 
>ну и распределенная структура - это понятно.
>я планировал oracle на двух нодах кластера.
>мыльник сам еще на двух нодах кластера...

Можно поинтересоваться, а кластер какой планировался? Oracle RAC?


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 21:28 
>>ну и распределенная структура - это понятно.
>>я планировал oracle на двух нодах кластера.
>>мыльник сам еще на двух нодах кластера...
>
>Можно поинтересоваться, а кластер какой планировался? Oracle RAC?

пока - да, смотрю в сторону РАК.
железки позволяют городить то что нужно, и мозги вроде тоже есть.
просто хочется сделать профессиональное решение, не повторяя былых ошибок и ляпов, какие возникали раньше при поднятии подобных проектов.

и вот тут встал вопрос - а как же все-таки профессионально? :)


"высокопроизводительный mail-сервер"
Отправлено bill , 18-Янв-10 21:37 
>[оверквотинг удален]
>>
>>Можно поинтересоваться, а кластер какой планировался? Oracle RAC?
>
>пока - да, смотрю в сторону РАК.
>железки позволяют городить то что нужно, и мозги вроде тоже есть.
>просто хочется сделать профессиональное решение, не повторяя былых ошибок и ляпов, какие
>возникали раньше при поднятии подобных проектов.
>
>и вот тут встал вопрос - а как же все-таки профессионально? :)
>

RAC не даст роста производительности, если не точить под него приложение, а только замедлит работу.

Разве что улучшит окзаустойчивость и усложнит сопровождение.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 19-Янв-10 09:52 
>[оверквотинг удален]
>>просто хочется сделать профессиональное решение, не повторяя былых ошибок и ляпов, какие
>>возникали раньше при поднятии подобных проектов.
>>
>>и вот тут встал вопрос - а как же все-таки профессионально? :)
>>
>
>RAC не даст роста производительности, если не точить под него приложение, а
>только замедлит работу.
>
>Разве что улучшит окзаустойчивость и усложнит сопровождение.

вот тоже согласен.
херячить приложение - это как бы из пушки по воробьям..


"высокопроизводительный mail-сервер"
Отправлено bill , 18-Янв-10 21:14 
>ну и распределенная структура - это понятно.
>я планировал oracle на двух нодах кластера.
>мыльник сам еще на двух нодах кластера...

И ещё, имхо, кластеры тут вообще не в тему. Тут, наверное, надо использовать схему типа frontends -> backends. Поправьте, если не прав.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 21:27 
>>ну и распределенная структура - это понятно.
>>я планировал oracle на двух нодах кластера.
>>мыльник сам еще на двух нодах кластера...
>
>И ещё, имхо, кластеры тут вообще не в тему. Тут, наверное, надо использовать схему типа frontends -> backends. Поправьте, если не прав.

как бы, на эту тему я тоже думал.
два перепутья стоят:
либо х*еплетить чтото невьипаццо крутое, но тогда впорос: не будет ли оно избыточным.
и как следствие затрата человеко ресурсов и денег на обслуживание.
либо городить чтото совершенно простое но отлаженное, но тогда - не будет ли этого мало.


"высокопроизводительный mail-сервер"
Отправлено сабакка , 19-Янв-10 13:56 
есть же imap, pop сервера работающие по NFS + юзера в базе или LDAP'е, а приём распараллелить, вообще, без проблем.
а cyrus murder смотрели?

"высокопроизводительный mail-сервер"
Отправлено пупкен , 19-Янв-10 13:58 
>есть же imap, pop сервера работающие по NFS + юзера в базе
>или LDAP'е, а приём распараллелить, вообще, без проблем.
>а cyrus murder смотрели?

пока не смотрел - но посмотрю сейчас, спасибо за наводку.


"высокопроизводительный mail-сервер"
Отправлено сабакка , 18-Янв-10 18:39 
http://irbs.net/internet/info-cyrus/0702/0058.html

"высокопроизводительный mail-сервер"
Отправлено Andrey Mitrofanov , 18-Янв-10 19:57 
>http://irbs.net/internet/info-cyrus/0702/0058.html

Это иллюстрация топикстартеру, как нужно задавать вопросы? Ответов там нет, или это я их не вижу, извините?..  Ааааа, тот вопрошающий продвинулся чуть дальше -- его половина ответа поболе будет, да??


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 20:05 
>>http://irbs.net/internet/info-cyrus/0702/0058.html
>
>Это иллюстрация топикстартеру, как нужно задавать вопросы? Ответов там нет, или это
>я их не вижу, извините?..  Ааааа, тот вопрошающий продвинулся чуть
>дальше -- его половина ответа поболе будет, да??

я уже прочитал.
в принципе там есть ответ.
у меня вопрос не столько технический, у меня есть ряд решений, я пытаюсь найти оптимальное.
поэтому хочу совет как и что. может быть ктото подскажет новое решение.
я делал на heartbeat+drbd.
делал на dbmail+ mysql-cluster, пробовал на lvs.
может быть есть еще варианты.


"высокопроизводительный mail-сервер"
Отправлено Square , 18-Янв-10 20:29 
>[оверквотинг удален]
>
>я уже прочитал.
>в принципе там есть ответ.
>у меня вопрос не столько технический, у меня есть ряд решений, я
>пытаюсь найти оптимальное.
>поэтому хочу совет как и что. может быть ктото подскажет новое решение.
>
>я делал на heartbeat+drbd.
>делал на dbmail+ mysql-cluster, пробовал на lvs.
>может быть есть еще варианты.

Конечно есть.. Почитайте как сделан майл.ру, хотмайл.ком, гугл.ком...


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 20:38 
>[оверквотинг удален]
>>в принципе там есть ответ.
>>у меня вопрос не столько технический, у меня есть ряд решений, я
>>пытаюсь найти оптимальное.
>>поэтому хочу совет как и что. может быть ктото подскажет новое решение.
>>
>>я делал на heartbeat+drbd.
>>делал на dbmail+ mysql-cluster, пробовал на lvs.
>>может быть есть еще варианты.
>
>Конечно есть.. Почитайте как сделан майл.ру, хотмайл.ком, гугл.ком...

там, где я пытаюсь найти, везде слова очень около как то
"самописный поп3 сервер, реплицируемое хранилище и т д"
я конечно понимаю - что никто и никогда мне не раскажет никаких технических подробностей, но все же хоть чтото где то хоть как то ...
а то умные слова чисто в теории - я и сам могу трактат написать.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 21:34 
>[оверквотинг удален]
>
>Уважаемые господа, поделитесь своими мыслями\советами, может быть кто-либо делал такое.
>какие могут быть подводные камни ?
>из моих вопросов - чтото я пока никак не найду "ровную" реализацию
>pop3-сервера+ oracle, может быть посоветуете?
>Возможно есть какие-либо готовые решения?
>Я уверен, что мир един не только sendmail, exim,qmail,postfix,kerio mail server и
>иже с ними. Может быть есть какие-либо интересные реализации?
>
>заранее буду благодарен за любой совет.

хотя я вот тут думаю, может вообще не изобретать велосипер.
замочить чтото типа по лиссяре:
postfix+mysql+courier-imap-pop3
на каком нибудь четырех-головом, четырех-ядерном-16 гиговом сервере с быстрыми дисками.
да через round-robin запросы отзеркалить на такого же соседа ???....
кто-нибудь юзал мускуль в серьезном продакшне ? как он вообще?
у меня по серьезному был всю жизнь оракл, сейчас две базы по 4Тбайт каждая.
мускуль тольно на базы не более 100гигов...


"высокопроизводительный mail-сервер"
Отправлено пупкен , 18-Янв-10 21:35 
>[оверквотинг удален]
>
>хотя я вот тут думаю, может вообще не изобретать велосипер.
>замочить чтото типа по лиссяре:
>postfix+mysql+courier-imap-pop3
>на каком нибудь четырех-головом, четырех-ядерном-16 гиговом сервере с быстрыми дисками.
>да через round-robin запросы отзеркалить на такого же соседа ???....
>кто-нибудь юзал мускуль в серьезном продакшне ? как он вообще?
>у меня по серьезному был всю жизнь оракл, сейчас две базы по
>4Тбайт каждая.
>мускуль тольно на базы не более 100гигов...

хотя вот у майл.ру самописный поп3 севрер, ну или опенсурсный, но жестоко пропатченный.


"высокопроизводительный mail-сервер"
Отправлено anonymous , 19-Янв-10 00:04 
>Возможно есть какие-либо готовые решения?

у оракла было свое решение -- oracle mail в составе ocs :-)


"высокопроизводительный mail-сервер"
Отправлено пупкен , 19-Янв-10 09:53 
>>Возможно есть какие-либо готовые решения?
>
>у оракла было свое решение -- oracle mail в составе ocs :-)
>

тоже натолкнулся
oracle email server.
только так и не понял, сколько денег он стоит, стоит ли вообще, и как работает.


"высокопроизводительный mail-сервер"
Отправлено anonymous , 19-Янв-10 10:12 
>>>Возможно есть какие-либо готовые решения?
>>
>>у оракла было свое решение -- oracle mail в составе ocs :-)
>>
>
>тоже натолкнулся
>oracle email server.
>только так и не понял, сколько денег он стоит, стоит ли вообще,
>и как работает.

позвоните своему дилеру да узнайте.  оба продукта, скорее всего, уже EOS.


"высокопроизводительный mail-сервер"
Отправлено A.Pach , 19-Янв-10 17:56 
Попробуйте  CommunigatePRO в кластерной конфигурации,
и забудте про хранение почты в базе данных, нет смысла не
та производительность.

Пару лет назад тестировал hmailserver (http://www.hmailserver.com/)
он хорош для корпоративных систем, но до провайдерского уровня ему далеко.

Также подумайте о FS, наскоько она быстра.

Удачи.


"высокопроизводительный mail-сервер"
Отправлено пупкен , 19-Янв-10 18:29 
>Попробуйте  CommunigatePRO в кластерной конфигурации,
>и забудте про хранение почты в базе данных, нет смысла не
>та производительность.
>
>Пару лет назад тестировал hmailserver (http://www.hmailserver.com/)
>он хорош для корпоративных систем, но до провайдерского уровня ему далеко.
>
>Также подумайте о FS, наскоько она быстра.
>
>Удачи.

коммунигайт уже поставил - гоняю.
по фс - думаю в сторону xfs - хотя........