The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Составной сервер"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Маршрутизация, NAT / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 24-Ноя-13, 23:41 
Всем доброго времени.
Просьба помочь определится, с пока  что, теоретическими вопросами. Хочу сделать шлюз состоящий из 2-х компьютеров. Ось-freebsd. Сеть небольшая, но понемногу растет. Пока, что <50. На одном компе vpn server, хостинг для локальной странички, биллинг, dns,dhcp, samba, ftp. На другом - pf, хостинг для внешнего сайта, шейпер, вторичный dns.
Пока что не ясно, как лучше реализовать шейпер: ng_car или dummynet\ipfw? Если первый, то вместе с mpd на первом или dummynet на втором? В идеале сделать самостоятельные серверы, чтобы обслуживание одного не останавливало сеть. Подскажите, как оптимальней распределить сервисы? Компы: 1) 2.8Prescott 1.5GbОЗУ 2)Barton2800+ 1GbОЗУ
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Составной сервер"  +/
Сообщение от Miha (??) on 25-Ноя-13, 01:21 
> Всем доброго времени.
> Просьба помочь определится, с пока  что, теоретическими вопросами. Хочу сделать шлюз
> состоящий из 2-х компьютеров. Ось-freebsd. Сеть небольшая, но понемногу растет. Пока,
> что <50. На одном компе vpn server, хостинг для локальной странички,
> биллинг, dns,dhcp, samba, ftp. На другом - pf, хостинг для внешнего
> сайта, шейпер, вторичный dns.
> Пока что не ясно, как лучше реализовать шейпер: ng_car или dummynet\ipfw?

   Kernel nat, ясное дело. От pf можно отказаться, если у вас не сложная топология на шлюзе, но если сложная, что часто бывает в офисных реализациях, то на ipfw могут возникнуть сложности в реализации.

> Если
> первый, то вместе с mpd на первом или dummynet на втором?

  Один внешний, который рулит трафиком. Другой - внутренний, на котором внутренние сервисы. С ДМЗ-зоной и т.д.
  Вообще нужно смотреть нагрузку. Если бы не самба, то я бы все по клеткам распихал на одном сервере.
  Я использую jail + vnet. Клетки строятся самописным скриптом, имеется одна базовая со фсем софтом и апппликейшн-клетки под сервисы. Рулится все ipfw (per-inetrface acl). Для распределения нагрузки активно успользую, появившийся в 9.0, RACTL. Очень компактное и секурное решение получается.


> В идеале сделать самостоятельные серверы, чтобы обслуживание одного не останавливало сеть.
> Подскажите, как оптимальней распределить сервисы? Компы: 1) 2.8Prescott 1.5GbОЗУ 2)Barton2800+
> 1GbОЗУ

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 25-Ноя-13, 02:28 
>Для распределения нагрузки активно успользую, появившийся в
>9.0, RACTL. Очень компактное и секурное решение получается.

Для распределения по разным инет каналам?
=============
Нагрузка, пока что 40 юзеров. Мне бы скелет системы определить. Думается, больше нагрузки будет приходится на НАТ, если это можно назвать нагрузкой. И хостинг (php особенно),.. не то чтобы незаметен совсем.
А если так: на тот, что интел2.8(внешний) поставить ipfw(+dummynet чтоб шейпить когда первого компа нету), apache+mysql+php. На второй(внутренний) - mpd+ngcar+billing+apache_php+dns+dhcp Биллинг простенький буду использовать Поэтому нагрузка должна быть минимальная. Вот если бы UTM бесплатен был :) Еще вопрос: проц с HT и как PF с ним уживается в 9-ке? Самба под вопросом..может третим компом поставлю 3-й пенек с какой нибудь виндой самой дешевой ХР хоум например. Заодно обозреватель сети будет с wins. 100% юзеров на винде сидят. С шейпером вопрос какой меньше нагружает систему ngcar или dummynet?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Составной сервер"  +/
Сообщение от Дядя_Федор on 25-Ноя-13, 08:15 
> Биллинг простенький буду использовать

А биллинг Вам зачем, если не секрет? Разве у Вас не рабочая сеть, а сеть предоставления услуг (мини-провайдер, тык скыть)? Если да - то биллинг на фиг не вперся. Ну, разве что своих пользователей как-то ограничивать. Тут и какого-нибудь SAMS с головой бы хватило.

> Вот если бы UTM бесплатен был :)

В UTM своих тараканов хватает. Очень многое приходится делать при помощи "костылей" и какой-то матери. :) Хотя среди биллингов, пожалуй, самое бюджетное решение для небольшой сетки. На очень серьезных нагрузках приходится очень серьезное тюнить. Конкурент в этом ценовом сегменте у него LAN Billing, как мне кажется.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 25-Ноя-13, 08:50 
> сеть предоставления услуг (мини-провайдер, тык скыть)

Ну да, чтото вроде этого. И потом удобно: база пользователей, сами сверяют баланс и тд. Отключение пользователей тоже важно. А из бесплатных аналогов, какой заслуживает внимания, не подскажите?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Составной сервер"  +1 +/
Сообщение от 164Vitali164 (ok) on 25-Ноя-13, 10:22 
Интересная статейка: http://linuxbill.blogspot.com/2007/12/linux.html
------
NetAMS
Stargazer+ubilling
как варианты
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Составной сервер"  +/
Сообщение от Miha (??) on 25-Ноя-13, 12:24 
>> сеть предоставления услуг (мини-провайдер, тык скыть)
> Ну да, чтото вроде этого. И потом удобно: база пользователей, сами сверяют
> баланс и тд. Отключение пользователей тоже важно. А из бесплатных аналогов,
> какой заслуживает внимания, не подскажите?

Не, ну вы даете. Описывать же надо. Я так понял, что для предприятия. А вы типа домонета ваяете. Тут я бы сам написал. Смотрите в сторону ipfw/dummynet + pmacctd + готовый фронтэнд или самописный.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Составной сервер"  +/
Сообщение от михалыч (ok) on 25-Ноя-13, 14:07 
>> сеть предоставления услуг (мини-провайдер, тык скыть)
> Ну да, чтото вроде этого. И потом удобно: база пользователей, сами сверяют
> баланс и тд. Отключение пользователей тоже важно. А из бесплатных аналогов,
> какой заслуживает внимания, не подскажите?

есть порт /usr/ports/net/abills

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 25-Ноя-13, 18:16 
> есть порт /usr/ports/net/abills

Совсем забыл за него. С биллингом вроде определился. Хотя еще stargazer почитаю. Буду ставить freebsd на первый комп.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Составной сервер"  +/
Сообщение от lavr email on 25-Ноя-13, 22:43 
>> есть порт /usr/ports/net/abills
> Совсем забыл за него. С биллингом вроде определился. Хотя еще stargazer почитаю.
> Буду ставить freebsd на первый комп.

имеет смысл озаботится нормальными сетевыми картами


Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 26-Ноя-13, 08:13 
> имеет смысл озаботится нормальными сетевыми картами

Сетевые такие Intel PRO1000GT, Intel PRO100S, 3Com905Tx


Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Составной сервер"  +/
Сообщение от Дядя_Федор on 26-Ноя-13, 08:17 
>> имеет смысл озаботится нормальными сетевыми картами

Имеет смысл ознакомиться с правилами предоставления услуг телематики. ;) Чтобы потом не было мучительно больно за бесцельно прожитое прошлое. Это добрый совет. Который к теме, конечно, имеет очень опосредованное отношение.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 26-Ноя-13, 09:14 
> Имеет смысл ознакомиться с правилами предоставления услуг телематики ;)

Как уж тут не ознакомишься с нашей налоговой %) Изучаем понемногу
http://www.rom.by/forum/Zapishchal_trans_JJ-300T?page=9
А это моя самоделка :) Вторая чуток поплотнее

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 26-Ноя-13, 15:04 
Подскажите, по нагрузке на проц и стабильности, как оцениваются ng_car и dummynet?


Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 27-Ноя-13, 04:54 
Понятно, а нужны ли параметры ipfw\pf, если ната на компе не будет, - только mpd? Хочу ядро пересобрать.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 27-Ноя-13, 08:50 
Вопросы:
1. Какой толщины канал будет шейпиться\натиться?
2. Какие сетевые карты стоят, сколько ядер процессора и тактовые частоты?
3. Есть ли потребность вести логи кто-куда-сколько-когда?
4. по ВПНу, что в нем будет летать - только интернет или еще и локалка?
5. для какой цели делается фтп, самба и прочее?

конкретика:

1. Нат
самый быстрый натер - это ПФ с опцией агрессив, в 10.0 он еще и многоядерным будет

2. Шейпер
самый "правильный" шейпер - это dummynet

3. подходы
а)файловый сервер и роутинг вещи не совместимые
б)ВПН и услуги связи - беда, чем дальше тем больше
в)в серверах должны стоять карты под дровину igb и лучше, или на худой конец em (который не легаси)
г)в роутинге\шейпинге\нате нужна тактовая частота, поколение процов влияние оказывает но не так как тактовая частота и количество ядер, особенно в поточных дровах типа igb (8 очередей на порт, в карту с 4мя портами можно прибить 32 ядра, конечно этого много но 4 гигабита с адским PPS просрет на ура, джунипер подобного класса будет стоить от 1 млн.р.)
д)VPN - не связывайтесь ни при каких условиях, пусть свичи занимаются безопасностью.


память под роутеры:
Чисто роутеру потребуется 300-400-500мб памяти если увеличить буферы, раздуть очереди итд, минимальный запас x2 и того для роутера минимум гиг, МИНИМУМ.
ВПН, в принципе мпд нормальный демон, юзает нормальный нетграф, память сильно не жрет, на 50 рыл онлайна нужно мегабайт 200-300 памяти в т.ч. и самому МПД. если МПД будет отдельно от бордюрного роутера, то не забываем про 300-500мб роутера, и того если МПД будет отдельным, то желательно поставить 1.6гб-2гб на ВПН.

самба, фтп, биллинг (БД) - тут все тонко, все зависит от демонов применяемых и онлайна юзерского, от гига и до упаду.

по распределению:
на бордере можно поставить шейпер, нат, билинг, днс, дхцп и можно ВПН
на втором все остальное

схема с отказоустойчивостью при вырубании одного не вырисовывается, если ДХЦП можно сделать отказоустойчивым, то ДНС нет, без дикого колхоза и изврата который будет вечно глючить. Ну а про такие сервисы как нат или ВПН и говорить не приходится, их тупо некому будет заменить.


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Составной сервер"  +/
Сообщение от Miha (??) on 27-Ноя-13, 14:49 
> Вопросы:
> 1. Какой толщины канал будет шейпиться\натиться?
> 2. Какие сетевые карты стоят, сколько ядер процессора и тактовые частоты?
> 3. Есть ли потребность вести логи кто-куда-сколько-когда?
> 4. по ВПНу, что в нем будет летать - только интернет или
> еще и локалка?
> 5. для какой цели делается фтп, самба и прочее?
> конкретика:
> 1. Нат
> самый быстрый натер - это ПФ с опцией агрессив, в 10.0 он

  Ве чего? Агрессив даст вам восновном снижение расходов памяти, т.к. стейтов гораздо меньше будет.
Для себя я тестил новый ПФ, срузу как Глеб его в HEAD портировал, и ipfw (acl по интерфейсам). Выигрыш по загрузке CPU у ipfw около 5%. Для ISP - лучше ipfw+dummynet.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 27-Ноя-13, 14:59 
>   Ве чего? Агрессив даст вам восновном снижение расходов памяти, т.к.
> стейтов гораздо меньше будет.
>  Для себя я тестил новый ПФ, срузу как Глеб его в
> HEAD портировал, и ipfw (acl по интерфейсам). Выигрыш по загрузке CPU
> у ipfw около 5%. Для ISP - лучше ipfw+dummynet.

Тестировать можно по разному, например на потоке 5к пакетов, или 500.. В каком варианте ipfw выигрывал? :) Ну и есть такая особенность - чем больше данных в мозгах, тем ими сложнее оперировать.

По опыту, на канале в гигабит ПФ на высоте, чего про ipfw не сказать.. Плюс (вернее минус в огород ipfw) при нате ipfw нужно ключики выставлять one_pass что приводит к раздуванию правил или другим нежелательным последствиям, и еще - я вот не в курсе, глюк на пайпах пофиксили с one_pass=1 когда пакеты застревали в трубах на передергивании пайпов?

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Составной сервер"  +/
Сообщение от Miha (??) on 27-Ноя-13, 18:11 
>>   Ве чего? Агрессив даст вам восновном снижение расходов памяти, т.к.
>> стейтов гораздо меньше будет.
>>  Для себя я тестил новый ПФ, срузу как Глеб его в
>> HEAD портировал, и ipfw (acl по интерфейсам). Выигрыш по загрузке CPU
>> у ipfw около 5%. Для ISP - лучше ipfw+dummynet.
> Тестировать можно по разному, например на потоке 5к пакетов, или 500.. В
> каком варианте ipfw выигрывал? :) Ну и есть такая особенность -
> чем больше данных в мозгах, тем ими сложнее оперировать.

   Iperf'ом стандартным ТСР-пакетом. Цыфр с результатами нету по рукой.

> По опыту, на канале в гигабит ПФ на высоте, чего про ipfw
> не сказать.. Плюс (вернее минус в огород ipfw) при нате ipfw
> нужно ключики выставлять one_pass что приводит к раздуванию правил или другим

  А как раздуются правила на ПФ, когда у вас будет с пол-сотни вланов, для которых нужно прописать фильтрацию? А? В ipfw есть per-interface acl.

> нежелательным последствиям, и еще - я вот не в курсе, глюк
> на пайпах пофиксили с one_pass=1 когда пакеты застревали в трубах на
> передергивании пайпов?

  На практике с этим глюком не встечался. Видел на страничке у dadv'а описание этой проблемы. Ну дак у него до полторы тыщи активных p2p соединений на сервер. Пофиксили или нет не в курсе.
  Я нехочу с вами спорить на тему ipfw vs pf. Просто у каждого свое предназначение. Одним лучше рулить office/home, другим - ISP.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 27-Ноя-13, 19:04 
>   А как раздуются правила на ПФ, когда у вас будет
> с пол-сотни вланов, для которых нужно прописать фильтрацию? А? В ipfw
> есть per-interface acl.

ну дак я и говорю, для ната PF, все остальное - ipfw (в т.ч. думминет и пайпы)

>> нежелательным последствиям, и еще - я вот не в курсе, глюк
>> на пайпах пофиксили с one_pass=1 когда пакеты застревали в трубах на
>> передергивании пайпов?
>   На практике с этим глюком не встечался. Видел на страничке
> у dadv'а описание этой проблемы. Ну дак у него до полторы
> тыщи активных p2p соединений на сервер. Пофиксили или нет не в
> курсе.

было и у меня такое, слава богу разгреблись с ВПНом, кстати ничего страшного в таких количествах нет, было б железо да руки :)


>   Я нехочу с вами спорить на тему ipfw vs pf.
> Просто у каждого свое предназначение. Одним лучше рулить office/home, другим -
> ISP.

Согласен, ipfw/pf/прочее - это домашний уровень, джунипер/сиско/брокад - это уже ISP ;)

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

20. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 27-Ноя-13, 19:51 
> Вопросы:
> 1. Какой толщины канал будет шейпиться\натиться?
> 2. Какие сетевые карты стоят, сколько ядер процессора и тактовые частоты?
> 3. Есть ли потребность вести логи кто-куда-сколько-когда?
> 4. по ВПНу, что в нем будет летать - только интернет или
> еще и локалка?
> 5. для какой цели делается фтп, самба и прочее?

=============================
1) Всем привет. Сейчас подходит по волокну 50Мбит выделенки. Вожможно поднимется до 100Мбит.
2) Сетевые, от свича к шлюзам по 1Гбит(Intel PRO1000GT). Остальные: Intel PRO100S, и одна 3Com905TX(Возможно останется не у дел). 1-й комп Barton2800+(cpu2083MHzSocketA), 1Gb333DDR1. 2-й комп: Prescott HT 2.8GHzSocket478, FSB800, 1.5Gb400MHzDDR1
3) Логи, если имеется ввиду деятельность пользователей, то не нужны. Логи нужны только об  положении дел в системе(VPN, ftp..)
4) VPN только для инета.
5) FTP делается для удобства обслуживания и работы. Из варинтов: приходишь к пользователю, а он винду перебил только что и сидит, без дров, инета, софта. Понимаю, что нетбиос (самба)например, помог бы, но FTP мне больше нравится. А про нетбиос и не слышал бы)
=============================
У меня нет статистики, что потянет каждый из компов, а что нет. Вот за вчерашний день накопал, что ng_car менее прожорливый чем dummynet, и шейпит,  вроде как лучше, управление через freeradius, однако порождение нод в Netgraph его замедляет - основной минус. С другой стороны может ли dummynet управлятся биллингом? На сколько я понял, что может, поправьте если ошибаюсь. Работает в паре с ipfw. Ок, тогда если строить на 2- компах, можно шейп+нат на 1 компе сделать, впн, биллинг - на другом. Остальные компоненты - это уже нюансы. NAT, как я понял лучше у PF, но ALTQ слабоват. Давненько уже попадался патч для связки pf+dummynet, но информации о стабильности небыло. Попадались скрипты для улучшения дел с ng_car. Интересно как в 9-ке 10-ке с ним? Хотя врядли, что лучше. Вот основные вопросы: что личше в плане масштабируемости и увеличения пользователей mpd+ng_car или dummynet?

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. "Составной сервер"  +/
Сообщение от Дядя_Федор on 28-Ноя-13, 08:17 
> По опыту, на канале в гигабит ПФ на высоте, чего про ipfw
> не сказать..

Любопытно просто. У нас из 10 гигового канала забито в пике 6. Справился бы ipfw или нет? :)

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

22. "Составной сервер"  +/
Сообщение от Miha (??) on 28-Ноя-13, 10:46 
>> По опыту, на канале в гигабит ПФ на высоте, чего про ipfw
>> не сказать..
>  Любопытно просто. У нас из 10 гигового канала забито в пике
> 6. Справился бы ipfw или нет? :)

Думаю да. Стоимость оборудования будет большая, но все же дешевле чем cisco/juniper думаю раз в 5. Плюс, прямые руки нужны :-)

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 28-Ноя-13, 11:32 
>  Думаю да. Стоимость оборудования будет большая, но все же дешевле чем
> cisco/juniper думаю раз в 5. Плюс, прямые руки нужны :-)

да какая большая, сервер, можно даже dl180 и пара 10g карт, 150т.р., у нас примерно 5-7 гигабит пробегает только по нату - пиринг, каналы в тырнеты и прочее, ведает всем одно лезвие с 4мя портами 10г через вланы, все вроде нормально :) щас хотим 10ку дождаться и поставить под роутер процессоры с 40ВТ ТДП :) Во как :)

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 28-Ноя-13, 20:38 
Друзья, а по теме напишите что? Помогите разобраться с этим! Заказал еще две сетевые карты 1Гбит. Чтобы между шлюзами линк сделать на 1Гбит. А те драйверы, что идут в комплекти с freebsd, не подойдут?
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

27. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 29-Ноя-13, 09:06 
> Друзья, а по теме напишите что? Помогите разобраться с этим! Заказал еще
> две сетевые карты 1Гбит. Чтобы между шлюзами линк сделать на 1Гбит.
> А те драйверы, что идут в комплекти с freebsd, не подойдут?

Да вроде все рассказали, спрашивайте конкретно тогда..

Дрова дефолтные пойдут, во фре редко когда софт кривой или медленный идет в комплекте..
Карты нужно брать хорошие - это самое узкое место, из хороших только интел, под дровину igb (man igb - там скажут поддерживаемые модели), правда карты не дешевые. Тыщ 10-15 вроде за 2х портовую. На самый крайний случай под дровину em и если манить по ем то карты с припиской server, т.к. ем драйвер поддерживает еще и фуфловые интеловские карты типа HP NC 7170 (если память не изменяет) - pci-x и прочую ерунду. Отличие igb от em - аппаратные реализации карт, в igb 8ми поточная реализация, в em однопоточное, igb грузит ядра примерно равномерно, em упрется в производительность одного ядра, на практике это будет прокачка максимум 600 мегабит (+\-) на процессорах с 3ггц частотой при этом swi1:net будет грузить ядро под 100%, а на карте начнутся ошибки. Хотя пожалуй сейчас не swi1 будет а emX:task оно будет называться.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

28. "Составной сервер"  +/
Сообщение от lavr email on 29-Ноя-13, 14:23 
>> Друзья, а по теме напишите что? Помогите разобраться с этим! Заказал еще
>> две сетевые карты 1Гбит. Чтобы между шлюзами линк сделать на 1Гбит.
>> А те драйверы, что идут в комплекти с freebsd, не подойдут?
> Да вроде все рассказали, спрашивайте конкретно тогда..
> Дрова дефолтные пойдут, во фре редко когда софт кривой или медленный идет
> в комплекте..
> Карты нужно брать хорошие - это самое узкое место, из хороших только
> интел, под дровину igb (man igb - там скажут поддерживаемые модели),
> правда карты не дешевые. Тыщ 10-15 вроде за 2х портовую. На

бррр, что за ерунда...

Intel 82576EB == E1G42ET (Gigabit ET Dual Port), igb(4) средняя цена ~5800 руб

http://market.yandex.ru/model.xml?modelid=6166520&hid=91095

http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty...
http://www.kns.ru/vcd-399157-1-347951/goodsinfo.html
http://www.apitcomp.ru/shop/setevye_adaptery/intel/item138221/
http://digitalshop.ru/shop/Setevaya_karta_Intel_E1G42ET_...
http://www.meijin.ru/shoptvdscr?goodsid=89889

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

30. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 30-Ноя-13, 06:07 
> http://market.yandex.ru/model.xml?modelid=6166520&hid=91095
> http://shop.nag.ru/catalog/00006.Servery/02273.Setevye-karty...
> http://www.kns.ru/vcd-399157-1-347951/goodsinfo.html
> http://www.apitcomp.ru/shop/setevye_adaptery/intel/item138221/
> http://digitalshop.ru/shop/Setevaya_karta_Intel_E1G42ET_(OEM)_PCI-E_211289.html
> http://www.meijin.ru/shoptvdscr?goodsid=89889

Друг, прежде чем срать на вентилятор - подумай, ибо я говорил про новые карты не БУ.

пример
http://www.nix.ru/price/price_list.html?section=networking_i...

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

29. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 30-Ноя-13, 01:10 
> правда карты не дешевые. Тыщ 10-15 вроде за 2х портовую.
> правда карты не дешевые. Тыщ 10-15 вроде за 2х портовую.

Это не то, чтобы не дешево, это космос просто. Пока что карты интел, по 40$ ...все-так получше чем реалтек, за 5$ :)

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

31. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 30-Ноя-13, 06:09 
>> правда карты не дешевые. Тыщ 10-15 вроде за 2х портовую.
> Это не то, чтобы не дешево, это космос просто. Пока что карты
> интел, по 40$ ...все-так получше чем реалтек, за 5$ :)

не факт :)

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

32. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 30-Ноя-13, 07:59 
> не факт :)

Почему же??


Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

35. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 30-Ноя-13, 14:07 
>> не факт :)
> Почему же??

Потому что дешевые интела такие же софтовые как и карты с реалтеком, только чуть дороже стоят (за бренд), может конечно там и есть какой-либо чип, но от него сильно теплее не становится. Видел как-то серверок с 1 нормальной 2х портовой ЕМкой и 1 простая PCI интел стояла, дак вот на этом простом интеле трафик был порядка 250мб и грузила проц она в 2 раза больше чем карта с 2мя портами с более высокими нагрузками.

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

38. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 01-Дек-13, 01:32 
А как у em-ки модель польностью звучит? И сколько б\у стоят однопортовые:) А есть в этом секторе сетевых что-нибудь попроще, с нормальной аппаратной поддержкой?
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

39. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 01-Дек-13, 07:19 
> А как у em-ки модель польностью звучит? И сколько б\у стоят однопортовые:)
> А есть в этом секторе сетевых что-нибудь попроще, с нормальной аппаратной
> поддержкой?

модели лучше поискать на сайте интела, вот с такими чипами:

1. igb драйвер - он будет лучше
  o   Intel Gigabit ET Dual Port Server Adapter (82576)
  o   Intel Gigabit VT Quad Port Server Adapter (82575)

2. em драйвер - он хуже
     o   Intel PRO/1000 Gigabit Server Adapter (82542)
     o   Intel PRO/1000 MF Dual Port Server Adapter (82546)
     o   Intel PRO/1000 MT Dual Port Server Adapter (82546)
     o   Intel PRO/1000 MT Quad Port Server Adapter (82546EB)
     o   Intel PRO/1000 PF Dual Port Server Adapter (82571)
     o   Intel PRO/1000 PF Quad Port Server Adapter (82571)
     o   Intel PRO/1000 PF Server Adapter (82572)
     o   Intel PRO/1000 PT Dual Port Server Adapter (82571)
     o   Intel PRO/1000 PT Quad Port Server Adapter (82571)
     o   Intel PRO/1000 PT Server Adapter (82572)
     o   Intel PRO/1000 T Server Adapter (82543)
     o   Intel PRO/1000 XF Server Adapter (82544)
     o   Intel PRO/1000 XT Server Adapter (82544)

чипсеты указаны в скобках, карты могут быть и HP, и Dell, и других вендоров, главное на чип смотреть, некоторые карты с ЕМ драйвера я вырезал.

если мне не изменяет память, то юзал лично с 82571 дуалпорты и квадпорты, и 82575 квадпорт, нормальные карты, 82575 лучше только из-за 8ми аппаратных очередей на порт.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

25. "Составной сервер"  +/
Сообщение от Дядя_Федор on 29-Ноя-13, 08:50 
> да какая большая, сервер, можно даже dl180 и пара 10g карт, 150т.р.,

  Очень даже большая. :) У нас все это разруливает связка из цисок, 65xx с SUP720 плюс CISCO SCE-8080 (DPI+шейпинг). Про цену первых не скажу, а вот CSE Тоже 150К. Только не рублей. :)))))

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

26. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 29-Ноя-13, 08:56 
>> да какая большая, сервер, можно даже dl180 и пара 10g карт, 150т.р.,
>   Очень даже большая. :) У нас все это разруливает связка
> из цисок, 65xx с SUP720 плюс CISCO SCE-8080 (DPI+шейпинг). Про цену
> первых не скажу, а вот CSE Тоже 150К. Только не рублей.
> :)))))

если брать по ГПЛ то может и 150к :)

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

33. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 30-Ноя-13, 10:17 
Скажите, а есть какое-либо решение для такой задачи: нужно в зависимости от мак адреса, выдавать по ДНС соответствующий шлюз. Есть набор вланов на порт(влан\порт).На порт приходится по 4-5 пользователей. Соответственно в зависимости от порта, нужен разный шлюз. Т.е. как-то нужно идентифицировать хост для днс.
dns netmask ordering не совсем подходит


Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

34. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 30-Ноя-13, 13:58 
> Скажите, а есть какое-либо решение для такой задачи: нужно в зависимости от
> мак адреса, выдавать по ДНС соответствующий шлюз. Есть набор вланов на
> порт(влан\порт).На порт приходится по 4-5 пользователей. Соответственно в зависимости
> от порта, нужен разный шлюз. Т.е. как-то нужно идентифицировать хост для
> днс.
> dns netmask ordering не совсем подходит

шлюз по идее выдаётся с ДХЦП сервера, там по макам можно много чего выдать, даже статические маршруты (не более 32х вроде).

делается в принципе все просто, ДХЦП включается во все нужные вланы и настраиваются зоны на раздачу только на основе маков.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

36. "Составной сервер"  +/
Сообщение от Дядя_Федор on 30-Ноя-13, 20:36 
Чтобы работала связка по ДХЦП в зависимости от влана - нужна поддержка Option82. Вот на тему оного и гуглим (читаем, изучаем).


Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

40. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 01-Дек-13, 07:25 
> Чтобы работала связка по ДХЦП в зависимости от влана - нужна поддержка
> Option82. Вот на тему оного и гуглим (читаем, изучаем).

мм.. все сложно, есть на фре интерфейсы - vlan1, vlan2, ..., vlanX
ДХЦП серверу говорим где и как слушать (на каких интерфейсах) и с каких зон раздавать, хотя в принципе и это не обязательно если юзер в сети имеет уникальный мак (что собственно должно быть по умолчанию) и уникальную запись в ДХЦП. А защиту можно делать скажем с помощью ДХЦП снупинг на свичах, привязкой ИП+МАК к портам, или просто АЦЛки вешать на нежелательный трафик - типа левый ДХЦП или чего еще.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

43. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 01-Дек-13, 11:30 
>> Чтобы работала связка по ДХЦП в зависимости от влана - нужна поддержка
>> Option82. Вот на тему оного и гуглим (читаем, изучаем).
> мм.. все сложно, есть на фре интерфейсы - vlan1, vlan2, ..., vlanX
> ДХЦП серверу говорим где и как слушать (на каких интерфейсах) и с
> каких зон раздавать, хотя в принципе и это не обязательно если
> юзер в сети имеет уникальный мак (что собственно должно быть по
> умолчанию) и уникальную запись в ДХЦП. А защиту можно делать скажем
> с помощью ДХЦП снупинг на свичах, привязкой ИП+МАК к портам, или
> просто АЦЛки вешать на нежелательный трафик - типа левый ДХЦП или
> чего еще.

Спасибо, понял, куда рыть.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

44. "Составной сервер"  +/
Сообщение от Дядя_Федор on 01-Дек-13, 13:00 
Завтра гляну в настройках дружественной сети - как у них разрулены настройки дхцп серверов. Помню навскидку, что там несколько процессов дхцп - каждый вешается на свой ИП (в разных вланах), каждый со своим конфигом. Вся эта петрушка активно использует Option82 (разумеется, ее должны поддерживать и оконечные свичи). Ну и все это требует, конечно, дополнительной работы от монтажников, которые подключают абонентов - они через Веб-морду вносят настройки (номер порта свича, номер влана) - все это заносится скриптом в конфиг дхцп и передергивается процесс дхцп. То есть - не используются маки - используются номера портов свича а точнее - влан, в который воткнута сетевая абонента. Разумеется, все это реализовано на базе технологии VLAN per user. Вопрос защиты от пионэров-хацкеров решен автоматически. :)
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

37. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 30-Ноя-13, 21:04 
Точнее, адрес ВПН сервера, а не шлюз. Ошибся.
У клиента прописан адрес ВПН сервера в клиенте, далее он обращается на шлюз, к ДНС, для его разрешения, и в зависимости от порта, получает соотв. адрес. Получается, что критерием все-таки является порт коммутатора(порты все прокинуты на шлюз, каждый на соотв. интерфейс).
Эту систему настраиваю на старом шлюзе. Но впринципе, это теория, так что на любой оси пригодится. Как приедут сетевые - возьмусь за новый :)

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

41. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 01-Дек-13, 07:26 
> Точнее, адрес ВПН сервера, а не шлюз. Ошибся.
> У клиента прописан адрес ВПН сервера в клиенте, далее он обращается на
> шлюз, к ДНС, для его разрешения, и в зависимости от порта,
> получает соотв. адрес. Получается, что критерием все-таки является порт коммутатора(порты
> все прокинуты на шлюз, каждый на соотв. интерфейс).
> Эту систему настраиваю на старом шлюзе. Но впринципе, это теория, так что
> на любой оси пригодится. Как приедут сетевые - возьмусь за новый
> :)

вопрос, а серверов VPNa сколько будет?

чем сильней накрутите огород, тем больше вероятности глюка в этом огороде, делайте все проще, как можно проще. Да, и когда начнёте переделывать на костылях построенную систему в нормальный вид, будет ой как трудно :) Учитесь на моих ошибках, своих еще наделаете кучу :)

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

42. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 01-Дек-13, 11:26 
> Да, и когда начнёте переделывать на
> костылях построенную систему в нормальный вид, будет ой как трудно :)

Это точно! Там уже на старой, накручено столько, что ужс. Но, если посмотреть с другой стороны... как можно построить функциональную систему без денег? С помощью костылей:)
На одном компе работает: впн, почтовик в обе стороны в лан и в инет, хостинг с сайтом в обе стороны, фтп в обе, нат+шейпер, радио в лан, 2 днса с репликацией зон меж собой, дхцп.. и наверно все. А теперь вот, не хватает производительности, если бы хватало простоял еще бы 5 лет :) Теперь хочу вот по нормальному сделать. Серверов ВПН один будет.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

45. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 02-Дек-13, 05:23 
если не хватает железа, то значит задачи растут, нужно грейдиться..
и по возможности под всякую ересь типа ФТП, радиво, сцайт лучше поставить отдельную железку.
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

46. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 07-Дек-13, 05:51 
Доброго времени. Буду ставить 9.0, но с 8-ки остался вопрос. При разметке слайса и создании больше 4-х (видимо)разделов в Disk Editor, вместо типа файловой системы стоят X. А далее, в DIsk LableEditor, назначение точки монтирования на них, не срабатывает. Означает ли это ограничение на количество разделов?

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

47. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 08-Дек-13, 06:42 
> Доброго времени. Буду ставить 9.0, но с 8-ки остался вопрос. При разметке
> слайса и создании больше 4-х (видимо)разделов в Disk Editor, вместо типа
> файловой системы стоят X. А далее, в DIsk LableEditor, назначение точки
> монтирования на них, не срабатывает. Означает ли это ограничение на количество
> разделов?

Что-то вы не так делаете, я точно не помню про разметку, обычно это все на автопилоте делается и не очень часто, но то что можно создать более 4х слайсов - это точно.

Можно сначала создать все стандартно, потом после установки "добить" необходимое, в какой-то версии фри были проблемы с разметкой диска, но это точно не на 8.х, 9.х

кстати, а диск случаем не более 2х ТБ? я что-то на фрях не сталкивался с дакого рода дисками под ОС.

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

48. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 08-Дек-13, 16:33 
> кстати, а диск случаем не более 2х ТБ?

Диск SATA 1(150) 320Gb
Так понял, что это необходимые разделы, логи будут и почта тоже:
/
/tmp
/var
/swap
/usr
А /boot нужен как отдельный раздел?

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

49. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 09-Дек-13, 06:34 
Совсем забыл, лежит у меня материнка P45T-C51(775), бордер лучше собрать, наверно, на ней. Вопрос, какой проц поставить Core2Duo и Core2Quad? Есть пара PCI Express X1 слотов. Сетевые лучше express?
Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

50. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 13-Дек-13, 03:26 
С разбивкой разобрался, все нормально. Установил9-ку. Теперь такой вопрос. Если я установлю один мпд, без ipfw,pf, будут ли пакеты с выхода мпд сыпаться в другой интерфейс? Соответственно, интерфейс сделать в подсети мпд и со шлюзом по умолчанию.


Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

52. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 13-Дек-13, 06:36 
> С разбивкой разобрался, все нормально. Установил9-ку. Теперь такой вопрос. Если я установлю
> один мпд, без ipfw,pf, будут ли пакеты с выхода мпд сыпаться
> в другой интерфейс? Соответственно, интерфейс сделать в подсети мпд и со
> шлюзом по умолчанию.

за маршрутизацию отвечает опция в /etc/rc.conf gateway_enable="YES"
если она есть, то пришедший пакет в любой интерфейс будет переброшен на другие интерфейсы согласно правил маршрутизации (netstat -rn).

Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

54. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 13-Дек-13, 10:53 
> за маршрутизацию отвечает опция в /etc/rc.conf gateway_enable="YES"
> если она есть, то пришедший пакет в любой интерфейс будет переброшен на
> другие интерфейсы согласно правил маршрутизации (netstat -rn).

Наверное, pf прийдется поставить, чтобы роутить между вланами? Игровые порты, файлообмен..

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

53. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 13-Дек-13, 09:26 
> С разбивкой разобрался, все нормально. Установил9-ку.

Сменил MBR->GPT.

Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

51. "Составной сервер"  +/
Сообщение от 2ihi email(ok) on 13-Дек-13, 06:33 
> Совсем забыл, лежит у меня материнка P45T-C51(775), бордер лучше собрать, наверно, на
> ней. Вопрос, какой проц поставить Core2Duo и Core2Quad? Есть пара PCI
> Express X1 слотов. Сетевые лучше express?

Конечно лучше квад поставить, сетевые лучше pci-e ставить, правда 1х я не встречал карт.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

55. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 17-Дек-13, 12:18 
Всем привет. Хочу подключить инет к компу bsd по vpn. Или плохо ищу или так и есть - если  vpn, то только через mpd. Должен же быть простой vpn клиент? :)


Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

56. "Составной сервер"  +/
Сообщение от lavr email on 17-Дек-13, 13:50 
> Всем привет. Хочу подключить инет к компу bsd по vpn. Или плохо
> ищу или так и есть - если  vpn, то только
> через mpd. Должен же быть простой vpn клиент? :)

VPN вообще простая технология, какую предпочитаете: PPTP, L2TP/IPSec, OpenVPN ? :)

Вы сами выбираете вариант VPN у провайдера?

ps. PoE или PPPoE - довольно просты, но это как бы и не VPN.

Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

57. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 18-Дек-13, 08:26 
> Вы сами выбираете вариант VPN у провайдера?

Что-то вроде этого:) У меня пока что виндовый шлюз с rras (pptp+l2tp). Для настройки, freebsd буду подклчать к нему. Нашел статейку по клиенту, буду пробовать
http://savio.km.ua/2009/06/09/vpn-%D0%BA%D0&#.../
Не будут ли мешаться друг другу этот клиент и мпд? Мпд пока не ставил.
Уйма вопросов возникает,..ужас просто. Лучше бы я в 97-м с *nix начал. Но технаре за w95 посадили. Вот и попался.

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

58. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 17-Фев-14, 20:44 
Всем доброго времени. Подскажите, какая сетевая будет получше, из pci-e x1? На материнке(P45T-C51 Проц Е8400-3ГГц, 4Гб-ДДР2-800) есть 2 слота х1. Хочу вход и выход сделать на сетевых х1. Поиск выдает примерно следующее:
http://scandata.ru/shop/servernoe-i-setevoe-oborydovanie/dnn...
http://scandata.ru/shop/servernoe-i-setevoe-oborydovanie/dnn...
http://scandata.ru/shop/servernoe-i-setevoe-oborydovanie/dnn...
-----------еще ссылки------------
http://www.intel.com/products/desktop/adapters/pro1000pt/pro...
http://www.nix.ru/autocatalog/networking_intel/Intel_EXPI940...
http://www.fcenter.ru/product/goods/94748-Set_karta_Ethernet...
---------------------------------
Основная масса сетевых в районе 1000руб, а РТ - около 3500. Интересно, будет ли преимущество от РТ?
Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

59. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 25-Дек-15, 19:10 
Всем доброго времени. ...Почитал свои прошлые темы..такой бред, что не по себе как-то))) Ностальгия аж пробирает))
Хотя и сейчас наверное не особо лучше будет)..
В последнее время поболее времени получается уделять изучению фри, естессно не без косяков. При загрузке freebsd9.2 release, гдето пару дней назад, сразу после сообщений инициализации сети, стало появляться собщение:
ELF ldconfig path... и далее список путей. После этого: Creating or trimming log files(примерно).
Хочу спросить, сообщение ELF ldconfig... оно сигнализирует об ошибке, или вывод этого сообщения включается отключается? и само по себе не означает ошибок?
Попадались типичные примеры логов загрузки, в том же хендбуке, где присутствовало это сообщение, но про ошибки не говорилось. Как я понял тут, с форума, и со статей в нете, такое сообщение проявляется на пару с ошибками. Попадалось: vi recover, парава на каталоги, удаление модулей, sendmail и разрешение адресов. А как быть если никаких ошибок не выводится и в логах тоже?
До этого эксперементировал с apcupsd - пытаюсь сделать, чтобы отключался упс вместе с системником. Правил файлы /etc/rc.d  /etc/apcupsd. Поставил portupgtate и обновил apsupsd.
Русифицировал консоль и вывод, но стало непривычно.. Все записи убрал с rc.conf ,в остальных файлах закомментил.
Попробовал включить заставку) через sysinstall, но стало выдаваться сообщение, что не удалось загрузить модуль заставки+ появились ошибки в rc.conf. sysinstall добавил криво метку времени. +воткнул blacktime в /default/rc.conf. Ранее, при замене ядра заставку я отключил. Модуля кстати отсутствуют в /boot/modules, а присутствуют в /boot/kernel. Но в kernel.konf путь именно на первое местоположение.
Такие вот нехитрые действия. А сообщение появляться начало. В чем может быть причина?
Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

60. "Составной сервер"  +/
Сообщение от 164Vitali164 (ok) on 27-Янв-17, 19:28 
Привет всем. Подскажите днс сервер под фрю, умеющий отдавать в разные интерфейсы соответствующий подсети ответ. Если запрашиваемый домен один и тот же.
Если проще - то можно ли сделать ответ ДНС сервера зависимым от запрашивающего IP?
То есть спрашивает айпи из диапазона 10.24.. про server.ru, ДНС ему отдает 10.24.0.1
А если спрашивает 192.168.. про тот же server.ru ДНС возвращает 192.168.0.1
Присмотрелся к powerdns, но суппорт молчит чтото.
Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру