The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Тормоза роутера FreeBsd."
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Открытые системы на сервере (Маршрутизация, NAT / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Тормоза роутера FreeBsd."  +/
Сообщение от student007 (ok) on 17-Дек-09, 19:50 
Стоит роутер на FreeBsd  
uname -a FreeBSD GateWay.ххх.ru 7.2-RELEASE-p3.
Роутит на прямую на машины 1 - фтп/хттп сервер(нагрузка малая) пара тройка хостов. 2,3 машины раздающие инет на локалки.3 сервер потребляет мало. но входят они в один влан. т.е. фактически в один порт роутера. на роутере сетевые встроенная гигабитная и обычная 100ка Длинк.
Канал 22Мб.
2 сервер количество потребителей примерно 300-400. постоянно пользующих инет где то 150 180. поток примерно такой:
          Max                      Average                   Current
In    18.9 Mb/s (47.1%)    6230.1 kb/s (24.8%)     9699.9 kb/s (38.5%)
Out    10.5 Mb/s (45.8%)     2603.0 kb/s (10.3%)     2168.6 kb/s (8.6%)
такой примерно всегда.  
Вобщем когда было пользователей меньше. даже не так когда было меньше постоянно юзающих канал. http трафик не тормозил. да и вобще.... Ну сейчас такая ситуация даже с пограничного роутера качает оч слобо не больше 100кб. если качаю торрентом или каким нить менеджером поддерживающих много соединений то качает на всю....
Вопрос по пограничному роутеру на котором стоит
uname -a FreeBSD GateWay.ххх.ru 7.2-RELEASE-p3 думаю он не справляется с чем то....с потоком трафика или с чем не могу выяснить...
вобщем данные роутера

ядро
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=100
options IPDIVERT
options IPFIREWALL_FORWARD
options DUMMYNET
options IPFILTER
options IPFILTER_LOG
options NSFBUFS=32768
options DEVICE_POLLING
options HZ=2000

sysctl
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.udp.maxdgram=65535
net.inet.icmp.drop_redirect=1
net.inet.tcp.drop_synfin=1
net.inet.icmp.log_redirect=0
net.inet6.ip6.redirect=0
net.link.ether.inet.max_age=1200
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0
kern.maxfiles=100000
kern.maxfilesperproc=90000
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.msl=7500
net.inet.icmp.icmplim=50
kern.polling.enable=1
kern.polling.user_frac=10
kern.ipc.somaxconn=32786
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
kern.ipc.nmbclusters=65535

top -S
last pid: 12289;  load averages:  0.00,  0.05,  0.04                                                        up 1+08:52:14  19:39:39
84 processes:  2 running, 65 sleeping, 17 waiting
CPU:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 18M Active, 231M Inact, 164M Wired, 112M Buf, 1585M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   11 root        1 171 ki31     0K     8K RUN     29.6H 100.00% idle: cpu0
   14 root        1 -44    -     0K     8K WAIT   151:29  0.00% swi1: net
   12 root        1 -32    -     0K     8K WAIT    23:06  0.00% swi4: clock sio
   33 root        1 -68    -     0K     8K -        7:26  0.00% dummynet
   15 root        1 -16    -     0K     8K -        6:00  0.00% yarrow
   40 root        1  20    -     0K     8K syncer   1:09  0.00% syncer
    3 root        1  -8    -     0K     8K -        0:04  0.00% g_up
    4 root        1  -8    -     0K     8K -        0:04  0.00% g_down
    2 root        1  -8    -     0K     8K -        0:03  0.00% g_event
  821 root        1  44    0  4052K  2440K select   0:02  0.00% httpd
   25 root        1 -64    -     0K     8K WAIT     0:02  0.00% irq22: atapci1
  922 root        1  44    0  5876K  3368K select   0:02  0.00% sendmail
   41 root        1 -16    -     0K     8K sdflus   0:01  0.00% softdepflush
  911 root        1  44    0  5752K  3256K select   0:01  0.00% sshd
  731 root        1  44    0  3184K  1224K select   0:00  0.00% syslogd
    0 root        1 -16    0     0K     0K sched    0:00  0.00% swapper
  932 root        1   8    0  3212K  1276K nanslp   0:00  0.00% cron
11154 user        1  44    0  8428K  3948K select   0:00  0.00% sshd
что пугает так постоянно работающий dummynet. на втором и 3м сервере он хоть и включен но не так работает. но там сетевые Интелы гигабитные стоят.... но я чета не верю что это из за сетевых карт...

netstat -rm
388/767/1155 mbufs in use (current/cache/total)
386/644/1030/25600 mbuf clusters in use (current/cache/total/max)
386/638 mbuf+clusters out of packet secondary zone in use (current/cache)
0/44/44/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
869K/1655K/2524K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/4/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines
а для сравнения интеловской карты со второго сервера:
netstat -rm
1479/1476/2955 mbufs in use (current/cache/total)
1311/653/1964/25600 mbuf clusters in use (current/cache/total/max)
1311/609 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/0 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/0 9k jumbo clusters in use (current/cache/total/max)
0/0/0/0 16k jumbo clusters in use (current/cache/total/max)
3075K/1675K/4750K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/5/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

машина пустая тока рутит.... т.е. еси забито 10мб и еше в канале есть  12 я качаю на 100кб....

Подскажите куда капать? что увеличивать...может сетевые лагают....но я что то так не думаю.... и вобще фря если просто рутит канал способна пропускать через себя спокойно большие потоки?   раньше когда был потом 2 3 мб все летало....а сча http ftp оч сильно залогало....но всякие торренты там или менеджеры качают как нада.... может какие буферы прокачать? Хотелось бы услышать мнения тех у кого работает на фре роутер и рутит канал больше 5 7 мб....
Может для кого то вопросы бональны...но я надеюсь услышать отзывы...ответы мне оч важны :)

еще дополнения
sysctl -a | grep poll
kern.dcons.poll_hz: 100
kern.polling.idlepoll_sleeping: 1
kern.polling.stalled: 0
kern.polling.suspect: 0
kern.polling.phase: 0
kern.polling.enable: 1
kern.polling.handlers: 3
kern.polling.residual_burst: 0
kern.polling.pending_polls: 0
kern.polling.lost_polls: 1048920
kern.polling.short_ticks: 1061
kern.polling.reg_frac: 20
kern.polling.user_frac: 10
kern.polling.idle_poll: 0
kern.polling.each_burst: 5
kern.polling.burst_max: 150
kern.polling.burst: 150
debug.acpi.ec.polled: 0

sysctl -a | grep net.inet.ip.intr_queue_maxlen
net.inet.ip.intr_queue_maxlen: 50

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Тормоза роутера FreeBsd."  +/
Сообщение от аноним on 17-Дек-09, 23:18 
Давайте жалезо, как минимум ifconfig. Потому что там у вас, natd? Если natd, сразу менять на ipfw nat или pf, если есть недосетевухи типа rl, сразу менять на fxp, настройки все свои убирайте к чертям, и не трогайте, если не понимаете что делаете. Polling тоже выкидывайте нахрен.

Третий пень раздает 100Mbit на сотню пользователей, подключенных по VPN с шейпингом и NAT, с загрузкой CPU не более 20-30%.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Тормоза роутера FreeBsd"  +/
Сообщение от student007 (ok) on 18-Дек-09, 09:31 
Нет ната. Железка как отбойник.она рутит на сервера которые раздают интернет....там внутри тоже полная Ж.... но сейчас разговор о крайнем маршрутизаторе.
ну а на нем:
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=38db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
        ether 00:24:8c:9f:cf:a5
        inet 1.2.1.2 netmask 0xffffffe0 broadcast 1.2.1.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
vr0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=2848<VLAN_MTU,POLLING,WOL_UCAST,WOL_MAGIC>
        ether 00:21:91:90:5c:91
        inet 2.1.4.2 netmask 0xfffffffc broadcast 2.1.4.3
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> metric 0 mtu 1500
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Тормоза роутера FreeBsd"  +/
Сообщение от GD on 18-Дек-09, 13:17 
>[оверквотинг удален]
>        media: Ethernet autoselect (100baseTX <full-duplex>)
>        status: active
>plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> metric 0 mtu 1500
>lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
>        inet6 fe80::1%lo0 prefixlen 64
>scopeid 0x5
>        inet6 ::1 prefixlen 128
>
>        inet 127.0.0.1 netmask 0xff000000
>

потери пакетов есть? большие?
какой round-trip при типичной нагрузке?
какой round-trip при полном снятии нагрузки?

слишком странный выбор сетевых для маршрутизатора, в купе с polling-ом
хотя 22Мб - это копейки, правда смотря какой pps генерят ваши потребители...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Тормоза роутера FreeBsd"  +/
Сообщение от student007 (ok) on 18-Дек-09, 15:12 
>потери пакетов есть? большие?
>какой round-trip при типичной нагрузке?
>какой round-trip при полном снятии нагрузки?
>
>слишком странный выбор сетевых для маршрутизатора, в купе с polling-ом
>хотя 22Мб - это копейки, правда смотря какой pps генерят ваши потребители...
>

Потери пакетов примерно 5%-7%
загрузка в данный момент
Max    Average    Current
In    10.2 Mb/s (40.7%)    6358.8 kb/s (25.3%)     7410.6 kb/s (29.4%)
Out    11.5 Mb/s (45.8%)     2247.6 kb/s (8.9%)     2040.5 kb/s (8.1%)
поставили карты какие были....ну сегодян заменю попробую...
С роутера качать начинаю выше 100кбс не поднимается....точнее сперва поднимается потом падает и примерно до 70кбс продолжает падать.... а если всякими клиентами качать то все норм...я так понимаю дропаются пакеты??? Поллинг отрубал проц загрузка выраставет на 20% толку по скорости нет....
--- mail.ru ping statistics ---
278 packets transmitted, 262 packets received, 5.8% packet loss
round-trip min/avg/max/stddev = 19.866/21.427/30.115/1.516 ms

systat 2 -ifstat

                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average

      Interface           Traffic               Peak                Total
            lo0  in      0.000 KB/s          0.000 KB/s          278.299 KB
                 out     0.000 KB/s          0.000 KB/s          278.299 KB

            vr0  in    795.053 KB/s        795.053 KB/s            3.302 GB
                 out   311.492 KB/s        311.492 KB/s          449.054 MB

            re0  in    311.636 KB/s        311.636 KB/s            3.871 GB
                 out   792.525 KB/s        792.525 KB/s            2.270 GB

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Тормоза роутера FreeBsd"  +/
Сообщение от student007 (ok) on 18-Дек-09, 16:15 
На пограничном роутере такая беда:
карта смотрящая в мир
netstat -I re0 -w1
            input          (re0)           output
   packets  errs      bytes    packets  errs      bytes colls
      1726     0     426528       1864     0    1128225     0
      1748     0     553352       1781     0    1181314     0
      1791     0     708699       1791     0    1149157     0
      1560     0     299250       1748     0    1204802     0
     ...........

Карта смотрящая на серверы 3 сервера:
packets  errs      bytes    packets  errs      bytes colls
      1723     0    1173248       1666     0     451084     0
      2025     0     966951       2197     0     935125     0
      1882     0    1144024       1879     0     580569     0
      1545     0    1159496       1655     0     404674     0
      1591     0    1116289       1808     0     587273     0
      1775     0    1137849       1702     0     329608     0
      1812     0    1007686       2096     0     745693     0
      1796     0    1014755       1927     0     795882     0
      1710     0     959455       2167     0     969878     0
............

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Тормоза роутера FreeBsd"  +/
Сообщение от student007 email(??) on 05-Янв-10, 14:15 
Так и не решилась проблема... отрываю нагрузку от сервера всю, делаю ping потери по 10%.
ПЫтался уже и гуру нам помочь....что то не вышло...)))
Подскажите что можно проверить....Железо меняли...полностью другую тачку ставили...но с таким же типом сетевых правда...ну мы то и всю нагрузку отрывали в этот момент...)
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Тормоза роутера FreeBsd"  +/
Сообщение от napTu (ok) on 18-Фев-10, 18:19 
>Так и не решилась проблема... отрываю нагрузку от сервера всю, делаю ping
>потери по 10%.
>ПЫтался уже и гуру нам помочь....что то не вышло...)))
>Подскажите что можно проверить....Железо меняли...полностью другую тачку ставили...но с таким же типом
>сетевых правда...ну мы то и всю нагрузку отрывали в этот момент...)
>

чудес не бывает.
ipfw add 1 allow ip from any to any и искать где потери, в сетевых или в кабеле или в свичах...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру