URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 89875
[ Назад ]

Исходное сообщение
"Мистика между двумя сервера..."

Отправлено OlegUA , 23-Сен-10 18:00 
Замучался уже, помогите кто-то ) С недавнего времени (3-4 дня) началась какая-то мистика между двумя серверами на FreeBSD.

Такая схема:
1 сервер: FrssBSD 8. Один сетевой интерфейс, основной айпи белый внешний, алиасом сидит айпи из локалки.
2 сервер: FreeBSD 7.1. 2 сетевых интерфейса, первый с белым айпи внешним, второй с айпи внутрь локалки.

Система такая на первом стоит мейл сервер, днс и прокси которая коннектится ко второму серверу на котором тоже прокси и пользует его по другому каналу инета. За последнее время в оборудовании не менялось ничего.
Происходит такая ситуация, в какой-то промежуток времени (каждый раз разный) 1 сервер перестает видеть второй (по айпи локалки) и наоборот, в етоже время другие сервера и компы в локалке без проблем видят оба сервера. Делаю довн/ап внутренего интерфейса на сервере 2 все становится на свои места, все работает до последующего мистического сбоя... Даже без понятия в какую сторону копать, в логах ничего не пишется (((


Содержание

Сообщения в этом обсуждении
"Мистика между двумя сервера..."
Отправлено Xaionaro , 23-Сен-10 18:20 
>[оверквотинг удален]
>Система такая на первом стоит мейл сервер, днс и прокси которая коннектится
>ко второму серверу на котором тоже прокси и пользует его по
>другому каналу инета. За последнее время в оборудовании не менялось ничего.
>
>Происходит такая ситуация, в какой-то промежуток времени (каждый раз разный) 1 сервер
>перестает видеть второй (по айпи локалки) и наоборот, в етоже время
>другие сервера и компы в локалке без проблем видят оба сервера.
>Делаю довн/ап внутренего интерфейса на сервере 2 все становится на свои
>места, все работает до последующего мистического сбоя... Даже без понятия в
>какую сторону копать, в логах ничего не пишется (((

Для начала dmesg и tcpdump на момент проблемы.

А вообще по поводу первого сервера, в случай отсутствия возможности воткнуть вторую сетевую карту, советую использовать dot1q. Объединять локальную сеть с сетью провайдера - идея, IMHO, плохая.


"Мистика между двумя сервера..."
Отправлено OlegUA , 23-Сен-10 18:28 
>[оверквотинг удален]
>>другие сервера и компы в локалке без проблем видят оба сервера.
>>Делаю довн/ап внутренего интерфейса на сервере 2 все становится на свои
>>места, все работает до последующего мистического сбоя... Даже без понятия в
>>какую сторону копать, в логах ничего не пишется (((
>
>Для начала dmesg и tcpdump на момент проблемы.
>
>А вообще по поводу первого сервера, в случай отсутствия возможности воткнуть вторую
>сетевую карту, советую использовать dot1q. Объединять локальную сеть с сетью провайдера
>- идея, IMHO, плохая.

в dmesg ничего,дампом не проходился... правда локалка и пров не объединены, все разруливает кошко-роутер. просто такая схема работает уже пару лет и тут на тебе такое (((


"Мистика между двумя сервера..."
Отправлено Aquarius , 23-Сен-10 19:12 
>
>Для начала dmesg и tcpdump на момент проблемы.
>
>А вообще по поводу первого сервера, в случай отсутствия возможности воткнуть вторую
>сетевую карту, советую использовать dot1q. Объединять локальную сеть с сетью провайдера
>- идея, IMHO, плохая.

я так понял, они в одном сегменте, то есть, по сути сервер в недо-DMZ


"Мистика между двумя сервера..."
Отправлено Aquarius , 23-Сен-10 19:14 
желательно подробнее топологию, grep'ы rc.conf, ifconfig, netstat -rn

"Мистика между двумя сервера..."
Отправлено OlegUA , 23-Сен-10 19:35 
>желательно подробнее топологию, grep'ы rc.conf, ifconfig, netstat -rn

rc.conf:
accounting_enable="YES"
defaultrouter="xxx.xxx.147.177"
gateway_enable="YES"
hostname="hosting.xxxxxxxxx"
ifconfig_em0="inet xxx.xxx.147.180  netmask 255.255.255.248"
ifconfig_em1="inet 192.168.8.220  netmask 255.255.252.0"
inetd_enable="YES"
keymap="ru.koi8-r"
linux_enable="YES"
moused_enable="NO"
moused_type="NO"
named_enable="YES"
router="/sbin/routed"
router_enable="YES"
router_flags="-q"
sshd_enable="YES"
usbd_enable="NO"
#Services
apache22_enable="YES"
mysql_enable="YES"
proftpd_enable="YES"
exim_enable="YES"
sendmail_enable="NONE"
clamav_clamd_enable="YES"
courier_imap_pop3d_enable="YES"
courier_imap_imapd_enable="YES"
courier_authdaemond_enable="YES"
squid_enable="YES"
teamspeak_enable="YES"
nagios_enable="YES"
ststic_routes="vpn"
route_vpn="192.168.5.0/24 192.168.9.2"

%ifconfig
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>
        ether 00:03:47:30:2d:48
        inet xxx.xxx.147.180 netmask 0xfffffff8 broadcast xxx.xxx.147.183
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=9b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM>
        ether 00:03:47:30:2d:49
        inet 192.168.8.220 netmask 0xfffffc00 broadcast 192.168.11.255
        media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> metric 0 mtu 1500
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4
        inet6 ::1 prefixlen 128
        inet 127.0.0.1 netmask 0xff000000

%netstat -rn
Routing tables

Internet:
Destination        Gateway            Flags    Refs      Use  Netif Expire
default            xxx.xxx.147.177      UGS         0 13364688    em0
xxx.xxx.147.176/29   link#1             UC          0        0    em0
xxx.xxx.147.177      00:1f:ca:e2:55:00  UHLW        2        0    em0    205
xxx.xxx.147.180      00:03:47:30:2d:48  UHLW        1    21065    lo0
127.0.0.1          127.0.0.1          UH          0   216609    lo0
192.168.8.0/22     link#2             UC          0        0    em1
192.168.8.230      00:1c:c5:41:67:81  UHLW        1        2    em1   1182
192.168.8.231      00:16:e0:c7:6f:41  UHLW        1        3    em1   1182
192.168.9.2        00:14:5e:fd:86:b0  UHLW        1        0    em1    999
192.168.9.37       90:e6:ba:db:a7:f8  UHLW        1       27    em1   1193
192.168.9.220      00:1a:64:6e:15:35  UHLW        1   721699    em1   1089


"Мистика между двумя сервера..."
Отправлено mef , 23-Сен-10 19:20 
Мона скриптик по крону написать:
ifconfig em0 down
sleep5
ifconfig em0 up

"Мистика между двумя сервера..."
Отправлено OlegUA , 23-Сен-10 19:35 
>Мона скриптик по крону написать:
>ifconfig em0 down
>sleep5
>ifconfig em0 up

Да пока так и работает, но ето всетаки не выход (


"Мистика между двумя сервера..."
Отправлено Vitalik , 23-Сен-10 22:38 
>>Мона скриптик по крону написать:
>>ifconfig em0 down
>>sleep5
>>ifconfig em0 up
>
>Да пока так и работает, но ето всетаки не выход (

Кошка забывает о внутренней локалке. Мучайте кошку ;)
Когда она забывает, вы ей кидаете связку mac-IP, она вспоминает и начинает роутить.
В кошке нужно статически прописать маршрут о нашей локалке и забыть об этом еще на два года.


"Мистика между двумя сервера..."
Отправлено OlegUA , 24-Сен-10 00:43 
>[оверквотинг удален]
>>>sleep5
>>>ifconfig em0 up
>>
>>Да пока так и работает, но ето всетаки не выход (
>
>Кошка забывает о внутренней локалке. Мучайте кошку ;)
>Когда она забывает, вы ей кидаете связку mac-IP, она вспоминает и начинает
>роутить.
>В кошке нужно статически прописать маршрут о нашей локалке и забыть об
>этом еще на два года.

Хмм... в том то и дело что для локалки роутов то нету ) есть только маска и броадкаст по ней. К кошке обращается тогда когда внешний айпи использует... недавно опять упало, пока начал смотреть логи и прочее через минут поднялось снова (((


"Мистика между двумя сервера..."
Отправлено universite , 24-Сен-10 02:24 
>Хмм... в том то и дело что для локалки роутов то нету
>) есть только маска и броадкаст по ней. К кошке обращается
>тогда когда внешний айпи использует... недавно опять упало, пока начал смотреть
>логи и прочее через минут поднялось снова (((

Самый простой способ - прикрутить  монит и пинговать контрольный ресурс.
При неответе передернуть сетевой интерфейс.


"Мистика между двумя сервера..."
Отправлено OlegUA , 24-Сен-10 05:57 
>>Хмм... в том то и дело что для локалки роутов то нету
>>) есть только маска и броадкаст по ней. К кошке обращается
>>тогда когда внешний айпи использует... недавно опять упало, пока начал смотреть
>>логи и прочее через минут поднялось снова (((
>
>Самый простой способ - прикрутить  монит и пинговать контрольный ресурс.
>При неответе передернуть сетевой интерфейс.

Поймал гада... только вот ПОЧЕМУ он? оО
Sep 23 23:46:42 hosting routed[560]: interface em1 to 192.168.8.220 turned off
Sep 23 23:46:45 hosting routed[560]: interface em1 to 192.168.8.220 restored
Sep 23 23:46:45 hosting routed[560]: Send bcast sendto(em1, 192.168.11.255.520): Network is down


"Мистика между двумя сервера..."
Отправлено mef , 24-Сен-10 09:47 
>[оверквотинг удален]
>>>логи и прочее через минут поднялось снова (((
>>
>>Самый простой способ - прикрутить  монит и пинговать контрольный ресурс.
>>При неответе передернуть сетевой интерфейс.
>
>Поймал гада... только вот ПОЧЕМУ он? оО
>Sep 23 23:46:42 hosting routed[560]: interface em1 to 192.168.8.220 turned off
>Sep 23 23:46:45 hosting routed[560]: interface em1 to 192.168.8.220 restored
>Sep 23 23:46:45 hosting routed[560]: Send bcast sendto(em1, 192.168.11.255.520): Network is down
>

Похожу вещь видел на серверах intel 1530sh со встроенными сетевыми картами intel. Через некоторое время, особенно при больших нагрузках в лог пишется подобное.


"Мистика между двумя сервера..."
Отправлено OlegUA , 24-Сен-10 13:14 
>[оверквотинг удален]
>>
>>Поймал гада... только вот ПОЧЕМУ он? оО
>>Sep 23 23:46:42 hosting routed[560]: interface em1 to 192.168.8.220 turned off
>>Sep 23 23:46:45 hosting routed[560]: interface em1 to 192.168.8.220 restored
>>Sep 23 23:46:45 hosting routed[560]: Send bcast sendto(em1, 192.168.11.255.520): Network is down
>>
>
> Похожу вещь видел на серверах intel 1530sh со встроенными сетевыми картами
>intel. Через некоторое время, особенно при больших нагрузках в лог пишется
>подобное.

ну без етой проблемы больше года без проблем работало... люди пишут что ето заявленный баг в 7.1, советуют демон вырубать, только вот почему етот баг спал так долго не понимать... (


"Мистика между двумя сервера..."
Отправлено universite , 24-Сен-10 13:43 

>ну без етой проблемы больше года без проблем работало... люди пишут что
>ето заявленный баг в 7.1, советуют демон вырубать, только вот почему
>етот баг спал так долго не понимать... (

ведь можно без routed обойтись


"Мистика между двумя сервера..."
Отправлено BarS , 24-Сен-10 14:40 
>Поймал гада... только вот ПОЧЕМУ он? оО
>Sep 23 23:46:42 hosting routed[560]: interface em1 to 192.168.8.220 turned off
>Sep 23 23:46:45 hosting routed[560]: interface em1 to 192.168.8.220 restored
>Sep 23 23:46:45 hosting routed[560]: Send bcast sendto(em1, 192.168.11.255.520): Network is down
>

Это не с em были проблемы у встроенных сетевых? Я как то отказался из-за этого от какойто версии и перешел на более свежую из-за этих дров.


"Мистика между двумя сервера..."
Отправлено OlegUA , 24-Сен-10 18:02 
>>Поймал гада... только вот ПОЧЕМУ он? оО
>>Sep 23 23:46:42 hosting routed[560]: interface em1 to 192.168.8.220 turned off
>>Sep 23 23:46:45 hosting routed[560]: interface em1 to 192.168.8.220 restored
>>Sep 23 23:46:45 hosting routed[560]: Send bcast sendto(em1, 192.168.11.255.520): Network is down
>>
>
>Это не с em были проблемы у встроенных сетевых? Я как то
>отказался из-за этого от какойто версии и перешел на более свежую
>из-за этих дров.

хз... но около двух лет работал нормально ))))


"Мистика между двумя сервера..."
Отправлено OlegUA , 27-Сен-10 10:52 
Проблема оказалось банальна (невнимательность сказалась) :) На втором сервере стояла просто /24 сетка замесь /22 :( Вот он через 2 роутера и бегал, пока роутеру не надоело его роутить )))))