The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Опять flow-export треба помощь!"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Маршрутизаторы CISCO и др. оборудование. (Public)
Изначальное сообщение [ Отслеживать ]

"Опять flow-export треба помощь!"  
Сообщение от undegro email(ok) on 28-Дек-07, 12:32 
Привествую всех!!! Сразу извинюсь так как таких тем здесь уйма но ответа на свой вопрос пока не нашел,пишу для биллинга, netflow + mysql,
написал shell скрипт для экспорта притом он файлы (5мин-ки) разбивает по дням и кладет в таблицы mysql типа nf20071218 (я думал это ускорит) хотелось бы узнать два вопроса:
Если лить все в одну таблицу хотяб на три месяца как это повлияет на скорость;?
Или все таки обрабатывать допустим дневную таблицу или вообще 5-мин-ку но так чтоб в новой таблице был не сырой трафик netflow в формате
1.1.1.1 2.2.2.2 srcport dstport octets <-in пакет
2.2.2.2 1.1.1.1 srcport dstport octets -> out пакет
а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out .
Не могу такой sql запрос собрать - голову уже сломал, отдельно по входящему и исходящему могу выводить причем уже с посчитаными байтами на одинаковых dstip , а надо чтоб красиво было ip remip in out.
Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы в нормальном формате!!!
Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду рад всем ответившим!!
Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Опять flow-export треба помощь!"  
Сообщение от Slimm (??) on 28-Дек-07, 15:50 
>[оверквотинг удален]
>а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out .
>Не могу такой sql запрос собрать - голову уже сломал, отдельно по
>входящему и исходящему могу выводить причем уже с посчитаными байтами на
>одинаковых dstip , а надо чтоб красиво было ip remip in
>out.
>Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда
>пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы
>в нормальном формате!!!
>Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду
>рад всем ответившим!!

у нас 5 минутки разбираются perl скриптом
создается хеш массив %data
$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик
$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик

затем этот массив записываем в базу

мож я че не понял, вроде не сложно ...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Опять flow-export треба помощь!"  
Сообщение от undegro email(ok) on 28-Дек-07, 16:33 
>[оверквотинг удален]
>>рад всем ответившим!!
>
>у нас 5 минутки разбираются perl скриптом
>создается хеш массив %data
>$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик
>$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик
>
>затем этот массив записываем в базу
>
>мож я че не понял, вроде не сложно ...

ВОТ ВОТ ВОТ то что нужно!!! Если можно поподробнее насчет фильтрации средствами flow tools! Я совсем первый раз с этим столкнулься, новая работа, приходиться со всем быстро разбираться, столько уже всего перелопатил, но смысл насчет массива понятен! Заранее спасибо

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Опять flow-export треба помощь!"  
Сообщение от Slimm (??) on 28-Дек-07, 18:40 
а собственно в чем проблема

flow-capture запускаем втом числе и с параметром -R /usr/local/netflow/rotate

соответственно он создавая 5 минутки будет запускать этот файл с имянем файла-5минутки
от корневой директории указанной в ключе -w flow-capture-а

flow-cat $1 | flow-nfilter -Fout | flow-stat -f8 > out
flow-cat $1 | flow-nfilter -Finp | flow-stat -f9 > inp

вызываем скрипт в нем парсим файлы inp и out
и пишем в базу

этот файл определяет фильтры для flow-nfilter
usr/local/var/cfg/filter.cfg
filter-primitive mynet
    type ip-address-prefix
    permit 192.168.0.0/16
    default deny

filter-definition inp
    match ip-destination-address mynet

filter-definition out
    match ip-source-address mynet

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Опять flow-export треба помощь!"  
Сообщение от undegro email(ok) on 09-Янв-08, 07:29 
>[оверквотинг удален]
>filter-primitive mynet
>    type ip-address-prefix
>    permit 192.168.0.0/16
>    default deny
>
>filter-definition inp
>    match ip-destination-address mynet
>
>filter-definition out
>    match ip-source-address mynet

Проблема соббственно в том что я только пишу скрипт и в кису не лезу, и все это первый раз, но все равно огромное спасибо за подсказку бум пробовать по этому способу!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Опять flow-export треба помощь!"  
Сообщение от undegro email(ok) on 09-Янв-08, 08:29 
СНГ!
Пишет,
flow-cat: Warning, partial inflated record before EOF
Это нормально или гдето собака зарыта, учитывая то что я без фильтра делал?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Опять flow-export треба помощь!"  
Сообщение от undegro email(ok) on 09-Янв-08, 09:16 
>СНГ!
>Пишет,
>flow-cat: Warning, partial inflated record before EOF
>Это нормально или гдето собака зарыта, учитывая то что я без фильтра
>делал?

Сам же отвечу:
По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы получаються без времени, время придеться все равно брать из raw потока или есть другой вариант?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Опять flow-export треба помощь!"  
Сообщение от bytestore (??) on 26-Авг-08, 11:32 
>>СНГ!
>>Пишет,
>>flow-cat: Warning, partial inflated record before EOF
>>Это нормально или гдето собака зарыта, учитывая то что я без фильтра
>>делал?
>
>Сам же отвечу:
>По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы
>получаються без времени, время придеться все равно брать из raw потока
>или есть другой вариант?

17. I'm seeing: "flow-cat: Warning, partial inflated record before EOF"
   This error message may indicate that you are trying to read an empty directory. This error
   would appear for Exporter users in the very initial release of version 3.3.  This was
   was caused by FlowTracker_Collector trying to read a device_name directory even though
   the user was not using devices. This was fixed in version 3.3.1.
  
   This error may also occur during the processing of data in normal directories. It is not
   understood at this point why this happens, however it appears to be mostly harmless. I have
   seen it occur on every third FlowTracker_Collector run (every 15 minutes) which coincides with
   the end of a typical 15-minute flow-tools ft file.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру