The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Как собирать инфу по netflow"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Программирование под UNIX (Public)
Изначальное сообщение [ Отслеживать ]

"Как собирать инфу по netflow"  
Сообщение от cyclon (ok) on 15-Окт-08, 21:48 
Вот никак не могу решить проблему. Делаю коллектор для сбора статистики по netflow. И естественно идёт огромный поток пакетов от циски. И никак не могу понять как всё это обрабатывать и передавать в ядро биллинга (тут проблема упирается в 100 мбит). Да и какую структуру базы делать. Явно что собирать весь поток не подходит ибо по сети не пройдёт до ядра, вернее потеряется очень много входящего потока пока будет идти передача. Уже перебрал кучу вариантов до которых смог додуматься, но всё равно в тупике. Пока что единственная идея как снизить передачу в ядро, так это агрегировать трафик в течении секунды и потом передавать.

Может всезнающий all поможет решить задачку?

Заранее спасибо!!!

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Как собирать инфу по netflow"  
Сообщение от djal on 18-Окт-08, 18:01 
Могу предложить только использовать больше 2х машин:
1-я машина: На нее приходит netflow трафик и какая нить программулина пишет все это на диск (здесь лучше пользовать что нибудь типа SAN или NAS). При этом, пишет как есть т.е. не обрабатывает трафик и ничего не агрегирует (хотя можно прикрутить минимальную обработку для удобства парсинга в дальнейшем).

2-я машина на основе собранных данных (надо заметить, что эту машину тоже целесообразно напрямую подключить к хранилищу, куда записывает 1я машина) и заранее прописанных правил агрегирует трафик и эти данные направляет на биллинг. Тут есть куча вариантов, все зависит от того что надо и как хочется. Напр. можно агрегировать по каждому ip адресу за 5 минут а ядро биллинга уже само смотрит какой это пользователь. Можно сразу агрегировать по всем адресам принадлежащим определенному пользователю и т.д.

Что значит "направляет данные на биллинг"? Когда я делал такую систему я просто заливал агрегированные данные в postgresql. При заливке эти данные обрабатывали триггеры и соответсвенно делал сам подсчет средств и т.д.

Причем собранные сырые (не агрегированные) данные остаются на диске и если возникает спорная ситуация с пользователями их можно ему предоставить как док-во )))

Советую присмотреться к flow-tools.

>[оверквотинг удален]
>базы делать. Явно что собирать весь поток не подходит ибо по
>сети не пройдёт до ядра, вернее потеряется очень много входящего потока
>пока будет идти передача. Уже перебрал кучу вариантов до которых смог
>додуматься, но всё равно в тупике. Пока что единственная идея как
>снизить передачу в ядро, так это агрегировать трафик в течении секунды
>и потом передавать.
>
>Может всезнающий all поможет решить задачку?
>
>Заранее спасибо!!!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Как собирать инфу по netflow"  
Сообщение от cyclon (ok) on 19-Окт-08, 11:58 
>Что значит "направляет данные на биллинг"? Когда я делал такую систему я
>просто заливал агрегированные данные в postgresql. При заливке эти данные обрабатывали
>триггеры и соответсвенно делал сам подсчет средств и т.д.

Ну т.е. у меня клиент-сервер, сенсор (клиентская часть) собирающий данные по netflow и непосредственно серверная часть программы, которая стоит там где находится база данных и собственно получает инфу от подобных сенсоров, а затем пишет их в базу.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Как собирать инфу по netflow"  
Сообщение от ovax (ok) on 27-Окт-08, 08:12 
flow tools я бы рекомендовал

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру