The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Релиз системы регистрации пакетов ulogd 2.0.0

23.06.2012 17:09

Разработчики фреймворка Netfilter, используемого для фильтрации и преобразования пакетов в ядре Linux, после четырёх лет разработки представили релиз ulogd 2.0.0, демона для сбора информации, связанной с работой netfilter/iptables. После выхода ulogd 2.0.0 объявлено о прекращении развития ветки 1.x, которая переведена в разряд устаревших. Ключевым отличием ulogd 2 является переход на гибко расширяемую архитектуру на базе плагинов и внешних библиотек, позволяющих легко менять методы сбора, хранения и фильтрации данных.

Ulogd способен накапливать данные на уровне отдельных пакетов или потоков (сессий c учетом соединений), что может быть использовано с целью аккаунтинга активности пользователей, сбора статистики о трафике или фиксации сетевых атак. Данные помещаются в лог в соответствии с правилами, которые могут задаваться через инфраструктуру nfacct. Накопленная информация может быть сохранена с использованием различных плагинов, в том числе в SQLite3, MySQL и PostgreSQL, или с использованием дампов в форматах PCAP, CSV, XML, а также в виде текстовых логов Netfilter. Плагины могут быть использованы для выбора источника сбора данных и для предварительной обработки данных (например, плагин PWSNIFF позволяет выделять пароли из трафика).

В процессе работы ulogd 2.x использует несколько внешних библиотек:

  • libmnl и libnfnetlink для обеспечения связи через Netlink.
  • libnetfilter_log для получения данных о проходящих пакетах;
  • libnetfilter_conntrack для оценки состояний соединений с использованием nf_conntrack_netlink.
  • libnetfilter_acct для гибкого аккаунтинга трафика через nfnetlink_acct и правила iptables nfacct;


  1. Главная ссылка к новости (http://netfilter.org/news.html...)
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/34170-ulogd
Ключевые слова: ulogd, netfilter, traffic
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (10) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 17:52, 23/06/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Надо же, он ещё жив.

    Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам.

     
     
  • 2.3, vi (?), 18:18, 23/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Надо же, он ещё жив.
    > Строго говоря, он был бы актуален лет 7 назад, а сейчас морально
    > устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct
    > заруливает сабж в гибкости и опять же по ресурсам.

    Доброго!

    Есть результаты тестов?

     
     
  • 3.4, Аноним (-), 03:03, 24/06/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Делал только для себя, на 100мбитном канале, с десятком пользователей. Насчёт объективности - смотри сам.

    Так вот, Данные о трафике у меня хранятся в базе, чтобы выборки делать кто/сколько выкачал.

    Поставил ulogd (я говорю о первой ветке) - считать считает, на этом его преимущества заканчиваются. Он любую базу может поставить раком, если что-то качнуть во всю ширину канала. Даже при простом подсчёте - тоже грузит систему (примерно 15-20% от тогдашнего 3ГГц Прескотта). Вменяемых средств записи логов "хоть куда" при отказе бд - нет, если упала - потеряешь все данные о трафике за время, пока бд не поднимется.

    ulog-acct - пишет только текстовый лог, с базой напрямую работать не умеет. Пришлось писать парсер логов для закидывания в базу. При подсчёте трафика - в топе процессов его видно только в момент записи логов (меньше секунды раз в 2 минуты). А вот загрузка лога в бд занимала ещё секунд по 5 (это с применением многострочных инсёртов и транзакций). Лучше, но хочется большего.

    pmacct - аналогично выше, но умеет работать с базой. Может создавать таблицы по шаблону. В топе вообще не видно. Перешёл полгода назад - полёт нормальный - сейчас только отчёты смотрю.

    По базе: изначально думал обойтись sqlit'ом. Фиг, как только база переваливает за гиг - всё начинает тормозить, там сплошные инсёрты. Поставил мускул - полегче, но всё равно тормозило (на innodb - дохло аналогично с sqlit'ом, с myisam - нормально). Посгре не пробовал.

     
     
  • 4.5, MadAdmin (?), 06:33, 24/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо, товарищ. Очень познавательно.
     
     
  • 5.10, Аноним (-), 23:22, 25/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Спасибо, товарищ. Очень познавательно.

    Примерно как сравнение по фичам windows 7 и Linux 1.0.
    Все вышесказанное относится только к первой ветке ulogd, и никак не связано со второй.

     
  • 4.6, XoRe (ok), 23:51, 24/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Для логов в БД рекомендую использовать более специализированные для этого движки.
    А то через некоторое время myisam у вас тоже начнет нехило тормозить.
    Что-то конкретное подсказать не могу.
    Я бы попробовал csv движок.
     
     
  • 5.9, Аноним (-), 02:18, 25/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Что-то мне подсказывает, что там с индексами будет проблема. Но тем не менее - пока работает и нагрузку держит - менять не буду.
     
  • 4.8, Аноним (-), 01:09, 25/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    После появления nfacct, всякие юзерспейсные pmacct можно отправлять на свалку истории :)
     
     
  • 5.11, Аноним (-), 13:28, 26/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А доку по нему где брать?
     
  • 2.7, Аноним (-), 23:53, 24/06/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам.

    Теперь его переписали с нуля, и в пору объявлять устаревшими и тормозными уже ulog-acct и pmacct :)

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру