The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Учет трафика в Linux используя ipcad

15.01.2006 21:15

Александр Кузнецов рассказал о том как решить задачу учета проходящего через шлюз трафика, используя ipcad (симулирует cisco ip accounting) и несколько простых скриптов формирующих помесячные отчеты на основе получаемых по rsh "ip accounting" данных.

  1. Главная ссылка к новости (http://www.nixp.ru/articles/li...)
Лицензия: CC-BY
Тип: яз. русский / Практикум
Ключевые слова: ipcad, traffic, ip_accounting
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (44) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.1, sash (??), 21:30, 15/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    по-моему такой метод неприменим в условиях офиса, когда стандартной схемой является шлюз(NAT)+прокси(squid), а если к тому же есть transparent proxy?
     
     
  • 2.6, rippy (??), 11:48, 16/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >по-моему такой метод неприменим в условиях офиса, когда стандартной схемой является шлюз(NAT)+прокси(squid),
    >а если к тому же есть transparent proxy?

    Почему? добавьте опцию capture-ports enable; и разделяйте подсчет на интерфейсах. Суммарный трафик от шлюза будет на внешнем, клиентский (с учетом от прокси) на внутренних.

    Понятное дело, что степень агрегирования уменьшается и объем данных будет рости

     
  • 2.45, Аноним (45), 17:05, 16/12/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >по-моему такой метод неприменим в условиях офиса, когда стандартной схемой является шлюз(NAT)+прокси(squid),
    >а если к тому же есть transparent proxy?

    Для решение проблемы УЧЁТ+SQUID просмотрите нашу заготовку, по кране мере опробовали её и она нормально работает :) Да не на ipcad собрано, но как раз для малых офисов подходит.
    http://www.office-control.org

     

  • 1.2, Maxim Chirkov (ok), 21:58, 15/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    У ipcad есть одна логичная, но ощущаемая через наступания на грабли, особенность... текст свёрнут, показать
     
  • 1.3, pavlinux (??), 23:18, 15/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Всё прекрасно, вот ещё бы написал как
    RRDTools через GNUplot прикрутить.
    И тогда бы получился MRTG :)
      Ну что сказать, у Opennet продвижение, от
    сбора антиквариата переходят к обсуждению новых моделей велосипедов. (например с ручным приводом).

     
  • 1.4, Kid (??), 01:13, 16/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    это, простите, баловство.
    такой метод подсчёта совершенно неприменим, если за этот самый трафик вам надо собирать с людей деньги, причем не по факту, а по предоплате и с отключением по нулю
     
     
  • 2.5, xxx (??), 02:25, 16/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    это ведь учет трафика, а не система биллинга
     

  • 1.9, Zhernakov Artem (?), 14:51, 16/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Давно использую ipcad для подсчета трафика все прекрасно работает, написал скриптик небольшой на perl который выводит мне отчеты в html за каждый день и суммарный за месяц да еще сохраняет мне полный дамп всех пакетов котрые прошли через внешний интерфейс, чтоб если что ;) можно было провести разбор полётов.
     
     
  • 2.39, BARSiK (ok), 13:47, 12/02/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Давно использую ipcad для подсчета трафика все прекрасно работает, написал скриптик небольшой
    >на perl который выводит мне отчеты в html за каждый день
    >и суммарный за месяц да еще сохраняет мне полный дамп всех
    >пакетов котрые прошли через внешний интерфейс, чтоб если что ;) можно
    >было провести разбор полётов.

    хотелось бы попробовать, не хочу изобретать велосипед, и билинг мне не нужен
    а для отчетов было бы не плохо

     

  • 1.10, Halyva (ok), 15:09, 16/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >по-моему такой метод неприменим в условиях офиса, когда стандартной схемой является шлюз(NAT)+прокси(squid), а если к тому же есть transparent proxy?
    И в чём же сдесь проблема? ВСё прекрасно будет работать, поверь мне. Ты просто будешь смотреть трафик который идёт к конкретному пользователю.
    На счёт mrtg то он на скока я помню (по крайней мере по Linux) ppp интерфейсы слушать то ли не умеет, то ли слушает их неправильно.
    это, простите, баловство.
    >такой метод подсчёта совершенно неприменим, если за этот самый трафик вам надо собирать с людей деньги, причем не по факту, а по предоплате и с отключением по нулю
    Кто тебе мешает парсить сливать данные с rsh в файл, а потом парсить его как хочешь. У меня такая система работала как экспериментальная какое то время. Если денег не жалко то в принципе люди уходят в небольшой минус и на офис (т.е. на человек 30 )достаточно хорошо работает. Если надо на большое количество человек и более реального времени, то Вам тогда надо на один из банеров которые находяться чуток Выше!
     
     
  • 2.12, Kid (??), 21:23, 16/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >>по-моему такой метод неприменим в условиях офиса, когда стандартной схемой является шлюз(NAT)+прокси(squid), а если к тому же есть transparent proxy?
    >И в чём же сдесь проблема? ВСё прекрасно будет работать, поверь мне.
    >Ты просто будешь смотреть трафик который идёт к конкретному пользователю.
    >На счёт mrtg то он на скока я помню (по крайней мере
    >по Linux) ppp интерфейсы слушать то ли не умеет, то ли
    >слушает их неправильно.
    >это, простите, баловство.
    >>такой метод подсчёта совершенно неприменим, если за этот самый трафик вам надо собирать с людей деньги, причем не по факту, а по предоплате и с отключением по нулю
    >Кто тебе мешает парсить сливать данные с rsh в файл, а потом
    >парсить его как хочешь. У меня такая система работала как экспериментальная
    >какое то время. Если денег не жалко то в принципе люди
    >уходят в небольшой минус и на офис (т.е. на человек 30
    >)достаточно хорошо работает. Если надо на большое количество человек и более
    >реального времени, то Вам тогда надо на один из банеров которые
    >находяться чуток Выше!


    ага...я начну файлик метров на 650 в один поток сливать и пока я не закончу, будьте уверены - ни в какую статистику это не попадёт...

     
     
  • 3.13, rippy (??), 08:20, 17/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >ага...я начну файлик метров на 650 в один поток сливать и пока
    >я не закончу, будьте уверены - ни в какую статистику это
    >не попадёт...

    да ладно?

     
  • 3.15, Halyva (ok), 15:19, 17/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >ага...я начну файлик метров на 650 в один поток сливать и пока
    >я не закончу, будьте уверены - ни в какую статистику это
    >не попадёт...
    Это уже как ipcad настроишь и как часто будеш парсить так сказать rsh.log. Если будешь парсить каждые 6 секунд то всё окей будет! Минус в мегабайтах будет равен
    скорость канала [Mbit/сек]*6[сек].
     

  • 1.11, maury (??), 16:54, 16/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    хорошо скрещевается с Netflow коллектором http://netflow.cesnet.cz, гораздо более элегантное решение, и статистика интереснее,
    netflow ведь :)
     
     
  • 2.14, se (??), 11:56, 17/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >хорошо скрещевается с Netflow коллектором http://netflow.cesnet.cz, гораздо более элегантное решение, и статистика
    >интереснее,
    >netflow ведь :)
    хм, а разве сам ipcad не является netflow коллектором?
    зачем его с кем-то скрещивать?
    ipcad + flow-tools и вперёд.
     
     
  • 3.16, Halyva (ok), 15:21, 17/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >>хорошо скрещевается с Netflow коллектором http://netflow.cesnet.cz, гораздо более элегантное решение, и статистика
    >>интереснее,
    >>netflow ведь :)
    >хм, а разве сам ipcad не является netflow коллектором?
    >зачем его с кем-то скрещивать?
    >ipcad + flow-tools и вперёд.
    Действительно. Отличный коллектор который могет по NetFlow слать куда угодно!
    [root@XXXXX /]# ipcad -v
    IP Accounting Daemon. ipcad Version 3.6.6
    Import {BPF/LIBPCAP/ULOG/LIBIPQ/DIVERT/TEE}; Export {console/file/RSH/NetFlow}
    Copyright (c) 2001, 2002, 2003, 2004 Lev Walkin <vlm@lionet.info>
     

  • 1.17, Аноним (-), 17:43, 17/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Умеет ли ipcad  динамически создаваемыми интерфейсами работать например tun*? а с вланами?
     
     
  • 2.18, Halyva (ok), 18:20, 17/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >Умеет ли ipcad  динамически создаваемыми интерфейсами работать например tun*? а с
    >вланами?
    А как ты сам думаешь. Почитай спецификацию.
    ipcad uses raw BPF devices (/dev/bpf*), PCAP library (pcap(3)), Linux iptables' ULOG (>=2.4.18-pre8) and IPQ (libipq(3)), BSD divert(4) and tee packet sources.
     

  • 1.19, Аноним (-), 18:57, 17/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    у меня в ipcad статистика льётся через iptables -j ULOG. потом самописный скрипт на перле по rsh раз в 5 минут забирает статистику и льёт в постгрес. успевает не сильно напрягаясь обработать 2-3 терабайта в месяц.
     
     
  • 2.20, replicant (?), 14:22, 18/01/2006 [^] [^^] [^^^] [ответить]  
  • +/
    аналогично, причем не с одного сервака льется в "сборочный коллектор", а дальше лопатится раз в 5 минут скриптами биллинговой системы ... легко обмолачивает огромные объемы трафика (тем более часть трафика можно скинуть в нафик прямо в iptables, если мешает и надо считать только входящий)
     

  • 1.21, Радист (?), 03:41, 19/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А у меня все еще проще: для каждого нового tun запускаю tcpdump а с него все перенаправляю в скрипт, который мне все и считает. Самое приятное - что я сам решаю, что считать, как считать, и каким образом это все перекладывать в базу данных и т.п. И самое приятное - загрузка при 100 мегабитах в секунду - не более 8-10% (FreeBSD AMD64 3Ghz)
     
  • 1.22, Lev Walkin (?), 12:15, 19/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    В статье рекомендуется делать rsh localhost dump за минуту до полуночи, а потом clear, соответственно, в первую минуту после.

    Это неправильное решение, которое логично теряет две минуты трафика.

    Правильным решением было бы просто в полночь запускать следующие две команды:

    rsh localhost cle ip acco
    rsh localhost sh ip acco checkpoint

    Которые делают следующее:
    1. "clear ip accounting" перемещает активную таблицу аккаунтинга в специальную "банку", где данные более не изменяются и хранятся в замороженом виде.
    2. "show ip accounting checkpoin" показывает содержимое этой банки.

    Команда "dump" в ipcad'е практически никогда не бывает нужна.

     
  • 1.23, Аноним (-), 13:29, 19/01/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    какие такие раз в сутки ? вполне реально даже раз в минуту траф снимать. хотя оставил запас и собираю раз в 5 минут.
     
  • 1.24, Аноним (-), 19:23, 17/02/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    root:/home/dexx/temp/ipcad-3.7# rsh localhost help
    Permission denied.

    что мне делать?

     
     
  • 2.25, rippy (??), 10:38, 20/02/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >root:/home/dexx/temp/ipcad-3.7# rsh localhost help
    >Permission denied.
    >
    >что мне делать?

    разрешить трафик через lo0?

     

  • 1.26, sshaitan (?), 13:46, 02/03/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Посоветуйте, какой нибудь анализатор логов (простенький билинг) для обработки логов(этих самых дампов или чекпоинтов) ipcad.
     
     
  • 2.27, SASA (?), 17:50, 02/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >Посоветуйте, какой нибудь анализатор логов (простенький билинг) для обработки логов(этих самых дампов
    >или чекпоинтов) ipcad.
    awstats
    для просмотра, например: http://awstats.sourceforge.net/awstats.mail.html
    НО.....
    Вопрос.
    как бы прикрутить время к логам. не использую iptables
     
     
  • 3.28, laden (?), 19:02, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Ребят вопрос такой у меня стоит дебиан 3р1_в1.
    Поставил ипкад из пакета .деб
    Все бы хорошо, но почему то не подкючается rsh пишет мол у тебя и порт то такой не открыт ( 22 ) и фуфел ты полный. По нетстату смотрю, да действительно никто не слушает 22 порт, но сам ипкад висит на порту (514 как я понял он разный бывает).
    Во всех статьях что нашел вроде пишут что должен стартовать ссш сервак(ипкад*овский), но нет его у меня хоть ты тресни в нетстате/ При этом сам ипкад пишет что все ок Configured RSH Server listening at xx.xx.xx.xx
     
     
  • 4.29, rippy (??), 19:12, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >Ребят вопрос такой у меня стоит дебиан 3р1_в1.
    >Поставил ипкад из пакета .деб
    >Все бы хорошо, но почему то не подкючается rsh пишет мол у
    >тебя и порт то такой не открыт ( 22 ) и
    >фуфел ты полный. По нетстату смотрю, да действительно никто не слушает
    >22 порт, но сам ипкад висит на порту (514 как я
    >понял он разный бывает).
    >Во всех статьях что нашел вроде пишут что должен стартовать ссш сервак(ипкад*овский),
    >но нет его у меня хоть ты тресни в нетстате/ При
    >этом сам ипкад пишет что все ок Configured RSH Server listening
    >at xx.xx.xx.xx

    netstat -n|grep 514

    rsh 127.0.0.1 show ip acco
    ?

     
     
  • 5.30, laden (?), 19:56, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >>...(сожрала крыса)
    >>нашел вроде пишут что должен стартовать ссш сервак(ипкад*овский),
    >>но нет его у меня хоть ты тресни в нетстате/ При
    >>этом сам ипкад пишет что все ок Configured RSH Server listening
    >>at xx.xx.xx.xx
    >
    >netstat -n|grep 514
    ТУТ надо бы добавить -l так как я еще ничего не установил/
    >
    >rsh 127.0.0.1 show ip acco
    >?
    tcp        0      0 127.0.0.1:514           0.0.0.0:*               LISTEN
    Мммм и что? Вроде бы rsh без ключа -п коннектитца на 22 порт.

     
     
  • 6.31, rippy (??), 20:05, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >>netstat -n|grep 514
    >ТУТ надо бы добавить -l так как я еще ничего не установил/
    >
    >>
    >>rsh 127.0.0.1 show ip acco
    >>?
    >tcp        0    
    >  0 127.0.0.1:514        
    >   0.0.0.0:*        
    >       LISTEN
    >Мммм и что? Вроде бы rsh без ключа -п коннектитца на 22
    >порт.

    Вам нужно посредством протокола rsh присоединиться к localhost (127.0.0.1) на 514 порт (на котором висит ipcad). Вот уж не знаю, как задать это в дебиане, но ИМХО если вы знаете ключи rsh, то сделать это не трудно. Что происходит после rsh 127.0.0.1 show ip acco ? трафик в фаерволе через локалхост разрешен?

     
     
  • 7.32, laden (?), 20:15, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >>...(сгрызли мыши)
    >Вам нужно посредством протокола rsh присоединиться к localhost (127.0.0.1) на 514 порт
    >(на котором висит ipcad). Вот уж не знаю, как задать это
    >в дебиане, но ИМХО если вы знаете ключи rsh, то сделать
    >это не трудно.
    Да так оно и есть. Хорошо делаю так rsh -p 514 localhost help
    Выводит
    potato:/home/laden# rsh -p 514 localhost help
    ssh: connect to host localhost port 514: Connection refused
    > Что происходит после rsh 127.0.0.1 show ip acco
    >? трафик в фаерволе через локалхост разрешен?
    Фаервол вообще не настраивал единственное добавил запрет на порты 137:139 и все
    Chain INPUT (policy ACCEPT)
    target     prot opt source               destination
    DROP       tcp  --  anywhere             anywhere            tcp spts:netbios-ns:netbios-ssn

    Chain FORWARD (policy ACCEPT)
    target     prot opt source               destination

    Chain OUTPUT (policy ACCEPT)
    target     prot opt source               destination


     
     
  • 8.33, laden (?), 20:17, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    ИЗВИНЯЮСЬ ВОТ что выводит ssh_exchange_identification Connection closed by r... текст свёрнут, показать
     
     
  • 9.34, rippy (??), 20:19, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    icq175121548 ... текст свёрнут, показать
     
     
  • 10.35, laden (?), 20:42, 14/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Для пользователей linux Оказалась есть фишка Что rsh это обычный ssh, а нам нуж... текст свёрнут, показать
     
     
  • 11.36, krz (??), 10:56, 21/03/2006 [^] [^^] [^^^] [ответить]  
  • +/
    У меня rsh пароль просит оказалось что в системе отсутствует файл etc hosts eq... текст свёрнут, показать
     
     
  • 12.37, rigger (?), 14:09, 28/09/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Извеняюсь, что малясь не в тему Кто-нибудь сталкивался может с такой проблемой... текст свёрнут, показать
     
  • 12.40, Timege (?), 17:38, 15/03/2007 [^] [^^] [^^^] [ответить]  
  • +/
    apt-get install rsh-client у тебя стоит видимо ssh ... текст свёрнут, показать
     
  • 11.38, J0hn (??), 16:44, 18/01/2007 [^] [^^] [^^^] [ответить]  
  • +/
    За это отдельное спасибо... текст свёрнут, показать
     
     
  • 12.41, Серж (??), 10:52, 10/04/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Братья, дайте кто-нить скриптик для вывода логов ипкада в веб-интерфейс, очень н... текст свёрнут, показать
     
     
  • 13.42, Temik (?), 14:44, 28/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Здравствуйте Пожалуйста подскажите в чем собсно трабл Есть Mandriva2007 ipcad... текст свёрнут, показать
     
     
  • 14.43, rippy (??), 14:52, 28/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    разреши в firewall прохождение трафика через lo0 ... текст свёрнут, показать
     
     
  • 15.44, Temik (?), 15:03, 28/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    В firewall все ACCEPT по умолчанию Тут вроде в сторону alternatives надо копат... текст свёрнут, показать
     

  • 1.46, gavru (ok), 23:00, 12/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Простое решениепроблем учёта и минимум настроек
    http://traffpro.ru
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру