The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Раздел полезных советов: Помещение данных о входящем трафике..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Раздел полезных советов: Помещение данных о входящем трафике..."  +/
Сообщение от auto_tips on 30-Июн-08, 14:27 
Чтобы анализаторы логов прокси сервера squid отображали данные о пересылках в обход прокси,
например данные по почтовому или ssh трафику, можно сохранить данные о таких пересылках в логе squid.

Настройки ipcad:

    capture-ports enable;
    interface ppp* filter "ip and not dst net 192.168.0.0/16";
    aggregate 0.0.0.0/0 strip 32; /* Считаем все адреса */
    /* Теперь укажем какие порты как отображать */
    aggregate 1-19 into 65535;
    aggregate 20-21 into 21;
    aggregate 22-23 into 22;
    aggregate 25 into 25;
    aggregate 24 into 65535;
    aggregate 26-79 into 65535;
    aggregate 80-81 into 0;
    aggregate 82-109 into 65535;
    aggregate 110 into 110;
    aggregate 111-442 into 65535;
    aggregate 443 into 443;
    aggregate 444-3127 into 65535;
    aggregate 3128 into 0;
    aggregate 3129-65535 into 65535;

Сам файл обработки ipcad и записи в сквидовский лог:

    #!/bin/sh
    net="192.168"
    ttime=`/usr/bin/rsh localhost sh ip acco|/bin/grep 'Accounting data saved'| /bin/awk '{print ($4)}'`
    /usr/bin/rsh localhost clear ip accounting
    /usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$1,"TCP_MISS/200",$4,"CONNECT",$2":"$6,"-","DIRECT/"$2,"-")}' >>/var/log/squid/access.log

Вместо 192.168 Вы можете указать свою сеть, которую брать с ipcad'а и заносить в лог прокси сервера Squid.

Таким образом весь трафик, указанный в настройках ipcad'а будет отображен в access.log сквида,
который в данном примере находится в папке /var/log/squid.


URL: http://www.zabudkin.ru/archives/10
Обсуждается: http://www.opennet.ru/tips/info/1647.shtml

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от lagzombie email on 30-Июн-08, 14:27 
Пардон за ламерский вопрос.
А SARG этот лог потом обработает корректно?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от wertik (ok) on 30-Июн-08, 20:13 
У меня корректно обработал.
И не только sarg , но и free-sa
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от lagzombie email on 01-Июл-08, 13:16 
ок, спасибо.попробую
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от tierpunk email(ok) on 02-Июл-08, 20:58 
А в debian дистрибутиве нужно устанавливать из исходников, или он есть в рипозиториях? apt-cache search не помог.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Аноним (??) on 03-Июл-08, 16:23 
еще бы по настройке ipcad поподробнее написали цены бы не было
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Zerot email on 03-Июл-08, 19:23 
>еще бы по настройке ipcad поподробнее написали цены бы не было

в свое время копал тему, и в отзывах нарыл, что ipcad может терять траффик. Т.к. решение к тому моменту уже было на ulogd, дальше не пошел. Однако ipcad. как заявлялось - это надстройка, которая может использовать в качестве источника не только ULOG, но и libpcap, netflow и т.п.
.
Еще одним заявленным плюсом является способность ipcad агрегировать траффик в памяти, что позволяет резко разгрузить ввод вывод на загруженных машинах. Вроде вещь интересная, но отзывы о потере траффика меня насторожили
.
Командный интерфейс ipcad очень напоминает похожие команды Cisco IOS для снятия счетчиков, но ipcad умеет различать траффик не только по IP, но еще по протоколам и портам, что позволяет получить детальную статистику. В общем и целом вы пишите конфигурацию, запускаете ipcad, а далее время от времени подключаетесь и снимаете очередную порцию статистики в виде текстового потока, который можно распарсить
.
Однако справедливости ради стоит сказать, что на сильно прогруженных машинах (даже банальное копирование файла с фильмом) анализатор траффика на ULOG также может терять статистику, и очень прилично. Этот эффект наблюдается при просадке подсистемы ввода вывода, когда статистика (ULOG может писать данные о каждом пакете) просто не успевает сохраняться. На типовых коммуникационных серверах, где требуется учесть с максимальной детализацией гигабайт 10-20 траффика в месяц, ULOG - решения статистику не теряют точно
.
В общем имеет смысл посмотреть в сторону ipcad с его агрегированием схожего траффика в памяти поподробнее и сравнить. Может когда нить дойдут руки

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

10. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Zerot email on 04-Июл-08, 22:51 
в продолжение темы
.
провел таки тест - на той же конфигурации, где iptables+ULOG теряет пакеты с определенного порога скорости обмена по сети - ipcad собирает статистику, даже не загружая систему. Собирает с полной детализацией по протоколам и портам (включена опция агрегирования). Пробовались 2 варианта - источник данных libpcap, и источник данных - ULOG iptables
.
Эксперимент не полный - требуется еще сравнение на подходящей детальной и продолжительной выборке. С учетом того, что ULOG - статистика при отсутствии перегрузки выдаёт картину, адекватную статистике провайдеров, реализованную на Cisco IP acct, сравнение результата на ipcad должно быть представительно

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

7. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от tierpunk email(ok) on 04-Июл-08, 00:20 
Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду show ip, говорит что незвнает что такое show, типо нет такой программы, ОС Debian 4.0, в чем может быть проблема?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от pavel_simple (??) on 04-Июл-08, 08:58 
>Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду
>show ip, говорит что незвнает что такое show, типо нет такой
>программы, ОС Debian 4.0, в чем может быть проблема?

apt-get install rsh-client

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от tierpunk email(ok) on 04-Июл-08, 11:47 
>>Поставить, поставил, настроить настроил, а вот через rsh не могу выполнить команду
>>show ip, говорит что незвнает что такое show, типо нет такой
>>программы, ОС Debian 4.0, в чем может быть проблема?
>
>apt-get install rsh-client

Спасибо попробеумс.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от tierpunk email(ok) on 05-Июл-08, 00:54 
Вроде бы все получаеться, осталось только что бы это LightSquid сьел.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от nick email(??) on 06-Июл-08, 00:17 
Если есть возможность, кинь ,плиз, скриншот, лога, обработанного sargом. Спасибо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от irekkazan email on 12-Дек-08, 08:56 
Если я что-то не напутал, то
filter "ip and not dst net 192.168.0.0/16";
это правило вроде как считает исходящий трафик?
Вернее не считает входящий трафик :)
А если надо посчитать входящий, то правило такое:
filter "ip and dst net 192.168.0.0/16 and not src net 192.168.0.0/16";
Актуальней наверное все таки считать входящий траффик, а не исходящий.
Ну и тогда
/usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$2,"-")}' >>/var/log/squid/access.log


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от irekkazan email on 12-Дек-08, 09:19 
Вернее так
/usr/bin/rsh localhost show ip accounting checkpoint|/bin/grep $net|/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' >>/var/log/squid/access.log
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от schmel email on 31-Янв-09, 00:46 
а как на freebsd это реализовать? никак не хочет писать в файл, хотя коллектор работает нормально
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Sergey email(??) on 29-Июл-09, 18:00 
Добрый день.
Подскажите, а та статистика, которую ipcad кладет в access.log squida как обрабатывается lightsquidom???
Не происходит ли удвоение трафике по 80 порту???
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от anon1111111111111111111111111 on 11-Сен-16, 01:44 
Нет, это же Лев писал, он наверное понимает. Тут же смысл про CONNECT, ты в CONNECT не указывай порты 80 и 81 и всё, я его логику понимаю ) бля умный мужик, где его найти сейчас? Бразы кто знает пишите: len-los@yandex.ru
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

24. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от anon1111111111111111111111111 on 11-Сен-16, 01:46 
> Добрый день.
> Подскажите, а та статистика, которую ipcad кладет в access.log squida как обрабатывается
> lightsquidom???
> Не происходит ли удвоение трафике по 80 порту???

А я заметил, смотри куда показывает порт 80 в 0 (ноль)

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

17. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от TrasH_W on 31-Июл-09, 10:33 
все нормально работает.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Дмитрий email(??) on 13-Окт-09, 12:37 
это конечно же всё хорошо. а как быть с ситуацией когда трафик сквида считается по пользователям AD, а не по ip? тогда ведь будет в логах отображаться будут и ip и юзера домена.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Pasha (??) on 12-Ноя-10, 11:24 
Расскажите новичку, а тоже самое но с использованием iptables можно сделать? Чтобы логи писались в лог файла squid. Имеются две сетевухи eth0 -> в интернет, eth1 -> сеть
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от umen email(??) on 11-Мрт-11, 17:55 
все прикольно! только вот при выполнении скрипта вот чего происходит:

# ./ipcad_to_squid.sh
connect to address 127.0.0.1: Connection refused
Trying ::1...
connect to address ::1: Connection refused
Trying 127.0.0.1...
connect to address 127.0.0.1: Connection refused
Trying ::1...
connect to address ::1: Connection refused
Trying 127.0.0.1...
connect to address 127.0.0.1: Connection refused
Trying ::1...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от Denia email on 09-Дек-11, 01:50 
Есть проблема: если в момент того, когда ipcad-скрипт пишет в лог, сквид тоже добавляет лог - можешь разбиться строка ipcad'а. И потом приходится чистить лог-файл. Как блокировать access.log от записи squid'а в момент добавления лога нашим скриптом для ipcad?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от qmad email on 08-Сен-14, 16:31 
#!/bin/sh

str_net="192.168.0" # IP для выборки IPCAD
ttime=`/usr/bin/rsh localhost sh ip acco | /usr/bin/grep 'Accounting data saved'| /usr/bin/awk '{print $4}'` # формирование времени от IPCAD в лог squid

ipcadacclog="/usr/local/squid/logs/ipcadaccess.log"     # Файл логов IPCAD
squidacclog="/usr/local/squid/logs/access.log"          # Файл логов Squid
samslog="/usr/local/squid/logs/sams.log"

tail_pid_check=`/bin/ps ax | /usr/bin/grep 'tail -F' | /usr/bin/grep -v grep | /usr/bin/awk '{print $1}'`
/bin/kill -9 $tail_pid_check > /dev/null

/usr/bin/rsh localhost clear ip accounting > /dev/null # Формирование логов IPCAD
/usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $str_net | /usr/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' > $ipcadacclog

/bin/cat $ipcadacclog >> $samslog

/usr/bin/tail -F $squidacclog >> $samslog &


Таким способом наложение данных исключается.
Делал для sams. Если используется sams для подсчёта трафика, то ему нужно подсовывать sams.log. В общем идею я подал. Кому надо, ковыряйте под свои нужды.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

25. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от anon1111111111111111111111111 on 11-Сен-16, 01:50 
>[оверквотинг удален]
> /usr/bin/rsh localhost clear ip accounting > /dev/null # Формирование логов IPCAD
> /usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $str_net |
> /usr/bin/awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}'
> > $ipcadacclog
> /bin/cat $ipcadacclog >> $samslog
> /usr/bin/tail -F $squidacclog >> $samslog &
> Таким способом наложение данных исключается.
> Делал для sams. Если используется sams для подсчёта трафика, то ему нужно
> подсовывать sams.log. В общем идею я подал. Кому надо, ковыряйте под
> свои нужды.

Мужик, ты автору даже спасибо не сказал.
Где бы его найти, на работу хочу к себе взять!

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

26. "Помещение данных о входящем трафике из ipcad в лог squid"  +/
Сообщение от zabudkin email(??) on 15-Фев-17, 02:58 
Так напиши мне
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру