https://www.opennet.dev/openforum/vsluhforumID1/94640.html Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так чтобы в access.log писался также размер запроса, в squid.conf добавил строчку<br><br>logformat squid %ts.tu %&gt;st %&gt;a %Ss/&gt;Hs %&lt;st %rm %ru %un %Sh/%&lt;A %mt<br><br>,где собственно %&gt;st - Received request size including HTTP headers. Цифра писаться стала, но она не походит на правду. К примеру загружаю файл 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что я делаю не так? Может есть какие то другие способы решения этой задачи?<br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#12 Mon, 13 May 2013 14:43:02 GMT &gt;[оверквотинг удален]<br>&gt;&gt; собой задачу.<br>&gt;&gt; WWell, <br>&gt; Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый <br>&gt; весьма успешно пишется в лог и подсчитывается, и если я скачаю <br>&gt; файл в 20Мб, то он мне 20Мб в лог и запишет <br>&gt; (плюс-минус пару процентов). При включении логирования upload, как я написал, при <br>&gt; загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе <br>&gt; я вижу только несколько килобайт. В этом и проблема. И уже <br>&gt; если уже самим сквидом upload не посчитать, придется прибегать к методам <br>&gt; подсчета трафика на порту.<br><br>Есть способы создать туннель, например используя 443 порт и метод CONNECT(не единственный способ) используя этот туннель не будут срабатывать ACL и логирование трафика так же идти не будет.<br><br>Так что лучше смотреть трафик на самом порту.<br><br><br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#11 Mon, 13 May 2013 10:22:32 GMT &gt; А почему вы решили, что не отвечает на правду? Что, по-вашему, должно <br>&gt; быть? Подумайте о том, что именно squid видит как трафик - <br>&gt; что в вашем случае является payload поверх L3.<br>&gt; Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна <br>&gt; HTTP GET/POST заявка. SYN и все последующие ACK в счет не <br>&gt; входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так <br>&gt; что не вините squid за то, что вы неверно поставили перед <br>&gt; собой задачу.<br>&gt; WWell, <br><br>Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый весьма успешно пишется в лог и подсчитывается, и если я скачаю файл в 20Мб, то он мне 20Мб в лог и запишет (плюс-минус пару процентов). При включении логирования upload, как я написал, при загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе я вижу только несколько килобайт. В этом и проблема. И уже если уже самим сквидом upload не посчитать, придется прибегать к методам подсчета трафика на порту.<br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#10 Mon, 13 May 2013 09:43:17 GMT Привет,<br><br>&gt; Цифра писаться <br>&gt; стала, но она не походит на правду. К примеру загружаю файл <br>&gt; 20Мб, а у меня размер запроса - пол-килобайта. <br><br>А почему вы решили, что не отвечает на правду? Что, по-вашему, должно быть? Подумайте о том, что именно squid видит как трафик - что в вашем случае является payload поверх L3. <br><br>Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна HTTP GET/POST заявка. SYN и все последующие ACK в счет не входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так что не вините squid за то, что вы неверно поставили перед собой задачу. <br><br>WWell,<br><br><br><br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#9 Mon, 13 May 2013 08:34:03 GMT &gt; Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами <br>&gt; keep-state \ check-state.<br>&gt; Посмотрите в сторону ng_netflow и pmacct.<br><br>ipfw планировалось использовать без keep-state, просто для подсчета трафика. Однако ipfw не смог почему то подружиться с pf. По поводу ng_netflow и pmacct - спасибо, погуглю.<br><br><br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#8 Mon, 13 May 2013 08:27:01 GMT &gt;&gt; Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда <br>&gt;&gt; юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и <br>&gt;&gt; есть сама FreeBSD может вам MRTG попробовать?<br>&gt; Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap? <br><br>http://www.opennet.ru/opennews/art.shtml?num=36083<br><br> Поддержка режима SSL-Bump Server для перехвата содержимого шифрованных HTTPS-сеансов. При поступлении первого перехватываемого HTTPS-запроса, Squid осуществляет SSL-соединение с сервером и получает его сертификат. После этого Squid использует имя хоста из реального полученного от сервера сертификата и создаёт фиктивный сертификат, при помощи которого имитирует запрошенный сервер при взаимодействии с клиентом, продолжая при этом использовать SSL-соединение, установленное с сервером. Кроме HTTPS-соединений, указанная схема может использоваться для перехвата большинства HTTP-запросов с методом CONNECT.<br><br>Прошлая реализация SSL-Bump отличалась созданием на первом этапе SSL-соед https://www.opennet.dev/openforum/vsluhforumID1/94640.html#7 Mon, 13 May 2013 08:14:53 GMT &gt; Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда <br>&gt; юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и <br>&gt; есть сама FreeBSD может вам MRTG попробовать?<br><br>Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap? <br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#6 Tue, 07 May 2013 15:34:00 GMT &gt;&gt; Лучше считать трафик сразу на порту.<br>&gt; Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного <br>&gt; фаервола используется pf, но у него на внутреннем интерфейсе уже есть <br>&gt; куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но <br>&gt; два фаервола корректно не заработали, а разбираться не было времени.<br>&gt;&gt; Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.<br>&gt; А есть версия, которая будет логировать?<br><br>Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и есть сама FreeBSD может вам MRTG попробовать?<br> https://www.opennet.dev/openforum/vsluhforumID1/94640.html#5 Tue, 07 May 2013 10:32:28 GMT &gt;&gt; Лучше считать трафик сразу на порту.<br>&gt; Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного <br>&gt; фаервола используется pf, но у него на внутреннем интерфейсе уже есть <br>&gt; куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но <br>&gt; два фаервола корректно не заработали, а разбираться не было времени.<br><br> Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами keep-state \ check-state.<br> Посмотрите в сторону ng_netflow и pmacct.<br><br>&gt;&gt; Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.<br>&gt; А есть версия, которая будет логировать? https://www.opennet.dev/openforum/vsluhforumID1/94640.html#4 Tue, 07 May 2013 05:51:49 GMT &gt; Зачем? Премии лишать будете?<br><br>Премии лишать не будем, но если у кого-то вдруг появляется гигабайтный аплоад, это повод задуматься что и куда сливается.<br><br>&gt; Понять и простить!<br><br>Прощать будем, если выяснить что сливался не svn, а невинные фоточки с корпоратива.<br>