The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Тематический каталог: Квотирование трафика на SQUID с поддер..."
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [Проследить за развитием треда]

"Тематический каталог: Квотирование трафика на SQUID с поддер..."  
Сообщение от auto_topic on 06-Дек-07, 15:27 
Обсуждение статьи тематического каталога: Квотирование трафика на SQUID с поддержкой русскоязычных имен пользователей (squid rus proxy acl auth freebsd)

Ссылка на текст статьи: https://www.opennet.ru/base/net/squid_rus_quote.txt.html

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

1. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от PbI6a on 06-Дек-07, 15:27 
Как я понял по написаному для учёта по именам пользователей, а не по IP, клиенты должны использовать прокси не прозрачно?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от Dmitry (??) on 06-Дек-07, 16:58 
При прозрачном проксировании авторизаия пользователей неработает
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от dm80 email(ok) on 06-Дек-07, 17:54 
Само собой. При прозрачном проксировании аутентификация пользователей не проходит.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от sdm (??) on 06-Дек-07, 18:17 
> назначение скрипта:
> 1)    запись лог-данных SQUID в БД MySQL ("на >лету", посредством pipe);

имхо, из-за использования FIFO,
это творение не стоит юзать при более-менее серьезной нагрузке, скорее всего возможны потери.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от Аноним on 06-Дек-07, 23:23 
очередной велосипед? Сколько этих скриптов для подсчёта трафика в squid? И с MySQL и с Postgres и с AD и чем только нету...

Хоть бы кто озаботился провести сравнительный анализ и рассказать, почему у него лучше...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от Дмитрий email(??) on 07-Дек-07, 01:46 
По поводу потерь при нагруженной системы, можно было бы привести к примеру цифры. В моем случае - ~50 одновременных подключений (регулируется параметром redirect_children). К сожалению нет возможности протестировать в более серьёзных условиях. (Если кто сможет - жду с нетерпением комментариев :) )
Насчет "велосипеда" не могу не согласиться. Но думаю это больше касается подсчета трафика. В действительности - это задача для школьника, написать подобный скрипт, первоначальное назначение моего - квотирование. Тут не все так гладко. Лично я не встретил ни одного удовлетворительного решения на этот счет, в связи с чем и решил написать собственное.

Насчет сравнительного анализа могу привести лишь то что сам использовал - LightSquid. Первый недостаток, бросающийся в глаза - хранение данных в текстовом формате (Имя пользователя - отдельный файл). Второй - запуск импорта данных по крону, что тоже не очень удобно. Третий - возможность квотирования практически отсутствует (исходя из второго :) )
Squid2Mysql - неплохое решение, однако в какой то версии я заметил серьезную ошибку - соединение с БД происходит один раз, при запуске скрипта. Т е если в процессе работы мускль перезапустить (например), прокси сервис аварийно завершит работу.

Далее, честно говоря, тестировать чужие решения не хотелось, т к уровень их (ИМХО) - студенческий, в связи с чем написал свое :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от ten on 07-Дек-07, 06:52 
Что вам мешает использовать external_acl_type
Можете фильтровать и по src и по dst
http://www2.tw.squid-cache.org/Versions/v2/2.6/cfgman/extern...
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от PbI6a on 07-Дек-07, 08:32 
Ни что не мешает, и, собственно говоря, это и использую. Просто все не оставляет надежда найти готовый реализованный костыль позволяющий обойти написаное черным по белому в доках сквида ограничение на отсутствия получения аунтификационных параметров при прозразном проксировании. Самому написать хелпер для сквида которые бы получая IP пользователя лез бы на машину с этим адресом и если там винда возвращал бы сквиду логин/GID пользователя залогиненого там на консоле мне, к сожелению, мой уровень програмирования не позволяет.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от www.andr.ru on 07-Дек-07, 09:33 
IMHO для ограничения трафика лучше пропатчить сам сквид. он легко может на старте пропарсить свой лог, составить табличку с юзерами и трафиком и при каждом запросе юзера её апдейтить и контролировать трафик. Будет работать гораздо быстрее, особенно если заюзать Oracle Berkeley DB и табличку хранить в ОЗУ. Совсем не понимаю, почему разработчики не включили эту фичу в кальмара - она нужна буквально всем
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "аутентификация"  
Сообщение от Dvar on 07-Дек-07, 10:55 
А есть ли возможность в squid аутентифицировать пользователей, если они в инете не тока браузят? Например Radmin'ом или обычным удаленным рабочим столом человек сидит и ковыряется у клиентов, либо еще какие-то программы используются.Как учесть такой трафик?
У мелкомягкой ISA Server есть Firewall client, который заворачивает весь трафик клиентской машины на ISA Server, при этом добавляя учетные данные. В никсах есть прокся с такими же клиентами??
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от coroner email on 07-Дек-07, 14:38 
Много развлекался с такими подсчетами.Могу сказать что тоже не встретил ни одного нормального решения, которое удовлетворило бы меня.
Небольшой сравнительный анализ могу привести:
lightsquid - плюс очень шустрый,минус для переноса в БД нужно дописывать, минус-русские имена пользователей с пробелами.
sams - плюс-почти все можно делать через веб-морду. минусы-косяки с кодировками(есть кои8 и вин, при iconv -f koi8-r -t utf8 вылезают косяки в яваскрипте),периодически выискивал косяки в коде php(в частности в том что касается пользователей в AD).
squid-pb - плюс-написан на си.оооочень шустрый.минус-fifo, минус-не очень коректно работает с кавычками
sarg - плюсов особых нет.минусы-кодировки,в бд-дописывать.
у всех, что работают с БД есть самый большой минус: отсутствие проверки на уникальность записи (за 2 года не нашел в логах ни 1 неуникальной записи).оно и понятно: при проверке, скорость записи в БД снижается порой в тысячи раз.
например скрипт
cat access.log | \
sed "s/'/\\\'/g" | sed 's/\"/\\\"/g' | \
awk '{print "INSERT INTO squid  VALUES
\(\""$1"\",\""$2"\",\""$3"\",\""$4"\",\""$5"\",\""$6"\",\""$7"\",\""$8"\",\""$9"\",\""$10"\"); "}'
\| mysql -u root --password=password billing
отрабатывает порядка 12000-15000 записей в сек, а аналогичный но с проверкой отрабатывает примерно 300-500 записей.
если есть у кого желание могу отдать скрипты на пхп для последующей переписки оных на си, ибо сам не силен в последнем.что умеет: читает директорию с логами, если видит старые логи-кидает оные в базу, потом ротейтит сквид, читает access.log.0 .ну и соотвесно умеет проверять уникальность и умеет после перегонки в базу кидать в какойнить бекап-файл (его еще и пилит по N количеству строк).ну и по мелочи: конвертит юзверей из url в нормальный utf8 и добавляет слеши в УРЛах
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от coroner email on 07-Дек-07, 14:56 
да и еще.после всяческих развлекух, пришел к выводу, что нужно делать связку freeradius+poptop+mysql+ulog+squid+MTA
схема работы:
все юзвери и логи (кроме MTA) в mysql
пользователям жестко прописываются IP адреса
сквид http запросы заворачиваем на squid
ulog натравливаем только на редиректы pop3,imap,icq,https(3-й сквид и https мягко гря все плохо),ftp
все внутренние сервисы выносим из VPN подсети (чтобы не считать например трафик до сайта со статистикой) и сотавляем только DNS.это нужно для того, чтобы оперативно брать цифры из таблицы radacct.при грамотной настройке цифры из radacct и цифры из squid+ulog совпадают на 99,99% (отличия будут только из-за того что винда любит широковещательные запросы)
ну и соотвесна подсчет идет по squid (причем считать нужно не по DIRECT/ip_addr, а по статус кодам TCP_MISS и тд.встречал когда в одной строке стояли и TCP_MISS и DIRECT).
не советую пихать в ulog http трафик,т.к. записей будет подавляющее большинство, а смысловой нагрузки несут мало (в общем и целом скажу, что если взять данные со сквида и данные с ulog, то они совпадают)
настравиается данная связка примерно часа за 2.веб морда пишется бесконечно:)(80/20 пишется за день)
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "аутентификация"  
Сообщение от coroner email on 07-Дек-07, 14:58 
сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от coroner email on 07-Дек-07, 15:22 
ну и последнее по поводу fifo
падает демон сбора-падает и сквид.
да и потери будут.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "аутентификация"  
Сообщение от Dvar on 07-Дек-07, 15:38 
>сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами

а есть другие решения для этого?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "аутентификация"  
Сообщение от coroner email on 07-Дек-07, 16:31 
>>сквид это http-proxy. соотвесна делаем вывод, что radmin,rdp,pop3,imap,smtp,icq,msn считаем другими вещами
>
>а есть другие решения для этого?

Исходя из целей:
1)Статистика посещений страниц-squid
2)Статистика по другим протоколам -масса. pmacct, net-acct, ulog iptables etc

в общем и целом сходи сюда
https://www.opennet.ru/prog/sml/#26

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от sprite on 08-Дек-07, 13:30 
Еще как. У меня скрипт не успевал считывать и всё валилось. Единственное рабочее решение парсить лог. Поставил  syslog-ng, squid кидает лог в него, а syslog-ng squid-овские логи оформляет ежеминутно в новый файл YYYY/MM/DD/HH-MM.log далее через cron каждую минуту скрипт парсит лог сформированный в предыдущую минуту.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от ntimmy (ok) on 08-Дек-07, 14:17 
Попробуйте SAMS  в паре с ipcad отлично работает.
Сделал подобное с авторизацией в домене NT4 на самбе. На ней же и файловый сервер понял. переделки в sams минимальные. добавляется один пункт меню для просмотра внешнего не http трафа по ip. в базу Sams одну таблицу с привязкой ip доменное имя. от прозрачного проксирования пришлось отказаться.
Просто прикрыл доступ наружу на 20-21, 80 порт все хостам кроме ip пркси.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от bytestore email(??) on 09-Дек-07, 23:10 
зачем все это делать через сквид? этоже cache engine %)
для квотирования ну если нет циски то средствами фильтров
в любом случае способа узнать пользователя на транспортном уровне нет :(
нужно придумывать схему и тд, сквид тут не причем
да и его способ вытаскивать пользователя не всегда работает
это только экплорер и вроде мозила опера выдают от кого запущены
а таже icq через проксю или например винамп уже не скажет кто его запустил
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от Аноним on 10-Дек-07, 09:51 
все смотрим в сторону nufw после этова ищем агент под венду =)
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

22. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от dm80 email(ok) on 14-Дек-07, 18:54 
>ну и последнее по поводу fifo
>падает демон сбора-падает и сквид.
>да и потери будут.

Речь идет о моей разработке? Смотри лог сквида, очень частая проблема - параметр
redirect_children. Если количество пользователей превышает его значение, то сквид
аварийно завершит работу. Это можно обойти, установив параметр redirector_bypass on
(по умолчанию стоит off), но в этом случае если не будет хватать количества запущенных
процессов редиректора, сквид просто пропустит клиента, а не остановится. Ну или, если позволяет ОЗУ, увеличить redirect_children до максимально возможноо количества клиентов :)
PS: Если не так понял, и речь шла о другом, пардон :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

23. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от coroner email on 17-Дек-07, 11:18 
не..я не про это
я говорю про недостаток пропускания лога сквида через трубу...
если коллектор, который читает этот pipe перестанет по каким-нить причинам читать, то соотвесно завалится и сам сквид..
про пользователей в курсе и опытным путем выяснил что выставлять количество аутентификаторов нужно примерно в 4-5 раз больше, нежели пользователей присутствует в сети..ибо вот
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

24. "Квотирование трафика на SQUID с поддержкой русскоязычных име..."  
Сообщение от nnmn on 28-Дек-07, 11:46 
>все смотрим в сторону nufw после этова ищем агент под венду =)
>

угу, в том то и проблема что агент под винду платный :( впору брать самому их lib и писать :/ а так штука конечно прикольная

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору


Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру