The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Учет трафика, статистика / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 14-Окт-15, 17:29 
Привет. Исходящий и входящий каналы по 2Мбита. Провайдер всегда предоставляет заявленную скорость. У меня интерфейс локальной сети re0, IPFW:

#PIPES DUMMYNET
${fwcmd} pipe 1 config bw 2Mbit/s
${fwcmd} pipe 11 config bw 2Mbit/s
${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0

Очереди работают как надо.
Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка etc) берется из кэша сквида, скорость получения из сквида ограничивается 2 мбитами..
Что подскажете, посоветуете?
Спасибо.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Hammer (ok) on 15-Окт-15, 10:03 
>[оверквотинг удален]
> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
> Очереди работают как надо.
> Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка
> etc) берется из кэша сквида, скорость получения из сквида ограничивается 2
> мбитами..
> Что подскажете, посоветуете?
> Спасибо.

Ну, как вариант, пайпить средствами сквида.

Если Вы жестко шейпируете интерфейс, вариантов нет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 15-Окт-15, 10:16 
>[оверквотинг удален]
>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
>> Очереди работают как надо.
>> Поднят кэширующий прозрачный сквид на 192.168.1.1. И получается, что если объект (картинка
>> etc) берется из кэша сквида, скорость получения из сквида ограничивается 2
>> мбитами..
>> Что подскажете, посоветуете?
>> Спасибо.
> Ну, как вариант, пайпить средствами сквида.
> Если Вы жестко шейпируете интерфейс, вариантов нет.

К сожалению, нет возможности все протоколы направить на проксю. Тот же тимвьювер, собака, не хочет ни черзе 80 ни через 443 ходить. И прочее-прочее. Некоторые программы и сервисы в сети приходится пускать на ipfw nat, без прокси.. Поэтому разделение канала нужно средствами ipfw.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Pahanivo (ok) on 15-Окт-15, 21:02 
> Что подскажете, посоветуете?

прочитать таки ман по ipfw
что мешает сделать нужному трафику skipto минуя вашу трубу?
пайпится то что пайпится - обратное верно

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 16-Окт-15, 07:17 
> #PIPES DUMMYNET
> ${fwcmd} pipe 1 config bw 2Mbit/s
> ${fwcmd} pipe 11 config bw 2Mbit/s
> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0

в начале правил просто пропускаем интересный наш трафик по другому правилу, где нет никаких ограничений, примерно вот так:

${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv re0

${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 16-Окт-15, 09:00 
>[оверквотинг удален]
>> ${fwcmd} pipe 11 config bw 2Mbit/s
>> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
>> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
> нет никаких ограничений, примерно вот так:
> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
> re0
> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0

Большое спасибо, обязательно проверю.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 16-Окт-15, 12:31 
>[оверквотинг удален]
>>> ${fwcmd} queue 1 config pipe 1 mask dst-ip 0xffffffff
>>> ${fwcmd} queue 2 config pipe 11 mask src-ip 0xffffffff
>>> ${fwcmd} add 20 queue 1 ip from any to 192.168.1.0/24{2-255} via re0
>>> ${fwcmd} add 30 queue 2 ip from 192.168.1.0/24{2-255} to any via re0
>> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
>> нет никаких ограничений, примерно вот так:
>> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
>> re0
>> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0
> Большое спасибо, обязательно проверю.

Не сработало..:(

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 16-Окт-15, 13:33 
> Не сработало..:(

как проверяли?

#ipfw -a list


Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Pahanivo (ok) on 17-Окт-15, 20:56 
> как проверяли?

как оно вообще могло не сработать ))


Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 19-Окт-15, 11:17 
>> как проверяли?
> как оно вообще могло не сработать ))

Очереди работают.. Но так же, из кэша выстаскивается с ограничением этой самой очереди.. В общем - если получится всё пустить через проксю, буду delay pools пилить на сквиде..

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Pahanivo (ok) on 19-Окт-15, 23:46 
>>> как проверяли?
>> как оно вообще могло не сработать ))
> Очереди работают.. Но так же, из кэша выстаскивается с ограничением этой самой
> очереди.. В общем - если получится всё пустить через проксю, буду
> delay pools пилить на сквиде..

Мда, чукча такие пЕсатель ... хорошей пЕсатель ipfw -a list хотя бы показал ...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

14. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 20-Окт-15, 06:52 
> Мда, чукча такие пЕсатель ... хорошей пЕсатель ipfw -a list хотя бы
> показал ...

это как: мелькнуло в глазах новая идея, пошел мужик на поле по новой вспахивать :)


Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от adsh (ok) on 20-Окт-15, 02:05 
> в начале правил просто пропускаем интересный наш трафик по другому правилу, где
> нет никаких ограничений, примерно вот так:
> ${fwcmd} add 10 skipto 666 ip from 192.168.1.0/24{2-255} to 192.168.1.1 in recv
> re0
> ${fwcmd} add 666 allow ip from 192.168.1.0/24{2-255} to 192.168.1.1 via re0

А как система поймёт, из кеша оно или из интернета?

:)

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

13. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 20-Окт-15, 06:50 
> А как система поймёт, из кеша оно или из интернета?

вопрос стоял в том чтобы на squid сервер без никаких ограничений шло(чтобы под трубу не попадал :))

если нет ограничения на squid сервер, то там уже дело squid'а и смотреть нужно в нем: с кеша он берет или с инета дергает

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

11. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от adsh (ok) on 20-Окт-15, 02:00 
> Что подскажете, посоветуете?

А - никак. Система не понимает - из кеша оно идёт или нет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 20-Окт-15, 09:30 
>> Что подскажете, посоветуете?
> А - никак. Система не понимает - из кеша оно идёт или
> нет.

Вот и я о том же.. Пытаюсь теперь все соединения через прокси пустить... чтобы раскидывать траффик.

Средствами Сквида раскидать нагрузку канала возможно лишь при условии, что ВСЕ соединения ВСЕХ клиентов локальной сети идут через проксю.. в этом то и сложность, некоторые штуки ни в какую не пашут через сквид, приходится пускать сразу в нат.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от adsh (ok) on 20-Окт-15, 18:19 
> Вот и я о том же.. Пытаюсь теперь все соединения через прокси
> пустить... чтобы раскидывать траффик.

На самом деле в шейпировании отданного из кеша есть и плюс - дольше проживёт винт.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 21-Окт-15, 08:48 
>> Вот и я о том же.. Пытаюсь теперь все соединения через прокси
>> пустить... чтобы раскидывать траффик.
> На самом деле в шейпировании отданного из кеша есть и плюс -
> дольше проживёт винт.

Да.. учитывая, что винт ssd... может и актуально. Но так то 4 гига рамы, из них сквиду 2,5 отдано. А по факту более гига сквид еще не разу не отжирал.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 21-Окт-15, 09:43 
> Да.. учитывая, что винт ssd... может и актуально. Но так то 4
> гига рамы, из них сквиду 2,5 отдано. А по факту более
> гига сквид еще не разу не отжирал.

Антоха так ты #ipfw -a list дашь или нет? :) (стеб)

а то все яблоки да яблоки :D

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

18. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 21-Окт-15, 09:42 
> На самом деле в шейпировании отданного из кеша есть и плюс -
> дольше проживёт винт.

если так жалеть винт, то лучше вообще не включать компьютер :)


Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 22-Окт-15, 08:37 
>> На самом деле в шейпировании отданного из кеша есть и плюс -
>> дольше проживёт винт.
> если так жалеть винт, то лучше вообще не включать компьютер :)

Пока не дам... запустил pkg2ng в попытке поставить сквид 3.5.8 - все нахер. Систему переустанавливаю:))) Вот гон. Бэкапы pkg нашел, но они не дают результата. pkg2ng - смертельная команда. Пакеты больше не ставятся.. какие-то ошибки блин. В хэндбуке так и сказано - шаг необратим.. Ну или руки у меня изветсно откуда.
Как переустановлю-настрою - дам ipfw show:)
По поводу шейпинга - есть мысля попробовать на внешнем интерфейсе, у меня он tun0 pppoe. Кароче по дню проверим:)

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 22-Окт-15, 16:15 
:) рассмешил своим рассказом. давай удачи, повторение мать учения!

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Антоха (ok) on 22-Окт-15, 16:57 
> :) рассмешил своим рассказом. давай удачи, повторение мать учения!

Таак.. версия 4.0.1 в релизах! Буду ее сначала пытать. И вот блин не пашет (как и 3.5.8):

pkg add http://www.squid-cache.org/Versions/v4/squid-4.0.1-20151016-...
NO MANIFEST FOUND

Наверное, гуглить разучился.
А ipfw не покажу пока что. Он у меня еще дырявенький, хоть и закрытый по дефолту, но чото стыдно мне его показывать:))))
А вообще уже в третий раз фряху переустанавливаю. Я новичок, но получается, мне нра:)

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от eRIC (ok) on 26-Окт-15, 10:18 
> pkg add http://www.squid-cache.org/Versions/v4/squid-4.0.1-20151016-...
> NO MANIFEST FOUND

мдась....

>Наверное, гуглить разучился.

я думаю что не только это :)


Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от Pahanivo (ok) on 27-Окт-15, 17:32 
>>Наверное, гуглить разучился.
> я думаю что не только это :)

четавот мне кажется пацан под словом гуглить что-то другое подразумевает :)

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

25. "Dummynet ipfw Queue + Pipe + Кэширующий Squid как грамотно?"  +/
Сообщение от adsh (ok) on 13-Ноя-15, 03:11 
>> На самом деле в шейпировании отданного из кеша есть и плюс -
>> дольше проживёт винт.
> если так жалеть винт, то лучше вообще не включать компьютер :)

Почему - трафик экономится, винт дольше живёт, а скорость - тарифная. Все довольны ;-).

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру