The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"оптимизация squid (CPU)"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Настройка Squid и других прокси серверов (Public)
Изначальное сообщение [ Отслеживать ]

"оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 01-Июл-08, 15:23 
Всем добрый день!
Зашел попросить совета по оптимизации работы squid при большом количестве пользователей.
Ситуация следующая: есть кластер из 2-х нодов squid, более 5000 пользователей, более 600 активны в каждый момент времени. Загрузка процессоров на серверах держится близко к 100% в течение дня, бывают откровенные лаги (интернет-страницы еле-шевелятся), иногда даже один из нодов глохнет под нагрузкой. Есть мысль по добавлению дополнительного нода в кластер, но это будет даже не завтра, а облегчить ситуацию хотелось бы сегодня. Подскажите, какие настройки максимально могут снизить нагрузку на CPU? По памяти запас есть (используется 1,1 Gb из 3.46 на каждом из серверов).
Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "оптимизация squid (CPU)"  
Сообщение от Romik (??) on 01-Июл-08, 16:58 
Первое, что приходит в голову - пересборка Squid с оптимизацией под конкретный тип процессора и увеличение кеша в оперативной памяти, используемого Squid'ом.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 01-Июл-08, 17:21 
>Первое, что приходит в голову - пересборка Squid с оптимизацией под конкретный
>тип процессора и увеличение кеша в оперативной памяти, используемого Squid'ом.

Первое сделано изначально.
Второе тоже решил попробовать, было 256 мбайт, сделал 512 на одном из сквидов. Завтра посмотрим на статистику.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 01-Июл-08, 17:37 
>Первое, что приходит в голову - пересборка Squid с оптимизацией под конкретный
>тип процессора и увеличение кеша в оперативной памяти, используемого Squid'ом.

Я вот думаю, может совсем отключить кэширование?
Вообще, кто может грамотно ответить, какие функции сквида наиболее процессороёмкие? Акцесс-листы с regex? Кэш на диске?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "оптимизация squid (CPU)"  
Сообщение от local (??) on 01-Июл-08, 17:49 
>regex?

regex очень любит кушать CPU, на одном говнороутере 350cel список из прим 100 позиций жрал 90%cpu

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 02-Июл-08, 07:25 
>>regex?
>
>regex очень любит кушать CPU, на одном говнороутере 350cel список из прим
>100 позиций жрал 90%cpu

Мм... я тоже об этом подумал. Где-то слышал, что если перенести regex на mysql, то быстрее шевелиться начинает. Это так?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "оптимизация squid (CPU)"  
Сообщение от local (??) on 02-Июл-08, 10:19 
Не могу сказать, ибо не использую более regex'ы, а мускул и не прикручивал даже никогда :) Мне regex'ы были нужны для резки баннеров, внешний редиректор с этим справляется куда гораздо лучше, на порядок.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 02-Июл-08, 10:32 
>Не могу сказать, ибо не использую более regex'ы, а мускул и не
>прикручивал даже никогда :) Мне regex'ы были нужны для резки баннеров,
>внешний редиректор с этим справляется куда гораздо лучше, на порядок.

У меня тоже используется внешний редиректор, но он не поддается идентификации (/usr/local/squid/bin/redir_helper).
Систему изначально поднимал не я, досталась она мне уже в готовом виде и что-то менять в ней очень затруднительно, т.к. автор не заморачивался с документацией, предпочитал использовать непопулярное ПО, а зачастую и самописное. Даже код сквида был поправлен, в связи с этим невозможно обновиться без гемороя (сейчас версия 2.4).
Часть regexo'в хранится в локальных файлах, часть в базе mysql на отдельном сервере.
Вот сижу и разбираюсь потихоньку...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "оптимизация squid (CPU)"  
Сообщение от Golub Mikhail (ok) on 11-Июл-08, 20:32 
>>>regex?
>>
>>regex очень любит кушать CPU, на одном говнороутере 350cel список из прим
>>100 позиций жрал 90%cpu
>
>Мм... я тоже об этом подумал. Где-то слышал, что если перенести regex
>на mysql, то быстрее шевелиться начинает. Это так?

Так. У себя так сделал.
Почти все acl-ки вынесены в sql. И обрабатываются внешними хелперами.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "оптимизация squid (CPU)"  
Сообщение от Qaz on 05-Июл-08, 12:18 
>Всем добрый день!
>Зашел попросить совета по оптимизации работы squid при большом количестве пользователей.
>Ситуация следующая: есть кластер из 2-х нодов squid, более 5000 пользователей, более
>600 активны в каждый момент времени. Загрузка процессоров на серверах держится
>близко к 100% в течение дня, бывают откровенные лаги (интернет-страницы еле-шевелятся),
>иногда даже один из нодов глохнет под нагрузкой. Есть мысль по
>добавлению дополнительного нода в кластер, но это будет даже не завтра,
>а облегчить ситуацию хотелось бы сегодня. Подскажите, какие настройки максимально могут
>снизить нагрузку на CPU? По памяти запас есть (используется 1,1 Gb
>из 3.46 на каждом из серверов).

У меня вынесены acl'ы в базу MySQL, сложно сказать насколько оно лутше или хуже...но я никогда не видел чтобы процесс squid'а у меня забирал больше 2%, mysql максимум что видел где-то 0,10%, правда пользователей у меня до 200 всего-то, но как по мне acl'ы в mysql'е лутше чем какой-нить редиректор, делал по теме http://forum.lissyara.su/viewtopic.php?f=40&t=5716&start=0&s...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 05-Июл-08, 20:13 
>У меня вынесены acl'ы в базу MySQL, сложно сказать насколько оно лутше
>или хуже...но я никогда не видел чтобы процесс squid'а у меня
>забирал больше 2%, mysql максимум что видел где-то 0,10%, правда пользователей
>у меня до 200 всего-то, но как по мне acl'ы в
>mysql'е лутше чем какой-нить редиректор, делал по теме http://forum.lissyara.su/viewtopic.php?f=40&t=5716&start=0&s...

У меня тоже часть acl в мускульной базе (думаю все перенести), а вот с пользователями беда... Сегодня узнал (только сегодня добрался до одной из серверных, где стоит один из сквидов), что оба плеча кластера - 2х процессорные тачки - Xeon 3.2 (я думал что просто 2х ядерные), и процессоры в рабочее время загружены почти на 100% (активных юзеров при этом более 600). Даже по выходным более 100 юзеров активны! На каждом прокси более 250 запросов в сек. Сегодня также выяснилось, что логи сквида не вынесены на отдельный раздел (не то что физический диск) и после заполнения диска система просто зависает и не стартует - пришлось ехать на работу, млин.
За ссылку спасибо (я там уже был, но присмотрюсь повнимательнее).


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 11-Июл-08, 15:37 
Возможно ли как-то задействовать простаивающие ядра/процессоры? На 2-х процессорной 2-х ядерной машине сквид из условных 400% может съесть не более ~120% (~100 сам squid + ~20 дочки-редиректоры и прочие).
График:
http://ipicture.ru/uploads/080711/WIfrvIhcnh.png

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "оптимизация squid (CPU)"  
Сообщение от Golub Mikhail (ok) on 11-Июл-08, 20:40 
>Возможно ли как-то задействовать простаивающие ядра/процессоры? На 2-х процессорной 2-х ядерной машине
>сквид из условных 400% может съесть не более ~120% (~100 сам
>squid + ~20 дочки-редиректоры и прочие).
>График:
>http://ipicture.ru/uploads/080711/WIfrvIhcnh.png

Так может ему больше ресурсов CPU и не требуется у вас? :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 11-Июл-08, 21:03 
>>Возможно ли как-то задействовать простаивающие ядра/процессоры? На 2-х процессорной 2-х ядерной машине
>>сквид из условных 400% может съесть не более ~120% (~100 сам
>>squid + ~20 дочки-редиректоры и прочие).
>>График:
>>http://ipicture.ru/uploads/080711/WIfrvIhcnh.png
>
>Так может ему больше ресурсов CPU и не требуется у вас? :)
>

Я так не думаю, почему-то
top:
http://ipicture.ru/uploads/080711/nV6d2VE86j.jpg

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "оптимизация squid (CPU)"  
Сообщение от bondbig (ok) on 14-Июл-08, 13:16 
В общем отключил дисковый кэш - и о чудо! - сервер забегал как молодая лань!
Хотя дисковая подсистема достаточно быстрая - 10000 SCSI в зеркале!
Если раньше количество запросов/сек едва добиралось до 250 на обоих сквидах, то теперь в пиках до 630 и при этом странички открываются быстро.
Что характерно, загрузка CPU даже выросла, но работать сервер стал быстрее. Освободил я его от "ярма на шее".

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру