The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Архитектура Digg.com

02.04.2008 13:08

Иван Блинков перевел статью с рассказом о принципах организации работы ресурса Digg.com, обслуживающего примерно 200 миллионов просмотров страниц в месяц. Некоторые факты:

  • Используется MySQL, Apache2, FastCGI и PHP. Для кэширования задействован Memcached, для оптимизации производительности скриптов - APC PHP Accelerator;
  • 100 серверов расположены в нескольких датацентрах, из них: 20 серверов баз данных; 30 веб-серверов; несколько поисковых серверов, использующих Lucene;остальные используются для обеспечения избыточности.
  • Манипуляции с СУБД максимально упрощены, все что можно вынесено на плечи PHP скриптов;
  • MySQL работает в режиме master-slave: в основном, там где нужны транзакции, используется InnoDB, на серверах выполняющих аналитическую обработку данных используется MyISAM;
  • Снижения производительности при переходе с MySQL 4.1 на версию 5 замечено не было;
  • Большинство посетителей просто просматривают главную страницу и уходят. Это приводит к тому, что 98% запросов к базе данных являются операциями чтения;
  • Основные проблемы с масштабируемостью и производительностью связаны с обработкой данных и в большинстве случаев они не зависят от используемого языка программирования.


  1. Главная ссылка к новости (http://www.insight-it.ru/net/s...)
  2. OpenNews: Архитектура YouTube
  3. OpenNews: Перевод статьи про архитектуру интернет-магазина Amazon.com
  4. OpenNews: Архитектура Flickr
  5. OpenNews: Архитектура Google
Лицензия: CC-BY
Тип: яз. русский / Обобщение
Короткая ссылка: https://opennet.ru/15080-web
Ключевые слова: web, mysql, apache, tune, speed, optimization
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (9) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Oleg (??), 14:08, 02/04/2008 [ответить]  
  • +/
    Что-то я не понимаю, 200 млн в месяц для 100 серверов это не так много, чтобы что-то специально придумывать, тем более, что это в основном чтение.

     
  • 1.2, vortex (??), 14:20, 02/04/2008 [ответить]  
  • +/
    не все 100 используються. судя по всему только 50 хоть как-то задействованы.
     
  • 1.3, IGX (?), 14:37, 02/04/2008 [ответить]  
  • +/
    В среднем получается 77 запросов в секунду. Пусть в пиковой нагрузке 250. 100 серверов?.. Чё-то перемудрили они.
     
     
  • 2.4, vinzz (?), 14:51, 02/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    написано же: остальные используются для обеспечения избыточности.
     
     
  • 3.6, IGX (?), 14:55, 02/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Даже 50, мягко говоря, многовато...
     

  • 1.5, aZ (?), 14:51, 02/04/2008 [ответить]  
  • +/
    Мда, всего лишь 200 миллионов в месяц (просмотров! а не уникальных..) на таком количестве железа? Деньги некуда сувать.
     
     
  • 2.7, avk (??), 15:49, 02/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    угу согласен. у нас PHP/MySQL я только что посмотрел - 13 млн хитов в м/ц  - много запросов на запись и сложные (использующие disc) запросов с blob таблицами - всё крутиться на одном сервере с загрузкой в среднем около 5%.
     
  • 2.8, m11 (ok), 16:21, 02/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Если пройтись по ссылкам, указанным в самой статье, то можно обнаружить, что эта цифра была названа одним из основателей проекта в интервью, имевшим место в 2006 году.
    Более свежие цифры, видимо, отсутствует, так что приходится довольствоваться тем, что есть, просто дописав "более" в связи с несомненным ростом проекта. Речь шла о начальной стадии проекта, когда количество серверов лишь слегка превышала десяток.
     

  • 1.9, Noa (?), 22:10, 02/04/2008 [ответить]  
  • +/
    Большинство посетителей просто просматривают главную страницу и уходят.
    хе хе )
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру