The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Компания Google передала проект HTTP Archive в руки сообщества Internet Archive

16.06.2011 12:00

Компания Google объявила о передаче сообществу Internet Archive (archive.org) управления и прав владения над проектом HTTP Archive, в рамках которого организован сервис по мониторингу производительности сайтов в сети. Код web-интерфейса HTTP Archive написан на языке PHP и открыт под лицензией Apache. Для обеспечения загрузки контента с сайтов используется инструментарий WebPagetest, распространяемый под лицензией BSD.

Проект Internet Archive был основан в 1995 году для решения задачи формирования коллекции свободно распространяемых мультимедиа материалов и книг, ведение полного архива всех сайтов в глобальной сети. Ресурс предоставляет возможность отслеживания изменений в оформлении сайтов и при необходимости позволяет обратиться к контенту, который был размещен на уже не существующем ресурсе. В настоящее время архив насчитывает несколько петабайт данных и включает в себя более 150 миллиардов web-страниц. В сотрудничестве с более 160 библиотеками, музеями и архивами документов, ведется работа по оцифровке материалов и открытия к ним свободного доступа. В 2009 году Фонд свободного ПО присудил Internet Archive премию за развитие социально значимых свободных проектов. В другие годы эту премию получили такие проекты, как Tor (2010), Creative Commons (2008), Groklaw (2007), Sahana (2006) и Wikipedia (2005).

Сервис HTTP Archive был создан компанией Google с целью стимулирования оптимизации скорости работы сайтов и предоставления web-мастерам необходимых средств мониторинга для слежения за изменением параметров производительности сайтов со временем. Сервис содержит неплохую подборку аналитических инструментов и отчетов, позволяющих оценить динамику изменения таких показателей, как время загрузки страниц и размер страниц, выделить самые медленные страницы на сайте и посмотреть детальную информацию о загрузке различных частей страницы с целью локализации узких мест. Все данные мониторинга можно загрузить в raw-формате для последующего локального анализа (дамп базы MySQL).

Кроме привязанной к конкретным сайтам информации, HTTP Archive также предоставляет общую статистику, позволяющую оценить глобальное состояние. Например, представлены отчеты о наиболее популярных JavaScript-библиотеках и отдельных скриптах (лидируют jQuery, виджеты Facebook и счетчик Google Analytics). Имеется рейтинг сайтов c наибольшим количеством JavaScript кода (рекорд около 4 Мб), CSS-файлов (рекорд 900 Кб), числа изображений на странице (рекорд 645) и числа Flash-роликов (рекорд 75). Некоторая статистика:

  • 48% всех сайтов используют Flash, а 52% - нет;
  • 43% всех изображений распространяется в формате JPEG, 19% - PNG и 37% - GIF;
  • 12% всех сайтов работают под управлением nginx, 20% - Microsoft IIS, 39% - Apache;

В настоящее время HTTP Archive осуществляет постоянный мониторинг около 18 тысяч сайтов в сети. По словам представителя Google, компания намерена выделить ресурсы для доведения в ближайшие месяцы числа тестируемых сайтов до одного миллиона или больше. После передачи управления Google продолжит разработку проекта, будет финансово и технически поддерживать HTTP Archive на плаву, но проект уже будет развиваться под эгидой Internet Archive. По мнению Google система HTTP Archive гармонично дополнит существующую функциональность Internet Archive - если Internet Archive (сервис Wayback Machine) занимается отслеживанием контента в Web, то HTTP Archive позволяет составить картину того, как этот контент обслуживается и формируется.

  1. Главная ссылка к новости (http://googlecode.blogspot.com...)
  2. OpenNews: Проект archive.org переходит от использования Linux к Solaris 10
  3. OpenNews: Фонд СПО объявил лауреатов ежегодной премии за вклад в развитие свободного ПО
  4. OpenNews: Компания Google предложила надстройку для улучшения протокола HTTP
  5. OpenNews: Сравнение доступности сайтов 16 Linux дистрибутивов с Microsoft и Apple
  6. OpenNews: 34 совета по увеличению производительности web-приложений
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: web, http, statistic, performance, test
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (11) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.1, VoDA (ok), 15:18, 16/06/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    нафига это archive.org? переда ли бы в Apache foundation или Eclipse foundation. они хотя бы инфраструктурными вещами занимаются.
     
  • 1.2, Саша (??), 15:23, 16/06/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Посмотрите блог автора http://www.stevesouders.com/blog/2011/06/15/http-archive-1m-urls-internet-arc
     
     
  • 2.3, Andrey Mitrofanov (?), 15:48, 16/06/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Посмотрите блог автора
    > 1m-urls-internet-archive-sponsors/

    Спасибо, список спонсоров забега на 1М URL-ей вижу. Не поясните всё же, кто такое сообщество в "о передаче сообществу Internet Archive"?

    ""The Internet Archive, a 501(c)(3) non-profit, is [...]"" НКО - вижу. (И её список спонсоров внизу+)

    Про "сообщество" кто-нибудь просвятит?
    (И нет, кнопка [исправить] мне не подходит -- я ваааще не понимаю, кто на ком стоял, да?)

     
     
  • 3.4, anonymous (??), 16:21, 16/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Сообщество (англ. Community) — объединение индивидов, имеющих общие цели

    http://www.archive.org/images/staff2005.jpg - вот эти ребята им же и отдали

     
     
  • 4.11, Andrey Mitrofanov (?), 09:53, 17/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Сообщество (англ. Community) — объединение индивидов, имеющих общие цели
    > staff2005.jpg - вот эти ребята им же и отдали

    Сообщество работников "The Internet Archive, a 501(c)(3) non-profit"?

    А... ну, понятно. Буду чаще Мюллера перечитыват! Глаз тренировать, чтоб не резался.

    "Сообщество работников общества-с-О-О гугль передаёт общественный проект сообщества разработчиков общественного проекта сообществу работников Н-К-общества общественного сервиса Архив Интернета для продолжения общественной разработки сообща!" Ну, вааще~~~

     

  • 1.5, Аноним123321 (ok), 17:35, 16/06/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ооООО! сайт "отличного" качества :-D :-D http://ompldr.org/vOTM5bQ/Screenshot.labeled.png
     
     
  • 2.6, Анон (?), 18:52, 16/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    На doctype обратите внимание.
     
     
  • 3.8, Аноним123321 (ok), 21:52, 16/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    тоесть если внутри <title>...</title> -- будет какойнить <script src="..."></script> (вместо & lt ; script src= & quot ; ... & quot ; & gt ; & lt ; /script & gt ; )

       -- то Вы щитаете что doctype спасёт нас от XSS? :-D

     
     
  • 4.9, Lain_13 (?), 22:37, 16/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    На сайте есть что-то, что могут вводить сторонние пользователи? Я лично не вижу. XSS, на сколько я понимаю, предполагает наличие на сайте возможности оставлять комментарии или ещё что-то делать куда можно вбить свой код, который потом отобразится у всех и если сайт не защищён, то запустится.
    Сохрани это как html и открой: http://pastebin.com/81GJX6FM
     
  • 4.10, Анон (?), 06:07, 17/06/2011 [^] [^^] [^^^] [ответить]  
  • +/
    1) имелось ввиду что это не XHTML, поэтому можно использовать амперсанд вместо мнемоники «&».
    2) почитайте про XSS, это здесь совсем не причем.
    3) вы бы сначала проверили свой код, такое не осуществимо. http://www.w3.org/TR/html5/semantics.html#the-title-element
     

  • 1.7, Аноним (-), 21:42, 16/06/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Какой-то невнятный этот WebPagetest, на site-perf.com и то понятней что где как тормозит
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    MIRhosting
    Fornex
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру