The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Самая большая БД в мире работает на модифицированном PostgreSQL в Yahoo

27.05.2008 20:40

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире. Объём данных: 2 петабайт, нагрузка: 24 млрд событий в сутки. БД работает под управлением модифицированного PostgreSQL. В качестве однго из самых крупных изменений, можно отметить ориентацию на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает лучшую скорость доступа к данным для аналитических целей.

В базе хранится история поведения веб-пользователей, утверждается, что в месяц сохраняются данные о полумиллиарде пользователей. Некоторые таблицы в базе содержат триллионы строк, которые не просто лежат мёртвым грузом на дисках, но могут быть запрошены и обработаны стандартным SQL, в стандартной ACID-совместимой среде.

Инженеры Yahoo ожидают рост до 5 петабайт к следующему году. И они готовы к такому росту. Для сравнения: редко встречаются БД уровня предприятия объёмом более десятков терабайт. Например, одна из самых больших публично известных БД в мире — база данных налоговой службы США «весит» всего лишь 150 терабайт. Компания EBay заявляет, что работает с системами, обрабатывающими 10 млрд строк в сутки, при этом суммарный объём данных в этих системах составляет 6 петабайт, а объём данных у самой большой из систем — около 1.4 петабайт.

Стоит понимать, что речь идёт именно о СУБД и БД, построенных на них. Есть хранилища данных с ещё более впечатляющим объёмам, но практически недоступными для анализа и обработки. К примеру, Всемирный центр данных о климате в Гамбурге обладает хранилищем в более чем 6 петабайт данных, сохранённых на магнитной ленте, при этом в «активном» состоянии находятся «лишь» 220 терабайт данных (которые обслуживаются СУБД под управлением Linux, см. PDF).

  1. Главная ссылка к новости (http://postgresmen.ru/news/vie...)
Автор новости: Postgresmen
Лицензия: CC BY 3.0
Источник: postgresmen.ru
Короткая ссылка: https://opennet.ru/16120-posgresql
Ключевые слова: posgresql
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Bocha (??), 22:19, 27/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Yahoo вроде на FreeBSD работает, и эта база тоже?
     
     
  • 2.2, Аноним (-), 22:35, 27/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Естественно. PostgreSQL - это самая мощная СУБД из разряда OpenSource.
     
     
  • 3.3, Аноним (-), 22:41, 27/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Естественно. PostgreSQL - это самая мощная СУБД из разряда OpenSource.

    Да и среди ClosedSource, любое Оракле заткнет за пояс.
    Мой сервак тоже на постгре работает.
    Жалоб нет, в отлии от Мускула и M$скула...

     
     
  • 4.4, pawnhearts (ok), 22:45, 27/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Да и среди ClosedSource, любое Оракле заткнет за пояс.

    хоть это и спорное утверждение, однако, наличие исходного кода неоспоримое преимущество.
    о чем, собственно, и новость

     
     
  • 5.25, User294 (ok), 13:58, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >хоть это и спорное утверждение,

    Ну пусть кто-то покажет такую же БД под ораклом и похвастается.А так - особенно издевательски в этой новости смотрится баннер :))) "Разрабатываете на MySQL?" от оракла :).Да, для действительно больших баз и правда будем смотреть.Нет, не на оракла.На постгрес :))))))))))

    >однако, наличие исходного кода неоспоримое преимущество.

    (есть еще одно: не надо платить жадному ораклу за enterprise-class базу данных, хаха)

     
     
  • 6.30, pawnhearts (ok), 17:38, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>однако, наличие исходного кода неоспоримое преимущество.
    >(есть еще одно: не надо платить жадному ораклу за enterprise-class базу данных,
    >хаха)

    дело не в цене, а в контроле над технологией. никто не будет диктовать цены, политику, направление развития и т.п.
    ну и гибкость..

     
  • 4.5, Все тот же аноним (?), 23:00, 27/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > Да и среди ClosedSource, любое Оракле заткнет за пояс.

    К сожалению, это неправда. У Oracle в ближайшие пять лет конкурентов не появится.

     
     
  • 5.6, qqqq (?), 02:32, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >> Да и среди ClosedSource, любое Оракле заткнет за пояс.
    >
    >К сожалению, это неправда. У Oracle в ближайшие пять лет конкурентов не
    >появится.

    Истина.
    У постгреса нет даже внятной встроенной репликации, что у Мускуля уже лет 500

    постгрес vs мускуль ещё можно поспорить... Но уж никак не супротив монстра оракля :)

     
     
  • 6.9, PavelR (??), 06:39, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Давно ли мускул научился (и научился ли) работать с транзакциями, и как там с бэкапом обстоят дела, а что такое триггеры Вы, уважаемый, знаете ? Чтот кажется что в мускуле это в зародышевом состоянии перманентно.
     
     
  • 7.14, qqqq (?), 09:53, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Давно ли мускул научился (и научился ли) работать с транзакциями

    C 4-й версии. Вы слышали что-то об InnoDB? :)

    >и как там с бэкапом обстоят дела,

    А что не так с бекапом? mysqldump отменили? Если хотите можете бекапить и со слейва.

    >а что такое триггеры Вы, уважаемый, знаете ?

    А с ними то что не так? :) http://dev.mysql.com/doc/refman/5.0/en/triggers.html

    >Чтот кажется что в мускуле это в зародышевом состоянии перманентно.

    В этом "зародышевом состоянии" находится пол и-нета :) И триггеры используются и (о чудо) хранимые процедуры, и даже вьюхи и курсоры :) Это 5.0 (stable)

    Такое ощущение, что вы минимум лет 5 не интересовались новостями в MySQL :)

     
     
  • 8.15, Aleksey (??), 10:01, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    В MySQL очень медленные хранимые процедуры, особенно это заметно, если в хранимо... текст свёрнут, показать
     
     
  • 9.20, cubite (?), 12:47, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Истинно говорите В MySQL триггеры и хранимые процедуры функции по сравнению с т... текст свёрнут, показать
     
  • 8.19, Veter (??), 12:40, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А вы умеете писать триггеры и хранимки в мускуле на тикле, перле, яве Подели... текст свёрнут, показать
     
     
  • 9.24, qqqq (?), 13:36, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Юзайте упомянутый бекапный слейв По ресурсам его можно установить без проблем н... текст свёрнут, показать
     
     
  • 10.32, Аноним (32), 18:02, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо Мне даже добавлять ничего не надо Вот в этом - весь мускуль - да... большой текст свёрнут, показать
     
     
  • 11.36, qqqq (?), 18:49, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Относитесь ко всему философски Вся наша жизнь - это анус По поводу бекапов -... текст свёрнут, показать
     
     
  • 12.45, Nikolay Samokhvalov (?), 22:32, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, там же Пётр расспрашивает Брюса Момджана координатор разработки Постгр... текст свёрнут, показать
     
  • 9.26, User294 (ok), 14:27, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Дядь, а MS-DOS 1 0 еще и не такой какой был ... текст свёрнут, показать
     
  • 9.51, Oles (?), 01:25, 29/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    mysql это не тип базы данных есть myisam, есть innodb mysqldump --single-trans... текст свёрнут, показать
     
  • 8.56, Serge (??), 22:50, 07/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Я мля с этим говном кажный день ипусь И если хранение процедур и триггеров с pl... текст свёрнут, показать
     
  • 7.27, terr0rist (ok), 16:21, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А давно ли постгрес научился выдавать числовой код ошибки?
    А какого хрена для того, чтобы сменить кодировку базы, нужно переинициализировать весь кластер постгреса?
    А где был постгрес с autoincrement? Когда нормально заработал тип serial ?
    Ну и вообще, нахрена козе (т.е. постгресу) баян в виде всех этих GiST, PL/Tcl и прочего, если реально им пользуется 0.01% пользователей этого самого постгреса?
    Сделали б версию для веба (хотя бы с теми функциями, которые есть в Мускуле и которых в постгре нет), глядишь, народ бы на них повалил бы.
    А то на данный момент лозунг the world's most advanced database уж никак к постгресу не относится... имхо.
     
     
  • 8.29, Все тот же аноним (?), 16:33, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Несомненное достоинство PostgreSQL - отсутствие попсовости, т е ориентированно... текст свёрнут, показать
     
  • 8.33, Аноним (32), 18:06, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Да нет - просто данный момент ты никак не относишься к числу экспертов к мнению ... текст свёрнут, показать
     
     
  • 9.37, qqqq (?), 18:55, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Изложите сей лозунг пожалуйста коммерческим веб-хостерм С большой вероятностью ... текст свёрнут, показать
     
     
  • 10.39, Все тот же аноним (?), 20:04, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Каким-таким коммерческим веб-хостерам Баранам типа РБК, размещающих домашние ... текст свёрнут, показать
     
  • 10.44, Аноним (-), 21:29, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это помойкам типа общественный туалет которые хостят сотни дерьмостраничек на ... текст свёрнут, показать
     
  • 8.34, Аноним (32), 18:08, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Открой для себя SQLite - для веба самое оно ... текст свёрнут, показать
     
  • 6.28, maximus (??), 16:28, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    +1

    И вдобавок, когда же в PostgreSQL появится нормальный CONNECT BY?

     
     
  • 7.46, Nikolay Samokhvalov (?), 22:36, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Когда Вы или ещё кто-то, кому он очень нужен, реализуете его.

    P.S. connect by -- это оракловое, нестандартное. так что в Постгрес протащить будет непросто очень. Патч для реализации рекурсивных запросов (конструкция WITH) _по стандарту_ языка SQL уже готов и с большой долей вероятности будет в 8.4:

    "Tatsuo Ishii выслал патч, реализующий стандартную (ISO/ANSI SQL) конструкцию WITH RECURSIVE. Если патч будет принят, PostgreSQL станет первой СУБД с открытым исходным кодом, реализующей встроенную возможность работы с деревьями и ориентированными графами."
    (http://postgresmen.ru/news/view/96)

     
  • 6.31, Аноним (32), 17:52, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >У постгреса нет даже внятной встроенной репликации, что у Мускуля уже лет 500

    Ути -пути %)Зато не встроенных есть на любой вкус - хочешь master-slave, хочешь - master-master, конечно sync и async для обеих схем. И всё это работает в отличие от :)

     

  • 1.7, Pavel (??), 05:24, 28/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    пиарят сами себя, готовятся к продаже
     
  • 1.8, vitek (??), 06:38, 28/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    так вот что хотеля M$!
    1. поиметь базу
    2. не дать просочиться этой информации
    зы:
    если Oracle сравнить с PostgreSQL и нельзя, то уж с M$SQL точно можно.
     
  • 1.10, Bocha (??), 07:15, 28/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А вот Sun Microsystems, например, продвигает постгрес, как раз таки подчеркивая, что до оракла ей далеко. Суть их лозунгов была, если кто помнит, покупая такой-то спарк с бесплатными солярисом и постгресом, идущем в комплекте, вы получаете в два раза меньшую производительность за в пять раз меньшую цену. И это работало. Потом Sun купил MySQL.
     
     
  • 2.11, vitek (??), 08:56, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    может работало, может нет, может не достаточно хорошо работало, но...
    определяющим здесь думается является поддержка ERP систем.
    SAP поддерживает MySQL - вот sun и прикупил.
    зы:
    а под постгрес пока одна коммерческая "ERP" есть - 1С.
    и та на нем криво работает.
     
     
  • 3.16, дима (??), 10:38, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    вполне достойно работает. не надо говорить то о чем не имеете представления.
     
     
  • 4.18, sauron (??), 12:05, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >вполне достойно работает. не надо говорить то о чем не имеете представления.
    >

    Фигово оно там работает, особенно учитывая то как программисты 1C работают с базой. Руки поотрывал бы.

     
  • 4.21, vitek (??), 12:56, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    что именно достойно работает?
    1С в постгресе? :-)
    смотрим сюда - http://v8.1c.ru/overview/postgresql.htm , а именно:
    1С:Предприятие 8 имеет некоторые особенности работы с СУБД PostgreSQL, связанные с использованием транзакционных блокировок:
      1. в режиме автоматического управления блокировками в транзакции используются табличные блокировки СУБД;
      2. в режиме управляемых блокировок в транзакции используются блокировки записей и полей СУБД.
    т.е. автоматические блокировки (что по умолчанию) в СУБД PostgreSQL блокируют при вставке и изменении всю таблицу.
    в MsSQL и db2 это не так.
    Вывод: 1с на PostgreSQL - бюджетный вариант, для ограниченного числа одновременно работающих пользователей.
    хотите больше - покупайте M$SQL. (или db2)

    и да, не надо говорить то о чем не имеете представления.

     
     
  • 5.22, Все тот же аноним (?), 13:16, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    За одинце на PostgreSQL Боре Нуралиеву нужно как следует надавать по заднице, чтобы неповадно было кривые поделки переносить на нормальные СУБД и платформы. Так что баранов, которые на это купились, не жаль.

    А Вам, дружище, прежде чем чушь писать, было бы хорошо иметь хотя бы поверхностное представление о PostgreSQL.

     
     
  • 6.23, vitek (??), 13:28, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    это какую я чушь написал? :-/ дружище!

    хоть про "надавать" согласен.
    этим му...м было "проще" PostgreSQL изменить, чем свою "ERP"-систему доделать до нормальной работы с этой СУБД.

     
     
  • 7.48, Nikolay Samokhvalov (?), 22:43, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    ОК, сделаете вы такую систему. А сможете ли сделать конвертор БД из 1С-форматов, чтобы перетягивать клиентов? А сможете развить свою партнёрскую сеть? А где возьмёте толпу консультантов и техн спецов, которые будут знать, какими ключами какие гайки заворачивать?
     
     
  • 8.53, vitek (??), 12:50, 29/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Вы вообще о чём непонятно а по поводу конвертеров - так и делаю лучше ответьт... текст свёрнут, показать
     
  • 6.47, Nikolay Samokhvalov (?), 22:41, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    К сожалению, вынужден присоединиться к данному мнению. Текущая версия 1С с Постгресом работает далеко не идеально. Банально генерятся тяжеленные запросы (в логах легко наблюдать картину: большое кол-во table-level lock-ов, толстущие запросы с массой LEFT JOIN-ов и т.д.)

    Но:
      - всё равно во многих случаях уже сейчас есть смысл, т.к. можно сэкономить несколько десятков килобаксов и при этом обелить свою контору в плане лицензий;
      - есть люди, которые работают над улучшением ситуаций. Тут важна позиция 1С и я искренне надеюсь, что они будут развивать продукт (хотя и есть некоторые сомнения, что выводить Постгрес-продукт на один уровень МС-продукта может быть не выгодно).

     
     
  • 7.50, Все тот же аноним (?), 23:43, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Николай, чем раньше одинце загнется, тем будет лучше. Всем. Глобальная проблема одинце - тупость архитекторов, которые не имеют представления ни о проектировании, ни о базах данных.

    Люди, которые работают над "улучшением ситуации", напрасно теряют время: его можно потратить на написание нормального программного продукта.

     
     
  • 8.52, qqqq (?), 09:00, 29/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    1С благополучно загибается уже лет 10 если не больше Да архитектура - плоха ... текст свёрнут, показать
     
     
  • 9.54, Все тот же аноним (?), 15:03, 29/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А форточки загибаются еще дольше И это не делает ни форточки, ни одинце достойн... текст свёрнут, показать
     
  • 9.55, GateKeeper (??), 10:26, 02/06/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Нам это оперативное вылилось в продолжительность около полутора месяцев Догад... текст свёрнут, показать
     
  • 3.35, Аноним (32), 18:14, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >SAP поддерживает MySQL - вот sun и прикупил.

    Парень - завязывай с герычем! SAP может работать на SAPdb - это СЮРПРИЗ!!! - __совсем__не__мыскыл__датабазе__!!! (Хотя и принадлежит той же _лавке_). Ну или пруфлинк с инсталляцией сапы на мыскыл "в студию"!

    >а под постгрес пока одна коммерческая "ERP" есть - 1С. и та на нем криво работает.

    1) По крайней мере - есть. В отличие от :)
    2) 1С ... не может работать не криво, даже на сферической идеальной датабазе :)

     
     
  • 4.38, vitek (??), 19:28, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    дарагой.
    где ты видел, чтоб я писал, что SAP работает на MySQL?
    я писал, что SAP ПОДДЕРЖИВАЕТ MySQL, а теперь значится и SUN.
    то бишь они теперь (SUN и SAP) корефаны.
    и базу обзывают не SAPdb, а MaxDB.
    (надеюсь на этом сленге понятней?)
    >1) По крайней мере - есть. В отличие от :)
    >2) 1С ... не может работать не криво, даже на сферической идеальной датабазе :)

    проблемма не в том, что 1С кривая, а в том, что эта кривизна работает на PostgreSQL НАМНОГО хуже чем на M$SQL. (см. комментарии выше)
    и ЭТО сделано специально.
    да еще и PostgreSQL прогнули, впихнув в него свой 1С-код.

     
     
  • 5.41, Колян (?), 20:54, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >дарагой.
    >где ты видел, чтоб я писал, что SAP работает на MySQL?
    >я писал, что SAP ПОДДЕРЖИВАЕТ MySQL, а теперь значится и SUN.

    Одно дело - работать, другое дело - поддерживать.
    Понятно, что и мерседес можно заправлять А-76. И наверное, он даже поедет, НО КТО ТАК ДЕЛАЕТ????

    >то бишь они теперь (SUN и SAP) корефаны.
    >и базу обзывают не SAPdb, а MaxDB.
    >(надеюсь на этом сленге понятней?)

    Базу теперь-таки правильно называть SAP MaxDB

     
     
  • 6.42, vitek (??), 21:17, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    > Одно дело - работать, другое дело - поддерживать.

    вот именно.
    поддерживать можно морально, материально, физически.

     
  • 3.40, Dvorkin (??), 20:40, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    думаю, все сложнее. :)
    в Compiere/Adempiere есть поддержка Оракле и Постгрес и нет майэскуэль...
    просто потому что на mysql все эти обьекты невозможно запихнуть в процедуры на PL/Java.
     
     
  • 4.43, vitek (??), 21:21, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    конечно все не так просто :-)
    почему то все скатываются только на технический уровень.
    а ведь здесь большую роль играет именно коммерческая составляющая.
     

  • 1.12, Аноним (32), 09:15, 28/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кстати, господа, а кто-нибудь репликацией данных между
    разными СУБД занимается/занимался? Консультация нужна.

     
     
  • 2.13, skgennady (ok), 09:41, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Кстати, господа, а кто-нибудь репликацией данных между
    >разными СУБД занимается/занимался? Консультация нужна.

    А что именно интересует?

     
  • 2.49, Nikolay Samokhvalov (?), 22:45, 28/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Кстати, господа, а кто-нибудь репликацией данных между
    >разными СУБД занимается/занимался? Консультация нужна.

    Если задача затрагивает Постгрес, можете обратиться к нам, postgresmen.ru.

     

  • 1.17, DXiT (?), 10:40, 28/05/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Пусть включат полный аудит транзакций и побьют рекорд по скорость роста объема базы -)).
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру