The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

06.03.2018 23:10  Для PostgreSQL предложено новое хранилище zheap

Разработчики из компании EnterpriseDB представили новое хранилище zheap, которое предложено для включения в состав СУБД PostgreSQL 12. Хранилище zheap разработано для решения проблемы с разрастанием файлов с содержимым БД в результате фрагментации при обновлении содержимого записей и отличается от традиционного хранилища тем, что минимизирует необходимость выполнения операции VACUUM.

Суть предложенного в zheap формата хранения данных на диске в сохранении в основном хранилище только актуальных данных и выноса старых версий записей в отдельный лог отката изменений. При выполнении операций обновления записей данные в основном хранилище заменяются по месту, без применения схемы copy-on-write. Блоки, освобождающиеся в результате операций удаления или выполнения транзакции, для которых невозможна замена данных по месту, могут оперативно повторно использоваться сразу после высвобождения. Подобные особенности позволяют улучшить контроль за разрастанием хранилища и сделать его более предсказуемым.

Новое хранилище также позволяет добиться увеличения производительности и сократить размер служебных данных. Увеличение производительности достигается благодаря сокращению операций записи, путём исключения перезаписи страниц и выборочного обновления только индексированных столбцов без обновления каждого индекса. Оптимизация размера обеспечивается благодаря сокращению размера блоков (сокращён заголовок и исключено добавочное заполнение для выравнивания блока).

Тестирование производительности показало общее увеличение производительности, сокращение размера хранилища и более эффективное выполнение операций отката изменений. Наибольший выигрыш в производительности (до 45%) достигается в условиях большого числа операций перезаписи, а также когда операция UPDATE приводит к обновлению небольшого числа проиндексированных столбцов. Применение zheap также позволяет избавиться от проседания производительности во время активации процесса autovacuum и сократить число операций записи в WAL-лог. Из недостатков zheap упоминается более ресурсоёмкое выполнение операций удаления и сброса транзакций, а также снижение производительности при выполнении обновлений, затрагивающих большую часть проиндексированных столбцов.



  1. Главная ссылка к новости (http://amitkapila16.blogspot.r...)
  2. OpenNews: Релиз СУБД PostgreSQL 10
  3. OpenNews: Открыты исходные тексты СУБД CitusDB
  4. OpenNews: LinkedIn открыл код распределённого OLAP-хранилища Pinot
  5. OpenNews: Linux Foundation представил Kinetic, подключаемые через Ethernet самодостаточные хранилища
  6. OpenNews: В MySQL 8.0 отмечается закат хранилища MyISAM
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: postgresql, zheap
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, никто, 23:39, 06/03/2018 [ответить] [смотреть все]    [к модератору]
  • +2 +/
    Это же как у ORALCE c его роллбасл сегментом .... старое они оставят ?
     
     
  • 2.4, Аноним, 05:39, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]
  • +1 +/
    We have provided a storage engine option which you can set when creating a table... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.12, Аноним, 08:55, 07/03/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +6 +/
    Начинается свистопляска аля MySQL.
     
     
  • 4.27, rshadow, 14:50, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Дык это с незапамятных времен было Просто всех устраивает дефолтовый Я думаю е... весь текст скрыт [показать]
     
     
  • 5.29, angra, 16:43, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    У myisam полнотекстовый поиск и быстрые insert update в наиболее частом варианте... весь текст скрыт [показать]
     
     
  • 6.36, Аноним, 18:04, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Была другая более фундаментальная причина Пыхеры обычно обилием мозгов не отлич... весь текст скрыт [показать]
     
     
  • 7.46, angra, 20:21, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Но ты то не такой, ты ведь понял недостатки MyISAM для тех задач Так поведай о ... весь текст скрыт [показать]
     
     
  • 8.49, YetAnotherOnanym, 21:59, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Не знаю, как сейчас, а когда я имел дело с этим censored , myisam при записи ло... весь текст скрыт [показать]
     
  • 6.47, KonstantinB, 20:30, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    innodb был как минимум с 3 23, и его преимуществом было всегда прежде всего то,... весь текст скрыт [показать]
     
  • 6.53, Аноним, 05:59, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Регулярно вылавливаю последствия сладкой групповушки из MySQL MyISAM PHP Joomla... весь текст скрыт [показать]
     
  • 6.71, XoRe, 18:54, 13/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Не единственным и не главным Главное преимущество innodb - поддержка транзакций... весь текст скрыт [показать]
     
  • 4.48, KonstantinB, 20:37, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    В данном случае не вижу в этом ничего плохого Проблема мыскля не в этом, а в ре... весь текст скрыт [показать]
     
  • 1.3, Аноним, 05:37, 07/03/2018 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    ураааа, мы победили vacuum, vacuum больше ненужно!
    Опять...

     
     
  • 2.5, Аноним, 05:41, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +1 +/
    Ну при наличии undo rollback - действительно не нужно, нужно только purge Vacuu... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.11, Аноним, 08:45, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    там ключевое слово - опять - я щетаю, прекрасно - то есть, по факту, сего... весь текст скрыт [показать]
     
     
  • 4.57, Аноним, 15:00, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Плюсую Однако надо помнить, что по ходу этот zheap добавляет лишние операции за... весь текст скрыт [показать]
     
  • 1.6, Это я, 05:49, 07/03/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    На тот случай, если не у всех есть fullflash схд - можно ли указать путь, где создавать/хранить индексы? Чтобы не приходилось их переносить вручную.
     
     
  • 2.40, Аноним, 18:14, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    При создании индекса можно указать целевое ТП, где данные индекса будут размещен... весь текст скрыт [показать] [показать ветку]
     
  • 1.10, Аноним, 08:38, 07/03/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    ZSTD сжатия до сих порт нет, inmemory таблиц до сих пор тоже нет. А обещали...
     
     
  • 2.35, Аноним, 18:00, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Зачем вот это вот inmemory Вы хоть немного себе представляете как типичная совр... весь текст скрыт [показать] [показать ветку]
     
  • 1.15, лютый жабист__, 10:56, 07/03/2018 [ответить] [смотреть все]     [к модератору]  
  • –10 +/
    Самое смешное, что для 90 проектов MVCC не нужно Ну ваще не нужно Никуда и ни... весь текст скрыт [показать]
     
     
  • 2.17, amonymous, 10:58, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +5 +/
    Строите проекты без consistency? Ну удачи, чо.
     
     
  • 3.19, Аноним, 11:49, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –5 +/
    Фактически так жестко нужно наверно лишь в 10 случаев Упрямые бараны, делают п... весь текст скрыт [показать]
     
     
  • 4.42, _, 18:27, 07/03/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    >есть куча альтернатив...

    Это - да! Иди в садовники :)

     
  • 3.22, лютый жабист__, 13:19, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –3 +/
    Выбрал ненужный в 90 случаев C и отказался от нужного в 90 случаях А Ссзб чо... весь текст скрыт [показать]
     
     
  • 4.43, _, 18:28, 07/03/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Это только у жабистов или-или. У нормальных людей - и то, и другое :-р
     
     
  • 5.54, лютый жабист__, 12:37, 08/03/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Местные "банкиры локалхоста" отменили теорему cap. Не сомневался
     
     
  • 6.60, _, 17:15, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    У нас частый случай, который покрывает 146 приложений, работающих с баблом А ... весь текст скрыт [показать]
     
  • 2.20, Аноним, 12:00, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +17 +/
    >Самое смешное, что для 90% проектов MVCC не нужно. Ну ваще не нужно. Никуда и никак.

    Из серии "Самые тупые фразы в ИТ. Золотое издание" из разряда:
    * 90% времени отазоустойчивость не нужна
    * 90% времени бэкап не нужен
    * 90% проектов хватит одной базы данных на одном сервере у одного провайдера.

    Думаете, почему только 10% проектов успешны? Да потому что 90% обслуживают кретины.

     
     
  • 3.23, лютый жабист__, 13:33, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –2 +/
    Экспедры опеннета считают, постгрес в теореме о САР весь такой распупырчатый сра... весь текст скрыт [показать]
     
     
  • 4.28, rshadow, 15:02, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Дык дело не в mvcc Просто в постгре очень много чего не доделано в плане обслуж... весь текст скрыт [показать]
     
     
  • 5.33, Аноним, 17:54, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Я не знаю ни одной СУБД, где миграция на новую версию ПО файлов данных прежней п... весь текст скрыт [показать]
     
     
  • 6.41, лютый жабист__, 18:26, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –5 +/
    Подрастёшь, узнаешь ... весь текст скрыт [показать]
     
     
  • 7.51, Кузнец, 23:22, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Подрасту я уже вряд ли Давайте лучше примеры В Оракле переход с версии на верс... весь текст скрыт [показать]
     
     
  • 8.55, лютый жабист__, 12:45, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    В орацле вообще всё - жуткий гемор А то кто ж курсы купит Тут интересно, Монго... весь текст скрыт [показать]
     
     
  • 9.59, Кузнец, 16:46, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Оракл отлично документирован Причём его освоение дёшево и доступно Слон в этом... весь текст скрыт [показать]
     
     
  • 10.63, лютый жабист__, 19:55, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    п1 А на нашей планете все курсы по Оракле от полтинника-сотни, даже самые плеши... весь текст скрыт [показать]
     
     
  • 11.64, Кузнец, 21:58, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    По-моему, курсы по Ораклу совершенно бесполезны У Оракла отличная публичная бес... весь текст скрыт [показать]
     
     
  • 12.65, нах, 05:33, 09/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    курсы-то полезны, просто они не для вас в основном - во всяком случае, все эти ... весь текст скрыт [показать]
     
  • 12.67, лютый жабист__, 20:12, 09/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Как могут быть отличной документацией талмуды на 100500 страниц про то, что само... весь текст скрыт [показать]
     
     
  • 13.68, Кузнец, 13:50, 10/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ну тут уж кому и на горшок сходить самому или шнурки завязать -- мегаусложнённый... весь текст скрыт [показать]
     
  • 9.61, _, 17:23, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Ну ужос, да Но не УЖОС-УЖОС же Ваши жабьи ЕЕ иной раз позаковыристее любо... весь текст скрыт [показать]
     
  • 5.34, Аноним, 17:57, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    Но ведь это и близко не так И репликация, и, тем более, резервное копирование в... весь текст скрыт [показать]
     
     
  • 6.45, Moomintroll, 18:30, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Да ладно Вы действительно считаете RMAN удобным Функциональный - соглашусь ... весь текст скрыт [показать]
     
     
  • 7.50, Кузнец, 23:20, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Субъективно, конечно же, но по мне это лучшее решение Обширная функциональность... весь текст скрыт [показать]
     
  • 4.39, Аноним, 18:09, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Чувак, как бэкапы связаны с реализацией mvcc в Слоне Ты вообще хоть немного пон... весь текст скрыт [показать]
     
  • 2.37, Аноним, 18:06, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Зачем тогда СУБД вообще В файлик пишите всё подряд К чему эта морока ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.56, лютый жабист__, 12:47, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Изобрёл носкль Увы, это сделали ещё 10 лет назад И оно уже лет 5 как вытеснило... весь текст скрыт [показать]
     
     
  • 4.58, Кузнец, 16:39, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Понимаете, нет никакого носкуль Носкуль имплицитный скуль Т е вы пихаете к... весь текст скрыт [показать]
     
  • 4.62, _, 19:06, 08/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Му-ха-ха До чего же жабщики на всю голову волшебные - Это 10 лет назад на... весь текст скрыт [показать]
     
     
  • 5.66, люьый жабист__, 20:04, 09/03/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    key-value Это не субд.
     
  • 1.18, Аноним, 11:34, 07/03/2018 [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Я не совсем понял, они этакую VCS в СУБД придумали ... весь текст скрыт [показать]
     
     
  • 2.24, аноним 12, 14:15, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Какие такие 171 они 187 Сегмент наката так и хранится, просто они сделали е... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.31, Аноним, 16:51, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Исторические данные в Слоне традиционно хранились вместе в одной и той же ... весь текст скрыт [показать]
     
     
  • 4.38, Аноним, 18:06, 07/03/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    вместе с актуальными ... весь текст скрыт [показать]
     
  • 2.30, Аноним, 16:47, 07/03/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    MVCC. Нет, не слышал?
     
  • 1.26, Аноним, 14:49, 07/03/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    Сделали таки сегменты отката Не очень нужно, в общем-то Нормально настроенные ... весь текст скрыт [показать]
     
  • 1.52, Кузнец, 23:29, 07/03/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    В Слоне же единственной проблемой реализации MVCC были короткие 32-битные XID-ы. Ну так эту проблему вынос исторических данных в отдельный хип не решает ни в какой мере. Да и проблемой это сложно назвать, если честно. В общем, не знаю: по-моему, Слон 9.2 был и так, в плане концепции, вполне достаточен. Дальше уже пошли куда-то... вширь.
     
  • 1.69, DeadMustdie, 14:36, 12/03/2018 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    > выноса старых версий записей в отдельный лог отката изменений

    О да, они сделали UNDO aka ROLLBACK SEGMENT

    > исключения перезаписи страниц

    И похоже, добавили буферные пулы.

    Интересно, почему сие произошло только сейчас? :)

     
     
  • 2.70, Andrey Mitrofanov, 16:18, 12/03/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Почему сейчас Так ентропия легла Манагеры ентерпрайсдебе прочитали wikipedia ... весь текст скрыт [показать] [показать ветку]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor