The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск движка хранения TileDB 2.0

09.05.2020 11:07

Опубликовано хранилище TileDB 2.0, оптимизированное для хранения многомерных массивов и данных, используемых в научных расчётах. В качестве областей применения TileDB упоминаются различные системы обработки генетической информации, пространственных и финансовых данных, т.е. системы оперирующие разрежёнными или непрерывно заполняемыми многомерными массивами. TileDB предлагает С++ библиотеку для прозрачного абстрагирования доступа к данным и метаданным в приложениях, беря на себя всю работу по низкоуровневой организации эффективного хранения. Код проекта написан на языке С++ и распространяется под лицензией MIT. Поддерживается работа в Linux, macOS и Windows.

Основные особенности TileDB:

  • Эффективные методы хранения разреженных массивов, данные в которых не следуют непрерывно, массив заполняется фрагментами, и большая часть элементов остаются пустыми или принимают одно и то же значение.
  • Возможность доступа к данным в формате ключ-значение или наборов столбцов (DataFrame);
  • Поддержка интеграции с облачными хранилищами AWS S3, Google Cloud Storage и Azure Blob Storage;
  • Поддержка мозаичных (блочных) массивов;
  • Возможность использования разных алгоритмов сжатия и шифрования данных;
  • Поддержка проверки целостности по контрольным суммам;
  • Работа в многопоточном режиме c распараллеливанием ввода/вывода;
  • Поддержка версионирования хранимых данных в том числе для выборки состояния в определённый момент в прошлом или атомарных обновлений целиком больших наборов.
  • Возможность привязки метаданных;
  • Поддержка группировки данных;
  • Модули интеграции для использования в качестве низкоуровневого движка хранения в Spark, Dask, MariaDB, GDAL, PDAL, Rasterio, gVCF и PrestoDB;
  • Библиотеки-обвязки над C++ API для языков Python, R, Java и Go.

Выпуск 2.0 примечателен поддержкой концепции "DataFrame", которая позволяет хранить данные в форме столбцов значений произвольной длины, привязанных к определённым атрибутам. Хранилище также оптимизировано для обработки разреженных массивов разнородного размера (в ячейках могут хранится данные разного типа и можно выполнять операции слияния столбцов разного типа, например, в которых хранится название, время и цена). Добавлена поддержка столбцов со строковыми данными. Добавлены модули для интеграции с Google Cloud Storage и Azure Blob Storage. Переработан API для языка R.

  1. Главная ссылка к новости (https://medium.com/tiledb/tile...)
  2. OpenNews: Выпуск СУБД TimescaleDB 1.7
  3. OpenNews: PostgreSQL Anonymizer 0.6, расширение для анонимизации данных в СУБД
  4. OpenNews: Выпуск документоориентированной СУБД Apache CouchDB 3.0
  5. OpenNews: Опубликован второй кандидат в релизы встраиваемой СУБД libmdbx 1.0
  6. OpenNews: Новая версия СУБД ArangoDB 3.6
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52917-tiledb
Ключевые слова: tiledb, database, nosql
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (8) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:33, 09/05/2020 [ответить]  
  • –18 +/
    Генетической информации?  Хорошо хоть коронавирус не приплели.
     
     
  • 2.2, Alex (??), 12:40, 09/05/2020 [^] [^^] [^^^] [ответить]  
  • +13 +/
    Ты с этим хорошо справился. Молодец!
     
     
  • 3.3, Аноним (1), 13:35, 09/05/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Было трудно, но приплел)
     

  • 1.4, Аноним (4), 15:49, 09/05/2020 Скрыто ботом-модератором     [к модератору]
  • –4 +/
     

     ....ответы скрыты (3)

  • 1.8, Аноним (8), 16:02, 11/05/2020 [ответить]  
  • +/
    Кто щупал? TileDB работает как отдельный процесс или в качестве библиотеки встраивается в продукт?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру