The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

15.05.2017 20:24  Открыт код СУБД MapD Core, использующей GPU для хранения и обработки данных

Компания MapD Technologies объявила об открытии исходных текстов СУБД MapD Core, обеспечивающей создание хранилища в оперативной памяти (IMDB - in-memory database). СУБД поддерживает SQL и оптимизирована для решения задач по анализу и визуализации данных. Код написан на языках C++ и Go, и распространяется под лицензией Apache 2.0.

Особенностью MapD Core является задействование GPU (поддерживается NVIDIA CUDA) для ускорения анализа данных. Отмечается, что обработка данных на стороне GPU позволяет за миллисекунды выполнять запросы, охватывающие миллиарды строк, что на порядок быстрее, чем можно добиться от самых быстрых решений на основе CPU. Например, на системе с несколькими современными видеокартами можно добиться пропускной способности при работе с видеопамятью на уровне 6 TB/sec, что более чем в 40 раз быстрее, чем при работе с памятью на обычном сервере.

Если размер хранимых данных сопоставим с суммарным размером видеопамяти (VRAM) всех GPU, то данные хранятся только в видеопамяти. В противном случае видеопамять всех имеющихся GPU используется как низкоуровневый кэш, в котором поддерживается набор столбцов, наиболее часто востребованных в запросах, а для обработки сложных запросов применяется комбинированная схема, в которой параллельно используются CPU и GPU. Для экономии памяти данные хранятся в сжатом виде.

Общий размер хранилища может многократно превышать размер видеопамяти и ограничен лишь возможностями по наращиванию ОЗУ. Но подобный комбинированный подход медленнее, поэтому для достижения наивысшей производительности рекомендуется, чтобы все данные вмещались в видеопамять. Для сохранения состояния БД между перезапусками возможно поддержание актуального архива данных на SSD-накопителях.

Запросы оформляются на обычном SQL. Поддерживается создание фильтров, группировка, агрегирование данных, слияния запросов (join). Каждый SQL-запрос компилируется с использованием JIT-компилятора в форму, пригодную для выполнения на GPU NVIDIA, а также в вид машинных инструкций для CPU. Такой подход, основанный на идее компиляции SQL в готовый к исполнению обработчик, позволяет обойтись без интерпретаторов и планировщиков запросов. При обработке данных применяется массовое распараллеливание операций, что позволяет добиться максимальной производительности без необходимости использования индексов (перебор огромным числом параллельно выполняемых потоков выполняется быстрее, чем при использовании индексов).

Для подсоединения к СУБД поддерживаются интерфейсы JDBC, ODBC, Apache Thrift, Kafka и Sqoop. MapD также предоставляет встроенный движок отрисовки, позволяющий визуализировать результаты выполнения запросов в виде PNG-изображений на стороне СУБД (для визуализации на стороне клиента требуется передача больших объёмов данных по сети). В случае необходимости создания больших хранилищ или для обеспечения отказоустойчивости предоставляются средства для развёртывания распределённых конфигураций. При этом движок визуализации, компоненты для создании кластерных конфигураций, а также драйверы ODBC и LDAP остаются закрытыми и доступны только в коммерческой редакции MapD Analytics Platform Enterprise Edition.

  1. Главная ссылка к новости (https://www.mapd.com/blog/2017...)
  2. OpenNews: Для PostgreSQL развиваются механизмы ускорения за счёт привлечения GPU
  3. OpenNews: Представлена СУБД InfluxDB 1.0
  4. OpenNews: Представлена децентрализованная СУБД Noms, основанная на идеях Git
  5. OpenNews: Доступна открытая СУБД CrateDB 1.0
  6. OpenNews: Первый стабильный выпуск отказоустойчивой СУБД CockroachDB
Лицензия: CC-BY
Тип: Программы
Ключевые слова: mapd, database, gpu
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, A.Stahl, 21:51, 15/05/2017 [ответить] [смотреть все]
  • +7 +/
    Фигня! Хочу чтобы БД хранила данные в буфере клавиатуры! Сколько там в 8042? Байт 16 точно есть.
     
     
  • 2.2, Аноним, 21:59, 15/05/2017 [^] [ответить] [смотреть все] [показать ветку]
  • –2 +/
    NVIDIA GEFORCE GTX 1080 поставляется с 64Гб видеопамяти.
     
     
  • 3.4, RazrFalcon, 22:09, 15/05/2017 [^] [ответить] [смотреть все]
  • +/
    Даже не близко.
     
  • 3.6, kachsheev, 22:15, 15/05/2017 [^] [ответить] [смотреть все]
  • +/
    > 64 Гб.

    Пруф модели будет? На ямаркете есть только с 11264 Мб.

     
  • 3.11, PSV, 22:52, 15/05/2017 [^] [ответить] [смотреть все]
  • +/
    "Заправь плечи" у титанаХ этой линейки куда как меньше.
     
  • 3.31, Это я, 08:57, 16/05/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    при этом в задачи памяти типа gddr не входит контроль и обеспечение целостности ... весь текст скрыт [показать]
     
     
  • 4.44, Аноним, 16:45, 16/05/2017 [^] [ответить] [смотреть все]  
  • +/
    nvidia говорит что опционально включаемо начиная с fermi на tesla 20x говорит чт... весь текст скрыт [показать]
     
  • 2.17, all_glory_to_the_hypnotoad, 01:18, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Бывают разные, даже с процессором и около 64к памяти.
     
  • 2.43, Аноним, 16:28, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Есть радеоны с терабайтным SSD на борту Луркай Radeon Pro SSG Ссылка http w... весь текст скрыт [показать] [показать ветку]
     
  • 1.3, Аноним, 22:07, 15/05/2017 [ответить] [смотреть все]  
  • +/
    Всякие куды, шейдеры, вулканы теперь не нужны Теперь пикселя считает база Ждем... весь текст скрыт [показать]
     
  • 1.5, Crazy Alex, 22:12, 15/05/2017 [ответить] [смотреть все]  
  • +12 +/
    Ну и откуда петросяновщина? Вроде ж уже все в курсе, что "видеокарты" - это такие мощные параллельные считалки чего попало?
     
     
  • 2.9, Аноним, 22:37, 15/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    Увидели знакомые слова СУБД и GPU в непривычной связке, шаблон порвало, вот ... весь текст скрыт [показать] [показать ветку]
     
  • 2.14, EHLO, 00:14, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    малонужные асики, которые умеют немного майнить и запускать иоба, но их покупку ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.15, Аноним, 00:28, 16/05/2017 [^] [ответить] [смотреть все]  
  • +/
    видяха не асик
     
     
  • 4.37, ano, 11:01, 16/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    пруф?
     
     
  • 5.41, bircoph, 14:58, 16/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    > пруф?

    - электровоз — не самолёт
    - пруф?

     
     
  • 6.48, ano, 20:20, 16/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    электровоз от самолета можно визуально отличить ты без рентгена и не имея исход... весь текст скрыт [показать]
     
     
  • 7.52, Ordu, 08:57, 17/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Да ладно... Ты не можешь визуально отличить асик от видеокарты?
     
     
  • 8.59, ano, 23:01, 18/05/2017 [^] [ответить] [смотреть все]  
  • +/
    тёплое от мягкого а ну ка, умник, скажи что где изображено http i imgur co... весь текст скрыт [показать]
     
     
  • 9.61, Ordu, 00:15, 19/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Микросхемы какие-то Среди них нет видеокарты ... весь текст скрыт [показать]
     
  • 9.62, Аноним, 20:17, 20/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Подсказка: У асика нет VGA разьема
     
  • 7.53, Ordu, 08:58, 17/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    А материнскую плату от клавиатуры ты можешь отличить визуально ... весь текст скрыт [показать]
     
  • 2.18, all_glory_to_the_hypnotoad, 01:22, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    На самом деле нет, не чего попало И таки да, всем известно что на GPGPU а не л... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.21, Crazy Alex, 03:20, 16/05/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Понятно, что я преувеличил слегка для простоты, но то, что выше - совсем уж ярый... весь текст скрыт [показать]
     
  • 2.30, ыы, 08:35, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Невежество в данном вопросе колоссальное у людей думающих что мощные параллельны... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.33, Аноним, 09:38, 16/05/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    В новости нигде и не сказано, что эту штуку позиционируют как конкурента СУБД о... весь текст скрыт [показать]
     
  • 1.7, Аноним, 22:17, 15/05/2017 [ответить] [смотреть все]  
  • –2 +/
    Правильно ! Да здравствуют БД на GPU и графика на CPU !
     
     
  • 2.13, EHLO, 00:06, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    >Правильно ! Да здравствуют БД на GPU и графика на CPU !

    и фреймбуффер на SSD

     
  • 1.16, ыы, 00:36, 16/05/2017 [ответить] [смотреть все]  
  • +1 +/
    срочно выкидываем все стойки с блэйдами и ставим писюки набитые видюшками...
     
     
  • 2.19, all_glory_to_the_hypnotoad, 01:24, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Так уже давно делают, см. из чего сделаны разные кластера из торNNN.
     
     
  • 3.22, Crazy Alex, 03:24, 16/05/2017 [^] [ответить] [смотреть все]  
  • –3 +/
    Вот, теперь твой черёд капитаном Очевидность поработать Могу тоже прицепиться... весь текст скрыт [показать]
     
     
  • 4.26, ыы, 08:15, 16/05/2017 [^] [ответить] [смотреть все]  
  • +/
    да, явное невежество товарищей не понимающих разницы между вычислительным класте... весь текст скрыт [показать]
     
  • 3.27, ыы, 08:18, 16/05/2017 [^] [ответить] [смотреть все]  
  • +/
    и на скольки изэтих кластеров работают базы данных ... весь текст скрыт [показать]
     
  • 1.20, АнонимХ, 02:40, 16/05/2017 [ответить] [смотреть все]  
  • +/
    Ну чего , парни ищут инвестиции, порадоваться за них надо. вон какую презентацию налабали,даже на русский перевели, не иначе, на сколковский гранд рассчитывают. Интересно, кроме синтетики, это вообще можно применить для хоть каких-то данных
     
     
  • 2.45, Анона, 16:52, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Неа, более того, тот же ClickHouse для задач аналитики на CPU уделывает этого не... весь текст скрыт [показать] [показать ветку]
     
  • 1.23, Аноним, 04:53, 16/05/2017 [ответить] [смотреть все]  
  • –1 +/
    Звучит, конечно, как фантастика Ребята не юзают ни индесов, ни оптимизаторы и н... весь текст скрыт [показать]
     
     
  • 2.24, лютый жабист__, 05:35, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Таких изобретателей квадратноколёсых велосипедов полно Тоже встречал деятелей, ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.28, Аноним, 08:26, 16/05/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Опять ты свои байки рассказываешь Что за БД Сколько в нее угрохали сил и вре... весь текст скрыт [показать]
     
     
  • 4.38, лютый жабист__, 12:51, 16/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Читать глазами, а не Ж не пробовал Вместо велосипеда на си взяли готовую субд ... весь текст скрыт [показать]
     
     
  • 5.46, Аноним84701, 17:00, 16/05/2017 [^] [ответить] [смотреть все]  
  • +3 +/
    Отличная отмазка Если что, то проект недостаточно нелокалхостен , да Ну, тут... весь текст скрыт [показать]
     
     
  • 6.47, angra, 18:35, 16/05/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Там еще веселее, основную работу делает код на awk, так что это awk в 235 раз бы... весь текст скрыт [показать]
     
  • 6.51, лютый жабист__, 06:15, 17/05/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    1ГБ тестовых данных для распределенных вычислений, это мощно Типичный кульсисоп... весь текст скрыт [показать]
     
     
     
     
    Часть нити удалена модератором

  • 9.60, Led, 23:21, 18/05/2017 [^] [ответить] [смотреть все]  
  • +/
    .
     
  • 1.25, economist, 08:13, 16/05/2017 [ответить] [смотреть все]  
  • –1 +/
    А вот встроенный движок отрисовки диаграмм в PNG - зачётно. Сколько приходится городить костылей в бизнес приложения из-за этого. GnuPlot, MatPlotlib, RRDTools, GoogleChart и еще с десяток - так или иначе приходится изучать и лепить... в 80% случаев ради десятка простых диаграмм. Хочу в SQLite такую штуку.

    А в целом у современных компьютеров, продающихся в розницу - 50% цены это видюха. Грех не задействовать это добро. Вот в LibreOffice - включенный OpenCL реально помогает в расчетах больших таблиц, ускорение расчета в 4-8 раз.  

     
     
  • 2.29, ыы, 08:30, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    ненужная чушь Возьмите готовый BI или его бесплатный аналог и не мучайтесь Зад... весь текст скрыт [показать] [показать ветку]
     
  • 1.32, Аноним, 09:00, 16/05/2017 [ответить] [смотреть все]  
  • –1 +/
    Вроде постгрес уже давно обещали видюхами ускорять, правда я забросил следить за... весь текст скрыт [показать]
     
  • 1.34, Аноним, 09:39, 16/05/2017 [ответить] [смотреть все]  
  • +1 +/
    CUDA - проприетарщина, поэтому опенсорсу толку от этого ноль.
     
     
  • 2.35, Аноним, 09:48, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Практически всё железо проприетарщина. Но Вы же сюда не с "Паскалины" пишет.
     
  • 1.36, Sen, 09:56, 16/05/2017 [ответить] [смотреть все]  
  • –1 +/
    Хорошо, для анализа видео/аудио информации самое оно! Можно писать систему наблюдения и безопасности на ней.
     
  • 1.39, adolfus, 14:17, 16/05/2017 [ответить] [смотреть все]  
  • +/
    А что, GPU уже научились работать с целочисленными данными, битовыми и символьными строками wchаr/wstring? Или о каких данных идет речь?
     
     
  • 2.40, Crazy Alex, 14:28, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    О тех, с которыми они работать умеют, вестимо Из того, что я видел - та же фин... весь текст скрыт [показать] [показать ветку]
     
  • 2.58, Hubbitus, 22:46, 18/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Полагаю это может быть полезно для алгоритмов Machine Learning Где скорее важно... весь текст скрыт [показать] [показать ветку]
     
  • 1.42, Аноним, 15:47, 16/05/2017 [ответить] [смотреть все]  
  • +1 +/
    а как там у видеокарт с памятью в плане коррекции ошибок где то читал там памят... весь текст скрыт [показать]
     
     
  • 2.49, Аноним, 22:14, 16/05/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    вы часто сталкивались с проблемами решаемыми коррекцией ошибок памяти?
     
     
  • 3.50, mixaly4, 00:54, 17/05/2017 [^] [ответить] [смотреть все]  
  • +/
    Одно время занимался отладкой в специфичном ядре этой самой корекции.
    Вродебы польза есть.
     
  • 1.55, Вареник, 17:37, 17/05/2017 [ответить] [смотреть все]  
  • –1 +/
    Идя хорошая. Рано или поздно комп начнет строиться вокруг пула процессоров (GPU), а не ЦП.

    ЦП уже сейчас работает как IO периферия для GPU.

     
  • 1.63, Al, 06:50, 22/05/2017 [ответить] [смотреть все]  
  • +/
    круто!
    а про перебор данных для обучения нейросетей только я подумал?
    там таких объемов что в память влезает может хватить вполне
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor