The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от opennews (??), 25-Окт-18, 15:28 
Состоялся (https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor...) релиз PipelineDB 1.0 (http://www.pipelinedb.com/), дополнения к СУБД PostgreSQL с реализацией средств для непрерывной обработки потока данных в формате временного ряда (https://ru.wikipedia.org/wiki/%D0%92%D1%...) (срезы значений параметров через заданные промежутки времени). PipelineDB позволяет при помощи непрерывно выполняемых SQL-запросов обрабатывать и агрегировать постоянно поступающий поток данных, таких как показания датчиков, метрики системы мониторинга или статистика рекламных сетей. Код проекта распространяется (https://github.com/pipelinedb/pipelinedb) под лицензией Apache 2.0.


PipelineDB может на лету агрегировать, фильтровать и вычищать поступающий поток данных, суммируя входящие данные в разрезе фиксированных временных промежутков (1 сек, 2 мин, 1 день, 30 дней и т.п.). Результат первичной обработки сохраняются в таблицы или отбрасывается (PipelineDB не сохраняет все raw-данные в БД, а оставляет только агрегированные значения, полученные в результате выполнения непрерывных SQL-запросов над входящим потоком данных). В дальнейшем сохранённые суммированные данные могут применяться для решения задач аналитики и формирования отчётов. Например, при обработке данных о посещении сайта можно раз в час сохранять суммарные сведения о пришедших пользователях и открытых страницах, а в случае сбора данных с датчиков сохранять каждую минуту максимальное, среднее и минимальное показание.

Основным элементом для непрерывной обработки данных выступает  специальный тип представлений - CONTINUOUS VIEW, отличающийся от обычных представлений возможностью использования потоков в качестве источника данных для SELECT-запросов. По мере поступления новых данных в потоке, выдаваемый представлением вывод непрерывно обновляется. PipelineDB также поддерживает вероятностные структуры данных и  возможность слияния непрерывно наполняемых таблиц.

URL: https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor...
Новость: https://www.opennet.ru/opennews/art.shtml?num=49498

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  –11 +/
Сообщение от Qwerty (??), 25-Окт-18, 15:28 
Вы серьёзно? Этого нет из коробки?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +4 +/
Сообщение от Evgueni (?), 25-Окт-18, 15:48 
А подобное где-то есть из коробки? В смысле возможность обработки потока с разрядкой данных по времени для сохранения?
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +1 +/
Сообщение от ЯПодумал (?), 25-Окт-18, 18:08 
RRD Tool? RoundRobinBatabase?
Поправьте, если ошибся.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +1 +/
Сообщение от Аноним (5), 25-Окт-18, 18:23 
Ошибся, поправляю. И не надо сравнивать эту поделку с полноценной SQL базой.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  –1 +/
Сообщение от ЯПодумал (?), 25-Окт-18, 18:34 
Я про функционал временных срезов и только.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

11. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от Аноним (11), 29-Окт-18, 12:04 
Ну формально то это база хотя и ни разу не sql. Только зачем их сравнивать, если задача по входному потоку 100% для rrd.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от Evgueni (?), 26-Окт-18, 04:56 
Не совсем чётко выразился. Я имел в виду функционал СУБД из коробки. Часто медленный контроль надо позже сопоставлять с другими данными, а не просто отображать ряды.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от пох (?), 27-Окт-18, 18:38 
не вижу проблемы брать разреженные данные из rrd, а потом "сопоставлять", что бы это ни значило, с данными взятыми из sql-базы.

скорее всего гибрид ужа и ежа рожден теми, кто просто ниасилил в rrd, его синтаксис, действительно, немного потусторонен, девляпсы не можут.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  –1 +/
Сообщение от Аноним (7), 25-Окт-18, 20:12 
А просто создания триггера для этого мало?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от Evgueni (?), 26-Окт-18, 04:59 
Это можно сделать кучей разных способов. Я наблюдал с десяток подобных попыток на конкурсе молодых учёных и сам создал свой личный велосипед более десяти лет назад для реализации системы медленного контроля. Если бы это тогда было бы из коробки то многие проблемы на которые я забил или обходил можно было бы решить естественным путём.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от Аноним (12), 29-Окт-18, 12:44 
А там еще есть и https://www.timescale.com/
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."  +/
Сообщение от northbear (??), 29-Окт-18, 16:43 
А зачем такое делать на SQL-запросах? Чтобы парсер не скучал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Ihor
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру