https://www.opennet.ru/openforum/vsluhforumID3/118059.html Объявлено (https://blog.blazingdb.com/blazingsql-is-now-open-source-b859d342ec20) об открытии исходных текстов SQL-движка BlazingSQL (https://rapids.ai/blazingsql.html), использующего GPU для ускорения обработки данных. BlazingSQL не является полноценной СУБД, а позиционируется как движок для анализа и обработки больших наборов данных, сравнимый по своим задачам с Apache Spark (https://spark.apache.org/). Код написан на языке Python и открыт (https://github.com/blazingdb/pyBlazing/) под лицензией Apache 2.0. <br><br><br>BlazingSQL подходит для выполнения единичных аналитических запросов над большими наборами данных (десятки гигабайт), хранимых в табличных форматах (например, логи, статистика NetFlow и т.п.). BlazingSQL может выполнять запросы из raw-файлов в форматах CSV и Apache Parquet, размещённых в сетевых и облачных ФС, подобных HDSF и AWS S3, напрямую передавая результат в память GPU. Благодаря распараллеливанию операций в GPU и использованию более быстрой видеопамяти, выполнение запросов в BlazingSQL осущ https://www.opennet.ru/openforum/vsluhforumID3/118059.html#45 Thu, 08 Aug 2019 04:32:53 GMT &gt;бигдейта начинается тогда, когда вы не можете ни за какие деньги купить сервер, в память которого вместятся данные<br><br>В какую из памятей/памятёв? :) Спарк это больше про ОЗУ, Хадуп больше про сторадж. <br><br>Например одиночный сервер спланк с полкой на 100 терабайт это ещё не бигдата по меркам анонимусов опеннета? :)))<br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#44 Wed, 07 Aug 2019 08:45:47 GMT адепты яндекса должны гореть в аду<br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#43 Wed, 07 Aug 2019 08:44:36 GMT &gt; хм, а зачем вы логи храните в "табличных форматах"?!<br><br>Так это нынче модно<br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#42 Wed, 07 Aug 2019 07:41:21 GMT я один не вижу вашего предложения по оплате?<br><br>P.S. почасовой,разумеется<br><br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#41 Tue, 06 Aug 2019 15:38:23 GMT Я спецом так написал из гуманных соображений, чтобы админам локалхоста было до чего докопаться.<br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#40 Tue, 06 Aug 2019 14:45:56 GMT &gt; "данных (десятки гигабайт), хранимых в табличных форматах (например, логи, статистика <br>&gt; NetFlow и т.п.). " <br><br>хм, а зачем вы логи храните в "табличных форматах"?!<br><br>&gt; Что сейчас с одной стороны- реально, а с другой- обычно в б_О_льших <br>&gt; объемах и не существует.<br><br>Яровая и товарищмайор уже идут к вам! Несут расширятель хранимой емкости - очень почему-то похожий на бутылку, так что на всякий случай - запаситесь вазелином.<br><br>&gt; Единичный лог на десяток гигов? Легко. Больше? Вы что ротацию логам не <br>&gt; делаете вообще? Гнать вас в шею... <br><br>делают (более того, единичный лог на десяток гигов - это вот как раз "гнать в шею"), но от этого старые логи, внезапно, не перестают быть нужны.<br>И эффективный поиск по ним - тоже.<br><br>&gt; Поэтому рассуждения про экзабайты баз данных (и про базы данных вообще) - они просто от <br>&gt; невнимательного чтения и непонимания проблемы.<br><br>ну авторов никто за язык на тему сравнения со spark не тянул, он вообще-то совсем не для netflow.<br><br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#39 Tue, 06 Aug 2019 13:04:13 GMT &gt;hello word<br>&gt;word https://www.opennet.ru/openforum/vsluhforumID3/118059.html#38 Tue, 06 Aug 2019 12:53:07 GMT Речь идет не о БД как таковой, а о <br>"данных (десятки гигабайт), хранимых в табличных форматах (например, логи, статистика NetFlow и т.п.). "<br><br>Что сейчас с одной стороны- реально, а с другой- обычно в б_О_льших объемах и не существует.<br>Единичный лог на десяток гигов? Легко. Больше? Вы что ротацию логам не делаете вообще? Гнать вас в шею... Поэтому рассуждения про экзабайты баз данных (и про базы данных вообще) - они просто от невнимательного чтения и непонимания проблемы.<br> https://www.opennet.ru/openforum/vsluhforumID3/118059.html#37 Tue, 06 Aug 2019 12:46:41 GMT недотянул ты до админа локолхоста... увы...<br>