форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
Сообщение от opennews on 07-Ноя-13, 23:56
Компания Facebook перевела (https://www.facebook.com/notes/facebook-engineering/presto-i...) в разряд открытых систему Presto (http://prestodb.io/), созданную в качестве высокопроизводительной альтернативы технологиям MapReduce и Hive, ранее используемым для выполнения запросов в многопетабайтных хранилищах на базе платформы Hadoop. Presto находится в разработке с осени прошлого года и развивается для решения проблем с длительным временем отклика, свойственным существующим средствам обработки данных для имеющегося в    Facebook  хранилища на базе Hadoop, размер которого превысил 300 петабайт. <center><a href="http://prestodb.io/static/presto-overview.png"><img src="https://www.opennet.ru/opennews/pics_base/0_1383850228.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center> Presto позволяет формировать запросы с использованием языка SQL, обеспечивая при этом в десять раз более высокую производительность и отзывчивость, по сравнению с Hive/MapReduce. Движок не ограничивается работой поверх Hadoop  и может использоваться в связке с обычными реляционными БД и проприетарными системами хранения.  Для абстрагирования от нижележащего хранилизща в  Presto применяется механизм подключаемых бэкендов. В отличие от Hive, Presto не транслирует запрос в серию последовательно выполняемых MapReduce-задач, каждая из которых читает данные с диска и записывает на диск промежуточный результат. Вместо этого, Presto предоставляет собственный механизм выполнения запросов, отличающийся улучшенной системой планирования, выполнением обработки данных в оперативной памяти и применением конвейерной обработки, при которой несколько стадий запроса выполняется за один раз. <center><a href="https://fbcdn-sphotos-g-a.akamaihd.net/hphotos-ak-frc3/s720x... src="https://www.opennet.ru/opennews/pics_base/0_1383851322.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center> Сформированный в Presto запрос может охватывать несколько источников данных, агрегируя полученные сведения в единый итоговый результат. В качестве основной области применения Presto называется выполнение аналитических запросов, для которых допустимо время отклика от долей секунды до нескольких минут. Тем самым Presto является первым открытым решением для задач быстрой аналитики, которые ранее были доступны только через дорогие проприетарные системы или через использование свободных систем, требующих излишнего аппаратного обеспечения. <center><a href="https://fbcdn-sphotos-a-a.akamaihd.net/hphotos-ak-prn2/s720x... src="https://www.opennet.ru/opennews/pics_base/0_1383851270.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center> Движком поддерживается (http://prestodb.io/docs/current/) большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON,  оконных функций для отсеивания набора строк из результирующего запроса.. Для формирования запросов можно использовать специальную консольную облочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования. Код Presto написан на языке Java и распространяется (https://github.com/facebook/presto) под лицензией Apache 2. Для увеличения производительности части плана выполнения запроса динамически компилируются в Java-байткод, что позволяет JVM использовать дополнительные оптимизации и сгенерировать машинный код. Код Presto создан с учётом обхода типичных проблем Java-кода c распределением памяти и сборкой мусора. URL: https://www.facebook.com/notes/facebook-engineering/presto-i... Новость: https://www.opennet.ru/opennews/art.shtml?num=38368
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
Сообщение от Наивный чукотский юноша on 07-Ноя-13, 23:56
>Петабайтов данных Эхх, где бы найти применение. Ни у кого не завалялось пары петабайт? /dev/zero и /dev/random не предлагать.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	7. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+1 +/–
	Сообщение от Аноним (??) on 08-Ноя-13, 01:53
	У Архива Интернета сгорели сканеры: https://blog.archive.org/2013/11/06/scanning-center-fire-ple.../ Но с петабайтами, вроде, всё в порядке.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	31. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Dmitry77 (ok) on 08-Ноя-13, 14:31
	а у тебя железо есть?
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	37. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Аноним (??) on 08-Ноя-13, 20:58
	>>Петабайтов данных > Эхх, где бы найти применение. Ни у кого не завалялось пары петабайт? > /dev/zero и /dev/random не предлагать. Бери /dev/urandom
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

8. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+2 +/–
Сообщение от Аноним (??) on 08-Ноя-13, 02:06
Ферма разрослась и за всеми хомяками уже так просто - не уследишь, приходится в технологии вкладывать...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
Сообщение от SS (??) on 08-Ноя-13, 03:42
Да это SenSage !!! =))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+1 +/–
Сообщение от G.NercY.uR on 08-Ноя-13, 06:28
Плевать на facebook с большой колокольни, а Presto хотелось бы чтобы Opera software открыла свой Presto, это было б очень хорошим шагом.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	15. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от anonym on 08-Ноя-13, 07:20
	+ 100
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	18. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Аноним (??) on 08-Ноя-13, 08:31
	Истину глаголишь. Может нужно под окнами Opera Software серенаду спеть о том, как нужен нам их Presto, и тогда их сердца оттают и им захочется сделать акт доброй воли.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	20. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Аноним (??) on 08-Ноя-13, 08:48
	Осталось выяснить, а нужен ли?!
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	22. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от G.NercY.uR on 08-Ноя-13, 10:02
	А что плохой движок, если отбросить единственный вменяемый против него довод - его закрытость?
	Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

	30. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Led (ok) on 08-Ноя-13, 12:25
	А что плохой движок, если отбросить единственный вменяемый против него довод - его закрытость? А ты его видел? Или сосед по парте по секрету рассказал?
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	25. "Facebook открыл код распределённого SQL-движка для петабайтн..."	–1 +/–
	Сообщение от bobr on 08-Ноя-13, 10:46
	+∞ Движок очень неплох. Опера когда-то была моим любимым браузером (хотя не только из-за движка). Очень обидно, что последние годы она все больше и больше скатывается. Да собственно, уже скатилась.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	26. "Facebook открыл код распределённого SQL-движка для..."	–3 +/–
	Сообщение от arisu (ok) on 08-Ноя-13, 11:26
	> Плевать на facebook с большой колокольни, а Presto хотелось бы чтобы Opera > software открыла свой Presto, это было б очень хорошим шагом. не только presto, всю 12-ю оперу. лично мне с голого престо толку никакого, а вот целиком оперу мгновенно форканул бы.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	29. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Аноним (??) on 08-Ноя-13, 12:24
	А кто будет его развивать? Никто!
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	34. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+1 +/–
	Сообщение от Аноним (??) on 08-Ноя-13, 17:28
	Чем он хорош-то?
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

23. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
Сообщение от NikolayV81 (ok) on 08-Ноя-13, 10:18
"Движком поддерживается большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON, оконных функций для отсеивания набора строк из результирующего запроса. Для формирования запросов можно использовать специальную консольную оболочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования." А сколько шума было о том что это всё лишнее...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	32. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Dmitry77 (ok) on 08-Ноя-13, 15:50
	а ты знаешь базу которая тоже такое может сделать? с таким объёмами? с джойнами и прочими плюшками sql? Бывает приходит заказчик с мешком денег и говорит сделатйте (а ему это окупиться - конкурентов-то нет). Приходится отказывать - такое сделать нельзя. А манящий мешок денег так и не достаётся...
	Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

	33. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от NikolayV81 (ok) on 08-Ноя-13, 16:26
	> а ты знаешь базу которая тоже такое может сделать? с таким объёмами? > с джойнами и прочими плюшками sql? > Бывает приходит заказчик с мешком денег и говорит сделатйте (а ему это > окупиться - конкурентов-то нет). Приходится отказывать - такое сделать нельзя. А > манящий мешок денег так и не достаётся... Не я автор текста, понятно что для каждой задачи своё решение, просто очень много было высказываний типа "вот, реляционные базы не нужны, join-ы не нужны, транзакции внутри б/д. не нужны, ключ-значение и серелизация объектов целиком - наше всё"
	Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

	35. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от Dmitry77 (ok) on 08-Ноя-13, 19:24
	> реляционные базы не нужны, ключ-значение и серелизация объектов целиком - наше всё Я думаю такие рассуждения от бедности существующих Big data решений. Это типа а зачем машина, когда на автобусе можно ездить.
	Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

	36. "Facebook открыл код распределённого SQL-движка для..."	+2 +/–
	Сообщение от arisu (ok) on 08-Ноя-13, 20:04
	это всё от отсутствия мозгов и знаний. второе не позволяет подобрать инструмент под задачу, а первое — получить вторые.
	Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

	39. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
	Сообщение от congocongo on 11-Ноя-13, 18:55
	terradata
	Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

24. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+2 +/–
Сообщение от Человек (??) on 08-Ноя-13, 10:37
Угадай что ? Конечно Java ! И кто там говорил про MySQL ???
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	38. "Facebook открыл код распределённого SQL-движка для петабайтн..."	–1 +/–
	Сообщение от Skif (ok) on 09-Ноя-13, 17:56
	И чем вам ява не угодила?
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Facebook открыл код распределённого SQL-движка для петабайтн..."	+/–
Сообщение от edwin (ok) on 08-Ноя-13, 11:37
Отлично. Очередной прекрасный продукт на прекрасной платформе (JVM) стал доступен для всех ...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема