https://m.opennet.dev/openforum/vsluhforumID3/111428.html После двух лет разработки организация Apache Software Foundation опубликовала (https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces14) релиз Apache Hadoop 2.8 (http://hadoop.apache.org), свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce (http://ru.wikipedia.org/wiki/MapReduce), при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных.<br><br><br><br><br>В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны https://m.opennet.dev/openforum/vsluhforumID3/111428.html#8 Thu, 08 Jun 2017 10:33:39 GMT Вообще, можно. Иногда приходится мейнтейнить свои патчи. Удовольствие ниже среднего, но порой такой подход &#8212; единственно приемлемый.<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#7 Wed, 07 Jun 2017 18:17:38 GMT Возьмите CDH и не парьте себе и другим мозг. Вы что, собрались в реальном продакшене использовать собственные сборки и тестировать/обслуживать обновления?<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#6 Wed, 07 Jun 2017 17:11:43 GMT Неплохо, неплохо.<br><br>Но вот обновляться слегка рано. Во-первых, не всё _совсем_ гладко после миграции на новую схему раскладки блоков в DataNode (есть репорты, что при очень кривых руках можно поломать вообще всё и сразу), во-вторых, не решены пару проблем с HA, в-третьих, чуть-чуть сломали ACL и FairScheduler в YARN'е.<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#5 Wed, 07 Jun 2017 17:02:09 GMT Оно уже несколько лет собирается в два с половиной шага: установка зависимостей, mvn package и походом за чай, пока собирается. Для особых ценителей есть BUILDING.txt<br><br>На каких слоупоков рассчитан наброс выше &#8212; непонятно.<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#4 Wed, 07 Jun 2017 13:02:42 GMT https://m.slashdot.org/story/324121<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#3 Wed, 07 Jun 2017 12:58:34 GMT А когда это, наконец, можно будет собрать из исходников?<br><br>См. https://wiki.debian.org/Hadoop<br><br>А также https://www.chrisstucchio.com/blog/2013/hadoop_hatred.html<br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#2 Wed, 07 Jun 2017 11:16:15 GMT https://arstechnica.com/information-technology/2010/01/googles-mapreduce-patent-what-does-it-mean-for-hadoop/<br>https://www.google.com/patents/opnpledge/patents/<br><br>US 2012/0254193 Processing data in a MapReduce framework <br>US 2012/0278323 Joining tables in a MapReduce procedure <br>US 7590620 System and method for analyzing data records <br>US 7650331 System and method for efficient large-scale data processing <br>US 7756919 Large-scale data processing in a distributed and parallel processing environment <br> https://m.opennet.dev/openforum/vsluhforumID3/111428.html#1 Wed, 07 Jun 2017 10:40:49 GMT &gt;патенты, связанные с методом MapReduce.<br><br>Ничего себе, только узнал, а это какие?<br>