The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Релиз платформы для распределённой обработки данных Apache Hadoop 3.3"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз платформы для распределённой обработки данных Apache Hadoop 3.3"  +/
Сообщение от opennews (ok), 02-Авг-20, 12:12 
После полутора лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=53476

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Релиз платформы для распределённой обработки данных Apache H..."  +7 +/
Сообщение от A.Stahl (ok), 02-Авг-20, 12:12 
Пятиминутка древних поговорок:

Распределяй и обрабатывай.
Хранилище хранилищу резерв.
Все данные ношу с собой.
Ну и конечно же: у семи админов база без пароля.

Ответить | Правка | Наверх | Cообщить модератору

2. "Релиз платформы для распределённой обработки данных Apache H..."  +5 +/
Сообщение от YetAnotherOnanym (ok), 02-Авг-20, 12:26 
> хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день

Не знал, что возраст Фейсбука - два с половиной месяца.

Ответить | Правка | Наверх | Cообщить модератору

3. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от Аноним (3), 02-Авг-20, 18:43 
А зачем ему хранить больше сырых сообщений? Если надо, можно сделать аггрегаты и хранить только их.
Ответить | Правка | Наверх | Cообщить модератору

4. "Релиз платформы для распределённой обработки данных Apache H..."  –1 +/
Сообщение от Сцукенберг (?), 02-Авг-20, 18:48 
> Не знал, что возраст Фейсбука - два с половиной месяца.

А дальше назад ты ленту и не крути. А не то!

P.S. нормальные люди, между прочим, и не крутят. Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

5. "Релиз платформы для распределённой обработки данных Apache H..."  –1 +/
Сообщение от Аноним (5), 02-Авг-20, 19:03 
Котики gzip сжимаются до одного котика.
Ответить | Правка | Наверх | Cообщить модератору

6. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от Аноним (6), 03-Авг-20, 04:39 
Котики совсем не сжимаются, тем более gzip. Можете попробовать zpaq, он вам дедуплицирует одинаковых котиков (единственный из архиваторов, который объединяет одинаковые файлы), но процессорное время не бесплатно, а диски то бездонные и стоят 20 баксов за терабайт качественного сторейжа в рознице. По-моему диски категории "олин раз записать и больше не трогать" вроде вдред раза в 2 дешевле были. Но каждые 5 лет диски в 4 раза увеличиваются в размере за те же деньги. Вроде то же самое и с плёнкой, только она впереди и оборудование недоступно обывателю.
Ответить | Правка | Наверх | Cообщить модератору

7. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от Сцукенберг (?), 03-Авг-20, 09:12 
> Котики gzip сжимаются до одного котика.

reduce'ятся же! ;-)

А ты думал, зачем нам hadoop?


Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

8. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от анон (?), 03-Авг-20, 16:43 
zfs умеет в dedup на лету. Но это, конечно, не бесплатно.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

9. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от онанизмус (?), 04-Авг-20, 01:01 
>А дальше назад ты ленту и не крути. А не то!

Не рекомендую на новом аккаунте крутить чужие ленты, кстати.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

10. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от товарищ майор (?), 05-Авг-20, 11:35 
> Кому нужны котики трехмесячной давности?

Все котики хранятся не менее 6 месяцев, мы за этим следим.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

11. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от товарищ майор (?), 05-Авг-20, 11:36 
> Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.

Все котики хранятся не менее 6 месяцев, мы за этим следим. Даже те котики, которых, как вам кажется, вы удалили.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру