The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Релиз проекта Apache Flume 1.3.0"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от opennews (??) on 05-Дек-12, 10:38 
Представлен (https://blogs.apache.org/flume/entry/apache_flume_1_3_0) Apache Flume 1.3.0 (http://flume.apache.org), второй стабильный релиз, готовый для промышленного внедрения, выпущенный за время существования проекта. Apache Flume позволяет организовать работу распределённого, отказоустойчивого и гарантирующего сохранение данных сервиса, обеспечивающего эффективный сбор, агрегирование и перемещение в хранилище большого объема логов. Код системы написан на языке Java и поставляется под лицензией Apache.


Архитектура Apache Flume имеет модульную структуру (http://flume.apache.org/FlumeUserGuide.html) и основана на манипулировании потоками данных между обработчиками (модуль приёма направляет данные в модуль очереди передачи, из которой данные извлекаются модулями фильтрации, сохранения или передачи по цепочке). Система предусматривает возможность использования различных механизмов для достижения гарантированной доставки данных и восстановления в случае выявления сбоев. Apache Flume отличается использованием простой и расширяемой модели данных, что делает продукт интересным решением для построения таких систем, как приложения для online-аналитики.
<center><a href="http://flume.apache.org/FlumeUserGuide.html"><img src="http://www.opennet.ru/opennews/pics_base/0_1354687711.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
<center><a href="http://flume.apache.org/FlumeUserGuide.html"><img src="http://www.opennet.ru/opennews/pics_base/0_1354687733.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>


В новой версии добавлено несколько новых источников данных: HTTP Post (сбор данных через инициирование HTTP POST-запросов), Spool Directory (забираются сохранённые в директорию файлы) и Multi-port Syslog (прием логов от нескольких демонов syslog). Обеспечена поддержка шифрования каналов передачи файлов. Добавлен модуль для извлечения данных из потока на основании правил, оформленных в форме регулярных выражений.

URL: https://blogs.apache.org/flume/entry/apache_flume_1_3_0
Новость: http://www.opennet.ru/opennews/art.shtml?num=35505

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 05-Дек-12, 10:38 
Апачи на Яве прямо-таки помешались. Что ни проект, то вызывает большие вопросы "а оно мне вообще нужно в таком виде?"
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Релиз проекта Apache Flume 1.3.0"  +6 +/
Сообщение от Аноним (??) on 05-Дек-12, 10:48 
тебе, одмину локалхоста - нет, не нужно
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

26. "Релиз проекта Apache Flume 1.3.0"  +2 +/
Сообщение от Аноним (??) on 05-Дек-12, 17:24 
Дык, опача укусил ынтырпрайз. По поводу чего их сервак на машине с менее чем 32 гиг оперативы и 16 ядер лучше вообще не запускать.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

28. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Дмитрий (??) on 05-Дек-12, 19:13 
Апачевская ллицензия как праз экономически подходит для крупных компаний (ынтырпрайз).
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

34. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Дмитрий email(??) on 05-Дек-12, 23:43 
Вообще я бы сказал что это апач так укусилил ынтырпрайз, что ынтырпрайз комммитит и коммитит код :))
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

31. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Дмитрий email(??) on 05-Дек-12, 19:36 
да, и в этом продукте одним серваком не обойдётся :)
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

3. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от arisu (ok) on 05-Дек-12, 10:54 
ну, ява и ява. а ты что взамен предлагаешь? неужто c++? какой в этом смысл там, где не надо выжимать огромное быстродействие?
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "Релиз проекта Apache Flume 1.3.0"  +11 +/
Сообщение от Анони on 05-Дек-12, 11:00 
Ну как же, Ява - это не модно, а вто Ruby, NodeJS, Python - это стильно и молодёжно.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Релиз проекта Apache Flume 1.3.0"  –2 +/
Сообщение от arisu (ok) on 05-Дек-12, 11:06 
а как сюда затесалась нода, которая и вовсе не язык?
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Релиз проекта Apache Flume 1.3.0"  –3 +/
Сообщение от Капитан (??) on 05-Дек-12, 11:21 
не называть же языком javascript
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Релиз проекта Apache Flume 1.3.0"  +4 +/
Сообщение от Аноним (??) on 05-Дек-12, 11:24 
> не называть же языком javascript

это ещё почему? вполне себе язык, очень мощный и удобный во многих отношениях

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от arisu (ok) on 05-Дек-12, 11:43 
> не называть же языком javascript

потому что ты его не знаешь, Капитан Необразованность.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

39. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 06-Дек-12, 13:51 
> потому что ты его не знаешь, Капитан Необразованность.
> arisu

Кто бы говорил :)

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

7. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 05-Дек-12, 11:23 
видимо, имелся ввиду standalone javascript, а нода - то, на чём это в основном делается
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

11. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от arisu (ok) on 05-Дек-12, 11:44 
> видимо, имелся ввиду standalone javascript, а нода — то, на чём это
> в основном делается

что наглядно показывает квалификацию комментатора, кстати — не отличающего js от nodejs.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

15. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от a (??) on 05-Дек-12, 12:27 
А в чем фундаментальное отличие то? nodejs – это v8, запущенный как исполняемая среда
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Релиз проекта Apache Flume 1.3.0"  +1 +/
Сообщение от arisu (ok) on 05-Дек-12, 12:44 
> А в чем фундаментальное отличие то?

действительно: в чём отличие платформы от языка? дураки какие-то выдумали их разными словами называть.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

22. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от rshadow (ok) on 05-Дек-12, 14:25 
Мне это напомнило одну статью на хабре ... там тоже было сравнение NodeJS с PHP. Вообщем квалификация понятна...
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

33. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от eervcec on 05-Дек-12, 21:40 
>Мне это напомнило одну статью на хабре ... там тоже было сравнение NodeJS с PHP. Вообщем квалификация понятна..

NodeJS и PHP используются в сходных ситуацих для решения сходных задач, потому их и мравнивают друг с другом. А если кому непонятно почему то в общем (т.е я хотел написать Вообщем) квалификация понятна..

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

40. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 06-Дек-12, 13:52 
> а как сюда затесалась нода, которая и вовсе не язык?

А кто сказал, что это перечень _языков_?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

12. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 05-Дек-12, 11:58 
Ява не тормозная (если не гуи). Она жруча до оперативки. И требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

13. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Eugene.Shiyanov on 05-Дек-12, 12:04 
А если SWT, то и гуи не тормозит.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

23. "Релиз проекта Apache Flume 1.3.0"  –2 +/
Сообщение от rshadow (ok) on 05-Дек-12, 14:26 
Все равно тормозит. И выглядит как говно.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

25. "Релиз проекта Apache Flume 1.3.0"  +1 +/
Сообщение от Аноним (??) on 05-Дек-12, 16:53 
нет, ты
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

35. "Релиз проекта Apache Flume 1.3.0"  +1 +/
Сообщение от Аноним (??) on 05-Дек-12, 23:46 
Hint: JavaFX
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

37. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от другой аноним on 06-Дек-12, 10:49 
>  требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?

Это говорит о твоей некомпетенции и близорукости, неуважаемый аноним. Мне кажется, ты сильно ошибаешься, если предполагаешь что конкретные реализации явы для конкретных операционок не используют их системные библиотеки и работают только напрямую с ядром ОС, попробуй хотя бы ldd яве сделать (libc точно в списке увидишь). А свои библиотеки нужны еще и затем, что системные либы в разных ОС разные, а одна из заявленных фич платформы - кроссплатформенность (сорри за масло масляное). Довольно часто приходится писать универсальную стандартную прослойку к разношерстным подсистемам. Аноним понимает что такое дополнительный уровень абстракции над конкретными реализациями с целью достижения единообразного метода работы с разными кучами гов...а? Или он предлагает писАть один и тот же кусок программы, но N раз, для каждой из N операционных систем?

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

41. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Elhana (ok) on 07-Дек-12, 14:43 
И получается матрешка из абстракций, чтобы программист мог просто написать что-то вроде музыка_ляля_играть() и у него все тормозит, после чего он рассказывает какая ява тормозная.
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

43. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от arisu (ok) on 07-Дек-12, 16:03 
ява.
программист.
/0
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

9. "Релиз проекта Apache Flume 1.3.0"  +4 +/
Сообщение от VoDA (ok) on 05-Дек-12, 11:40 
Остается сделать этот проект агрегатором логов для journald и у всех java- и Поттеринго-фобов будет эпичнейший баттхерт ;)))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Релиз проекта Apache Flume 1.3.0"  +1 +/
Сообщение от Аноним (??) on 05-Дек-12, 13:29 
> Остается сделать этот проект агрегатором логов для journald и у всех java-
> и Поттеринго-фобов будет эпичнейший баттхерт ;)))

да у них и так сфинкторы пунцовые от потока новостей о systemd

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

24. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от rshadow (ok) on 05-Дек-12, 14:28 
Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

32. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от piteri (ok) on 05-Дек-12, 19:42 
Для чего? Ведь есть http://www.jnode.org/.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

38. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 06-Дек-12, 13:50 
> Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.

Автор rsyslog, говорят, уже работает над этим (в пику поттерингу с его сишными блобами).
В будущих версиях rsyslog, чтобы не отставать по скорости поиска от journal, собираются прикрутить http://en.wikipedia.org/wiki/ElasticSearch

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

42. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Elhana (ok) on 07-Дек-12, 14:45 
> Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я
> пока запасусь попкорном.

они уже llvm запилили: http://www.phoronix.com/scan.php?page=news_item&px=MTIxMDM

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от YetAnotherOnanym (ok) on 05-Дек-12, 18:45 
Да на здоровье, journald будет одним из множества агентов для Flume, наряду с традиционными *syslogd и прошивками всевозможных железок, поддерживающими стандарт syslog. С чего тут баттхёрту возникнуть?
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Релиз проекта Apache Flume 1.3.0"  –3 +/
Сообщение от o on 05-Дек-12, 13:13 
Новый релиз проекта написаного на чем? ... на ява.. все давай досвиданья.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Релиз проекта Apache Flume 1.3.0"  +1 +/
Сообщение от Аноним (??) on 05-Дек-12, 13:28 
ага, у3бывай
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

36. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от arcade (??) on 06-Дек-12, 04:40 
Вы знаете, товарищ, то что я считаю яву [censored] [censored] не мешает мне пользовать Jenkins и поддерживать его в свежем состоянии в портах.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Аноним (??) on 05-Дек-12, 13:43 
с logstash, graylog2 кто нибудь сравнивал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

29. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Дмитрий (??) on 05-Дек-12, 19:21 
как было написано "обеспечивающего эффективный сбор большого объёма логов"
большой объём, я думаю, это от миллиарда в день. И сохранение данных в распределённом хранилище типа HDFS (есть на картинке )
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

30. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от Дмитрий email(??) on 05-Дек-12, 19:32 
слышал про применение как раз в web аналитике:  на пол интернета ставится счётчики, и кажды показ этого счётчика  - запись в лог
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

44. "Релиз проекта Apache Flume 1.3.0"  +/
Сообщение от o on 08-Дек-12, 13:46 
если на яве, то осмелюсь сделать предположение что вторая половина интернета как раз служит для хранения счетчиков из первой половины
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Ideco
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру