Организация Apache Software Foundation объявила (https://blogs.apache.org/foundation/entry/apache-software-fo...) о присвоении Apache Metron (http://metron.apache.org/) статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache Metron признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны (https://github.com/apache/incubator-metron) на языках Си и Java.
Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC (http://opensoc.github.io/), после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов. Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.Основные компоненты фреймворка:
- Механизм для захвата, хранения и нормализации любых типов данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);- Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
- Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
- Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
- Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки Elasticsearch (https://www.elastic.co/) HDFS или Apache Solr;- Возможность использования SQL для обращения к данным в хранилище Hadoop;
- Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
- Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
- Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.URL: https://blogs.apache.org/foundation/entry/apache-software-fo...
Новость: https://www.opennet.ru/opennews/art.shtml?num=46447
Что за мода делать продукты для обеспечения безопасности на основе дырявых составных частей.https://www.elastic.co/community/security - стабильно раз в пару месяцев remote code execution... remote code execution... remote code execution
http://www.securiteam.com/securitynews/5BP2Y2AKUA.html Apache Hadoop 2.6.0 Remote Code Execution
http://www.openwall.com/lists/oss-security/2015/06/20/2 Apache Storm remote code execution
На базе Elasticsearch уже ботнеты строят. Теперь можно продемонстрировать высший пилотаж - ботнет из систем обнаружения вторжений :-)
А вы не выставляте "голую жопу" против ежа.
"На базе Elasticsearch уже ботнеты строят" - проблема "модных" Devops и "облаков", когда народ на элементарые средствах защиты укладывает "болт".
Правильные продукты для обеспечения безопасности, в первую очередь "сидят" в изолированой сети без выходы куда либо и "сушают" сеть.
Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?
> Радости с того, что оно в изолированной, если среди пакетов, выдернутых из
> трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?эта штука не кормит elastic пакетами из траффика, это не tcpdump.
А если тебе кто-то сумеет прислать поддельный netflow-пакетик, то поздравляю шарик, ты балбес - тебе уже не аномалии надо в сети выискивать, а ловить хакера, поимевшего непосредственно сетевую инфраструктуру.
Если что, описанная в статье похабень вовсе не для этого.ну и до кучи, эластиковые проблемы обычно со стороны интерфейса, а не со стороны базы.
как, собственно, и у hadoop и у прочих.
Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
ну, типа, начнем с того, что циска ее - выбросила ;-) Причем довольно давно, там этому OpenSOC уже сто лет в обед.при этом коммерческие продукты у нее никуда не делись, то есть слезать с этой темы они вроде и не собираются (да и опасно, надо ж закрывать своими продуктами целиком проекты, а не отдельные части)
для дома для семьи оно чудовищно сложное и меганавороченное (там, собственно, для того все эти эластики с хадупами, чтоб пережевывать какие-то совсем уж терабайтные потоки мусора), то есть это не корпоративное решение.
Если у тебя, чисто случайно, завалялась действующая сетка размером этак с tele2, но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.
(ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика. И сеть не должна быть совсем уж из дерьма и палок.)
А причём Теле2? В Теле2 в качестве SIEM используется Спланк. И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон вещь НЕ стоящая :(
> А причём Теле2?привел как пример правильного размерчика - еще не мегафон, где бардак уже не вылечишь, но уже не домсру какой, и потоки летают вполне приличные.
Но оговорился что это о размерчике их обычной, ip, сетки - с 4g сетями нужны специальные средства, интегрируемые в packet core - ловить пакеты между последним свитчом и базовой станцией совершенно бессмысленно, "аномалия" вида "сп-ли бс и воткнули свой ноут в надежде халявного интернета" детектится более простыми средствами ;-)> В Теле2 в качестве SIEM используется Спланк.
он вроде как энтерпрайз - в смысле, это больше для внутренних ресурсов и пользователей, чем для ловли блох среди клиентов.
В теледве скорее всего именно в этом качестве и используется, а это не очень интересно, ентерпрайз они совсем небольшой.
Мне вот интересней, что использует какой-нибудь hetzner или 1st vds (не к ночи будь помянуты) - у них уже нужно, и уже - сложно.> И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон
> вещь НЕ стоящая :(ну я бы поигрался, если б было время и вдохновение. Следует понимать, что строчка в резюме "развернул с нуля и использовал по назначению" стоит гораздо дороже "видел интерфейс", даже если следующие буквы совпадают во втором случае.
то есть в метроне интересны именно его свойства обрабатывать действительно большие потоки и тьму разнородных железяк, это в лабораторных условиях оценить не получится.
> для дома для семьи оно чудовищно сложное и меганавороченноеНу вот на несколько тысяч рыл потестировать нормально... Или как из пушки?.
> но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.
хех. не всегда бежать получается. бывают разные обстоятельства.
> ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика
Опа. То есть без интегратора пытаться не стоит - ничего с этой темы не облезет?
Что за мода делать продукты для обеспечения безопасности на Java
> Что за мода делать продукты для обеспечения безопасности на Javaу циски _все_ сделано на жабке, не важно, для чего.
готовьте стопиццотую версию JRE для работы с этим сокровищем - интерфейс, наверняка, на ней же.
>> Что за мода делать продукты для обеспечения безопасности на Java36 млрд установок, чё.
Все 36 млрд — ошибаются, да.
неплохо ботнет)
> Что за мода делать продукты для обеспечения безопасности на JavaОпять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.
>> Что за мода делать продукты для обеспечения безопасности на Java
> Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег, нам потом это дерьмище обслуживать, а кому-то, представь, и пользоваться им приходится.
даже флэшовый интерфейс выглядит и работает лучше жабьего, не говоря уже о треше и кабздеце творящемся на серверной стороне жабоподелок. Но да, других не делают, в Бангалоре других программистов не выпекают.
(с другой стороны, конечно, хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. А так - достаточно было показать, КАК работает жабий ентер-прайс софт, и служебку подписали без вопросов. На этом я его быстренько унес на виртуалку от себя подальше, ибо на самом деле ему мало ;-)
Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова:> а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен]
И тут же:
> хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту.В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :)
А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.
> В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это
> серьёзно?честно говоря, единственным местом, где я работал, и это было не нужно клянчить, был некий крупный интегратор на букву И (потому что работал там вовсе не инженером, и дать за это по рукам или настучать руководству мог только я сам. У инженеров как обычно - денег на них, в те счастливые времена, особо не экономили, но и никаких золотых унитазов не полагалось. В цискофоне, если кто не в курсе, встроенный свитч до сих пор сотка, так что смысла акессы ставить гиговые не было никакого)
А чего вы хотите, это ж инвестируемые компании...собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Для визии, аутглюка и ста терминалов "корпоративного стандарта" за глаза, а провода еще и не позволяют быстро вскочить и побежать. Адскую жабью херню, как уже говорилось, я унес нахрен на терминальник, там, как обычно, десять специфичных тухлых версий ВСЕГО надо подать, включая, кажется, саму винду.
но вот metro redux на этом "корпоративном стандарте", действительно, не очень.
Ну, ХЗ, везде где я работал отношение к железу было как-то проще.> собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит?
Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.
>мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денегпочти всё бигдатовое ПО Опенсорс с 10++летней историей
>даже флэшовый интерфейс выглядит и работает лучше жабьего
ув. ыксперд Intellij Idea и другого Свингового софта не видел.
> кабздеце творящемся на серверной стороне жабоподелок.
перечисли альтернативы Java EE. гы-гы
>хрен бы я выклянчил просто так добивку памяти до максимума
ноющий свитер из подвала? Даже в 4килокилометрах за МКАДом у разрабов ПК с 16-32ГБ ОЗУ норма. На серваках от 98ГБ. Вообще странно было бы работать с терабайтной базой на серваке с 4ГБ ОЗУ. не находишь, дружок?
> Ну, ХЗ, везде где я работал отношение к железу было как-то проще.так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе и сегодня не самая дешевая игрушка. Обмишулиться чуток и купить вместо сотки гигабит по кругу - это можно один раз, в большой компании могут не заметить или простить, а не в семиэтажном здании по четыре на этаже. Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?
> Например для диагностики работы системы видеоотдачи
такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у нас принято было в лабораторных условиях диагностировать.
да и сейчас, собственно - диагностическая железка тут вообще с 10G портом, правда, такая одна. Но в ноуте мне такого щастья даром не надо. (а диск, гады, поменять не дают, говорят - не закупали больше полтинников)
ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)
> Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?Какое раболепие... Напомнить что все деньги компании зарабатываются вот этими самыми людьми, что просят гигабит в компутер, слабо? Ну ваше дело. Вероятно это вопрос самоуважения.
> такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у
> нас принято было в лабораторных условиях диагностировать.А как вы например из лаборатории 4к видео смотреть будете? Или будете ходить в лабораторию каждый раз? :)
> ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)
Да уж, действительно. Такое ощущение что хочется показать крутизну окружающим, но на мелочах таки палитесь.