The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Релиз поискового движка Elasticsearch 1.0.0

13.02.2014 22:47

Увидел свет релиз свободной платформы для организации работы поисковых систем Elasticsearch 1.0.0, основанной на технологиях индексации и поиска, предоставляемых движком Lucene. Поисковые сервисы на базе Elasticsearch внедрены в GitHub, Mozilla, WordPress, Sony и StackOverflow. Код Elasticsearch написан на языке Java и распространяется под лицензией Apache. Готовые сборки подготовлены в форматах пакетов RPM и DEB.

Особенности Elasticsearch:

  • Поддержка создания распределённых и отказоустойчивых конфигураций. Поисковый индекс может быть распределён на несколько узлов с использованием шардинга. Каждая порция данных индекса может быть реплицирована на несколько узлов. Операции чтения и поиска могут выполняться на любых узлах, содержащих реплицированные части индекса. Каждая порция данных общего индекса представляет собой полноценный обособленный индекс Lucene;
  • Поддержка обслуживания одним экземпляром движка нескольких поисковых служб: поддерживается обработка более одного индекса и более одного типа контента на каждый индекс;
  • Для управления и взаимодействия с поисковым сервером может использвоаться как HTTP RESTful API, так и нативный Java API. API абстрагирует все операции по опросу отдельных узлов и агрегации данных, позволяя работать с распределённым индексом, как с единым целым. Клиенты, работающие поверх HTTP RESTful API подготовлены для языков Javascript, PHP, Perl, Python и Ruby;
  • Документо-ориентированный подход к хранению атрибутов. Отсутствие необходимости предварительного определения жесткой схемы структуры данных. Схема данных может варьироваться и определяться в привязке к разным типам контента, предоставляя возможность адаптации процесса индексации под свои нужды.
  • Поддержка кэширования запросов и пополнения индекса в асинхронном режиме. Наличие средств для сохранения целостности индекса в случае краха сервера;
  • Высокая производительность поиска, выполнение запросов со скоростью близкой к обработке данных в реальном времени;
  • Обеспечение непротиворечивости операций - все действия на уровне одного документа соответствуют требованиям ACID (атомарность, согласованность, изолированность, надежность).

Ключевые улучшения, добавленные в версии Elasticsearch 1.0:

  • Snapshot/Restore API - программный интерфейс для управления созданием/восстановлением резервных копий индексов или всего кластера;
  • Гибкие средства для сбора статистики для анализа работы поисковой системы;
  • Обратный поиск - вместо поиска всех удовлетворяющих запросу документов, осуществляется определение запросов, подходящих для заданного документа;
  • cat API - простой интерфейс для ручной выборки данных, более наглядный для человека, чем JSON;
  • Поддержка федеративного поиска, при котором логически объединяются результаты разных поисковых кластеров;
  • Поддержка формата Doc values, позволяющем агрегировать данные документов большого размера, за счет промежуточного сохранения полей на диске, без держания их в памяти;
  • Механизм отслеживания попыток загрузки слишком больших полей с данными в память, для исключения ситуаций, которые могут привести к исчерпанию доступной памяти.


  1. Главная ссылка к новости (http://www.elasticsearch.org/b...)
  2. OpenNews: Открыт исходный код поискового движка Gigablast
  3. OpenNews: Вышел релиз поискового движка Apache Lucene 3.0.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/39081-lucene
Ключевые слова: lucene, elasticsearch
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (16) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 23:47, 13/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Ждем открытия кода гугла и бинга :)
     
     
  • 2.3, ананим (?), 00:02, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >написан на языке Java и распространяется под лицензией Apache.

    ждём перехода с прототипа к релизу.


    зыж
    > и бинга :)

    Это Г (или так — ГГГ…) тебе то зачем?

     
     
  • 3.9, VolanD (ok), 09:20, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >>написан на языке Java и распространяется под лицензией Apache.
    > ждём перехода с прототипа к релизу.
    > зыж
    >> и бинга :)
    > Это Г (или так — ГГГ…) тебе то зачем?

    У этого ГГГ спутниковые карты значительно качественнее, чем у того же гугла и яндекса... по крайней мере некоторых частей России...

     
     
  • 4.10, ананим (?), 12:09, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Угу. Фоточки классные.
    Но может ТАК завести в некоторые части России, что не выберешься. Как говорится, пошлёт, так пошлёт.
    Да и вообще, пользоваться продуктом мс… не-не, спасибо, тогда уж лучше тут http://openstreetmap.ru/
     
     
  • 5.12, Аноним (-), 14:44, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Угу. Фоточки классные.
    > Но может ТАК завести в некоторые части России, что не выберешься. Как
    > говорится, пошлёт, так пошлёт.

    Это не проблемы карт. Это проблемы России. В коей нету дорог, а есть лишь одни направления.

     
     
  • 6.14, Аноним (-), 03:57, 15/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Это не проблемы карт. Это проблемы России. В коей нету дорог, а
    > есть лишь одни направления.

    А вы знаете, еще всякие туристы например бывают. И просто фиговые карты. Вот OSM учитывает интересы и пешеходов, и туристов и прочая. А какие еще карты покажут мне тропинку в лесу? Ну не бинг же с яндексом? А ломиться по бурелому вместо того чтобы по тропинке топать - некая разница, знаете ли.

     
  • 4.11, Клыкастый (ok), 14:24, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > спутниковые карты значительно

    а я думал - ты про поисковый движок

     
  • 2.4, pavlinux (ok), 00:04, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    У тя ума и денег хватит на оборудование для их запуска.
    А то ж как с Quake2 вышло, - орали, слюни пускали, а как открыли всё нах... исчезли.  
     
     
  • 3.6, ананим (?), 00:08, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Не пинди!.
    В смокинганс я лет 5 провёл.
    И всякие контры не дотягивают по геём-плэю до сих пор.
    (Дезигнеров-художников по сравнению токо много у них, то да. А от программеров толку тут как раз мало).
     
  • 2.13, Аноним (-), 03:55, 15/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >  Ждем открытия кода гугла и бинга :)

    Они могут с чистой совестью открыть. Удачи тебе поставить столько же ДЦ сколько у гугля...

     

  • 1.2, alxx (ok), 00:02, 14/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Очень глупый вопрос - зачем оно нужно, в смысле открывать такие вещи? Это не попытка вброса, а непонимание сути данного действия.
     
     
  • 2.5, ананим (?), 00:05, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это и было открыто.
    Народ набежал (уж какие есть) и сделал (уж что есть. но лучше чем в блобах — там не все аспекты вообще осознали).

    Или ты теперь закрыть хочешь?
    Ну… Много вас таких.

     
  • 2.8, VoDA (ok), 08:47, 14/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Рассчитывают на:
    А) программисты смогут править код и отправлять патчи => качественнее код + больше фич;
    Б) больше компаний будет пользоваться бесплатной => больше перейдут на платную;
    В) в некоторых государствах гос.компании и агентства используют преимущественно OpenSource => чтобы выйти на тендер нужно сделать движок открытым

    К слову: не всегда открытие исходников приводит к заметному росту дохода компании, так как нужно кардинально поменять бизнес и способ получения дохода.
    По сути проприетарь и OpenSource - разные виды бизнеса не сильно пересекающиеся друг с другом.

     

  • 1.7, Perain (?), 05:17, 14/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Пользуясь случаем передааю приветы "Sphinx Search", "Xapian"
     
     
  • 2.15, Perain (?), 09:27, 15/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Пользуясь случаем передааю приветы "Sphinx Search", "Xapian"

    http://zooie.files.wordpress.com/2009/07/opensearch_compare.jpg

     

  • 1.16, Аноним (-), 16:40, 06/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот кстати неплохо про аггрегации в 1.0 написано http://habrahabr.ru/company/mailru/blog/213849/
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру