forum.opennet.ru - "В Москве состоится семинар о полнотекстовом поиске в PostgreSQL" (22)

форумы

помощь

поиск

регистрация

вход/выход

слежка

"В Москве состоится семинар о полнотекстовом поиске в PostgreSQL"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"В Москве состоится семинар о полнотекстовом поиске в PostgreSQL"	+/–
Сообщение от opennews (??) on 16-Фев-17, 12:33
21 февраля в Москве состоится (https://www.meetup.com/postgresqlrussia/events/229372553/) открытый семинар (митап) #RuPostgres, основной темой которого станет полнотекстовый поиск. Планируется выступление Фёдора Сигаева и Артура Закирова. На семинаре будет показано как организовать полнотекстовый поиск по массиву текстов, рассказано про фасетный поиск, новинки свежей версии PostgreSQL и новый индекс RUM. Вопросы можно присылать заранее, чтобы докладчики включили ответы в своё выступление. Участие бесплатное, необходима регистрация (https://www.meetup.com/postgresqlrussia/events/229372553/). Также планируется онлайн-трансляция для участников сообщества #RuPostgres. URL: https://www.meetup.com/postgresqlrussia/events/229372553/ Новость: http://www.opennet.ru/opennews/art.shtml?num=46054
Ответить \| Правка \| Cообщить модератору

Оглавление

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 12:33 , 16-Фев-17, (1)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 14:15 , 16-Фев-17, (4)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 14:23 , 16-Фев-17, (5)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 20:23 , 16-Фев-17, (10)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Фтщт, 21:11 , 16-Фев-17, (11) –1

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 14:28 , 16-Фев-17, (6)
В Москве состоится семинар о полнотекстовом поиске в Postgre..., КО, 17:11 , 16-Фев-17, (9)
В Москве состоится семинар о полнотекстовом поиске в Postgre..., KonstantinB, 00:59 , 17-Фев-17, (13)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., DmA, 13:44 , 16-Фев-17, (3) –3
В Москве состоится семинар о полнотекстовом поиске в Postgre..., Ilya Indigo, 16:28 , 16-Фев-17, (7)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., QuAzI, 17:03 , 16-Фев-17, (8)
В Москве состоится семинар о полнотекстовом поиске в Postgre..., Vz, 23:00 , 16-Фев-17, (12) +2

В Москве состоится семинар о полнотекстовом поиске в Postgre..., QuAzI, 11:48 , 17-Фев-17, (15)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 22:59 , 17-Фев-17, (20)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., QuAzI, 23:45 , 17-Фев-17, (21)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Michael Shigorin, 20:09 , 19-Фев-17, (22)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 15:02 , 17-Фев-17, (17) +2

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Ilya Indigo, 15:46 , 17-Фев-17, (18)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Аноним, 15:56 , 17-Фев-17, (19)
В Москве состоится семинар о полнотекстовом поиске в Postgre..., Горегоре, 10:54 , 21-Фев-17, (23)

В Москве состоится семинар о полнотекстовом поиске в Postgre..., Ilya Indigo, 00:09 , 22-Фев-17, (24)

google - типы индексов postgrsql, имя, 13:58 , 17-Фев-17, (16)

Сообщения по теме [Сортировка по времени | RSS]

1. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 16-Фев-17, 12:33

Чем отличается обычный sql запрос по всей базе от полнотекстового поиска?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 16-Фев-17, 14:15

Подсистема полнотекстового поиска по сути индексирует поля, которые невозможно проиндексировать классически - те, в которых хранятся целиком документы, созданные в офисных пакетах (в т.ч. бинарные), XML-документы и т.п. Очень востребовано в издательских системах, системах док. оборота и т.п.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 16-Фев-17, 14:23

спасибо!

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 16-Фев-17, 20:23

нзч

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

11. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." –1 +/–

Сообщение от Фтщт on 16-Фев-17, 21:11

зачем придумывать если не знаешь?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 16-Фев-17, 14:28

Не спец по postgres, но в других субд колонки типа varchar имеют ограничения по размеру и против них используется обычный bs-tree индекс. Этот индекс никак не может помочь при поиске вроде '%hello world%' и будет full-range scan.
По этой причине если нужно хранить много текста используется всякие CLOB с гигабайтными лимитами и индексы строятся не на текст а на каждое слово, что позволяет осуществить выборку записей где это слово встречается.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

9. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от КО on 16-Фев-17, 17:11

А это и есть запрос типа:
А найди ка мне такие строки в Которых упоминаются слова Иванов,Иван,Иванович неподалеку друг от друга и в любом падеже, на крайняк любое из них с инициалами.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от KonstantinB (ok) on 17-Фев-17, 00:59

Вот есть у тебя какая-нибудь энциклопедия на 100500 страниц, а в конце алфавитный указатель вида "абажур - стр. 4, 51, 82".
Если ты будешь перелистывать в поиске абажура все 100500 страниц - это будет обычный SQL-запрос по базе. Если воспользуешься указателем - это будет в первом приближении то, как работает полнотекстовый поиск (по одному слову).
Если хочется понаучнее - почитай про инвертированные индексы и про алгоритмы-структуры полнотекстового поиска, заточенные под естественный язык (стеммеры, расстояния между словами, вот это все).

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." –3 +/–

Сообщение от DmA (??) on 16-Фев-17, 13:44

Очень редко тут пишут новости Постгресмены - все две новости у них, одна сегодня, вторая в далёком 2007 году.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Ilya Indigo (ok) on 16-Фев-17, 16:28

Надеюсь Sphinx они не обойдут стороной и хотя бы сделают сравнение по производительности, нагруженности и гибкости по сравнению с нативными решениями.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от QuAzI (ok) on 16-Фев-17, 17:03

Как раз тоже вспомнил о нём. Ни в одной СУБД не видел таких возможностей текстового поиска встроенных, обычно всё грустненько и на семинар не тянет ну никак.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +2 +/–

Сообщение от Vz on 16-Фев-17, 23:00

что именно есть в sphinx, чего нет в постгресе?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

15. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от QuAzI (ok) on 17-Фев-17, 11:48

> что именно есть в sphinx, чего нет в постгресе?
Например стемминг, словоформы (типа алиасов, например замена см->сантиметр, чтобы получать равноценный выхлоп), поиск одной фразы по нескольким колонкам с ранжированием результатов выдачи (формула ранжирования задаётся весьма гибко)

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

20. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 17-Фев-17, 22:59

О чём вы? Не уверен насчёт ранжирования, но стеминг и алиасы в postgres есть.
У sphinx есть интересные оптимизации, архитектура, об этом бы рассказали.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

21. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от QuAzI (ok) on 17-Фев-17, 23:45

Пруфы в студию, пожалуйста. А то может народ зря люцены и сфинксы во все места втыкает чтобы поиск был хотя бы на поиск похож

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Michael Shigorin (ok) on 19-Фев-17, 20:09

>> что именно есть в sphinx, чего нет в постгресе?
> Например стемминг, словоформы [...]
Кстати, если кому понадобится, но не подойдёт по каким-то причинам сфинкс -- гляньте ещё xapian.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +2 +/–

Сообщение от Аноним (??) on 17-Фев-17, 15:02

Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

18. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Ilya Indigo (ok) on 17-Фев-17, 15:46

> Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска
Благодарю.
Тут видно, что реализация Sphinx всех уделывает, и мне кажется, что и сейчас мало что изменилось.
Посмотрим на отчёты с конференции.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Аноним (??) on 17-Фев-17, 15:56

Ну как минимум вот пилится новый индекс RUM, он вроде как заточен под текстовый поиск. В самом постгресе его ещё нет (он всё же ещё но не доделан) но можно собрать самому.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

23. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Горегоре on 21-Фев-17, 10:54

Solr?

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

24. "В Москве состоится семинар о полнотекстовом поиске в Postgre..." +/–

Сообщение от Ilya Indigo (ok) on 22-Фев-17, 00:09

> Solr?
> Lucene — это Java...
Дальше этих слов не читал.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

16. "google - типы индексов postgrsql" +/–

Сообщение от имя on 17-Фев-17, 13:58

https://postgrespro.ru/docs/postgresql/9.6/indexes-types

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
Сообщение от Аноним (??) on 16-Фев-17, 12:33
Чем отличается обычный sql запрос по всей базе от полнотекстового поиска?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	4. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 16-Фев-17, 14:15
	Подсистема полнотекстового поиска по сути индексирует поля, которые невозможно проиндексировать классически - те, в которых хранятся целиком документы, созданные в офисных пакетах (в т.ч. бинарные), XML-документы и т.п. Очень востребовано в издательских системах, системах док. оборота и т.п.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	5. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 16-Фев-17, 14:23
	спасибо!
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	10. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 16-Фев-17, 20:23
	нзч
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	11. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	–1 +/–
	Сообщение от Фтщт on 16-Фев-17, 21:11
	зачем придумывать если не знаешь?
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 16-Фев-17, 14:28
	Не спец по postgres, но в других субд колонки типа varchar имеют ограничения по размеру и против них используется обычный bs-tree индекс. Этот индекс никак не может помочь при поиске вроде '%hello world%' и будет full-range scan. По этой причине если нужно хранить много текста используется всякие CLOB с гигабайтными лимитами и индексы строятся не на текст а на каждое слово, что позволяет осуществить выборку записей где это слово встречается.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	9. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от КО on 16-Фев-17, 17:11
	А это и есть запрос типа: А найди ка мне такие строки в Которых упоминаются слова Иванов,Иван,Иванович неподалеку друг от друга и в любом падеже, на крайняк любое из них с инициалами.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	13. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от KonstantinB (ok) on 17-Фев-17, 00:59
	Вот есть у тебя какая-нибудь энциклопедия на 100500 страниц, а в конце алфавитный указатель вида "абажур - стр. 4, 51, 82". Если ты будешь перелистывать в поиске абажура все 100500 страниц - это будет обычный SQL-запрос по базе. Если воспользуешься указателем - это будет в первом приближении то, как работает полнотекстовый поиск (по одному слову). Если хочется понаучнее - почитай про инвертированные индексы и про алгоритмы-структуры полнотекстового поиска, заточенные под естественный язык (стеммеры, расстояния между словами, вот это все).
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

3. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	–3 +/–
Сообщение от DmA (??) on 16-Фев-17, 13:44
Очень редко тут пишут новости Постгресмены - все две новости у них, одна сегодня, вторая в далёком 2007 году.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

7. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
Сообщение от Ilya Indigo (ok) on 16-Фев-17, 16:28
Надеюсь Sphinx они не обойдут стороной и хотя бы сделают сравнение по производительности, нагруженности и гибкости по сравнению с нативными решениями.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	8. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от QuAzI (ok) on 16-Фев-17, 17:03
	Как раз тоже вспомнил о нём. Ни в одной СУБД не видел таких возможностей текстового поиска встроенных, обычно всё грустненько и на семинар не тянет ну никак.
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	12. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+2 +/–
	Сообщение от Vz on 16-Фев-17, 23:00
	что именно есть в sphinx, чего нет в постгресе?
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	15. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от QuAzI (ok) on 17-Фев-17, 11:48
	> что именно есть в sphinx, чего нет в постгресе? Например стемминг, словоформы (типа алиасов, например замена см->сантиметр, чтобы получать равноценный выхлоп), поиск одной фразы по нескольким колонкам с ранжированием результатов выдачи (формула ранжирования задаётся весьма гибко)
	Ответить \| Правка \| ^ к родителю #12 \| Наверх \| Cообщить модератору


	20. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 17-Фев-17, 22:59
	О чём вы? Не уверен насчёт ранжирования, но стеминг и алиасы в postgres есть. У sphinx есть интересные оптимизации, архитектура, об этом бы рассказали.
	Ответить \| Правка \| ^ к родителю #15 \| Наверх \| Cообщить модератору


	21. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от QuAzI (ok) on 17-Фев-17, 23:45
	Пруфы в студию, пожалуйста. А то может народ зря люцены и сфинксы во все места втыкает чтобы поиск был хотя бы на поиск похож
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	22. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Michael Shigorin (ok) on 19-Фев-17, 20:09
	>> что именно есть в sphinx, чего нет в постгресе? > Например стемминг, словоформы [...] Кстати, если кому понадобится, но не подойдёт по каким-то причинам сфинкс -- гляньте ещё xapian.
	Ответить \| Правка \| ^ к родителю #15 \| Наверх \| Cообщить модератору


	17. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+2 +/–
	Сообщение от Аноним (??) on 17-Фев-17, 15:02
	Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска
	Ответить \| Правка \| ^ к родителю #7 \| Наверх \| Cообщить модератору


	18. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Ilya Indigo (ok) on 17-Фев-17, 15:46
	> Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска Благодарю. Тут видно, что реализация Sphinx всех уделывает, и мне кажется, что и сейчас мало что изменилось. Посмотрим на отчёты с конференции.
	Ответить \| Правка \| ^ к родителю #17 \| Наверх \| Cообщить модератору


	19. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Аноним (??) on 17-Фев-17, 15:56
	Ну как минимум вот пилится новый индекс RUM, он вроде как заточен под текстовый поиск. В самом постгресе его ещё нет (он всё же ещё но не доделан) но можно собрать самому.
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	23. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Горегоре on 21-Фев-17, 10:54
	Solr?
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	24. "В Москве состоится семинар о полнотекстовом поиске в Postgre..."	+/–
	Сообщение от Ilya Indigo (ok) on 22-Фев-17, 00:09
	> Solr? > Lucene — это Java... Дальше этих слов не читал.
	Ответить \| Правка \| ^ к родителю #23 \| Наверх \| Cообщить модератору

16. "google - типы индексов postgrsql"	+/–
Сообщение от имя on 17-Фев-17, 13:58
https://postgrespro.ru/docs/postgresql/9.6/indexes-types
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору