Базы данных. lucene

Поисковая библиотека LuceneКурс «Базы данных»

Андреев Герман Андреевич

Computer Science Center

18 ноября 2013 г.

Андреев Г. А. (CompSciCenter) Поисковая библиотека Lucene 18 ноября 2013 г. 1 / 59

Содержание

1 Задача поиска

2 Lucene

3 Внутреннее устройство

4 Пример использования

Задача поиска Примеры

Примеры

Пример: поиск по документу

ПримерыПример: поиск по документу

ПримерыПример: полнотекстовый поиск

ПримерыПример: параметрический поиск

Примеры

Поиск по документуХорошо изученМножество алгоритмовГотовые библиотекиМожно реализовать самому

Примеры

Поиск регулярных выражений:Хорошо изученМножество алгоритмовГотовые библиотекиСложно реализовать самому

Примеры

Полнотекстовый поиск:Очень много теорииОгромное количество алгоритмовНекоторые доступны в виде библиотек

Примеры

Различия между примерами:Количество документовФункция поискаРанжирование

Lucene Библиотека Lucene

Библиотека Lucene

Особенности:Реализована на JavaДостаточно компактна: lucene-core - 2.1 MbБогатая функциональностьВысокая скорость работыВысокая скорость индексации

Преимущества:Открытый исходный кодУдобная лицензия: Apache LicenseМного коммиттеровШироко известнаЕсть порт под .NET

История развития:Появилась в 1999: жила на SourceForgeВ 2001 переместилась в ApacheВ 2005 стала top-level проектом в рамках ApacheПретерпела 4 мажорных релизаАктивно развивается: последняя версия 4.5.1выпущена 24 октября8 релизов только за этот год

Lucene Модель данных

Модель данных

Модель данных:Основные объекты: Document, Field

Field:Пара ключ-значениеКлюч: произвольная ненулевая строкаЗначение: произвольная ненулевая строкаВ 4.0.0 версии появилась возможность хранитьтипизированные значения

Field:У каждого поля есть специальные атрибутыIndexedStoredTockenized

Indexed Field:Будет ли построен индекс по этому полюПо этим полям осуществляется поискПо этим полям можно сортировать

Stored Field:Попадет ли поле в хранильще документовНужно ли это значение при поиске

Tockenized Field:Требуется ли дополнительная обработка значения

Document:Содержит список FieldНет ограничения на повторяемость имениПри построении индекса каждому документуназначается docId

Lucene Построение индекса

Построение индекса

Directory:Абстракция над файловой системойЕсть несколько реализацийSimpleFSDirectory: простая реализацияNIOFSDirectory: реализация с использованиемNIOMMapDirectory: реализация на основе memorymapped файловRAMDirectory: все содержимое хранится в памятиВажно! Не используйте RAMDirectory длякрупных индексов

Индекс состоит из:Инвертированного индексаХранилища документов

Построение индекса:IndexWriterConfig: настройки индексацииIndexWriter: управляет созданием индексаindexWriter.addDocument(...): добавлениедокумента в индексОдновременно записывать может только одинIndexWriter

Хранилище документов:Попадают все Stored поляЧасть исходного документа в результатах поиска

Токенизация:Каждый индексируемое поле превращается впоследовательность токенов

Инвертированный индекс:Попадают все Indexed поляНа нем основан механизм поиска

ПримерПостроение документа

1 Document doc = new Document();2 Field name = new StringField("name", country.getName(),

Field.Store.YES);3 doc.add(name);4 Field population = new LongField("population",

country.getPopulation(), Field.Store.YES);5 doc.add(population);

ПримерНеиндексируемое поле

1 FieldType TYPE_NOT_INDEXED = new FieldType();2 TYPE_NOT_INDEXED.setIndexed(false);3 TYPE_NOT_INDEXED.setOmitNorms(true);4 TYPE_NOT_INDEXED.setIndexOptions(IndexOptions.DOCS_ONLY);5 TYPE_NOT_INDEXED.setTokenized(false);6 TYPE_NOT_INDEXED.freeze();7 ...8 Field currency = new Field("currency",

country.getCurrency(), TYPE_NOT_INDEXED);9 doc.add(currency);

ПримерСоздание индекса

1 Directory dir = FSDirectory.open(new File(indexPath));2 Analyzer analyzer = new

StandardAnalyzer(Version.LUCENE_40);3 IndexWriterConfig iwc = new

IndexWriterConfig(Version.LUCENE_40, analyzer);4 iwc.setOpenMode(OpenMode.CREATE);5 IndexWriter writer = new IndexWriter(dir, iwc)

ПримерДобавление документа

1 ...2 IndexWriter writer = new IndexWriter(dir, iwc);3 for (Country country: countries) {4 Document doc = new Document();5 ...6 writer.addDocument(doc);7 }8 writer.close();

Lucene Поиск по индексу

Поиск по индексу

Поиск по индексу:За чтение отвечает IndexReaderЗа поиск - IndexSearcherLucene позволяет читать из индексаодновременно с записью

Поиск по индексу:Для поиска indexSearcher.search(query, ...)Все запросы - наследники QueryВ простейшем случаеindexSearcher.search(query, n)

Поиск по индексу:TopDocs: результат поискаtotalHits: всего найденных документовscoreDocs: список docId для найденныхдокументов

Запросы:Запросы бывают разных типовTermQuery: наличие токена в документеBooleanQuery: условие на основе других QueryTermRangeQuery: диапазон текстовых токеновNumericRangeQuery: числовой диапозонНесколько других типов

Результаты поиска:За результаты отвечает CollectorЧаще всего используется TopScoreDocCollectorМожно реализовать свой Collector

Сортировка результатов:В indexSearch.search можно передать SortСодержит список полей для сортировки

Ранжирование:Альтернатива сортировкеЗадается через класс SimilarityДолжно совпадать при индексировании и поискеНужно для полнотекстового поискаVector Space Model - на основе tf-idfBM25

ПримерЧтение индекса

1 Directory dir = FSDirectory.open(new File(indexPath));2 Analyzer analyzer = new

StandardAnalyzer(Version.LUCENE_40);3 DirectoryReader reader = DirectoryReader.open(dir);4 IndexSearcher searcher = new IndexSearcher(reader);

ПримерПостроение запроса

1 BooleanQuery bq = new BooleanQuery();2 TermQuery tq = new TermQuery(new Term("name", "Russia"));3 NumericRangeQuery<Long> nrq =

NumericRangeQuery.newLongRange(4 "population", 140_000_000L, Long.MAX_VALUE, true, false);5

6 bq.add(tq, BooleanClause.Occur.MUST_NOT);7 bq.add(nrq, BooleanClause.Occur.MUST);

ПримерПоиск документов

1 TopDocs topDocs = indexSearcher.search(bq, 10);2 for (ScoreDoc scoreDoc: topDocs.scoreDocs) {3 Document foundDoc = indexSearcher.doc(scoreDoc.doc);4 }

Поиск документов:foundDoc отличается от doc

Внутреннее устройство Индекс на диске

Индекс на диске

Индекс разбит на сегментыПосле создания сегмент не меняетсяСодержит диапазон документовПериодически выполняется merge

DocId внутри сегмента уникальныПри удалении могут появится пропускиMerge удаляет пропускиMerge может изменить docId

Файлы индекса:

write.lock: лок на записьsegments.gen, segments_N: commit pointФайлы сегмента начинаются на _N.fnm: методанные полей.fdx, .fdt: Stored поля документа

.tim, .tip: словарь Term

.doc: список документов, содержащих Term

.tvx, .tvd, .tvf: Term Vector

.nvd, .nvm, .dvd, .dvm: нормы и данные дляранжирования.del: удаленные документы

Возможно включить "склеивание"файлоф.cfs, .cfe: составные файлы индекса

Новый сегмент создается в момент операции flushМожно вызвать программно, обычно вызываетсяавтоматическиНастройки:

IndexWriterConfig.setMaxBufferedDocs:IndexWriterConfig.setRAMBufferSizeMB

Внутреннее устройство Устройиство поиска

Устройиство поиска

IndexReader: содержит списко сегментовПоиск по каждому сегменту независимВыполняется последовательно по спискусегментов

Инвертированный индекс состоит из:Списка Term для каждого поляУпорядоченного списка docId для каждого Term

TermQuery порождают объект, умеющий:Проверяет есть ли нужный Term для поляНаходит соответствующему списку docId

Query порождают объект, отвечающий за:Хранение текущего найденного docIdПоиск следующего подходящего docId

BooleanQueryКомпозиция из QueryОпращивает дочернии Query по очередиДокумент найден, если все дочерние Queryпередвинулись на один и тотже docId

Большинство объектов - потоко-безопасно:IndexReaderIndexSearcherQuery: после создания можно искать изнескольких потоков

Пример использования Пример использования

Пример использования

Размер документа: 14 полейОдно из полей мультизначное: до 10 значенийВсе поля Indexed, некоторые StoredПорядка 100000 объектов

Размер индекса: несколько десятков мегабайтВремя построения: быстро

Жесткие требования по скорость работыНагрузка порядка 25 RPSНесколько тысяч найденных объектов

Первая попытка

Оказалась неудовлетворительнойПолучение документа - дорогая операция

Вторая попытка

Избавится от Stored полейВсе документы хранить в памятиLucene - только для поиска

Вторая попытка

Успех!Максимальная нагрузка - сотни RPS98% запросов - 5 ms99.5% запросов - 25 ms

Базы данных. lucene

Technology

базы данных

БАЗЫ ДАННЫХ -...

Базы данных. hbase

c++ и базы данных

базы данных викторина

Базы данных. haystack

Репликация базы данных cucm

Базы данных и СУБД

Обобщение темы «Базы данных»

БАЗЫ...

БАЗЫ ДАННЫХ часть ii

Базы данных, осень 2016: Краткое...

Базы данных лекция №4

Базы данных - edu.mmcs.sfedu.ru

Наукометрические базы данных

БАЗЫ ДАННЫХ

Ковалёв А.Д. - Базы данных

Базы данных, урок 1

Объектно-ориентированные базы...

Базы данных, урок 3