Алгоритм полнотекстокового поиска с обучением на основе статистических данных

Алексей Колосов

1

Оглавление

•Постановка задачи•Функции системы•Обработка запросов•Поисковый алгоритм•Эксперименты•Обучение•Перспективы развития

2

• Постановка задачиПостановка задачи•Функции системы•Обработка запросов•Поисковый алгоритм•Эксперименты•Обучение•Перспективы развития

3

Задача•Имеется портал, посвященный ответам на

вопросы пользователей. Ответы на вопросы формируют специалисты-консультанты

•Имеются базы документов, поиск по которым может позволить найти ответ

•Необходимо снизить нагрузку специалистов, отвечающих на вопросы

4

Рабочий процесс

Не помогло?

До:

После:

5

Помогло?

Обработка данных

Поисковая система

Вопрос пользователя

(произвольный рус./англ. текст)

Ссылкина документы

6

Вход Выход

7

Поиск по теме сообщения - результаты

8

Практические задачи•Автоматический подбор

документов, содержащих нужную пользователям информацию, на основе полного текста вопроса

Поиск одинаковых или очень похожих вопросов (фильтрация дубликатов)

Подбор близких по смыслу документов, которые могут также заинтересовать пользователя

Быстрый поиск по ключевым словам

9

Отличия данного вида поиска от поиска в Интернете

• Запрос состоит из нескольких предложений, а не из нескольких слов

• Авторы страниц заинтересованы в адекватности результатов поиска (нет SEO)

• Количество документов невелико (десятки тысяч)

• Все документы посвящены одной тематике или ряду близких тематик

10

11

•Постановка задачи• Функции системыФункции системы•Обработка запросов•Поисковый алгоритм•Эксперименты•Обучение•Перспективы развития

Функции системы (подзадачи)

12

13

•Постановка задачи•Функции системы• Обработка запросовОбработка запросов•Поисковый алгоритм•Эксперименты•Обучение•Перспективы развития

Обработка запросов

•Фильтрация шумовых слов

•Выявление словосочетаний

•Раскрытие форм слов (с меньшим весом)

•Раскрытие синонимов (с меньшим весом)

14

Выявление словосочетаний – знаки препинания (при индексировании)Примеры:

• issue-tracking tools => [N, N + 0.25]• ...the issue, but{stop word} tracking

changes... => [N, N + 3]•Object.Method() =>

Object[N], Method[N + 0.25]•…some object. Method A shows… =>

object[N], Method[N + 15]

15

Выявление словосочетаний - семантика

•Несмотря на грамматические ошибки, пользователи обычно применяют корректные сочетания слов для описания технической сути проблемы.

•Построение концептуального графа позволяет отфильтровать несвязанные слова и грамматически неверные конструкции.

16

Пример запроса

Hi there!

i have a script test with a bunch of checkpoints, but when it hits a checkpoint cannot be verified, the execution of the script stops and any tests after the failed checkpoint do not get executed. Thank's in advance.Randy

17

Концептуальный граф - фрагмент

18

Отфильтрованные предложения

19

Результаты разбора

• Словосочетания, по которым должен производиться поиск

• Каждое словосочетание имеет свой вес

• Поскольку текст может содержать несколько вопросов/касаться нескольких тем, словосочетания объединяются оператором OR

• В результате разбора задача поиска по тексту сводится к задаче поиска по набору словосочетаний, решаемой с помощью предлагаемого алгоритма

20

21

•Постановка задачи•Функции системы•Обработка запросов• Поисковый алгоритмПоисковый алгоритм•Эксперименты•Обучение•Перспективы развития

Поисковый алгоритмФакторы, влияющие на релевантность:

•Операторы поиска (AND, AND NOT, OR, “exact phrase”, и т.п.)

•Скорректированный вес ключевых слов•Позиции слов в документе и знаки

препинания•Вес проиндексированного поля•Результаты морфологического разбора

запроса

22

Используемая модель

Для моделирования документа или запроса используется векторная модель:

The native methods of the control =>[the (0.333), native(0.166), methods(0.166), of (0.166), control(0.166)]

[0, 5] [1] [2] [3] [4]

23

Процесс поиска

24

Релевантность по словам

Ni qi

Ni ji

Ni qiji

j

jj

ww

ww

qd

qdqd

1 ,2

1 ,21 ,,

),cos(

где – вес соответсвующих слов, вычисленный по формуле tf.

jiw ,

25

Релевантность по словосочетаниям

• Словосочетания, повторяющиеся в тексте запроса несколько раз, имеют больший вес (зависящий от количество повторений)

• Чем длиннее словосочетание, тем более узкий смысл оно имеет => тем больше смысловая близость между документами, содержащими эту фразу

• Чем дальше слова расположены друг от друга, тем меньше вероятность того, что они связаны

26

Релевантность по словосочетаниям. Факторы

•Количество искомых словосочетаний, встречающихся в документе

•Количество слов в искомых словосочетаниях

•Расстояние между словами словосочетаний в документе и знаки препинания (слова должны быть в одном предложении)

27

Есть ли словосочетание в тексте?

• Слова, расположенные далеко друг от друга (а также разделенные знаками препинания), скорее всего, не связаны между собой

• Слова, расположенные в разных предложениях, скорее всего, не связаны между собой.

• Контекстное окно должно учитывать и то, и другое

28

Словосочетание есть в документе, если...

...(расстояние между каждой парой слов) < M, где M – величина, на которую искуственно увеличивается позиция слова после конца предложения.

Пример: AJAX applications testing

AJAX web applications are, indeed, difficult for testing. => сум. расстояние: 7

No AJAX applications. Testing desktop applications is another task. =>сум. расстояние: 16

29

Релевантность по словосочетаниям - формула

N

wdpRdqR i jipjphrase

pi

),(),(

среднее арифметическое релевантностей по каждому из рассматриваемых словосочетаний pi, выделенных из запроса q. Здесь wpi – вес словосочетания в запросе,

Rp - релевантность документа словосочетанию pi, вычисляемая по следующей форумле:

kkp

n

jipi

it

dpR,

22

),(

где – количество слов в словосочетании pi,

– суммарное расстояние между каждым из этих слов в рассматриваемом документе dj, вычисленное для каждого вхождения в документ словосочетания pi.

itn

kpi ,

30

Итоговая релевантность

• Словосочетания должны иметь больший вес, однако отсутствие совпадений по словосочетаниям не означает отсуствие релевантности

• Релевантность считается отдельно по каждому полю, каждое поле имеет свой вес

• Итоговая релевантность не должна зависеть от алгоритма вычисления ее слагаемых

31

Итоговая релевантность - формула

))1),()(,cos(),( ( jphrasejj dqRdqWdqR fieldk

где – косинус угла между векторами запроса q и документа dj, характеризующий их близость по ключевым словам,

Rphrase – релевантность по словосочетаниям,

Wfield – вес проиндексированного поля

),cos( jdq

32

33

•Постановка задачи•Функции системы•Обработка запросов•Поисковый алгоритм• ЭкспериментыЭксперименты•Обучение•Перспективы развития

Эксперимент. Формула оценки качества поиска

34

p

i

ip i

relrelDCG

2 21 log

где reli – релевантность, проставленная асессором [0..2],i – порядковый номер результата в выдачеp = 10 – количество оцениваемых результатов

Результаты экспериментов

35

Среднее качество «top 10» результатов(discounted cumulative gain), max=10,51

Количествозапросов

36

•Постановка задачи•Функции системы•Обработка запросов•Поисковый алгоритм•Эксперименты• ОбучениеОбучение•Перспективы развития

Обучение• Явная оценка неэффективна (оценивают качество

документов только 0,23% пользователей)

• Имеется подробная статистика об использовании портала

• Если автоматически подобранные документы не помогли, запрос пользователя поступает к специалистам => известна «полезность» каждого набора результатов для поиска по тексту

• Систему обучают пользователи, не делая ничего дополнительно

37

Особенности:•при локальном поиске нет смысла

учитывать «авторитетность» страницы (ссылки на нее)

•никто не заинтересован в искусственном продвижении какой-либо страницы из локальной базы по определенным запросам засчет внестраничных факторов

•прямая корректировка веса слов позволяет точно настраивать алгоритм

38

Оценка качества при поиске по тексту

Хорошие результаты поиска:

Хорошие результаты – просмотренные документы

Плохие результаты – просмотренные документы

Плохие результаты поиска:

39

Плохие результаты – документы с первой страницы результатов

Оценка качества при обычном поиске

Хорошие результаты поиска:

Хорошие результаты – просмотренные документы

Хорошие результаты – просмотренные документы

40

Оценка качества при обычном поиске

Плохие результаты поиска:Плохие результаты – все показанные документы с номерами [0, N-1], где N – номер первого просмотренного документа

Плохие результаты – документы с первой страницы результатов

Плохие результаты – просмотренные документы

41

Корректировка весов после поиска

• Величина должна сходиться к «идеальному» весу => следующее изменение меньше, чем предыдущее

• Корректировка весов не должна приводить к обнулению веса

• Первая корректировка не должна приводить к делению на ноль или сильному изменению веса

42

Корректировка весов после поиска

jiji

n

jjtfwK

ww ji

,,,

'

)1(',

где – текущий скорректированный вес ключевого слова в индексе (измененный ранее в результате обработки статистики),

– вес ключевого слова, изначально вычисленный по формуле tf.

Значение n берется в зависимости от полезности обрабатываемого результата. Если результат является плохим, берется n = 1, если хорошим – берется n = 2.

K > 0 – константа.

jiw ,'

jitf ,

43

Корректировка весов при изменении документа

•Изменение документа должно приводить к пересчету весов

•Небольшие исправления не должны приводить к потере скорректированного веса

•Новый вес должен быть тем ближе к старому (скорректированному), чем ближе по смыслу новая и старая версии документов

44

Корректировка весов при изменении документа - формула

wi,j = tfi,j + cos(d’j, dj) · (tfi,j - w’i,j)

здесь cos(d’j, dj) – схожесть старой версии документа dj и новой версии документа d’j, вычисленная как косинус угла между их векторами, tfi,j – вес слова в новой версии документа, w’i,j – скорректированный вес слова в старой версии документа.

45

46

•Постановка задачи•Функции системы•Обработка запросов•Поисковый алгоритм•Эксперименты•Обучение• Перспективы развитияПерспективы развития

Обучение распознаванию фраз• По поведению пользователей можно судить о

правильности разбиения запроса на фразы

• Подсчет количества фраз в хороших и плохих результатах поможет определить, какие пары слов являются связанными

• Сохранение полученных данных позволит правильно провести разбиение при следующем поиске

• Накопленные данные можно использовать для автоматизированного создания шаблонов (при расширении поддержки какого-либо языка, или для поддержки нового языка)

47

Обучение распознаванию фраз. Пример

Запрос: expanding XML entities => [expanding, XML], [XML, entities]

Хорошие результаты: просмотрено (10), expanding + XML (1), XML + entities (9)

Рейтинг [XML, entities]++

48

Обучение распознаванию фраз. Пример

Фразы с высоким рейтингом:[XML, entities] [web, tests] [file, names]

Шаблон: существительное ед.ч. +

существительное мн.ч. = словосочетание

49

Выводы

• В системе автоматизации формирования ответа службы поддержки необходимо применять поиск по ключевым словам и словосочетаниям

• Применение концептуальных графов упрощает поиск словосочетаний

• Использование статистики может улучшить качество разбиения запросов на словосочетания

50

Вопросы?

51