Неделя Байнета 2016. Михаил Сливинский: «Как прикажете...
TRANSCRIPT
Как прикажете вас понимать?Михаил Сливинский,руководитель службы по работе с вебмастерами
Неделя Байнета, Минск, 2016
3
Как искать и находить?
Факторов много, но основа – словоКакие слова важнее других?Много нюансов – морфология,
зонирование,…
О чём эта фраза?
│ «Гло́кая ку́здра ште́ко будлану́ла бо́кра и курдя́чит бокрёнка»
Л. В. Щерба, ~30-е годы XX в.
О чём эта фраза?
4
Но смысл есть не всегда
Отличительная особенность кофе … — это его крепостца. …. Если же для покупателя кофейло-помойло – это, в первую очередь, возможность взбодриться, то … — это отличный выбор. …. Если речь идет о молотом кофейло-помойло, то его помол будет равномерным, без вкраплений слишком крупных частиц. …
Это то, что хочет услышать покупатель?
Орфография и пунктуация авторов сохранены.
…И поэтому, кабель телефонный Воронеж - это надежная связь с внешним миром для всех нас...
…Купить электровелосипед Пежо AE21 можно нажав кнопку "Купить" или позвонив нашим менеджерам…
…Купить розы с доставкой не составит особого труда. Вам просто нужно сделать заказ и наш интернет-магазин сделает свою работу быстро и качественно. Приобрести наш товар недорого, можно не выходя из дома…
│Кто готов нанять такого продавца в магазин?
7
8
«Копирайтинг» предсказуем
9
Дистрибутивная семантика
Дистрибути́вная сема́нтика — это область лингвистики, которая занимается вычислением степени семантической близости между лингвистическими единицами на основании их дистрибуционных признаков в больших массивах лингвистических данных.
https://ru.wikipedia.org/wiki/Дистрибутивная_семантика
10
Дистрибутивная гипотеза
▌Лингвистические единицы, встречающиеся в схожих контекстах, имеют близкие значения.
▌A word is characterized by the company it keeps.
John Rupert Firth, 1957
11
И очень простое объяснение:
▌…Шума никакого существенного не обнаружено. Как и полагается любому ------------------, урчит
Какое слово пропущено?
▌…Шума никакого существенного не обнаружено. Как и полагается любому ------------------, урчит компрессорами и хладагентом, по громкости примерно как урчание котёнка.
▌…Шума никакого существенного не обнаружено. Как и полагается любому ------------------, урчит компрессорами и хладагентом, по громкости примерно как урчание котёнка. Поскольку не "No-frost", никакого постоянно жужжащего вентилятора нет…
12
Слово – вектор контекстов
Проблема: слишком большая размерность векторов, обусловленная огромным числом контекстов. Нужно снижать размерность.
Слово/контекст … напиток … горячий …
… вода 14 2 ... … кофе 9 5 …
13
Технология word2vec
Efficient Estimation of Word Representations in Vector Space (2013), T. Mikolov, K. Chen, G. Corrado, J. Dean.
Distributed Representations of Words and Phrases and their Compositionality (2013), T. Mikolov, I. Sutskever, K. Chen, G. Corrado, J. Dean.
│ Можем вычислять близость слов по расстоянию между векторами
15
Группируем опечаткискачать crfxfnm скачати скачат скачять скочать cкачать скчать скачть сачать скачаь скаать скач скачатъ скача скачайт сккачать скать скасать скаяать скочять скачаит скачатт скаччать скачатть скачай чкачать скачаты скаачать сскачать скaчaть скакчать скачатб скачатьт скачаьб скачвть
адрокласникижодноклассникиодноклазики воднокластникиоднокласеки одноклясники
И еще 1195 способов написать слово одноклассники
16
Группируем синонимы и похожие слова
фильмы сериалы мелодрамы боевики односерийные фільми мелодрама детективы криминал боевик криминальные триллеры мелодраму триллер драма детективные мелодрами мелодраммы приключенческие вестерны комедийные кинофильмы короткометражные...
торт пирог печенье торта торты конфеты печенья конфет пироги выпечка кекс пирожки выпечки пряники кремом испечь пирожков тортов бисквит шоколадный медовик...
17
От частного – к общему белый красный синий зеленый голубой розовый желтый зелёный оранжевый светлый коричневый прозрачный …
декабря января октября ноября марта мая июля сентября февраля июня апреля августа …
тульский самарский нижегородский воронежский владимирский новосибирский омский тюменский смоленский ростовский калужский челябинский …
Андрей Алексей Игорь Евгений Николай Олег Юрий Виктор Павел Константи
н Валерий Илья …
│ Линейные операции над векторами соответствуют семантическим преобразованиям!
19
Поищем аналогии вместе
король - мужчина ? - женщина
0.6804 королева0.6779 принцесса0.6408 царица
20
Поищем аналогии вместе
брат - сестра внук - ?
0.7826 внучка0.6031 племянница0.5755 правнучка
21
Поищем аналогии вместе
день - ночьполдень - ?
0.5149 полночь0.4718 темень0.4578 тень
22
Поищем аналогии вместе
возможно - невозможноудобно - ?
0.7071 сложно0.6700 трудно0.6643 неудобно
23
Немного о городах и жителях
В Костроме – костромичи, а в Курске?0.5596 куряне
0.5707 смоляне
В Перми – пермяки, а в Смоленске?
Чему доверяют пользователи?
Источник: http://dnevniki.ykt.ru/
Честность и искренность
решают многие проблемы
Источник: bigpicture.ru
William Shakespeare
│Где мало слов, там вес они имеют.
26
Спасибо за внимание!
mikhailslivinskiy
Михаил Сливинский,Руководитель службы по работе с вебмастерами