Принципы излечения и структурирования информации из...
TRANSCRIPT
![Page 1: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/1.jpg)
Принципы извлечения и структурирования информации
из описательного текста
Евгений Ветров
![Page 2: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/2.jpg)
Пустой Слайд
![Page 3: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/3.jpg)
Data Mining Extraction
![Page 4: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/4.jpg)
Извлечение ХарактеристикСтруктурирование
![Page 5: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/5.jpg)
Семантическая Разметка
![Page 6: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/6.jpg)
The Rock
![Page 7: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/7.jpg)
Demo
![Page 8: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/8.jpg)
Next Challenge
![Page 9: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/9.jpg)
Результат• ~ 0.015 ER• В продакшене (beta)
![Page 10: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/10.jpg)
![Page 11: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/11.jpg)
Первый Шаг
PoS
![Page 12: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/12.jpg)
PoS TaggingПродаю /Verb квартиру /Noun недалеко /Adverb от /Preposition Таганки /Proper_Noun
![Page 13: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/13.jpg)
Семантический анализ предложений
![Page 14: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/14.jpg)
![Page 15: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/15.jpg)
Стилистика ОЧЕНЬ важна
![Page 16: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/16.jpg)
Стилистика. Case #1
![Page 17: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/17.jpg)
Стилистика. Case #2
![Page 18: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/18.jpg)
![Page 19: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/19.jpg)
Divide et Impera• Выделение предложений• Выделение фраз
![Page 20: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/20.jpg)
TokenizationПродаю двухкомнатную квартиру 50 кв.Продаю /wordдвух /numberквартиру /word50 /numberкв /word. /point
![Page 21: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/21.jpg)
Форматирование текста
![Page 22: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/22.jpg)
Punctuation Hell• 10,000 рублей• 2.5 млн• 20,40,30 и 15 м2
![Page 23: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/23.jpg)
Значение где-то рядом
![Page 24: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/24.jpg)
Вариации имени свойстваапартаменты = квартира = кв.кв. = квадратный метркомната = комн. = ком. = к.
![Page 25: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/25.jpg)
Синонимы и акронимы• Словари и Тезаурусы• Частотный Анализ
![Page 26: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/26.jpg)
Частотный анализ
![Page 27: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/27.jpg)
Частотный анализ
![Page 28: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/28.jpg)
Boolean FeaturesПродажа… ипотека
Продажа… ипотека невозможна
![Page 29: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/29.jpg)
Self descriptive values
![Page 30: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/30.jpg)
Исключения из правил• Ленинская площадь 20• на 1-ом этаже спортзал
![Page 31: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/31.jpg)
![Page 32: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/32.jpg)
Верификация результата• Инварианты10 этаж 5 этажного дома• Регрессионный анализ
![Page 33: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/33.jpg)
Типы ошибок извлечения• Характеристика не извлечена• Неправильное значение хар-ки• Несуществующая хар-ка
![Page 34: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/34.jpg)
Наборы данных
• Обучающий набор• Тестовый набор
![Page 35: Принципы излечения и структурирования информации из описательного текста / Евгений Ветров (Choister)](https://reader036.vdocuments.pub/reader036/viewer/2022081422/558c0202d8b42ac75b8b4591/html5/thumbnails/35.jpg)
ИТОГО
• Ориентированность на домен
• Статистика