Вычисление смысла текстов естественного языка:...

91
Вычисление смысла текстов естественного языка: онтологический подход Л.А.Святогор, В.П.Гладун Институт кибернетики им. В.М.Глушкова НАН Украины, Киев E-mail: [email protected] Международный семинар Образный компьютер Киев, 15.03.2011 г.

Upload: chuck

Post on 19-Mar-2016

83 views

Category:

Documents


9 download

DESCRIPTION

Вычисление смысла текстов естественного языка: онтологический подход. Международный семинар Образный компьютер Киев, 15.03.2011 г. Л.А.Святогор, В.П.Гладун Институт кибернетики им. В.М.Глушкова НАН Украины, Киев E-mail : aduis @rambler.ru. Битва спартанцев с персами (отрывок). - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Вычисление смысла текстов естественного языка: онтологический подход

Вычисление смысла текстов естественного языка:

онтологический подход

Л.А.Святогор, В.П.Гладун

Институт кибернетики им. В.М.Глушкова НАН Украины, Киев

E-mail: [email protected]

Международный семинар Образный компьютер

Киев, 15.03.2011 г.

Page 2: Вычисление смысла текстов естественного языка: онтологический подход

Битва спартанцев с персами (отрывок)

2

Десять греческих фаланг царя Леонида перегородили узкое, как горлышко кувшина, ущелье. Высокие горы и волны Эгейского моря не оставляли персидскому войску другого пути, однако это не заботило Ксеркса: он имел пять тысяч солдат против трёхсот спартанцев. Грозная стена греческих воинов застыла монолитным утёсом, тесно сомкнув щиты и ощетинившись крепкими пятиметровыми копьями, основания которых солдаты чётных рядов намертво врыли в каменистую землю. Остальные обнажили мечи-ксифосы. Утреннее солнце уже осветило теснину ущелья и его лучи заиграли золотой цепью на вызолоченных пластинах доспехов, на лезвиях мечей, на бронзе шлемов и боевых масок спартанцев. Лёгкий морской ветер гордо колыхал конские хвосты в наголовниках и, ввинчиваясь в ущелье,

Page 3: Вычисление смысла текстов естественного языка: онтологический подход

Введение - 1

О терминах «вычисление» и «Смысл».

«Вычислимо то, что формализуемо».

Смысл – ментальная категория психологии и нейропсихологии; “«объект»” лингвистики.

Этимология: «мысль – замысел – со-мысль – смысл»

3

Page 4: Вычисление смысла текстов естественного языка: онтологический подход

Введение - 2

Текст ЕЯ = коммуникативная функция:«Автор – Текст – Потребитель»

Определение (широкое):Под Смыслом текста понимают замысел автора, закодированный в синтаксисе, семантике и грамматике ЕЯ. Вербализованный Смысл объективен. Он представляет собой текст ЕЯ, который в предельно сжатой, неизбыточной форме (лишённой эмоциональных, стилистических и других особенностей – И. Штерн) выражает знание автора о действительности.

4

Page 5: Вычисление смысла текстов естественного языка: онтологический подход

Замысел 1 – Текст – Смысл 2

Смысл-1 Смысл-2

ТЕКСТ ЕЯ

Вербальный смысл

Цель коммуникации

5

Page 6: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ І

6

Лингвистические и когнитивные

интеллектуальные вычисления

Page 7: Вычисление смысла текстов естественного языка: онтологический подход

В докладе и за пределами

7

1.Когнитивные выч.

2.Онтологии

3.Онтол-й Смысл (ОС)

4.Процедура выч. ОС

5.Пример

ИСКУССТВЕННЫЙ ИНТЕЛ-Т(по Лефевру)

СВЯЗНОСТЬ и КомпьютерноеПОНИМАНИЕ

«АНТИ»-ЛОГИКА

ИНТЕНСИОНАЛЬНО-ЭКСТЕН-СИОНАЛЬНАЯ СТРУКТУРА

ФРАКТАЛЬНАЯ ОНТОЛОГИЯ

ИМЯ(вопросы)

Page 8: Вычисление смысла текстов естественного языка: онтологический подход

Лингвистическая модель “Смысл – Текст” И. Мельчука (1999)

• Проблема машинного перевода• Предложение = законченная «мысль».• Компоненты модели:• синтаксические + семантические +

морфологические + предикатные структуры минус система знаний.

• Эта модель – не конструктивна.

Page 9: Вычисление смысла текстов естественного языка: онтологический подход

Лингвистическая модель “Смысл – Текст”

9

«Косте удалось победить»

«Этот мужчина по имени Костя каузирует действовать (т.е. активизирует) Игрек, являющийся его ресурсами, с целью победить Икса в Игрек, и это, наряду с Зет, не зависящим от Кости, - каузирует победу Кости, которая имеет место однократно до момента речи».

Page 10: Вычисление смысла текстов естественного языка: онтологический подход

Лингвистические вычисленияЛингвистические знания + внеязыковые знания = = новый подход.

От вербализации замысла (семантического кодирования текста ЕЯ) – к его пониманию (семантическому восстановлению).

Задача: изучение процессов обработки текстов ЕЯ – включая морфологический, синтаксический и семантический анализ, – их понимания и синтеза текстов. В результате формируется глубинная структура текста, которая соотносится со знаниями, хранящимися в системе, для понимания смысла исходного текста. (Г. Четвериков) 10

Page 11: Вычисление смысла текстов естественного языка: онтологический подход

Когнитивные вычисления - 1

Когнитивная парадигма: методология исследований и моделирования феномена сознания в искусственном интеллекте и гуманитарных дисциплинах (И. Штерн).

(1) Моделирование механизмов логического вывода, аргументации, рассуждения, понимания, принятия решений;

(2) Поиск моделей для репрезентации знаний;(3) Процессы извлечения знаний;

(4) ? = Генерирование новых знаний (не-вывод).

11

Page 12: Вычисление смысла текстов естественного языка: онтологический подход

Когнитивные вычисления - 2

Целью когнитивных исследований является «построение интегральной картины процессов языкового общения, мышления и интеллектуального поведения человека».

Знания – как средство, результат и инструмент когнитивных процессов.

Прорыв – «вычисление смысла текстов» (Ф. Джонсон-Лэрд, 1988 г.)

12

Page 13: Вычисление смысла текстов естественного языка: онтологический подход

Предпосылки вычисления смысла

Для решения задачи требуется:

Формализовать гносеологическую категорию «Смысл»;

Дать конструктивное определение;

Соединить смысл со знанием;

Связать смысл с пониманием.

13

Page 14: Вычисление смысла текстов естественного языка: онтологический подход

Вычисление смысла: коммуникативная идея

В Начале было слово…Интенция автора =? донести свою мысль до партнёра.

Коммуникативные когнитивные вычисления –Это информационная технология обработки языковых

(текстовых) сообщений, целью которой является выявление в тексте таких когнитивных структур, которые направлены на извлечение смысла сообщения и его понимания на основе знания языка, знаний о языке и внеязыковых знаний, общих для партнёров по коммуникации.

14

Page 15: Вычисление смысла текстов естественного языка: онтологический подход

Понимается то, что имеет смысл

= Смысл есть не что иное, как фрагмент общего знания. = Понять сообщение – значит извлечь его смысл. 15

Замысел

Фрагмент знаний

Смысл

Континуум знаний - 1

Континуум знаний - 2

Понимание

Page 16: Вычисление смысла текстов естественного языка: онтологический подход

«АВТОР – ТЕКСТ – ПОТРЕБИТЕЛЬ»

АВТОР – ТЕКСТ + ТЕКСТ – ПОТРЕБИТЕЛЬ

Замысел Морфология ИнтенцииЯзык Синтаксис ЯзыкЗнания Семантика Знания(Стиль) (Смысл) Смысл =

(Стиль) Понимание…(Формат)

Ментальность Реальность Прагматика

Синтаксис, семантика, прагматика

16

Page 17: Вычисление смысла текстов естественного языка: онтологический подход

Семиотика и гносеология

17

СемиотикаТекст

Знания

Понимание

Смысл

Синтаксис Семантика

Прагматика

Page 18: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ ІІ

18

Системы репрезентации знаний

ОНТОЛОГИЧЕСКИЕ СЕТИ

Explain avay

Page 19: Вычисление смысла текстов естественного языка: онтологический подход

Модели знаний

19

Модели знаний:= тезаурусы ЕЯ

= фреймы= аксиоматические и продукционные системы = формальные грамматики= именованные множества (?)= семантические сети;= лексические онтологии.

А) Абстрактные онтологии: Как мы изучаем и обобщаем Мир ?

SUMO, Дж.Совы, Микрокосмос, РуТез и др.

Page 20: Вычисление смысла текстов естественного языка: онтологический подход

Онтология Mikrokosmos (%)

20

ВСЁ

ОБЪЕКТ СОБЫТИЕ СВОЙСТВО

СОЦИАЛЬНЫЙ ОБЪЕКТ

СОЦИАЛЬНАЯ РОЛЬ

Правительственная роль

Политическая роль

Религиозная роль

Коммуникационная роль

Деловая роль

Роль обслуживания

Финансовая роль

Издательская роль

Академическая роль

Роль защиты

Семейная роль

ОРГАНИЗАЦИЯ

Правительственная организация

Политическая организация

Частная организация

Прибыльная организация

Неприбыльная организация

ГЕОГРАФИЧЕСКАЯ СУЩНОСТЬ

Геополитическая сущность

Географическая метка

Сущность окружающей среды

Водный объект

Геологическая сущность

МАТЕРИАЛЬНЫЙ ОБЪЕКТ

МЕСТО

ПРОСТРАНСТВО

Открытая местность

СТРОЕНИЕ

Жилище

Фабрика

Офис

ЧАСТЬ СТРОЕНИЯ

МАТЕРИАЛ

Текучая среда

Твердый материал

Метал

Химическая смесь

Элемент материи

ОТДЕЛЬНАЯ СУЩНОСТЬ

МЫСЛИМЫЙ ОБЪЕКТ НЕОСЯЗАЕМЫЙ ОБЪЕКТ

Page 21: Вычисление смысла текстов естественного языка: онтологический подход

Предметные онтологии

21

Б) : Что мы рассказываем о мире ?

Описание мира в терминах объектов, ситуаций, процессов материального мира. Используется лексикон естественных наук, культуры и бытового общения. (Ю.Д. Апресян: «научная» и «наивная» «научная» и «наивная» картины миракартины мира).).

Для общения характерны: дискурсивный характер, произвольная классификация, нечёткие утверждения, интенциональность, эмоциональность, использование подтекста.

Page 22: Вычисление смысла текстов естественного языка: онтологический подход

Предметные онтологии (%)

= концепты (лексические понятия ЕЯ) и отношения;= иерархия понятий;= система интерпретации на ЕЯ.

22

«На стадии концептуализации эта иерархическая структура превращается в пирамиду знаний»

(Т. Гаврилова, К. Червинская, 1992)

Материя

ПрО

Page 23: Вычисление смысла текстов естественного языка: онтологический подход

Формальное определение онтологии (%)

Формально-концептуальная система репрезентации знаний – Онтология:

О = < Х, R, D >,

где: Х – множество концептов,R – множество отношений,D – система интерпретаций и определений

термов Х, R . Множество значений для R – конечно.Онтология = семантическая aRb сеть с

добавлением интерпретирующей системы.

23

Page 24: Вычисление смысла текстов естественного языка: онтологический подход

Иерархическая Трёхуровневая Онтология: ИО*3

24

Верхний уровень:-категории ВУ;-таксономические связи;-иерархия категорий.

ba z

Структуры неформального общения Структуры ПрО

Средний уровень:-концепты СУ;-атрибуты СУ;-ассоциативные связи.

Пирамидальная семантическая сеть, построенная на концептах и отношениях. Отражает знания верхнего, среднего и нижнего уровней.

Нижний уровень:-концепты и значения

-ассоциативн. связи-термины ПрО.

-атрибуты НУ

Три уровняКонцепты

ИнтерпретацЗамыкание

на словарьЕЯ

Page 25: Вычисление смысла текстов естественного языка: онтологический подход

Верхний уровень ИО*3 (по В.И. Вернадскому) %

25

Таксономия. Фундаментальные представления о Мире и формирование научных направлений. Основные категории и разделы представления знаний в физических и др. науках

Энергия

Материя

Вещество

Живоевещество

Состояние

Структура

Локализация

Свойство

Вид

Организм

Среда

ЧеловекБиосфера

НоосфераОрганизация

Деятельность

Косноевещество

Page 26: Вычисление смысла текстов естественного языка: онтологический подход

Фрагмент сети среднего уровня ИО*3 (%)

26

Пример. Описательный континуум общих знаний. Раскрывает категории верхнего уровня.Разрабатывается инженером по знаниям и экспертами.

Биосфера

организм среда

виды популяция Жизненныйцикл гео поверхн

водная

воздушн.

климат

ресурсы

катаклизмы

течения

температура

ресурсы

. . .

растения

животные

. . .

птицы

эволюция рождение

размнож. развитие

Борьбаза

существ.

деградац.

гибель

Page 27: Вычисление смысла текстов естественного языка: онтологический подход

Нижний уровень онтологии (%)

27

= актуальная бытовая лексика (кухня, дуб, ручей, турист, сновидение, свидание …); = дискурсивная лексика; = профессиональная лексика ПрО (Закон Ома, цепь, напряжение, генератор, частота …).

Page 28: Вычисление смысла текстов естественного языка: онтологический подход

Интенсионально-экстенсиональные отношения (%)

28

Иерархия понятий реализуется через верти- кальное отношение:

ИНТЕНСИОНАЛ <=> ЭКСТЕНСИОНАЛ

<=>

примеры признаки

ИМЯ понятия

Генераторкласса

Инфраструктура

Элементыкласса

Описателикласса

Page 29: Вычисление смысла текстов естественного языка: онтологический подход

Конструкт онтологии: “понятие” (%)

29

Интен-сионал

Экстен- Attr1 (what)Сионал Attr2 (why)

Представители класса Описатели классаОбъём Содержание

ПОНЯТИЕ раскрывается через его примеры (классификация) и индивидуальные характеристики (атрибуция) – в единстве интенсионала и экстенсионала, объёма и содержания

Класс (Кластер)

1 2

ПОНЯТИЕ

Page 30: Вычисление смысла текстов естественного языка: онтологический подход

Конструкт онтологии: “определение”

30

Представители Х Признаки генетич. и дискриминационные

Структура определения: « Х это такое РП, которое состоит из 1, 2, … и характеризуется набором признаков g, d »

ПОНЯТИЕ Х

1 2 g g

ОПРЕДЕЛЕНИЕРодовое понятие РП

d d

П2П1 g g

Page 31: Вычисление смысла текстов естественного языка: онтологический подход

Онтология как граф

31

ULTIMA RATIO REGIS (Ришелье)

Р. Шенк (1980):«Метаязыком для внутренней смысловой репрезентации текстов является граф концептуальных зависимостей, который отображает смысловую структуру ситуации».

ИО*3: это концептуальный ориентированный граф с пирамидальной структурой. Отображает смысловую структуру знаний. Все пути ведут к вершине «Материя».

Page 32: Вычисление смысла текстов естественного языка: онтологический подход

Заключение. Преимущества ИО*3:

32

= инструмент концептуального представления единой системы знаний;

и кроме того:= среда формализации смысла;

= инструмент для извлечения смысла;

= средство машинного представления и машинной обработки текстовых знаний.

Page 33: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ III

33

ОНТОЛОГИЧЕСКИЙ СМЫСЛ

Смысл – фрагмент знания

Page 34: Вычисление смысла текстов естественного языка: онтологический подход

За пределами специальных дисциплин смысл понимается как ментальная категория личности.

Каждому городу нрав и права,Каждый имеет свой ум голова…

(Г. Сковорода)

Ментальный характер смысла (%)

34

Page 35: Вычисление смысла текстов естественного языка: онтологический подход

Что такое «смысл»? Мнения специалистов (%)

35

Психология. Оценка поведения разумного существа. (Хокинс, Широчин, Балл, Лефевр). Лингвистика. Категория семантики языка, которая отвечает за согласованность лексики с внешним миром. (Демьянков, Мельчук). Нейролингвистика. Проекция языковых единиц на ментальные модели знания. Узуальный и окказиональный смысл. (Мельников). Нейрофизиология, нейрокибернетика. Описание отдельной ситуации вербализуется стандартной «базовой семантико-синтаксической структурой», синтезируемой в нейронной субстанции, и рассматривается как элемент знания. (БСС: Кисленко). Формирование понятий в Пирамидальных структурах памяти. (РПС: Гладун, Величко, Рабинович).

Page 36: Вычисление смысла текстов естественного языка: онтологический подход

36

Page 37: Вычисление смысла текстов естественного языка: онтологический подход

Цель исследования = СМЫСЛ

37

Наша задача: вывести понятие «Смысл» из ментальной (интуитивной) категории в

конструктивную (вычислимую).Выделить когнитивную структуру.

«Рассматривая понимание естественного языка как оперирование смыслом, прежде всего надо разрешить принципиальные проблемы, связанные с определением сущности структуры смысла».

(И.Б. Штерн)

Page 38: Вычисление смысла текстов естественного языка: онтологический подход

Центральная идея

38

Смысл есть фрагмент структурированного знания.

Знание генерируется через идеи; оформляется, передаётся и усваивается – через смыслы (образы?)

Page 39: Вычисление смысла текстов естественного языка: онтологический подход

Смысл и Текст

39

Смысл - это фрагмент внеязыковой действительности, отражённый в сознании человека или в памяти интеллекта.

В Искусственном интеллекте задача извлечения знаний из текстов конкретизуется как «понимание и выделение смысла текста»

(Т. Гаврилова и К. Червинская, 1992)

Page 40: Вычисление смысла текстов естественного языка: онтологический подход

«Последний довод короля»

Ultima ratio regis. (Ришелье)«Сам текст на естественном языке является лишь проводником смысла, а замысел и знания автора лежат во вторичной структуре (смысловой структуре или макроструктуре) текста» (Т. Гаврилова и К. Червинская, 1992)

40

Page 41: Вычисление смысла текстов естественного языка: онтологический подход

Базовые определения - 1

Определение 1. Конструктом смысла является пара взаимосвязанных концептов онтологии – фундаментальная триада. (М.С. Бургин)

Концепт1 – связь - Концепт2 – (связь)

41

К1

К2

Page 42: Вычисление смысла текстов естественного языка: онтологический подход

Базовые определения - 2

42

Определение 2. Подграф онтологического графа ИО*3, выделенный начальным и финальным концептами, называется смысловой траекторией начального концепта.

Определение 3. Значением начального концепта является ключевое слово текста. Значением финального концепта служит вершина онтологии.

Page 43: Вычисление смысла текстов естественного языка: онтологический подход

Траектория смысла на графе онтологии ИО*3

43

о о

оо

ооо

о о о о о о

о

о

Page 44: Вычисление смысла текстов естественного языка: онтологический подход

Формальное определение онтологического смысла

44

Определение 4. Онтологический смысл – это проекция дискретизированного текста Тд на онтологию ИО*3.

Онтология: ИО*3 = < К, О, И >;

(Концепты, отношения, интерпретация)Смысл:

СМ = Тд ИО*3.

Page 45: Вычисление смысла текстов естественного языка: онтологический подход

Единая среда смысловой коммуникации

45

Что нам даёт смысловая траектория?Погружает смысл в среду знания и одновременно вводит в ту же среду текст.

ЗАМЫСЕЛ 1 СМЫСЛ 2 =

ТЕКСТ

КЛЮЧЕВОЕ СЛОВО

ЗНАНИЕ

ОНТОЛОГИЯ

СМЫСЛОВАЯТРАЕКТОРИЯ

Page 46: Вычисление смысла текстов естественного языка: онтологический подход

Текст = носитель знания и смысла

46

Тд =:

Набор ключевых слов – «это набор опорных точек, по которым развёртывается текст при кодировании в память и осознаётся при декодировании,

это семантическое ядро цельности».

(Гаврилова и Червинская, 1992)

Page 47: Вычисление смысла текстов естественного языка: онтологический подход

Смысл Слова и смысл Текста: определения

47

Онтологический смысл ключевого слова -это смысловая траектория = подграф онтологического графа, ведущая от активного слова к финальному концепту. Онтологическим смыслом текста (дискурса)

является полная совокупность смысловых траекторий всех ключевых слов текста.

Графический портрет текстаявляется формальным компьютерным

представлением смысла в среде знаний.

Page 48: Вычисление смысла текстов естественного языка: онтологический подход

Особенности онтологического смысла

48

Онтологический смысл: – имеет формальное определение, – представлен на метаязыке знаний, – конструктивен = вычислим, – является функцией текста, – воспроизводим - с точностью до набора ключей и выбранной онтологии, – представлен в многомерной лекси -ческой координатной системе словаря ЕЯ.

Page 49: Вычисление смысла текстов естественного языка: онтологический подход

Постановка задачи

49

Дано:1. Концептуальный граф, соответствующий

некоторой узкой области знаний (Онтология Древнего мира: Онт = < Х, R, D > );

2. Конкретный текст из Корпуса текстов по выбранной тематике;

3. Множество значимых слов заданного текста, совпадающих с концептами онтологии (Тд);

Необходимо:1. Построить на концептуальном графе множество

смысловых траекторий = подграфов концептуального графа, которые начинаются в начальном концепте и оканчиваются в вершине графа: ( ОнтСм = Тд Онт).

Page 50: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ IV

50

ПРИМЕР ОНТОЛОГИЧЕСКОГО АНАЛИЗА ТЕКСТА ЕЯ

(отрывок художественного рассказа)

Page 51: Вычисление смысла текстов естественного языка: онтологический подход

Битва спартанцев с персами (отрывок)

51

Десять греческих фаланг царя Леонида перегородили узкое, как горлышко кувшина, ущелье. Высокие горы и волны Эгейского моря не оставляли персидскому войску другого пути, однако это не заботило Ксеркса: он имел пять тысяч солдат против трёхсот спартанцев. Грозная стена греческих воинов застыла монолитным утёсом, тесно сомкнув щиты и ощетинившись крепкими пятиметровыми копьями, основания которых солдаты чётных рядов намертво врыли в каменистую землю. Остальные обнажили мечи-ксифосы. Утреннее солнце уже осветило теснину ущелья и его лучи заиграли золотой цепью на вызолоченных пластинах доспехов, на лезвиях мечей, на бронзе шлемов и боевых масок спартанцев. Лёгкий морской ветер гордо колыхал конские хвосты в наголовниках и, ввинчиваясь в ущелье,

Page 52: Вычисление смысла текстов естественного языка: онтологический подход

Битва спартанцев с персами (2)

52

качал спелые травы и кусты на склонах, отчего казалось, что греческое войско умножено тысячекратно… NB: Со стороны персов, темнеющих до горизонта однородной и серой тучей кожаных колпаков и лесом копей, вперёд выступили лучники в кожаных доспехах. Туго натянув тетивы и устремив почти в зенит стрелы, они замерли, словно статуи. Мощные бронзовые мускулы обнажённых рук воинов выпятились буграми предельного нечеловеческого напряжения… Всё замерло. Тактика врага прояснялась. ENB Деспот подал сигнал. Солнце закрылось от тысяч стрел, тень упала на ряды защитников, их обитые кожей и украшенные металлическим орнаментом щиты мгновенно превратились в причудливых ежей. Залп немедленно повторился, однако видимого урона грекам не принёс.

Page 53: Вычисление смысла текстов естественного языка: онтологический подход

Битва спартанцев с персами (3)

53

Лучники расступились, и вперёд с криком и воем бросилась лёгкая пехота Ксеркса, избалованная победами в открытом поле – равной ей не было в мире. Казалось, эта дикая лавина в необузданном беге сметёт, растопчет и растворит всё на своём пути… Замелькали ножи, дротики и кованые палицы, зазвенели мечи; пыль окутала нападавших. Кровь и стоны раненых, безумные крики и удары железа обозначили начало жестокой битвы. Вскоре вал нападающих схлынул – задние ряды нападающих теснили передних, но не могли пробиться вперёд из-за горы убитых и раненых. Отважные спартанцы стояли нерушимо: точно так же тесно были сомкнуты их ряды, и солнце тускло отсвечивало на щитах воинов… (конец отрывка)

Page 54: Вычисление смысла текстов естественного языка: онтологический подход

Абзац для анализа

Со стороны персов, темнеющих до горизонта однородной и серой тучей кожаных колпаков и копей, вперёд выступили лучники в кожаных доспехах. Туго натянув тетивы и устремив почти в зенит стрелы, они замерли, словно статуи. Мощные бронзовые мускулы обнажённых рук воинов выпятились буграми предельного нечеловеческого напряжения… Всё замерло.

Тактика врага прояснялась.54

Page 55: Вычисление смысла текстов естественного языка: онтологический подход

Список значимых слов для анализа

1. Персия 9. Статуя2. Горизонт 10. Мускулы3. Туча 11. Руки4. Копьё 12. Воин5. Лучник 13. Напряжение6. Доспехи 14. Покой7. Тетива 15. Тактика8. Стрела 16. Враг

55

Page 56: Вычисление смысла текстов естественного языка: онтологический подход

Граф онтологии - 1

56

материя

живоенеживое

деятельность

общество

тетива

ОрганизацияСоврем. Мира

стрела

Общественноеустройство ДМ

персия

Торговля ДМ

организация

инфраструктура

ОрганизацияДревнего Мира

Деятельность СМ

копьё

вещество энергия

ноосферабиосфера

Деятельность ДМ

Государства ДМ Война ДМ

Оружие Д М

лук доспехи

Page 57: Вычисление смысла текстов естественного языка: онтологический подход

Граф онтологии-2

57

материя

живоенеживое

деятельность

общество

вода человек

горизонт

тело

организация

инфраструктура

состояние

анатомия

руки

вещество энергия

ноосферабиосфера

искусство

жидкость

скульптура

статуявраг

война

армия

природа

сила

Простран-ство

воин

борьба

тактикатуча

напряжение

Пр. среда

мускулы

Page 58: Вычисление смысла текстов естественного языка: онтологический подход

Траектории анализа - 1

Персия – Государство д.м. – Организация д.м. – Организация – Общество – Ноосфера – Живое вещество – Вещество – Материя

Горизонт – Пространство – Природная среда – Природа – Неживое вещество – Вещество –Материя

Туча – Вода – Жидкость – Состояние – Неживое вещество – Вещество – Материя

Копьё – Оружие д.м.– Война д.м.– Деятельность д.м. – Деятельность – Общество – Ноосфера – Живое вещество – Вещество – Материя

Лучник – Лук – Оружие д.м.– Война д.м.– Деятельность д.м. – Деятельность – Общество – Ноосфера – Живое вещество – Вещество – Материя

Доспехи – Защита – Оружие д.м.– Война д.м.– Деятельность д.м. – Деятельность – Общество – Ноосфера – Живое вещество – Вещество – Материя

Тетива – Лук – Оружие д.м – …Стрела – Лук – Оружие д.м – …

58

Page 59: Вычисление смысла текстов естественного языка: онтологический подход

Траектории анализа - 2(Они) – Субъекты или Объекты …Статуя – Скульптура – Искусство – Деятельность – Общество –

Ноосфера – Живое вещество – Вещество - Материя Мускулы – Тело – Анатомия – Человек – Общество – Ноосфера –

Живое вещество – Вещество - Материя Руки – Тело – Анатомия – Человек – Общество – Ноосфера –

Живое вещество – Вещество - Материя Воин – Армия – Война – Деятельность – Общество – Ноосфера –

Живое вещество – Вещество - Материя Напряжение – Сила – Энергия – Материя(Всё) – Совокупность – Мера – Вещество – МатерияЗамерло = Покой – Состояние – Мера – Вещество – МатерияТактика – Борьба – Война – Деятельность – Общество – Ноосфера

– Живое вещество – Вещество – МатерияВраг – Война – Деятельность – Общество – Ноосфера – Живое

вещество – Вещество – Материя

59

Page 60: Вычисление смысла текстов естественного языка: онтологический подход

Концепты связностиМатерия 1Вещество 2Неживое вещество 3Общество 4Оружие д.м. 5Война д.м. 6Лук 7Лук 8Деятельность 9Общество 10Тело 11Деятельность 12Материя 13Состояние 14Война 15Война 16

60

Page 61: Вычисление смысла текстов естественного языка: онтологический подход

Усеченные ТраекторииПерсия – Государство д.м. – Организация д.м. –

Организация – Общество – Ноосфера – Живое вещество – Вещество – Материя

Горизонт – Пространство – Природная среда – Природа – Неживое вещество – Вещество

Туча – Вода – Жидкость – Состояние – Неживое вещество

Копьё – Оружие д.м.– Война д.м.– Деятельность д.м. – Деятельность – Общество

Лучник – Лук – Оружие д.мДоспехи – Защита – Война д.мТетива – ЛукСтрела – Лук

61

Page 62: Вычисление смысла текстов естественного языка: онтологический подход

Усеченные Траектории(Они) – Субъекты или Объекты …Статуя – Скульптура – Искусство –

Деятельность Мускулы – Тело – Анатомия – Человек –

Общество Руки – ТелоВоин – Армия – Война – Деятельность Напряжение – Сила – Энергия – Материя(Всё) – Совокупность – Мера – Вещество Покой – Состояние Тактика – Борьба – Война Враг – Война

62

Page 63: Вычисление смысла текстов естественного языка: онтологический подход

Онтологический смысл

63

МатерияВеществоЖивое вещ-во

Ноосфера

Общество

Организац

Орг-ядм

Госдм

вод

лукодм

ждк

сос

пр

прс

пр

нв

дея

дедм

вдм

материя

вещ

жв

ноо

общ

орг

годм

Копьё

Туча

Горнт

Персия

Стрела

Тетив

Доспех

Лучник

иск

скузащ

Воин

Рука

Мускул

Статуя

бор

энер

сил

чел

ана

тел

вой

ар

ордм

Враг

Тактик

Напряж

5

Покой

Page 64: Вычисление смысла текстов естественного языка: онтологический подход

Цепочки онто-смысла (длина)- 1

МатерияВещество ВеществоЖив. вещ. Нежив. вещ. Нежив. вещ. Ноосфера Природа СостояниеОбщество Природ. Ср. Жидк. ОбществоОрганизац. Пространст. Вода Деятельн. Орг-я. д.м. Деят. д.м.Госуд.д.м. Война д.м. Война д.м.

Оружие д.м. Оружие д.м. Защита дм. Лук

ПЕРСИЯ ГОРИЗОНТ ТУЧА КОПЬЁ ЛУЧНИК ДОСПЕХИ

64

Page 65: Вычисление смысла текстов естественного языка: онтологический подход

Цепочки онто-смысла - 2

Материя Общество Энергия

Деятельн. Человек Деятельн. Сила Состояние Искусство Анатомия Война Война

Война Скульптура Тело Тело Армия Борьба

Лук Лук

ТЕТИ СТРЕ СТАТ МУСК РУКИ ВОИН НАПРЯ ПОКОЙ ТАК- ВРАГ

ВА ЛА УЯ УЛЫ ЖЕНИЕ ТИКА

65

Page 66: Вычисление смысла текстов естественного языка: онтологический подход

Диаграмма онтологического смысла (длина информативного вклада)

Лучник

Копьё

Туча

Горнт

Персия

Мускул

Статуя

Стрела

Тетива

Доспех

Воин

Руки

На-пряжение

Покой

Тактика

Враг

1122

54

5

8

1

331

43

12

66

Page 67: Вычисление смысла текстов естественного языка: онтологический подход

Постановка задачи- 2

67

Критерий:Экспертная оценка (?)

Сходимость:Монотонная зависимость от длины текста (?)

Устойчивость:Плохо обусловленная система

Основная проблема:Не в решении сформулированной задачи, а впостроении онтологии

Page 68: Вычисление смысла текстов естественного языка: онтологический подход

Условия компьютерного понимания

68

Компьютерное понимание достигается за счёт:

= Создания в базе знаний компьютераонтологии Мира (ИО*3)

= Погружения текста в онтологию(активизации концептов ключевымисловами)

= Построения траекторийОнтологического смысла

ТЕКСТ

Page 69: Вычисление смысла текстов естественного языка: онтологический подход

Заключение. Что нам даёт новая парадигма?

69

Cogito – ergo sum.

Вижу смысл - следовательно понимаю.

Понимаю – значит структурирую мир.

Конец

Page 70: Вычисление смысла текстов естественного языка: онтологический подход

Подарок А. Волошину. Конфуций

70

«Если имена неправильны, то слова не имеют под собой оснований.

Если слова не имеют под собой оснований, то дела не могут осуществляться.

Если дела не могут осуществляться, то ритуал и музыка не процветают.

Если ритуал и музыка не процветают, наказания не применяются надлежащим образом.

Если наказания не применяются надлежащим образом, народ не знает, как себя вести.

Поэтому благородный муж, давая имена, должен произносить их правильно, а то, что произносит, правильно осуществлять».

Page 71: Вычисление смысла текстов естественного языка: онтологический подход

Спасибо за внимание!

Л.А.Святогор, В.П.Гладун

Институт кибернетики им. В.М.Глушкова НАН Украины, Киев

E-mail: [email protected] www: aduis.com.ua

Page 72: Вычисление смысла текстов естественного языка: онтологический подход

ПРЕЗЕНТАЦИЯ-1Новая информационная технология

72

Предложены:Предложены:= новый концептуальный подход к

семантическому анализу текстов ЕЯ, основанный на активизации знаний,

= новая информационная технология.Суть новой компьютерной технологии

заключается в том, что из текста ЕЯ извлекаются ключевые слова, подаются на вход онтологии ИО*3, возбуждают смысловые траектории; совокупность траекторий образует онтологический смысл.

Онтологический смысл может быть уточнён путём повторного обращения к тексту (в режиме диалога) и приведен к грамматическому виду (интерпретирован на ЕЯ).

Page 73: Вычисление смысла текстов естественного языка: онтологический подход

ПРЕЗЕНТАЦИЯ-2Возможные применения новой ИТ

73

= в Базах знаний – для обработки корпуса текстов и представления массива текстов в сокращённом смысловом формате; = в Интернет – индексация, классификация и поиск; = в Виртуальных лабораториях – для создания единой среды знаний; = в Ситуационных центрах – для «проигрывания» ситуаций на онтологическом графе ПрО. Создание ситуационных планшетов для ЛПР; = в Системах поддержки принятия решений – для экспресс-анализа смысловой ценности потока документов. Computer Science. Компьютерный смысл создаёт основу машинного понимания текстов ЕЯ.

Page 74: Вычисление смысла текстов естественного языка: онтологический подход

Дополнительный слайд. Инструментальные средства семантического анализа

Текст

Онтология знаний =

Концептуальный граф

Транслятор "смысл-текст"

Лингвистический процессор

Диалоговый процессор

К

омпь

юте

рны

й

орма

льны

й)

смы

сл

Вопрос

{Ключ}

Обратная связь - уточнение смысла

Потребитель Автор

Смысловой процессор

Лекс

ичес

кий

Я) с

мысл

{Фраза}

Подграф смысла

Ответ

Поиск

Фрагмент текста

Фрагмент дерева

Вопрос

74

Page 75: Вычисление смысла текстов естественного языка: онтологический подход

В: Ресурс текста… убрать в запас

Page 76: Вычисление смысла текстов естественного языка: онтологический подход

Прикладные задачи (в запас)

76

Потребности обработки ЕЯ текстов

• Перевод

• Пересказ

• Конспект

• Тезисы

• Аннотация

• Извлечь директивы

• Извлечь факты

• Извлечь тему

• Понять содержание

Page 77: Вычисление смысла текстов естественного языка: онтологический подход

«Вне контекста не возникают смыслы»А.Д. Крисилов, 2010

Смысл имеет ментальное происхождение.«Смысловым содержанием фраза

наполняется в психическом процессе» А.И. Шевченко

Смысл имеет машинную интерпретацию.«Смысловое содержание фразы и текста выявляется в онтологическом процессе машинного понимания».

Авторское определение

Заключение ІV. СМЫСЛ = Шаг от искусства к ремеслу

77

Page 78: Вычисление смысла текстов естественного языка: онтологический подход

Объективность смысла

78

Смысл рождается в интеллектуальной среде субъективно и ментально. Однаковербализованный смысл отделён от автора и объективен. Он приобретает все свойства информации.

Смысл существует сам по себе как инвариант, который выясняется во время перевода или пересказа текста».

(Гаврилова и Червинская, 1992)

Page 79: Вычисление смысла текстов естественного языка: онтологический подход

Понимание в нейропсихологии

79

Понимание есть осознанный ментальный процесс осмысления внешней информации и усвоения новых знаний = в результате которого в памяти человека под воздействием внешнего кода активизируются нейроструктуры, отражающие действительность и опыт индивидуума, и образуются новые связи.Понимание в психологии измеряется реакцией.

Page 80: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ VI

80

МАШИННОЕ ПОНИМАНИЕ

«Понять» – значит уловить смысл

Page 81: Вычисление смысла текстов естественного языка: онтологический подход

81

Page 82: Вычисление смысла текстов естественного языка: онтологический подход

Понимание в нейролингвистике

82

В нейролингвистике – возбуждение в памяти моделей реальности (языковых или образных). Выделение единиц:

= узуального смысла (совпадающего с априорным);

= окказионального смысла (закрепление новых связей)

Page 83: Вычисление смысла текстов естественного языка: онтологический подход

Понимание в искусственном интеллекте

83

Понимание реалии – это «постижениееё смысла через конституирующие её контексты».

К семантическому анализу текста подходят, «рассматривая понимание естественного языка как оперирование смыслом»

(И.Б. Штерн, 1997)

Page 84: Вычисление смысла текстов естественного языка: онтологический подход

Понимание как категория прагматики

84

Понимание текстовых сообщений должно стать конструктивной и машино-ориентированной категорией.

Машинное понимание текста ЕЯ означает реставрацию фрагмента действительности в компьютерной базе знаний.

ОПРЕДЕЛЕНИЕ:«Машинным пониманием естественно-

языковых текстов называется процесс построения смысловых траекторий , возбуждаемых текстом на графе онтологии».

Page 85: Вычисление смысла текстов естественного языка: онтологический подход

ПРИМЕР Онтологического смысла

85

« Два войска сошлись на рассвете. Вперёд выступили лучники. В воздух взмыли, заслоняя раннее солнце, сотни тысяч стрел. Щиты спартанцев превратились в ежей, и они, теснее сомкнув ряды, обнажили свои мечи и ощетинились длинными копьями. Легковооружённые пехотинцы Ксеркса бросились вперёд. Первые валы нахлынули на золотые щиты врага. Шум, крики боя, стоны раненых повисли над полем. Ноги воинов скользили в крови, топтали,не разбирая живых и мёртвых… Битва разгоралась, ширилась, словно сгущался кровавый закат. Победа ускользала».

Page 86: Вычисление смысла текстов естественного языка: онтологический подход

Компьютерное понимание сюжета-2

86

конфликт

война

кампания армия тактика

войско битва

атака

рана смерть

победакровь

оружие

поражение

древнее современноевоин

пехота

лучники

конница

меч

копьё

стрела

Page 87: Вычисление смысла текстов естественного языка: онтологический подход

РАЗДЕЛ VI

87

О СВЯЗНОСТИТЕКСТА ЕСТЕСТВЕННОГО ЯЗЫКА

Связность как уровень интеграции смысла

Page 88: Вычисление смысла текстов естественного языка: онтологический подход

Связность текста

88

В лингвистике

Связность по изложению. Развитием сюжета управляет внутренняя логика автора. Для связности он применяет приёмы композиции с учётом действующих лиц, пространственно-временных отношений, ситуаций.

Связность по смыслу. Различают сюжетные и кореферентные связи. (Рубашкин, год).

Page 89: Вычисление смысла текстов естественного языка: онтологический подход

В онтологическом смысле

Траектории смысла двух разных слов замыкаются на онтологической пирамиде в некотором концепте, лежащем на определённом уровне иерархии. Чем ниже уровень обобщения у концепта замыкания, тем конкретнее смысловая связь между двумя словами, тем выше их связность. Универсальным абстрактным объединителем смыслов выступает «Материя».

Далее – Презентация и применение

Связность текста (комментарий)

89

Page 90: Вычисление смысла текстов естественного языка: онтологический подход

Дополнительный слайд. Мой Мир

90

Я смотрю на вещи, на окружающий меня Мир и Космос – и вижу вокруг одни лишь Имена… Это пустыня, песчинками которой служат Имена.

Я пытаюсь связать две песчинки вместе – и наталкиваюсь на колючки. Колючки – это Смыслы.

DIXI

Page 91: Вычисление смысла текстов естественного языка: онтологический подход

Траектория смысла на графе онтологии ИО*3

91

о о

оо

ооо

о о о о о о

о

о