Вычисление смысла текстов естественного языка: онтологический подход

1. Вычисление смысла текстов естественного языка: онтологический подход Международный семинар Образный компьютер Киев, 15.03.2011 г. Л.А.Святогор, В.П.Гладун Институт кибернетики им. В.М.Глушкова НАН Украины, Киев E-mail: aduis@rambler.ru

2. Битва спартанцев с персами (отрывок) Десять греческих фаланг царя Леонида перегородили узкое, как горлышко кувшина, ущелье. Высокие горы и волны Эгейского моря не оставляли персидскому войску другого пути, однако это не заботило Ксеркса: он имел пять тысяч солдат против трёхсот спартанцев. Грозная стена греческих воинов застыла монолитным утёсом, тесно сомкнув щиты и ощетинившись крепкими пятиметровыми копьями, основания которых солдаты чётных рядов намертво врыли в каменистую землю. Остальные обнажили мечи-ксифосы. Утреннее солнце уже осветило теснину ущелья и его лучи заиграли золотой цепью на вызолоченных пластинах доспехов, на лезвиях мечей, на бронзе шлемов и боевых масок спартанцев. Лёгкий морской ветер гордо колыхал конские хвосты в наголовниках и, ввинчиваясь в ущелье, 2

3. Введение - 1 О терминах «вычисление» и «Смысл». «Вычислимо то, что формализуемо». Смысл – ментальная категория психологии и нейропсихологии; “«объект»” лингвистики. Этимология:«мысль – замысел – со-мысль – смысл» 3

4. Введение - 2 Текст ЕЯ = коммуникативная функция: «Автор – Текст – Потребитель» Определение (широкое): Под Смыслом текста понимают замысел автора, закодированный в синтаксисе, семантике и грамматике ЕЯ. Вербализованный Смысл объективен. Он представляет собой текст ЕЯ, который в предельно сжатой, неизбыточной форме (лишённой эмоциональных, стилистических и других особенностей – И. Штерн) выражает знание автора о действительности. 4

5. Замысел 1 – Текст – Смысл 2 5

6. РАЗДЕЛ І Лингвистические и когнитивные интеллектуальные вычисления 6

7. В докладе и за пределами • Когнитивные выч. • Онтологии • Онтол-й Смысл (ОС) • Процедура выч. ОС • Пример ИСКУССТВЕННЫЙ ИНТЕЛ-Т (по Лефевру) СВЯЗНОСТЬ и Компьютерное ПОНИМАНИЕ «АНТИ»-ЛОГИКА ИНТЕНСИОНАЛЬНО-ЭКСТЕН- СИОНАЛЬНАЯ СТРУКТУРА ФРАКТАЛЬНАЯ ОНТОЛОГИЯ ИМЯ (вопросы) 7

8. Лингвистическая модель “Смысл – Текст” И. Мельчука (1999) • Проблема машинного перевода • Предложение = законченная «мысль». • Компоненты модели: • синтаксические + семантические + морфологические + предикатные структуры минус система знаний. • Эта модель – не конструктивна.

9. Лингвистическая модель “Смысл – Текст” «Косте удалось победить» «Этот мужчина по имени Костя каузируетдействовать (т.е. активизирует) Игрек, являющийся его ресурсами, с целью победить Икса в Игрек, и это, наряду с Зет, не зависящим от Кости, - каузирует победу Кости, которая имеет место однократно до момента речи». 9

10. Лингвистические вычисления Лингвистические знания + внеязыковые знания = = новый подход. От вербализации замысла (семантического кодирования текста ЕЯ) – к его пониманию (семантическому восстановлению). Задача: изучение процессов обработки текстов ЕЯ – включая морфологический, синтаксический и семантический анализ, – их понимания и синтеза текстов. В результате формируется глубинная структура текста, которая соотносится со знаниями, хранящимися в системе, для понимания смысла исходного текста. (Г. Четвериков) 10

11. Когнитивные вычисления - 1 • Когнитивная парадигма: методология исследований и моделирования феномена сознания в искусственном интеллекте и гуманитарных дисциплинах (И. Штерн). • Моделирование механизмов логического вывода, аргументации, рассуждения, понимания, принятия решений; • (2) Поиск моделей для репрезентации знаний; • (3) Процессы извлечения знаний; • (4) ? = Генерирование новых знаний (не-вывод). 11

12. Когнитивные вычисления - 2 Целью когнитивных исследований является «построение интегральной картины процессов языкового общения, мышления и интеллектуального поведения человека». Знания – как средство, результат и инструмент когнитивных процессов. Прорыв – «вычисление смысла текстов» (Ф. Джонсон-Лэрд, 1988 г.) 12

13. Предпосылки вычисления смысла Для решения задачи требуется: Формализовать гносеологическую категорию «Смысл»; Дать конструктивное определение; Соединить смысл со знанием; Связать смысл с пониманием. 13

14. Вычисление смысла: коммуникативная идея В Начале было слово… Интенция автора=?донести свою мысль до партнёра. Коммуникативные когнитивные вычисления – Это информационная технология обработки языковых (текстовых) сообщений, целью которой является выявление в тексте таких когнитивных структур, которые направлены на извлечение смысла сообщения и его понимания на основе знания языка, знаний о языке и внеязыковых знаний, общих для партнёров по коммуникации. 14

15. Понимается то, что имеет смысл = Смысл есть не что иное, как фрагмент общего знания. = Понять сообщение – значит извлечь его смысл. 15

16. Синтаксис, семантика, прагматика «АВТОР – ТЕКСТ – ПОТРЕБИТЕЛЬ» АВТОР – ТЕКСТ + ТЕКСТ – ПОТРЕБИТЕЛЬ Замысел Морфология Интенции Язык Синтаксис Язык Знания Семантика Знания (Стиль) (Смысл) Смысл = (Стиль) Понимание… (Формат) Ментальность Реальность Прагматика 16

17. Семиотика и гносеология Семиотика Текст Знания Синтаксис Семантика Смысл Прагматика Понимание 17

18. РАЗДЕЛ ІІ Системы репрезентации знаний ОНТОЛОГИЧЕСКИЕ СЕТИ Explain avay 18

19. Модели знаний Модели знаний: = тезаурусы ЕЯ = фреймы = аксиоматические и продукционные системы = формальные грамматики = именованные множества (?) = семантические сети; = лексические онтологии. А) Абстрактные онтологии:Как мы изучаем и обобщаем Мир ? SUMO, Дж.Совы, Микрокосмос, РуТез и др. 19

20. ОнтологияMikrokosmos (%) 20

21. Предметные онтологии Б) :Что мы рассказываем о мире ? Описание мира в терминах объектов, ситуаций, процессов материального мира.Используется лексикон естественных наук, культуры и бытового общения. (Ю.Д.Апресян:«научная» и «наивная» картины мира). Для общения характерны:дискурсивный характер, произвольная классификация, нечёткие утверждения, интенциональность, эмоциональность, использование подтекста. 21

22. Предметные онтологии (%) Материя = концепты (лексические понятия ЕЯ) и отношения; = иерархия понятий; = система интерпретации на ЕЯ. ПрО «На стадии концептуализации эта иерархическая структура превращается в пирамиду знаний» (Т. Гаврилова, К. Червинская, 1992) 22

23. Формальноеопределение онтологии (%) Формально-концептуальная система репрезентации знаний – Онтология: О = < Х, R, D >, где: Х – множество концептов, R– множество отношений, D– система интерпретаций и определений термов Х, R . Множество значений для R – конечно. Онтология= семантическаяaRbсеть сдобавлением интерпретирующей системы. 23

24. Иерархическая Трёхуровневая Онтология: ИО*3 Верхний уровень: -категории ВУ; -таксономические связи; -иерархия категорий. Средний уровень: -концепты СУ; -атрибуты СУ; -ассоциативные связи. Три уровня Концепты Интерпретац Замыкание на словарьЕЯ a b z Нижний уровень: -концепты и значения Структуры ПрО Структуры неформального общения -атрибуты НУ -ассоциативн. связи -термины ПрО. Пирамидальная семантическая сеть, построенная на концептах и отношениях. Отражает знания верхнего, среднего и нижнего уровней. 24

25. Верхний уровеньИО*3 (по В.И. Вернадскому) % Состояние Вещество Структура Косноевещество Локализация Свойство Энергия Вид Материя Организм Среда Живое вещество Биосфера Человек Ноосфера Организация Деятельность Таксономия. Фундаментальные представления о Мире и формирование научных направлений. Основные категории и разделы представления знаний в физических и др. науках 25

26. Фрагмент сети среднего уровня ИО*3(%) Биосфера среда организм Жизненный цикл виды поверхн гео воздушн. популяция водная эволюция рождение растения течения климат животные развитие размнож. ресурсы температура птицы Борьба за существ. катаклизмы деградац. ресурсы гибель . . . . . . Пример. Описательный континуум общих знаний. Раскрывает категории верхнего уровня.Разрабатывается инженером по знаниям и экспертами. 26

27. Нижний уровень онтологии (%) = актуальная бытовая лексика (кухня, дуб, ручей, турист, сновидение, свидание …); = дискурсивная лексика; = профессиональная лексикаПрО (Закон Ома, цепь, напряжение, генератор, частота …). 27

28. Интенсионально-экстенсиональные отношения (%) Иерархия понятий реализуется через верти- кальное отношение: ИНТЕНСИОНАЛ <=> ЭКСТЕНСИОНАЛ <=> примеры признаки ИМЯ понятия Инфраструктура Генератор класса Элементы класса Описатели класса 28

29. Конструкт онтологии: “понятие” (%) ПОНЯТИЕ Интен- сионал Экстен- Attr1 (what) Сионал Attr2 (why) Представители класса Описатели класса Объём Содержание ПОНЯТИЕ раскрывается через его примеры(классификация) и индивидуальные характеристики(атрибуция) – в единстве интенсионала и экстенсионала, объёма и содержания Класс(Кластер) 1 2 29

30. Конструкт онтологии: “определение” ОПРЕДЕЛЕНИЕ Родовоепонятие РП Представители Х Признаки генетич. и дискриминационные Структура определения: « Х это такое РП, которое состоит из 1, 2, … и характеризуется набором признаков g, d» ПОНЯТИЕ Х П1 П2 g g 1 2 g g d d 30

31. Онтология как граф ULTIMA RATIO REGIS (Ришелье) Р. Шенк (1980): «Метаязыком для внутренней смысловой репрезентации текстовявляется граф концептуальных зависимостей, который отображает смысловую структуру ситуации». ИО*3:это концептуальный ориентированный граф с пирамидальной структурой. Отображает смысловую структуру знаний. Все пути ведут к вершине «Материя». 31

32. Заключение.Преимущества ИО*3: = инструмент концептуального представления единой системызнаний; и кроме того: = среда формализации смысла; = инструмент для извлечения смысла; = средство машинногопредставления и машинной обработки текстовых знаний. 32

33. РАЗДЕЛ III ОНТОЛОГИЧЕСКИЙ СМЫСЛ Смысл – фрагмент знания 33

34. Ментальный характер смысла (%) За пределами специальных дисциплин смысл понимается как ментальная категория личности. Каждому городу нрав и права, Каждый имеет свой ум голова… (Г. Сковорода) 34

35. Что такое «смысл»? Мнения специалистов (%) Психология. Оценка поведения разумного существа. (Хокинс, Широчин, Балл, Лефевр). Лингвистика. Категория семантики языка, которая отвечает за согласованность лексики с внешним миром. (Демьянков, Мельчук). Нейролингвистика. Проекция языковых единиц на ментальные модели знания. Узуальный и окказиональный смысл.(Мельников). Нейрофизиология, нейрокибернетика. Описание отдельной ситуации вербализуется стандартной «базовой семантико-синтаксической структурой», синтезируемой в нейронной субстанции, и рассматривается как элемент знания. (БСС: Кисленко). Формирование понятий вПирамидальных структурах памяти. (РПС: Гладун, Величко, Рабинович). 35

36. 36

37. Цель исследования = СМЫСЛ Наша задача: вывести понятие «Смысл» из ментальной (интуитивной) категории в конструктивную (вычислимую). Выделить когнитивную структуру. «Рассматривая понимание естественного языка как оперирование смыслом, прежде всего надо разрешить принципиальные проблемы, связанные с определениемсущности структуры смысла». (И.Б. Штерн) 37

38. Центральная идея Смысл есть фрагмент структурированного знания. Знание генерируется через идеи; оформляется, передаётся и усваивается – через смыслы (образы?) 38

39. Смысл и Текст Смысл - это фрагмент внеязыковой действительности, отражённый в сознании человека или в памяти интеллекта. В Искусственном интеллектезадача извлечения знаний из текстов конкретизуется как«понимание и выделение смысла текста» (Т. Гаврилова и К. Червинская, 1992) 39

40. «Последний довод короля» Ultima ratio regis.(Ришелье) «Сам текст на естественном языке является лишь проводником смысла, а замысел и знания автора лежат во вторичной структуре (смысловой структуре или макроструктуре) текста» (Т. Гаврилова и К. Червинская, 1992) 40

41. Базовые определения - 1 Определение 1. Конструктом смысла является пара взаимосвязанных концептов онтологии – фундаментальная триада. (М.С. Бургин) Концепт1 – связь - Концепт2 – (связь) К1 К2 41

42. Базовые определения - 2 Определение 2. Подграф онтологического графа ИО*3,выделенный начальным и финальным концептами, называетсясмысловой траекторией начального концепта. Определение 3. Значениемначального концептаявляется ключевое слово текста. Значением финального концептаслужит вершина онтологии. 42

43. Траектория смысла на графе онтологии ИО*3 о о о о ооо оо о о о о о о 43

44. Формальное определение онтологического смысла Определение 4. Онтологический смысл – это проекциядискретизированного текста Тд на онтологию ИО*3. Онтология: ИО*3 = <К, О, И>; (Концепты, отношения, интерпретация) Смысл: СМ = Тд ИО*3. 44

45. Единая среда смысловой коммуникации Что нам даёт смысловая траектория? Погружает смысл в среду знания и одновременно вводит в ту же среду текст. ЗАМЫСЕЛ1   СМЫСЛ 2 =  ЗНАНИЕ ТЕКСТ ОНТОЛОГИЯ КЛЮЧЕВОЕ СЛОВО СМЫСЛОВАЯ ТРАЕКТОРИЯ 45

46. Текст = носитель знания и смысла Тд =: Набор ключевых слов – «это набор опорных точек, по которым развёртывается текст при кодировании в память и осознаётся при декодировании, это семантическое ядро цельности». (Гаврилова и Червинская, 1992) 46

47. Смысл Слова и смысл Текста: определения Онтологический смысл ключевого слова -это смысловая траектория = подграф онтологического графа, ведущая от активного слова к финальному концепту. Онтологическим смыслом текста(дискурса)является полная совокупностьсмысловых траекторий всех ключевых слов текста. Графический портреттекста является формальным компьютернымпредставлением смысла в среде знаний. 47

48. Особенности онтологического смысла Онтологический смысл: – имеет формальное определение, – представлен на метаязыке знаний, – конструктивен = вычислим, – является функцией текста, –воспроизводим - с точностью до набора ключей и выбранной онтологии, – представлен в многомерной лекси -ческойкоординатнойсистеме словаря ЕЯ. 48

49. Постановка задачи • Дано: • Концептуальный граф, соответствующий некоторой узкой области знаний (Онтология Древнего мира: Онт = < Х, R, D > ); • Конкретный текст из Корпуса текстов по выбранной тематике; • Множество значимых слов заданного текста, совпадающих с концептами онтологии (Тд); • Необходимо: • Построить на концептуальном графе множество смысловых траекторий = подграфов концептуального графа, которые начинаются в начальном концепте и оканчиваются в вершине графа: ( ОнтСм = Тд  Онт). 49

50. РАЗДЕЛ IV ПРИМЕР ОНТОЛОГИЧЕСКОГО АНАЛИЗА ТЕКСТА ЕЯ (отрывок художественного рассказа) 50