Актуальные вопросы компьютерной лингвистики

1. Актуальные вопросы компьютерной лингвистики Часть 2. Генерация текстов на ЕЯ

2. Введение • История • Обзор существующих систем с разным типом входных данных: • поток данных • Информация об объектах и явлениях • Формальные спецификации • Семантическое представление

3. Цель исследований по генерации текстов на ЕЯ: • создание интеллектуальных компьютерных систем, которые бы могли производить понятные для человека тексты на различных ЕЯ На входе: например, таблицы баз данных (БД), формальные спецификации программ, метеорологические карты. На выходе: типовые документы, такие как отчеты, разъяснения и справочная информация.

4. История • Самой популярной теорией генерации становится системно-функциональная грамматика (Systemic Functional grammar - SFG) M.A.K. Хэллидэя (лингвистическая основа первой системы искусственного интеллекта с развитым лингвистическим компонентом - робот Т. Винограда) • в конце 80ых – генератор английского языка PENMAN • в конце 90ых годов - универсальная среда KPML (http://purl.org/net/kpml)

5. К середине 90ых годов новое направление – многоязыковая генерация (МЯГ), (Канада, Великобритания, Германия) сплав двух направлений – МП на основе языка-посредника и генерации ЕЯ система FoG (Канада в начале 90ых годов) - предназначена для генерации морских сводок погоды на французском и английском языках на основе метеорологических данных.

6. Special Interest Group on GENeration (SIGGEN) http://www.cs.columbia.edu/~acl/. • каталог выполненных проектов по созданию систем ГЕЯ (“The John Bateman and Michael Zock's list of Natural Language Generation Systems”, http://purl.org/net/nlg-list)

7. Отечественная традиция Во второй половине 70ых годов проводятся пионерские исследования Ю.С.Мартемьянова по созданию действующего генератора Э.В.Попова « Общение с ЭВМ на естественном языке» (Москва, 1987 г.)

8. основная проблематика синтеза – • теория дискурса, • фокус внимания, • референция

9. Отечественные разработки 80-90х • А.Б.Сосинский - штамповая грамматика в предметной области (ПО) математических статей • система синтеза описания трехмерной сцены (уличные сцены с 30 объектами), • работы по генерации формулы изобретения • С.Шаров, Е.Г.Соколова - многоязыковой генератор AGILE (русская часть) • Болдасов, Е.Г.Соколова – генерация запросов к БД

10. Принципы организации систем • 1. Шаблонные системы система хранит уже готовую строку, шаблон, возможно с несколькими пропусками, которые заполняются при выдаче сообщения значениями, соответствующими характеру ошибки. Например, система, выдающая сообщение о невозможности найти тот или иной файл, может использовать строку «Не могу найти » « файл(ы)!». Более сложные шаблонные системы дополнительно проводят ограниченную лингвистическую обработку генерируемого текста

11. Пример 1. система Employee Appraiser (производитель – фирма Austin-Haynes) система, помогающая менеджерам составлять деловые характеристики на сотрудников. • набор оценочных тем, таких как, Общение, • более специфичные подтемы, например, Устный обмен идеями • Множество готовых абзацев или предложений, соответствующих этим темам и подтемам • Параметры, уточняемые пользователем, например, пол сотрудника, лицо (Например, текст во втором лице (вы) адресован самому сотруднику, текст в третьем лице (он / она) – администрации)

12. Performance Now (производитель – фирма KnowledgePoint) • поддерживает генерацию только в третьем лице, зато осуществляет простейшее планирование текста и предложений Bert does not display the verbal communication skills required, andhis written communications fall short of the quality needed. Additionally,he does not exhibit the listening and comprehension skills necessary for satisfactory performance of his job. Текст составлен из 3-х фраз, полученных из библиотеки, вставлены подчеркнутые слова. В тексте характеристике фразы упорядочиваются по степени их «негативности»

13. Шаблоны: Как___Х? У нас два Z: X и У. Вы хотите узнать номер телефона Х (или У)? Х находится на У и т.п. Пример генерации текста в 09 Состояние, вызывающее обращение к определенному шаблону: Фрейм запроса: Результат: На какойулице находится булочная?

14. Генерация реплик в диалоговых системах • диалоговая система ELIZA (1966 г.). • Типы реплик: • штамп, - продолжение диалога, например, “Продолжайте”, • штамп - реакцией на семантику слова из реплики пользователя, например, “Расскажите мне о своей семье” (как реакция на слово “мать”), • моделируется из опознанного системой лексико-синтаксического шаблона реплики пользователя (замена в нем некоторых элементов: например, шаблон “X he Y me” (“Because he hates me.”)  две синтаксических реакции: “Why do you think he hates you?”; “Supose he did hate you?” )

15. «Идеальный» генератор Основные компоненты системы: • Система знаний • Коммуникативная цель • Модель адресата • Контекст повествования (история дискурса)

16. Межъязыковые явления Межъязыковые явления Лингвистические уровни преобразоваия: • концептуальный уровень, • семантический уровень, • риторический уровень, • синтаксический уровень • текстовый уровень (quote)

17. Основные этапы • Планирование содержания текста или Макропланирование. План текста (ср. дерево сообщений, например, A-box в системе AGILE; • Планирование предложений или Микропланирование. уточняется структура отдельных предложений текста, строятся семантические планы предложений, например, представления SPL в системе AGILE; • Языковое оформление Построенные грамматические струткуры с накопленными в них морфологическими признаками преобразуются в ЕЯ предложения, а затем в текст Ср. исследования Чейфа «Память и вербализация прошлого опыта». Новое в зарубежной лингвистике вып. XII.

18. Действующие прикладные системы • В всегда четко задан тип входных данных и тип текстов, которые он умеет порождать. • Во входных данных определяющую роль играет система знаний. • Часто другие составляющие жестко зашиты в системе Например, в системе TEXT выбирается тип текста (коммуникативная цель), в системе AGILE выбирается стиль текста, учитывающий как компетенцию адресата, так и его социальный статус (модель адресата).

19. Типы входных данных для систем генерации ЕЯ • Поток данных, • Информация об объектах и явлениях, • Формальные спецификации; • Семантическое представление.

20. Генерация из входных данных типа «поток данных» «поток данных» - физические измерения или статистические данные мониторинга свойств объектов или явлений, проводимых через определенные отрезки времени. • например, метеорологические (погода), социологические (занятость населения), финансовые (биржевые сводки) и др. • констатируется наличие определенных объектов, отношений, значений атрибутов. Эта информация не организована для передачи адресату в ходе ЕЯ коммуникации. поток данных  синтез текстов отчетов, описывающих состояние объектов или состояние дел.

21. Генерация из входных данных типа «поток данных». Примеры систем • FoG (1989-2000) – (Bateman, J. A. Anabling technology for multilingual natural language generation: the KPML environment. In: Natural Language Engineering, 1997, 1(1). Goldberg, E., Driedgar, N., and Kittredge, R. Using natural-language processing to produce weather forecasts. IEEE Expert, 1994, 9(2): 45-53.) • Система синтезирует метеорологические сводки о состоянии погоды для кораблей на основании таблицы замеров погодных параметров (направление и сила ветра, температура и др.) на английском и французском языках • В настоящее время система FoG успешно применяется в службе Гидрометцентра Канады и позволяет экономить этой службе значительные затраты на составление описаний сводок погоды на двух государственных языках – английском и французском

22. Генерация из входных данных типа «поток данных». Примеры систем • ANA (1983) – синтезирует на английском языке отчеты о состоянии биржи (объем продаж, состояние на момент закрытия биржи, изменение индекса Доу Джонса и т.д.) на основании таблицы данных фондовой биржи за день.

23. Генерация из входных данных типа «поток данных». Примеры систем • PostGraphe (1996) – синтезирует текстовые отчеты и графики динамики прибыли компаний по статистической табличной информации о прибыли De 1987 à 1989 les profits de la compagnie A ont augmenté de 30$ á 40$. Jusqu’en 1990 ils ont diminué de 40$ á 35$. De 1987 à 1988 les profits de B ont augmenté de 160$ á 165$. Pendant 1 année ils ont diminué de 25$. Jusqu’en 1990 ils ont augmenté de 140$ á 155$.

24. Генерация из входных данных типа «поток данных». Примеры систем Gossip (1988) • – синтезирует на английском языке отчеты об использовании машинного времени пользователями на основании таблицы данных Пример текста, порожденного системой Gossip: The system was used for 7 hours 32 minutes 12 seconds. The users of the system ran compilers and editors during this time. The compilers were run six times, for 47% of the cpu time. The editors were run twelve times, for 53% of the cpu time. Two users, Jessie and Martin, logged on to the system. Jessie used the system for 63% of the time in use. Martin used the system for 40% of the time in use.

25. Генерация из входных данных типа «информация об объектах и явлениях» • Как и в потоке данных, во входных данных типа «Информация об объектах и явлениях» констатируется только наличие определенных объектов, отношений, значений атрибутов. • Эта информация также не организована для передачи адресату в ходе ЕЯ коммуникации. • Однако, она имеет более структурированный вид. • Данные этого типа обычно представляется реляционными отношениями БД или объектными структурами.

26. Генерация из входных данных типа «информация об объектах и явлениях». Примеры систем • TEXT [30] (1980-1985) (McKeown [KМаккьюин К. (1989) Дискурсивные стратегии для синтеза текста на естественном языке // НЗЛ. Вып. XXIV. M, 1989. C. 311-356. ]) синтезирует ответы на вопросы пользователей о структуре базы данных по морским транспортным средствам и средствам разрушения. В качестве ответа системой выдается небольшой текст на английском языке. В зависимости от типа вопроса пользователя системой генерируются тексты типа определение, описание или сравнение.

27. Структура БЗ системы Text

28. Генерация из входных данных типа «информация об объектах и явлениях». Примеры систем • Caption Generation System (1998) – порождает графики и их ЕЯ описания на английском языке. Примерописанияграфика: These charts show information about house sales from data set PGH-23. In the two charts, the X-axis shows the selling prices. The top chart emphasizes the relationship between the number of rooms and the selling price. The bottom chart emphasizes the relationship between the lot size and the selling price.

29. Генерация из входных данных типа «информация об объектах и явлениях». Примеры систем M-PIRO (2001-2003) – многоязыковая система генерации, синтезирующая описание музейных экспонатов на английском, греческом, итальянском и испанском языках. • Artequakt (2002) – система генерации биографий художников на основе табличных данных их биографии. Тексты биографий генерируются на английском языке. • Demosthenes (2002) - система генерации описаний товаров, как в рекламных целях, так и для справки. Эта система синтезирует на немецком языке описания винных сортов винограда и получаемых из них вин. Эти системы предназначены для обслуживания посетителей, поэтому они включают генератор звучащей речи.

30. Генерация из входных данных типа «информация об объектах и явлениях». Примеры систем • система генерации на корейском языке XEplainer (2001), обслуживающую web-магазины На основе информации о товарах, размещенной на сайтах, эта система строит следующие типы описаний: определение, сравнение, противопоставление. Пользователь выбирает пункты описания товара, информацию по которым он хочет получить. Для базы данных сотовых телефонов такими пунктами могут быть, например, характеристики его веса, мощности аккумулятора и цены. Затем пользователь задает коммуникативную цель текста, например, указав модели телефонов и нажав на кнопку «Сравнить». В качестве результата пользователь получит сравнение указанных моделей, указанным позициям.

31. Генерация из входных данных типа «формальная спецификация» • Integrated Software and On-Line Documentation Environment (ISOLDE) (1992-2002) – среда, позволяющая объединить и ускорить процессы разработки программного продукта и его документации. (http://www.cmis.csiro.au/iit/Projects/Isolde/index.htm). • ModelExplainer (1997) – генерирует текстовые описания диаграмм объектно-ориентированного моделирования данных, полученных из программных средств RationalRose и Visio (http://www.cogentex.com/research/modex/index.shtml). Система умеет строить иерехические HTML-справочники, отдельные страницы которых связаны контекстными ссылками. • Proverb (1996-2000) – строит на английском языке тексты доказательств математических утверждений, автоматически построенных системой OMEGA (интерактивная среда построения доказательств).

32. Генерация из входных данных типа «семантическое представление • AGILE [26] (2000) – макет, генерация софтверных руководств одновременно на нескольких языках. (реализованы болгарский, чешский и русский языки) Создание полилинии из прямых и дуг Запустите команду PLINE. Windows Выберите пункт Poliline в палитре Poliline на панели инструментов Draw. DOS/Unix Выберите пункт Poliline в меню Draw. 1. Нарисуйте отрезок. Укажите начальную точку отрезка и укажите конечную точку отрезка. 2. Нарисуйте дугу. Перейдите в режим Arc. Введите команду a. На экране появится диалоговое окно Arc mode confirmation. Нажмите кнопку ОК в диалоговом окне Arc mode confirmation. Диалоговое окно Arc mode confirmation исчезнет с экрана.

33. SUREGEN-2 (2002) – генерирует на немецком языке медицинскую документацию, такую как заключения, отчеты о ходе операций и направления. В специальной графической форме система собирают у пользователя необходимые ей данные и генерирует тексты согласно зашитому в ней плану. • MDA (Multilingual Document Authoring) (2000)

34. Организация лингвистически мотивированных систем генерации

35. Общая схема процесса генерации ([Bateman & Zock 2001])

36. Архитектура системы генерации Конвейер генерации традиционно разделяют на три этапа: Макропланирование – построение структуры текста, Микропланирование– построение планов предложений и Языковое оформление – реализация построенных планов предложений соответствующими грамматическими структурами. В прикладных системах генерации к этим трем этапам часто добавляется четвертый этап, Физическое представление, на котором производится форматирование текста согласно выбранному формату (PDF, HTML и т.д.) или подключается генератор устной речи.

37. Архитектура системы генерации Входами генератора могут быть как рассыпанные представления типа баз данных (БД), так и семантические представления целого текста. Тем не менее, в обоих случаях определение содержания происходит на первом этапе. В случае БД выбираются объекты и атрибуты БД, которые войдут в содержание текста. Во втором случае все объекты уже выбраны и даже выражены в виде семантических сущностей и структурированы, т.е. задача структурирования содержания уже решена. Но задача выбора содержания связана, в частности, с ориентацией на адресата и остается возможность опущения определенных фрагментов плана текста.

38. Промежуточные представления данных: • Объектная структура содержания текста - концептуальная структура содержания текста, построенная в соответствии со структурами предметной области (ПО) из объектов и отношений ПО. • Структура текста – структура дискурсивных отношений, организующая сообщения в текст (в частности, риторическая структура); • Сообщения - элементарные предикативные фреймы с объектами и отношениями ПО, • Семантические представления предложений текста (в частности, SPL); • Лексикализованные грамматические конструкции предложений текста

39. Макропланирование • Основная цель этапа макропланирования– сформировать план текста. • Составляющие: • 1. Входные данные. Содержание процессов макропланирования зависит от типа входных данных. Если они представлены в виде сырых данных, БД или БЗ или иного вида организованных знаний, например, онтология, то они являются материалом для создания плана текста, из которого строятся объекты и значения свойств, о которых будет идти речь в тексте.

40. Макропланирование • 2. коммуникативная цель текста и запрос автора – эти составляющие определяют содержание и назначение текста. • Коммуникативная цель (сравнить, описать, определить, объяснить, и др…) определяет тип текста – описание (в том числе в форме сравнения), определение, объяснение, и др., а запрос автора фиксирует объект или группу объектов, которые становятся темой текста. • В системах ГЕЯ тема и тип текста (в том случае, если система может порождать несколько типов текстов) задаются пользователем.

41. Макропланирование 3. Модель предметной области (МПО) определяет типы объектов ПО, а также те предметные отношения и структуры, в которые они вступают друг с другом. С т.зрения систем ГЕЯ она связана со способами выражения отношений между объектами в данном языке, поэтому может объединяться с семантической онтологией, представляющей собой семантические типы и способы выражения отношений семантическими средствами конкретного ЕЯ

42. Макропланирование 4. дискурсивная стратегия – элемент культуры говорящего сообщества. Она определяет конкретную структуру конкретного текста на основе заданных коммуникативной цели и выбранного фрагмента входных данных в соответствии с культурными традициями выражения подобного вида информации в данном сообществе.

43. Макропланирование Многие приложения для определения содержания генерируемого текста используют также модель читателя, а именно, уровень подготовленности читателя, поставленную им задачу, которую он надеется разрешить, читая этот текст, а также предыдущие взаимодействия между ним и системой

44. Определение содержания сообщения как элементы плана текста На этом этапе создаются сообщения. Они создаются выделением фреймов из концептуального представления излагаемой в тексте информации. Процесс создания сообщений состоит в фильтрации и резюмировании (обобщении, выделении главной мысли) входных данных. Наиболее распространенная методика реализации задачи определения содержания – это использование предметно зависимых правил, получаемых от экспертов ПО.

45. процесс обобщения сырых данных, приведения их к понятиям ПО и к форме сообщения в системе FoG

46. Рис.3. Сообщение, записанное в виде матрицы «атрибут-значение», как элемент плана-текста, например, такого: Поезд Экспресс-Каледония отправляется из Абердин в 10 часов утра. В сообщении на рис.3 использовано отношение Время отправления поезда, связывающее концепты Поезд Экспресс-Каледония, Абердин и 10часов утра.

47. Концептуальное представление • состоит из объектов и отношений ПО. Оно строится двумя способами: 1) заполнением объектной МПО данными из входного представления; 2) организацией входных данных в структуру объектов

48. Риторическое представление • Принципы риторического моделирования структуры текста сформулированы в Теории риторических структур RST (Rhetorical Text Structure) [Mann and Thompson, 1988]. • Риторическое представление - это дерево составляющих текста, терминальные вершины которого сообщения. • Терминальные вершины соединяются во все более крупные фрагменты до получения структуры всего текста. Внутренние вершины риторического представления описывают, как сообщения сгруппированы вместе и связаны друг с другом риторическими отношениями, например, причина, цель,последовательность, уточнение, побуждение, разрешение и т.д. • Всего в классическом варианте ТРС определено 45 отношений. Каждая внутренняя вершина разделяет свое содержимое как минимум на две части: главную (nucleus) и второстепенную (satellite) • Группирование текстовых фрагментов риторическими отношениями накладывает ограничения на будущее разделение порождаемого текста на абзацы и на предложения.

49. План текста: • планирующие операторы, [Hovy 1993] и [Paris 1993] • предикативные схемы

50. Теория планирующих операторов [Sacerdoti 1977]: Планировщик получает на входе цель (проблема, которая должна быть решена), и обрабатывает ее методом планирования (алгоритмом), применяя к ней библиотеку планов (набор операторов планирования, каждый из которых направлен на достижение определенной цели). В процессе работы планировщика строится концептуальная структура, соответствующая тексту, описывающему последовательность действий по достижению этой цели.