Системы понимания естественного языка (ея).Морфологический анализ.
Необходимость в общении с ЭВМ на естественном языке возникает в:
- диалоговых системах
- экспертных системах при формировании целей поиска и в процессе диалога
- создание запросов в Базах Данных
- системах автоматизированного перевода иностранных языков
- электронной почте (общение голосом)
- формирование запросов в поисковых системах.
Наличие естественно-языкового интерфейса считается признаком интеллектуальных систем.
Система INTELLECT написана Ларри Хариссом в области финансов. Давала консультации на естественном языке. Система NATURALINK (Харри Тенант) естественный языковой интерфейс к ЭВМ. ELIZA (Джозеф Вейценбаум) Электронный психиатр. ПОЭТ (Эдуард Попов) Естественный языковой интерфейс к промышленным системам. SHRDLU (Терри Виноград ) Система понимания естественного языка.
Большинство создателей программ ориентированны на работу с текстом. Есть системы распознавания голоса. При работе с естественным языком задача сводится к анализу и интерпретации на внутренний машинный язык слов и предложений.
Существует два подхода: формальный и неформальный.
Неформальный подход основан не на анализе предложений, а на выявлении типичных строк, которые пользователь вводит формируя запрос.
Возможны 2 стратегии.
1) Основана на ключевых словах, которые выделяют из фразы и являются основой дальнейших действий..
2) Поиск сочетаний слов или шаблонов.
К неформальным методам относятся различные языковые меню, которые применяются в интерфейсах.
Формальные подходы основаны на лингвистическом анализе предложения с использованием формальных и естественно-языковых грамматик. Правила грамматики устанавливают порядок слов в предложениях и способы формирования различных модификаций слов (флексий).
Классификация фраз, которая не зависит от других фраз описывается контекстно-свободной грамматикой.
Анализ связного текста (дискурса) производится при помощи контекстно-зависимой грамматики.
Анализ естественного языка на основе формальных методов.
Для устной речи первым выполним фонетический анализ. При этом анализируются звуковые колебания, которые как правило предварительно оцифровываются. На этом этапе работает система распознавания голоса, которая сопоставляет звуковые колебания с некоторыми таблицами., имеющимися в словаре.
Морфологический анализ ЕЯ.
Для письменного языка - первым идёт морфологический анализ. При этом текст разбивается на отдельные слова словоформы или морфемы. Морфемы - это отрезок текста между пробелами.
Существует 2 подхода:
определение для каждого слова основной формы и модификации. Декларативный способ предполагает, что словарь содержит не только основные словоформы, но и все флексии (различные модификации слов) с морфологической информацией.
В этом случае словарь состоит из 2 частей: 1 – это основа слова, 2 – словарь аффиксов. В этом словаре содержится вся морфологическая информация.
Морфологическая информация различна для различных слов. После морфологического анализа проводится лексический. На этоп этапе выясняются свойства данного слова.