2.3. Аот в 80-е и 90-е годы.

Узкоспециализированные системы 1970-х годов, такие как SHRDLU и LIFER/LADDER не могли быть в действительности расширены до практически полезных приложений. Реакцией на этот факт в сообществе АОТ стала попытка взглянуть на разработку посредством формализмов дающих более точные и полные описания, эффективно реализуемые на компьютере.

Грамматические формализмы.

Семантические системы 1970-х совершенно сознательно избегали использования синтаксической обработки, некоторые пытались вообще очистить от синтаксической информации свои системы. Синтаксис всегда рассматривался большинством лингвистов-теоретиков как основополагающая часть человеческого языка. Инженеры же увидели в синтаксисе полезный способ разрешения омонимии с относительно небольшим объемом необходимых знаний (по крайней мере, по сравнению с объемом знаний, требуемым для этой цели семантической обработкой). Теоретические лингвисты также выступали критически против всеобщего признания Трансформационной/Порождающей грамматики Хомского.

Результатом стали грамматики, оперирующие более детализированными синтаксическими характеристиками объектов информации ( например, часть речи -существительное, лицо - третье, время - прошедшее, число - множественное и т.д.), а не одноатомные категории (глагол, существительное, прилагательное и т.д.). Эти грамматики могли дать гораздо более точный анализ предложения, но за это нужно было заплатить определенную цену. Для детализированных характеристик необходимы гораздо более сложные методы сопоставления в поисковых алгоритмах, отсюда такие грамматики получили название унификационных, так как сопоставление характеристик могло быть достигнуто посредством метода унификации.

Есть несколько грамматик, которые используют унификацию как главную операцию для комбинирования информации. Из них Грамматика Обобщенной Фразовой Структуры (GPSG – Generalisez Phrase Structure Grammar) , была одно время очень популярной, но, видимо, самым широко используемым формализмом стала Грамматика Лексических Функционалов (LFG – Lexical Functional Grammar).

Расширенные лексиконы.

Лексикон (или словарь) использовался до сих пор для хранения очень простой информации. Использование унификационных грамматик с их детализированными характеристиками привело к значительному усложению лексиконов. Сейчас он является первичным источником информации о свойствах слов и эта информация используется во время разбора(использующего унификацию) для создания конечного дерева разбора, представляющего структуру анализируемого предложения.

Логика для семантики.

Раз синтаксическая информация должна широко использоваться, значит нужен способ передачи этой информации в семантическую обработку на более поздней стадии, чтобы максимально разрешить омонимию. Подходом, который позволил достичь прогресса, стало использование использование логики предикатов для представления семантической информации. Семантическая информация может комбинироваться посредством унификации почти так же, как синтакическая. Методы исчисления логики могут быть использованы для вывода и получения более подробной информации из входных предложений. Такая логика не должна быть классической ( то есть не сводиться к вычислению истинности или ложности высказываний), в ней должна быть возможность обработки альтернативных суждений, возможность выражать пространственные и временные отношения.

Порождение текста.

Приложение, которое должно выводить некий результат, можно попробовать заставить делать это на естественном языке, тем самым делая его более удобным для пользователя. Одно из направлений разработки состояло в создании систем автоматического реферирования.

Многоязычные приложения.

Рост многоязычных сообществ означает спрос на переводы, особенно деловых и технических текстов, переводить которые профессиональным переводчикам скучно или невыгодно. Поскольку полный высококачественный машинный перевод в этом периоде больше не рассматривался как краткосрочная или даже среднесрочная цель, это пространство было предназначено для ограниченных систем машинного перевода (например, канадские метеосистемы, автоматически преобразующие сводки о погоде с английского на французский) и средств, используемых переводчиками-людьми. Другим направлением была разработка генерации текста на нескольких языках.

Мобильность.

Одним из недостатков таких впечатляющих систем, как LIFER/LADDER была трудность переноса системы из одной проблемной области в другую (например из области описания кораблей ВМС США в область кадрового учета). В этот период совершаются попытки создания систем, применимых к разным проблемным областям. Развитие унификационных грамматик и логики для семантики усилили тенденцию обобщения разных систем, что привело к прогрессу в решении проблемы мобильности систем.

80-е годы. Формирование фундамента современного машинного перевода.

В 80-е годы в большой мере формируется фундамент современного подхода к структуре машинного перевода.

Переход от языка А к языку Б можно представить в виде следующей схемы. Предполагается, что на каждом уровне соответствия может быть создан список преобразований структуры языка А в структуру языка Б даже если этот список окажется очень длинным.

По мере продвижения по схеме снизу вверх, размеры структур увеличиваются.

Описанная выше схема опирается на положении формальной семантики, что смысл целого определяется комбинацией смыслов составляющих. Но пары слов в языках А и Б могут иметь больше одного значения (омонимия), некоторые грамматические характеристики и функции слов могут существовать только в одном из этих языков. Несмотря на все это, детальный список преобразований может быть полезным для обработки ситуации.

Самым серьезным итогом работ, связанных с таким подходом в эти годы, было введение понятия контекстной зависимости смысла. Чтобы преобразовать существительное из языка А, где они не имеют единственного и множественного числа, в язык Б, в котором они присутствуют, необходимо понимание контекста. Однако, вариаций контекстов может быть неограниченно много. По умолчанию все существительные обрабатываются как относящиеся к единственному числу и преобразовываются в форму множественного при наличии указывающего на него контекста.

Значение (смысл) слова выражается посредством сегментированных значений терминов:

Убить=Быть_причиной(Некто(Живой->Мертвый))

Одним из главных направлений дальнейшего поиска станет как раз ответ на вопрос: какие базовые элементы необходимы для адекватного выражения смысла.

Благодаря росту производительности и развитию возможностей компьютеров, разработка систем машинного перевода стала реальностью. Разработка первых систем была основана на лингвистических знаниях. Но лингвистике не удалось покрыть широкий диапазон актуальных феноменов использования языка. Анализ производился для ограниченных случаев. В 80-е годы ученые инициировали разработки в области описания грамматик. Грамматики, основанные на формальных, правильно написанных текстах, не имели полной практической ценности. Только про 60% грамматических правил, выработанных лингвистами, можно было сказать, что они работают на практике. В реальности, различные варианты в языке были слишком многочисленны.

90-е годы. Разрешение омонимии. Возрождение подхода «снизу-вверх»: эмпирицизм.

Подход к разрешение омонимии смысла термина основывается на выявлении слов, в контексте которых он находится. На большом корпусе текстов (например, «Нью-Йорк Таймс» за 20 месяцев) достигается 90%-ная точность в разрешении неоднозначности слова «capital», которое может означать в английском языке и финансовый капитал и столицу. В настоящее время предлагается подход, в котором перевод ранее незнакомых слов может быть оценен согласно сходству терминов, в контексте окружения которых находится это слово.

Эмпирицизм, новый вариант подхода «снизу-вверх», предлагает архитектуру, более радикальную, чем старые подходы, ориентированные на данные. В начале 90-х годов IBM выпускает систему статистического машинного перевода (SMT-statistical machine translation). Система обнаруживает ряд английских и французских выражений, которые не могли бы быть распознаны вручную, посредством «чистой» методологии машинной трансляции. Используются статистические алгоритмы ( EM, Виттерби и др). Система требует большой объем памяти и высокую производительность компьютеров, большой объем качественных пар слов для перевода ( обучающие данные).

Как мы можем получить достаточно большой набор реальных лингвистических данных, чтобы произвести внятный анализ или автоматически построить грамматику – именно такой вопрос встал перед компьютерной лингвистикой с 90-х годов, когда основным направлением стала статистическая обработка текстов.