- •МГЛУ
- •Новые информационные технологии в лингвистике
- •Автоматическое распознавание речи
- •Процесс порождения речи
- •Процесс порождения речи у человека
- •Речевая волна во временной области
- •Речевая волна во временной и частотной областях
- •Речевая волна во временной и частотной областях
- •Представление речи в виде формантных траекторий
- •Перекрытие областей формантных частот
- •Положение центроидов основных гласных
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Колонка коры (по Батуеву А.С.)
- •Гиперколонка коры (по Батуеву А.С.)
- •Отдельные слова словарей раскладываются по
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Процесс восприятия речи человеком
- •Коммуникационный акт
- •Структура коммуникационной системы для организации речевого поведения
- •Структура коммуникационной системы для организации речевого поведения
- •Структура коммуникационной системы для организации речевого поведения
- •Информационно-кодовая модель коммуникации Шеннона и Уивера
- •Под распознаванием речи понимается выделение информации из преобразованного сигнала, полученного адресатом от адресанта
- •Правило Байеса
- •Правило Байеса
- •Правило Байеса
- •Правило Байеса
- •Правило Байеса
- •Информационно-кодовая модель коммуникации Шеннона и Уивера, модифицированная для коммуникационного акта Якобсоном
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Автоматическое распознавание речи
- •Акустико-фонетический подход
- •Акустико-фонетический подход
- •Акустико-фонетический подход
- •Подход, основанный на распознавании образов
- •Подход, основанный на распознавании образов
- •Подход, основанный на распознавании образов
- •Подход, основанный на распознавании образов
- •Подход на основе искусственного интеллекта
- •Подход на основе искусственного интеллекта
- •Подход на основе искусственного интеллекта
- •Подход, основанный на искусственных нейронных сетях
- •Подход, основанный на искусственных нейронных сетях
- •Нейронные сети
- •Первичная обработка
- •Спектральный анализ
- •Спектральный анализ
- •Спектральный анализ
- •Анализ на основе линейного предсказывающего кодирования
- •Анализ на основе линейного предсказывающего кодирования
- •Анализ на основе линейного предсказывающего кодирования
- •Анализ на основе линейного предсказывающего кодирования
- •Векторное квантование
- •Векторное квантование
- •Векторное квантование
- •Векторное квантование
- •Антропоморфная модель анализа
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Психоакустическое сглаживание спектра
- •Принятие решения
- •Принятие решения
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Динамическое программирование
- •Правило Байеса
- •Правило Байеса
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Стандартный СММ распознаватель
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Скрытые Марковские модели
- •Реализация и использование систем распознавания речи
- •Реализация и использование систем распознавания речи
- •Промышленные системы распознавания речи Стандартная система распознавания речи
- •Промышленные системы распознавания речи
- •Промышленные системы распознавания речи
- •Промышленные системы распознавания речи
- •Промышленные системы распознавания речи
- •Промышленные системы распознавания речи
- •Промышленные системы распознавания речи
- •Диалог человека и машины
- •Диалог человека и машины
- •Диалог человека и машины
- •Диалог человека и машины
- •Сравнение эффективности распознавания человеком и искусственными системами
- •Сравнение эффективности распознавания человеком и искусственными системами
- •Сравнение эффективности распознавания человеком и искусственными системами в условиях шума
Промышленные системы распознавания речи
4
Промышленные системы распознавания речи
4
Промышленные системы распознавания речи
4
Промышленные системы распознавания речи
4
Диалог человека и машины
Существует два типа таких систем |
|
Системы первого типа ведут человека, |
|
следуя четкому порядку |
|
заполнения определенных форм. |
|
Примером такой системы может |
|
стать заказ билетов. В каждом из |
|
состояний система настраивается |
|
на распознавание заранее |
|
приготовленных атрибутов, |
|
допуская варианты возврата к |
|
предыдущему шагу или выходу из |
|
системы |
|
В системах второго типа человеку |
|
отводится роль собеседника, |
|
который может сам проявлять |
|
интерес к разным аспектам |
|
информации, задавая любые |
|
вопросы. |
4 |
|
Диалог человека и машины
Общая блок-схема ориентированной на задачу системы речевого диалога
3
Диалог человека и машины
Классификация систем устного диалога по направлению потока информации
Тип системы |
Поток информации |
Объяснение |
Система |
|
Пользователь |
Заполнение форм |
Пользователь |
|
Система |
Получение |
Пользователь |
информации |
Система |
Примеры
Прокладка маршрута, обучение
Покупки по телефону, перенаправление абонента
Резервирование гостиницы, поиск литературы
4
Диалог человека и машины
Классификация систем устного диалога по структуре информации
Структур |
Тип |
Распознаван |
Семантическая |
Стратегия |
|
а |
системы |
ие речи |
интерпретация |
диалога |
|
информац |
|
|
|
|
|
ии |
|
|
|
|
|
Реляцион |
Запрос к |
Ограничен- |
Отображение |
Заполнение |
|
ная БД |
БД |
ное |
результата |
необходимых |
|
|
|
граммати- |
понимания на |
форм и |
|
|
|
кой, |
SQL-запрос |
подтверждение |
|
|
|
заданной |
|
второстепенных |
|
|
|
экспертом |
|
|
|
ЕЯ текст |
Извлечен |
Статисти- |
Извлечение |
Уточнение |
|
|
ие |
ческая |
информации |
запросов и |
|
|
документ |
модель |
(векторно- |
ограничение |
|
|
а |
|
простран- |
совпадающих |
4 |
|
|
|
ственная |
элементов |
модель)
Сравнение эффективности распознавания человеком и искусственными системами
Задача
База "TI46", SNR ~60 дБ
Звуки, обозначающие буквы алфавита
База "TI digits", SNR ~60 дБ Цифровые последовательности
База "Resource Management", SNR ~60 дБ (словарь 1000 слов, языковое моделирование)
База "Resource Management", SNR ~60 дБ (словарь 1000 слов, нет модели языка)
База "Wall Street Journal", SNR ~60 дБ (словарь 5000 слов, чтение)
Процент |
Процент |
|
ошибок |
ошибок |
|
человека |
ИСРР |
|
1.6% 1 |
5% 2 |
|
0.009% |
0.72% |
|
0.105% 3 |
|
|
|
|
|
0.1% |
3.6% |
|
2% |
17% |
|
0.9% |
7.2% |
4 |
Сравнение эффективности распознавания человеком и искусственными системами
(продолжение)
База "Switchboard", SNR ~60дБ
(задача распознавания спонтанной речи)
База “Corpus of Spontaneous Japanese”, SNR ~ 60 дБ (задача распознавания спонтанной речи)
База "Switchboard", SNR ~60 дБ (задача выделения 20 ключевых слов)
Слитная речь, SNR ~60 дБ (словарь 20000, чтение)
4% 43%
4% 9%
12.8% 4
31.1
7.4% 5 %
2.6% 12.6
%
1 - распознавание последовательностей
2 - распознавание изолированных слов 3 - распознавание вокодерной речи (модель линейного предсказания 12-
го порядка) 4 4 - отсутствие контекста, бессмысленный поток слов 5 - осмысленный контекст ~ 2 сек