306

Глава11

Чтобы немного помочь вам, Michael В. Comet (создатель Comet Cartoons, расположенных на http://www.comet-cartoons.com) предоставил разнообразные фонемы, которые вы можете использовать (см. рис. 11.6)

Попытайтесь как можно точнее соблюдать форму при создании собственных мешей. Т. к. анимации проигрываются быстро, некоторые отклонения от формы реальной фонемы не должны быть проблемой. После создания всех используемых мешей фонем пришло время забавной части - соединения этих мешей в ваших собственных анимациях.

Рис. 11.6. Демонстрационный набор фонем, созданный Michael В. Comet, покажет вам, как необходимо создавать ваши собственные лицевые меши

Создание анимационных последовательностей

Теперь вы готовы перейти к анимациям! На данный момент вы должны иметь базовое понимание сущности фонем, а также должны были создать набор целевых мешей, используемых в комбинированных морфируемых анимациях. Эти меши должны содержать различные подробности, с которыми вы будете работать, такие как моргание глаз, поднятие бровей, изменение формы рта (виземы).

Морфируемаялицеваяанимация

Прежде чем комбинировать анимации необходимо уточнить некоторые вещи. Я начну с самых простых особенностей лицевых анимаций, а потом перейду к более сложным! Что может быть простым при использовании лицевых анимаций, спросите вы? Конечно же автоматизированные функции!

Автоматизированиеосновныхфункций

Прежде чем переходить к самой сложной части лицевой анимации - последовательностям фонем - давайте рассмотрим простые вещи. Например, моргание глаз является абсолютно обычной вещью, и вы даже не заметите этого, если только человек, с которым вы разговариваете не перестанет моргать, что в данном случае является очевидным.

То же самое можно сказать и о выражениях лица человека. По мере того как вы разговариваете, ваше лицо меняет выражение в соответствии с тоном голоса. Веселые люди обычно улыбаются, когда разговаривают, а когда люди расстроены, они хмурятся. По мере того как во время разговора меняются ваши эмоции, выражение лица должно меняться соответственно. Малейшее движение губ, глаз, бровей может изменить эмоции, отображаемые на лице. Без этого проявления эмоций мы бы все выглядели как манекены!

Заметьте также, что голова людей всегда движется во время разговора. От небольших кивков и покачиваний до поворотов головы большинства людей постоянно движутся. Не беря в расчет эмоции, небольшие движения головы человека и моргание глаз полагается автоматическим. Другими словами, эти особенности должны быть анимированы без непосредственного их определения вами в последовательностях.

Позвольте мне вернуться к глазам и объяснить эту концепцию немного подробнее. Взрослый человек обычно моргает порядка от 10 до 20 раз в минуту. По мере концентрации на чем-либо, моргание становится менее частым, от 3 до восьми раз в минуту. Также, если вы смотрите вперед и назад, вам приходится моргать чаще.

Другие факторы, такие как эмоции, также изменяют частоту моргания глазами. Нервничающий или возбужденный человек моргает приблизительно в два раза чаще, чем обычно, а разозленные люди моргают реже. Золотое правило: если необходимо сосредоточиться, то частота моргания падает; если требуется много движений, частота моргания возрастает.

Для автоматизирования моргания глазами лицевого меша необходимо создать таймер, который бы комбинировал моргающий меш с требуемым интервалом времени. Если вы хотите поддерживать постоянную частоту моргания, вам необ-

308

ходимо заставить моргать глаза каждые 3000 миллисекунд (каждые три секунды). Если же вы хотите быть по-настоящему изобретательным, вы можете добавить возможность помечать разделы скрипта для изменения частоты моргания глаз.

Для этой главы я хочу поддерживать постоянную частоту моргания глаз. Т. о. моргающий целевой меш может быть скомбинирован каждые три секунды, причем продолжительность его анимации равна трети секунды. Это означает, что величина смешивания комбинированного морфируемого меша будет находится в пределах от 0 до 1 в течение первых 33 миллисекунд4 анимации, после чего станет равным 0 на оставшееся время.

А теперь, как насчет движения головы, о котором мы говорили? Опять же, эту особенность легко реализовать, применяя небольшое случайное значение вращения к мешу при визуализации. Ничего сложного, просто убедитесь, что вы не слишком сильно вращаете меш, или все закончится каким-нибудь искаженным второсортным монстром из фильма!

Демонстрационная программа лицевой анимации этой главы иллюстрирует использование автоматического моргания и движения головы; вы можете использовать ее в качестве базы для создания собственных лицевых анимаций. (Для получения дополнительной информации о демонстрационной программе FacialAnim обратитесь к концу этой главы.)

После воплощения автоматических анимаций пришло время перейти к более сложной теме - созданию анимационных последовательностей фонем.

Создание последовательностей фонем

Наряду с используемыми элементарными анимациями, такими как моргание

иподрагивание лица, наиболее важным аспектом лицевой анимации является синхронизация губ. Помните, что губы изменяют форму в соответствии с каждой произносимой фонемой, которые вы и хотите воспроизвести в анимации.

При воплощении синхронизированной анимации губ может быть использовано множество методов. На данный момент самым распространенным способом создания синхронизированной анимации губ является использование скриптов (произносимых

инаписанных) в паре со словарем фонем, используемым для разбиения всех произносимых (и написанных) слов на последовательности фонем.

Скрипт содержит точную произносимую и синхронизируемую с губами последовательность. Например, предположим, что вы хотите, чтобы игровой персонаж произнес "Hello and welcome" синхронно с движением губ. Используя текстовый

4.Видимо — опечатка. 1/3 секунды это 333 миллисекунды. — Примеч. науч. ред.

Морфируемаялицеваяанимация

редактор, введите точную фразу и сохраните ее в текстовом файле. Далее, используя любую программу редактирования звука, произнесите и запишите эту фразу. Убедитесь, что вы сохранили ее в стандартном файле .WAV.

После того как вы выполнили это, вы можете разбить фразу на последовательность фонем. Это делается при помощи словаря фонем, который является файлом данных, содержащим последовательности фонем для каждого слова, хранимого в словаре. Соединяя последовательности для каждого слова, вы можете создать последовательности, соответствующие скриптам.

Например, в определении словаря фонем для слова "Hello" будут следующие фонемы: hh, ah, l и ow. Каждая из этих четырех фонем ассоциирована с соответствующим лицевым мешем. По мере обработки каждой фонемы во время лицевой анимации лицевой меш морфирует в соответствии со звуками. Для последовательности "Hello and welcome" будут использованы следующие фонемы hh, ah, l, ow, ae, n, d, w, eh, l, k, ah и m. Совместное использование скрипта и словаря творит чудеса.

Пока что эта хорошая идея, а как она работает? Давайте рассмотрим процесс написания, записи и обработки данных, который в результате станет синхронизированной анимацией губ. Начнем с написания скриптового файла (тестового файла). Этот скрипт должен содержать все слова произносимые вами или дублером.

Далее, используя формат записи с высоким качеством, запишите скрипт слово в слово. Говорите медленно и отчетливо, делая паузы между словами. После того как вы закончили со скриптом, вы можете очистить звуковой файл, сделав максимальную громкость и убрав статические помехи. Также полезным может быть обработка звука с помощью фильтра, чтобы преобразовать звуки между словами в паузы.

На рис. 11.7 изображена волновая форма нескольких слов, которые я записал для иллюстрации технологии синхронизации губ.

Вот здесь и начинается самая веселая часть! Используя словарь фонем, возьмите написанный скрипт и преобразуйте каждое слово в последовательность фонем. Используя звуковой файл, протестируйте каждое слово (по его звуковой волне) и определите их общую длительность. Длительность каждого слова определяется скоростью анимации для каждой последовательности фонем.

Как определить длительность каждого слова звукового файла? Или точнее, как узнать где находится каждое слово? Помните, имеется скрипт, содержащий точную последовательность произносимых слов. С его помощью вы определяете какое слово является каким, а как же определить положение и длину каждого слова?

Помните, как я сказал вам, чтобы вы говорили медленно, добавляя небольшие паузы между словами? Эти паузы являются как бы сигнальными указателями. Пауза означает конец одного слова и начало другого. Посмотрите еще раз на

310

Глава 11

Рис. 11.7. Волновая форма слов "Hello and welcome!"

звуковую волну рис. 11.7. На этот раз я пометил паузы между словами и использовал их для изолирования слов. На рис. 11.8 показана новая звуковая волна, с выделенными словами и паузами.

Рис. 11.8. Звуковая волна была разбита на секции, означающие слова и паузы
Теперь,	я уверен, вы	начинаете	понимать	значение	использования	скрипта
в сочетании	со словарем!	Используя	значение	времени	(основанное на	частоте

воспроизведения и положении звука), вы можете вернуться к последовательности фонем и использовать значения времени для ее анимации. Что может быть проще?

Морфируемая лицевая анимация

311

И сразу же в качестве примера, посмотрите на программу, которая работает аналогично только что изученному принципу - Linguistic Information Sound Editing Tool (Инструмент звукового редактирования лингвистической информации) корпорации Microsoft.

Использование лингвистического программного обеспечения корпорации Microsoft

Используя концепции применения скриптов, голосов и словарей фонем, пришло время перейти к реальной программе, которая составляет последовательности фонем. Эта программа, Linguistic Information Sound Editing Tool корпорации Microsoft, или для краткости LISET, анализирует файлы .WAV, с записанными в них голосами. В паре с напечатанным скриптом она создает последовательность фонем, которую вы можете использовать в своих играх.

Программа LISET является частью замечательного программного набора Agent корпорации Microsoft. Agent это полноценный пакет анимационных и Голосовых программ, позволяющий пользователям взаимодействовать с анимированными персонажами, встроенными в приложения и веб-странички. Представьте, вы можете иметь виртуального гида, который бы показывал посетителям ваш веб-сайт, и, более того, выглядел бы и говорил как вы!

Чтообы иметь такие возможности, как полная обработка речи, включая синтез речи из текста, обработка фонем и синхронизация губ, вы определенно должны посмотреть на пакет Agent. Для получения дополнительной информации о нем посмотрите сайт http://www.microsoft.com/msagent корпорации Microsoft.

Установите Agent в вашу систему, если вы еще не сделали этого. Убедитесь, что LISET также установлен, поскольку очень скоро он нам пригодится. После того как вы все проинсталлировали, запустите LISET. (Ищите его в меню "Programs" ("Программы").) На рис. 11.9 показано основное окно программы LISET.

После запуска LISET вы можете загрузить файл .WAV, который содержит произнесенный голосом скрипт. Щелкните пункт меню File и выберите Open. Появится диалоговое окно Open, позволяющее указать расположение файла .WAV. Найдите его, выберите и щелкните Open, чтобы продолжить.

После загрузки файла .WAV он сразу готов к обработке. Однако необходимо указать текстовый скрипт, чтобы LISET мог сопоставить его со звуковой волной. Видите окно редактирования Text Representation (Представление текста) наверху приложения LISET? Именно туда вставляется текстовый скрипт. Однако не спешите, потому что окно редактирования может содержать только ограниченное количество букв. Так что пытайтесь вставлять скрипты блоками по 65,000 слов или менее за раз.

312

Глава 11

Рис. 11.9. Linguistic Information Sound Editing Tool корпорации Microsoft позволяет вам загружать файлы .WAV и отмечать кусочки звуковых волн маркерами фонем

Посмотрите еще раз на рис. 11.9, где вы можете видеть, что я загрузил файл .WAV и ввел соответствующий текст. Для проверки последовательности фонем скрипта щелкните Audio (Аудио) и выберите Play (Играть). Видите маленький рот в правом верхнем углу LISET? По мере проигрывания звука маленький рот меняет свою форму в соответствии с произносимыми фонемами. Замечательно, не правда ли?

Для получения настоящего удовольствия щелкните Edit и выберите Generate Linguistic Info (Сгенерировать лингвистическую информацию). Через несколько мгновений (и появления окна продвижения) последовательность фонем будет проанализирована, а информация о них будет наложена на звуковую волну. Посмотрите на рис. 11.10, чтобы увидеть, что я имею ввиду.

LISET выполняет приличный объем работы, помещая фонемы в правильные положения в звуковом файле, но если что-то не совсем правильно, вы можете вручную изменять положения и продолжительности каждой фонемы.

Во время перемещения мыши над каждой фонемой вы заметите, что указатель меняется. На правой и левой фанице фонемы курсор меняется на двойной квадрат со стрелочками, означая, что если вы щелкните и переместите мышь, размер фонемы изменится. Щелчок внутри самой фонемы (не на ее краях) выделит небольшую часть звуковой волны.

Морфируемаялицевая анимация

313

Рис. 11.10. Слово "test" состоит из четырех фонем (t, eh, s и t), которые находятся сверху звуковой волны. Заметьте, что пауза в конце слова также помечена

Вы можете вьщелить кусочки звуковой волны, щелкнуть Edit и выбрать Replace Phoneme (Заменить фонемы), Delete Phoneme (Удалить фонему), Insert Phoneme (Вставить фонему) или Insert Word (Вставить слово). Replace Phoneme позволяет вам изменять фонемы на другие, Delete Phoneme удаляет фонему из последовательности. Используя две функции Insert, вы можете вручную помещать новые слова или фонемы в звуковую волну.

После того как вы обработали и разместили последовательность фонем, отображаемых LISET, вы можете сохранить информацию о них. Щелкните File и выберите Save As. Выберите путь и имя сохраняемого файла, и все готово!

В результате использования LISET последовательности фонем хранятся в специальных файлах, имеющих расширение .LWV. Единственной проблемой является то, как использовать эти файлы в собственных программах? Как насчет конвертирования их во что-нибудь более читаемое?

КонвертированиефайловLISETв.X

Формат файла .LWV, используемый приложением LISET, содержит всю информацию о фонемах, необходимую для создания синхронизированной лицевой анимации губ. Единственной проблемой является то, что вы не хотите иметь дело

314

Глава 11

с форматом файла .LWV в своих проектах. Необходим способ преобразования последовательности фонем из формата .LWV в какой-нибудь более читаемый формат, например .X.

Все правильно, .X опять приходит на помощь! Компакт-диск этой книги содержит вспомогательную программу, называемую ".LWV to .X Converter" (для краткости ConvLWV), которая преобразует файлы .LWV в .X. Посмотрите конец этой главы, чтобы узнать местоположение этой программы. Программа является простой и очень удобной в использовании. Для преобразования файла .LWV в .X все, что необходимо сделать, - это щелкнуть кнопку "Convert .LWV to .X", как показано на рис. 11.11.

Рис. 11.11. Программа ConvLWV предоставляет шесть управляющих элементов, самым важным из которых является кнопка "Convert .LWV to .X"

После того как вы нажмете кнопку "Convert .LWV to .X", появится диалоговое окно "Select .LWV File for Import" ("Выберите импортируемый файл .LWV"). Используйте управляющие элементы этого окна для указания исходного конвертируемого файла .LWV. После выделения файла нажмите Open.

Далее вы увидите диалоговое окно Select .X File for Export (Выберите экспортируемый файл .X). Введите путь и имя файла, в который будет экспортирована последовательность фонем, и нажмите Save. Фу! Через несколько секунд в вашем распоряжении окажется .X файл, содержащий последовательность фонем!

Формат экспортируемого файла .X выглядит следующим образом:

xof 0303txt 0032

// Экспортировано с помощью программы .LWV to .X Converter v1.0 (с) 2002-

//03 by Jim Adams

Header

{

Морфируемаялицеваяанимация

1;

0;

1;

}

Как и обычный .X файл, экспортированная последовательность фонем начинается с определения формата заголовка. После него находится бесстыдная рекламная вставка и объект данных Header. Ничего, чего бы вы не видели раньше, не происходит. Однако далее следует то, на что необходимо обратить внимание.

//DEFINE GUID(Phoneme, 0x12b0fb22, 0x4f25, 0x4adb, 0xba, 0x0, 0xe5, 0xb9,

//0xc1, 0x8a, 0x83, 0x9d)

template Phoneme

{

<12B0FB22-4F25-4adb-BA00-E5B9C18A839D> DWORD PhonemeIndex;

DWORD StartTime; DWORD EndTime;

}

//DEFINE_GUID(PhonemeSequence,

//0x918dee50, 0x657c, 0x48b0,

//0x94, 0xa5, 0x15, 0xec, 0x23, 0хе6, 0х3b, 0хс9); template PhonemeSequence

{

<918DEE50-657C-48b0-94A5-15EC23E63BC9> DWORD NumPhonemes;

array Phoneme Phonemes[NumPhonemes];

}

Последовательность фонем, хранимая в файле .X, использует два специализированных шаблона. Первый шаблон, Phoneme, хранит информацию о каждой фонеме. В нем содержится идентификационное число фонемы (номер меша фонемы, о котором вы скоро прочитаете) и начальное и конечное время (в миллисекундах) анимации фонемы.

Так и есть, шаблон Phoneme фактически является ключевым кадром анимации! Вот здесь то и появляется шаблон PhonemeSequence. Он используется для хранения массива объектов Phoneme, определяющего полную последовательность анимации. Количество ключевых кадров анимации определяется первым значением шаблона PhonemeSequence, после которого следует массив ключевых кадров. Такая реализация структуры делает загрузку анимации фонем быстрой и безболезненной.

Давайте продолжим рассмотрение только что созданного файла .X (или даже того, который я создал для иллюстрирования работы конвертатора). Следующий объект PhonemeSequence, названный PSEQ, содержит небольшую анимацию, состоящую из пяти ключевых кадров.

316

PhonemeSequence PSEQ { 5;

116; 0; 30;, // 0x0074 603; 30; 200;, // 0x025b 115; 200; 230;, // 0x0073 116; 230; 270;, // 0x0074 95; 270; 468;; // 0x0'05f

}

Как вы можете видеть, каждая фонема представлена десятичным Unicode значением IPA (для каждого ключевого кадра в комментариях показано шестнадцатеричное значение IPA). Чтобы сделать систему лицевой анимации по настоящему универсальной, вы можете создать лицевой меш для каждой фонемы. Как вы можете догадаться, ни при каких обстоятельствах не используется более нескольких сотен различных мешей для лицевой анимации, так что необходимо ограничить количество Unicode значений IPA, с которыми вы работаете.

Вот здесь-то вспомогательная программа ConvLWV и проявляется во всей красе - переприсваивая известные вам Unicode значения IPA в меньшие, которыми легче управлять в приложениях. Посмотрев на рис. 11.11, вы заметите, что нижняя часть уточняет использование базы данных преобразования. Эта база данных используется для переприсваивания Unicode значений IPA в значения, заданные вами. Например, вместо использования 0х025b для представления фонемы "eh" (например, в словах "ten" и "berry") вы можете использовать значение 0x0001 (которое может также служить индексом меша фонемы в анимационном движке).

Потом эти значения используются в качестве индексов в массиве мешей, представляющих фонемы. Теперь, вместо использования сотен мешей, вы можете работать с маленьким набором мешей, использующихся для множества фонем. Каждый раз, когда вы переприсваиваете Unicode значения IPA и преобразуете файл .LWV в .X, эти Unicode значения IPA преобразуются в объекте PhonemeSequence. Например, после переприсвоения набора Unicode значений IPA предыдущий объект PSEQ может выглядеть так:

PhonemeSequence PSEQ ( 5;

2; 0; 30;, // 0x0074 3; 30; 200;, // 0x025b

6; 200; 230;, // 0x0073 2; 230; 270;, // 0x0074 0; 270; 468;; // 0x005f

}

Морфируемаялицевая анимация

317

По умолчанию все Unicode значения IPA переприсваиваются таким же значениям: 0х025b всегда преобразуется в 0х025b, 0x0075 всегда 0x0075 и т. д. Для изменения переприсвоенного Unicode значения IPA найдите его в окне списка, в нижней правой части диалогового окна ConvLWV (как показано на рис. 11.12).

Рис. 11.12. В окне списка щелкните два раза на Unicode значения IPA, которое вы хотите изменить. Слева отображается Unicode значение, а справа расположено переприсваеваемое значение

В качестве примера, предположим, вы хотите пререприсвоить фонему "eh" (Unicode значения IPA0x025b) значению 0x0001. В окне списка найдите 0х025b (слева) и щелкните два раза на нем. Появится диалоговое окно Modify Conversion Value (Измените преобразуемое значение), которое позволяет вам ввести новое значение (см. рис. 11.13). Введите 0x0001 и щелкните OК. Значения, содержащиеся в окне списка, обновятся, и вы можете продолжить переприсваивать их.

Рис. 11.13. Диалоговое окно Modify Conversion Value позволяет вам изменять Unicode значения IPA. Введите новое используемое значение и нажмите OK