- •Стандарт mpeg-4
- •1. Особенности стандарта mpeg-4
- •1.1. Кодированное представление медийных объектов
- •1.2. Состав медийных объектов
- •1.3. Описание и синхронизация потоков данных для медийных объектов
- •1.4. Доставка потоков данных
- •1.5. Взаимодействие с медийными объектами
- •1.6. Менеджмент и идентификация интеллектуальной собственности
- •2. Основные функции в mpeg-4 версия 1
- •2.1. Dmif
- •2.2. Системы
- •2.3. Аудио-система
- •2.4. Видео-система
- •2.4.1. Поддерживаемые форматы
- •2.4.2. Эффективность сжатия
- •2.4.3. Функции, зависящие от содержимого (Content-Based)
- •2.4.4. Масштабируемость текстур изображений и видео
- •2.4.5. Кодирование формы и Alpha-представление
- •2.4.6. Надежность в средах, подверженных ошибкам
- •2.4.7. Анимация лица
- •2.4.8. Кодирование 2-d сеток с нечетко выраженной структурой
- •3.2.2. Анимация тела
- •3.2.3. Кодирование 3-d полигональных сеток
- •3.3. Звук
- •3.4. Dmif
- •3.4.5. Dai-синтаксис на языке си
- •4. Расширения mpeg-4 за пределы версии 2
- •4.1. Визуальная область системы
- •4.2. Системы
- •4.2.1. Advanced bifs
- •4.2.2. Текстуальный формат
- •4.2.3. Улучшенная модель синхронизации
- •5. Профайлы в mpeg-4
- •5.1. Визуальные профайлы
- •5.2. Аудио профайлы
- •5.3. Профайлы графики
- •5.4. Графические профайлы сцены
- •5.5. Профайлы mpeg-j
- •5.6. Профайл дескриптора объекта
- •6. Верификационное тестирование: проверка работы mpeg
- •6.1. Видео 6.1.1. Тесты эффективности кодирования6.1.1.1. Низкие и средние скорости передачи бит (версия 1)
- •6.1.1.2. Кодирование, базирующееся на содержимом (версия 1)
- •6.1.1.3. Профайл продвинутой эффективности кодирования ace (Advanced Coding Efficiency) (версия 2)
- •6.1.2. Тесты устойчивости к ошибкам6.1.2.1. Простой профайл (версия 1)
- •6.1.2.2. Простой продвинутый профайл реального времени arts (Advanced Real-Time Simple) (версия 2)
- •6.1.3. Тестирование стабильности временного разрешения6.1.3.1. Простой продвинутый профайл реального времени arts (Advanced Real-Time Simple) (версия 2)
- •6.1.4. Проверки масштабируемости6.1.4.1. Простой масштабируемый профайл (версия 1)
- •6.1.4.2. Центральный профайл (core profile версия 1)
- •6.2. Звук
- •7. Промышленный форум mpeg-4
- •8. Детальное техническое описание mpeg-4 dmif и систем
- •8.1. Dmif
- •8.1.1. Вычислительная модель dmif
- •8.2. Демультиплексирование, синхронизация и описание потоков данных
- •8.2.1. Демультиплексирование
- •8.2.2. Синхронизация и описание элементарных потоков
- •8.2.3. Управление буфером
- •8.2.4. Идентификация времени
- •8.3. Улучшенная модель синхронизации (FlexTime)
- •8.3.1. Гибкая длительность
- •8.3.2. Относительное время начала и конца
- •8.3.3. Поддержка FlexTime в mpeg-4
- •8.3.3.1. Узел TemporalTransform
- •8.3.3.2. Узел TemporalGroup
- •8.3.3. Дескриптор сегмента (SegmentDescriptor)
- •8.3.4. Модель исполнения
- •8.4. Описание синтаксиса
- •8.5. Двоичный формат описания сцены bifs (Binary Format for Scene description)
- •8.5.1. Продвинутый формат bifs
- •8.6. Взаимодействие с пользователем
- •8.7. Ipr идентификация и защита
- •8.8. Информация содержимого объекта
- •8.9. Формат файлов mpeg-4
- •8.10. Mpeg-j
- •9. Детальное техническое описание визуальной секции mpeg-4
- •9.1. Приложения видео-стандарта mpeg-4
- •9.2. Натуральные текстуры, изображения и видео
- •9.3. Синтетические объекты
- •9.4. Масштабируемое кодирование видео-объектов
- •9.5. Устойчивость в среде, предрасположенной к ошибкам
- •9.6. Улучшенная стабильность временного разрешения с низкой задержкой буферизации
- •9.7. Кодирование текстур и статические изображения
- •9.8. Кодирование нескольких видов и большого числа вспомогательных компонентов
- •9.8.1. Анимация лица
- •9.8.2. Анимация тела
- •9.8.3. Анимируемые 2-d сетки
- •9.8.4. 3D-сетки
- •9.8.5. Масштабируемость, зависящая от изображения
- •9.9. Структура средств для представления натурального видео
- •9.10. Поддержка обычной функциональности и зависящей от содержимого
- •9.11. Видео изображение mpeg-4 и схема кодирования
- •9.11.1. Эффективность кодирования в V.2
- •9.12. Кодирование текстур в статических изображениях
- •9.13. Масштабируемое кодирование видео-объектов
- •9.14. Устойчивость в среде, предрасположенной к ошибкам
- •9.14.1. Ресинхронизация
- •9.14.2. Восстановление данных
- •9.14.3. Сокрытие ошибок
- •10. Подробное техническое описание mpeg-4 аудио
- •10.1. Натуральный звук
- •10.2. Улучшения mpeg-4 аудио V.2 10.2.1. Устойчивость к ошибкам
- •10.2.2. Аудио-кодирование с малыми задержками
- •10.2.3. Масштабируемость гранулярности
- •10.2.4. Параметрическое кодирование звука
- •10.2.5. Сжатие тишины celp
- •10.2.6. Устойчивое к ошибкам hvxc
- •10.2.7. Пространственные характеристики среды
- •10.2.8. Обратный канал
- •10.2.9. Транспортный поток звука
- •10.3. Синтетический звук
- •10.3.1. Синтез с множественным управлением (Score Driven Synthesis).
- •11. Приложение. Словарь и сокращения
3.4.5. Dai-синтаксис на языке си
DMIF V.2 вводит информативное дополнение, который предоставляет синтаксис C/C++ для прикладного интерфейса DMIF, как это рекомендуется API-синтаксисом.
4. Расширения mpeg-4 за пределы версии 2
MPEG в настоящее время работает с номером расширения версии 2, в визуальной и системной областях. Никаких работ по расширению MPEG-4 DMIF или Аудио за пределы версии 2 не проводились.
4.1. Визуальная область системы
В визуальной области подготавливается добавление следующих методик:
Масштабируемость пространственного разрешения (Fine Grain) находится на фазе голосования, с предложенными ‘Профайлами поточного видео’ (‘Advanced Simple’ и ‘Fine Grain Scalability’). Масштабируемость пространственного разрешения представляет собой средство, которое допускает небольшие изменения качества путем добавления или удаления слоев дополнительной информации. Это полезно во многих ситуациях, особенно для организации потоков, но также и для динамического (‘статического’) мультиплексирования предварительно закодированных данных в широковещательной среде.
Средства для использования MPEG-4 в студии. Для этих целей были приняты меры для сохранения некоторой формы совместимости с профайлами MPEG-2. В настоящее время, простой студийный профайл находится на фазе голосования (Simple Studio Profile), это профайл с кодированием только I-кадра при высоких скоростях передачи данных (несколько сот Мбит/с), который использует кодирование формы (shape coding). Ожидается добавление профайла ядра студии (Core Studio Profile) (с I и P кадрами).
Изучаются цифровые камеры. Это приложение потребует truly lossless coding, и not just the visually lossless that MPEG-4 has provided so far. A Preliminary Call for Proposals was issued in October 2000.
4.2. Системы
4.2.1. Advanced bifs
Продвинутый BIFS предоставляет дополнительные узлы, которые могут быть использованы в графе сцены для мониторирования доступности и управляемости среды, такие как посылка команд серверу, продвинутый контроль воспроизведения, и так называемый EXTERNPROTO, узел, который обеспечивает дальнейшую совместимость с VRML, и который позволяет написание макросов, определяющих поведение объектов. Предусмотрено улучшенное сжатие данных BIFS, и в частности оптимальное сжатие для сеток и для массивов данных.
4.2.2. Текстуальный формат
Расширяемый текстовой формат MPEG-4 XMT (Extensible Textual format) является базовым для представления MPEG-4 описаний сцен, использующих текстовой синтаксис. XMT позволяет авторам текста обмениваться его содержимым друг с другом. Консорциумом Web3D разработаны средства обеспечения совместимости с расширяемым X3D (Extensible 3D), и интеграционным языком синхронизованного мультимедиа SMIL (Synchronized Multimedia Integration Language) от консорциума W3C.
Формат XMT может быть изменен участниками SMIL, VRML, и MPEG-4. Формат может быть разобран и воспроизведен непосредственно участником W3C SMIL, преобразован в Web3D X3D и заново воспроизведен участником VRML, или компилирован в презентацию MPEG-4, такую как mp4, которая может быть затем воспроизведена участником MPEG-4. Ниже описано взаимодействие с XMT. Это описание содержит в себе MPEG-4, большую часть SMIL, масштабируемую векторную графику (Scalable Vector Graphics), X3D, а также текстуальное представление описания MPEG-7 (смотри http://www.cselt.it/mpeg, где имеется документация на стандартe MPEG-7).
XMT содержит два уровня текстуального синтаксиса и семантики: формат XMT-A и формат XMT-Щ.
XMT-A является версией MPEG-4, базирующейся на XML, содержащей субнабор X3D. В XMT-A содержится также расширение MPEG-4 для X3D, что бы работать с некоторыми специальными средствами MPEG-4. XMT-A предоставляет прямое соответствие между текстовым и двоичным форматами.
XMT-Щ является абстракцией средств MPEG-4 высокого уровня, базирующейся на W3C SMIL. XMT предоставляет по умолчанию соответствие Щ и A.