Следующим шагом в пространственном сжатии является размещение квантованных пространственных коэффициентов в одномерный вектор, кото-

рый затем будет являться частью таблиц кодов переменной длины. Процесс этого размещения называется зигзагообразным сканированием. После того как квантованные коэффициенты занесены в одномерный вектор, этот вектор становится частью книги кодов переменной длины. Назначение её состоит в минимизации среднего числа бит, требующихся для кодирования этого век-

тора.

Р-кадры образованы при помощи предсказания по предыдущимIили Р-кадрам. Предыдущие I или Р кадры, используемые для предсказания Р кад-

ров, называются базовыми изображениями (reference picture). Предсказание Р кадров состоит из двух независимых шагов: компенсация движения и кодиро-

вание остаточного изображения (Residual Image coding).

Кодирование остаточного изображения. Качество предсказания может очень сильно изменяться. Например, если сцена была вырезана между изо-

бражением, которое предсказано, и основным изображением, то тогда не будет соответствия с основным кадром и макроблок будет закодирован как

Intra, несмотря на то что он относится к Р - изображению.

В этом случае основной макроблок (макроблок, на который идет ссылка при предсказании) будет вычтен из макроблока, имеющегося на входе для формирования остаточного изображения. Это остаточное изображение затем кодируется при помощи специальной схемы. В декодере сначала делается предсказание для макроблока с компенсацией движения, а затем к нему до-

бавляется декодированное остаточное изображение для полного завершения процесса предсказания [1].

7.7.3 Стандарт MPEG-4

Стандарт MPEG-4 является дальнейшим развитием стандартаMPEG-2.

Основы разработки стандартаMPEG-4 были заложены группой ученых из

MPEG еще в 1993 году, и уже к концу1998 года произошло утверждение пер-

вого стандарта. Впоследствии стандарт неоднократно дорабатывался, в 1999

году получил официальный статус и затем был стандартизован со сторон

ISO/IEC (ISO/IEC 14496).

312

Вотличие от принципа "покадрового" кодирования в стандартах MPEG-1

иMPEG-2, концепция MPEG-4 принципиально изменена. Изображение и звук не комбинируются перед отправкой, а передаются посредством нескольких параллельных потоков. Большой объем работы переведен на принимающую и воспроизводящую часть процесса. Если в предыдущих форматах единствен-

ной задачей клиентского декодера была обработка отдельных кадров и после-

довательное их воспроизведение, то теперь декодер должен провести полное воссоздание и микширование звука и изображения, то есть то, что до сих пор обычно делало оборудование в телевизионной студии [1].

Байтовые потоки, которые в терминологииMPEG-4 называются эле-

ментарными, могут переносить любую информацию, имеющую отношение к окончательному изображению. Каждый вид информации далее можно распре-

делять по кадрам наиболее подходящим методом. Таким образом, отдельно кодируются текстовые данные, статические изображения, последователь-

ность движущихся изображений, общие звуки, речь и т. п. Следующий само-

стоятельный поток содержит описание сцены, т. е. способ, которым складыва-

ются элементарные блоки информации при окончательном воспроизведении.

Этот поток также организован соответствующим бинарным кодированием.

Таким образом, MPEG-4 обеспечивает необходимые средства для опи-

сания взаимного расположения объектов(элементов) сцены в пространстве и времени с целью их последующего представления потенциальным зрителям в ходе воспроизведения. Кроме того, при разработке стандартаMPEG-4 реша-

лись проблемы обеспечения воспроизведения объектов сцены в различных ус-

ловиях пропускной способности сетей передачи данных. Был разработан фор-

мат, допускающий «универсальный доступ» к мультимедийной информации с учетом возможных ограничений полосы пропускания, возникающих в сетях при самых разных условиях. Другими словами, один и тот же видеофрагмент может быть представлен с различным качеством для различных каналов в зави-

симости от их пропускной способности.

На рисунке 7.12 изображен кодер MPEG-4, где 1 – буферное основное запоминающее устройство (БОЗУ); 3 – блок дискретно-косинусного преобра-

зования (БДКП); 5 – блок кодирования текстур (БКТ); 7 – блок кодов пере-

менной длины (БКПД); 8 – блок деквантования (БДКв); 9 – блок обратного дискретно-косинусного преобразования (БОДКП); 11 – кадровое основное запоминающее устройство (КОЗУ); 12, 13,14 – блоки предсказания (БП).

313

Рисунок 7.12 –Структурная схема видеокодера стандарта MPEG-4

314

Основная структура процесса кодирования включает в себя кодирование формы (для видео объектов с произвольной формой) и компенсацию движе-

ния как в пространственном кодировании текстур(используется стандартное

8x8 или адаптивное пространственное преобразование).

Важное преимущество кодирования, основанного на контенте – это то,

что эффективность сжатия в этом случае может быть сильно улучшена, особен-

но для видеопоследовательностей с использованием инструментов предсказа-

ния движения отдельно для каждого объекта в сцене. Способы предсказания движения, которые могут быть использованы для эффективного кодирования и гибкого представления объектов:

-стандартная, основанная на блоках размером8x8 или 16x16 пикселей оценка и компенсация;

-глобальная компенсация движения использующая8 параметров дви-

жения и описываемое аффинным преобразованием;

- глобальная компенсация движения, основанная на передаче статиче-

ских "спрайтов". Статический спрайт - это наибольшая часть неподвижного изображения, описывающая, например, панорамный задний план. Для каждого конкретного изображения в последовательности для реконструкции объекта кодируются только 8 глобальных параметров движения, описывающих движе-

ние камеры. Эти параметры представлены соответствующим аффинным преоб-

разованием спрайта переданного в первом кадре;

- глобальная компенсация движения, основанная на динамических спрайтах. Спрайты не передаются с первым кадром, но динамически генери-

руются в сцене.

Эффективное кодирование текстур и неподвижных изображений в

MPEG-4 обеспечивается режимом визуальных текстур. Этот режим основан на алгоритме zerotree wavelet, который обеспечивает большую эффективность кодирования в достаточно большом диапазоне скоростей передачи данных.

Вместе с большой эффективностью компрессии это так же обеспечивает про-

странственную стабильность и стабильное качество.

MPEG-4 поддерживает кодирование изображений и видео объектов с пространственным и временным масштабированием. Масштабирование осно-

315

вано на возможности декодировать только часть потока данных и восстанав-

ливать изображения или последовательности изображений с:

-уменьшением сложности декодера при уменьшении качества;

-уменьшенным пространственным разрешением;

-уменьшенным временным разрешением;

-одинаковыми (эквивалентными) временным и пространственным раз-

решениями, но с меньшими качеством.

Основной задачей при выборе стандарта сжатия, Motion-JPEG или

MPEG-4, является гарантия получения максимально высокого качества изобра-

жения [10].

В последнее время, описанные выше форматы сжатияH.263 и MPEG,

начинают объединять, беря из них самое лучшее и передовое, для создания но-

вого стандарта сжатия видео следующего поколения.

7.6.4. Сравнение стандартов Motion-JPEG, MPEG-2, MPEG-4

Благодаря простоте, стандарт Motion-JPEG широко используется во многих системах и зачастую является удачным выбором для решения задач ви-

деонаблюдения. При его использовании задержка между получением и кодиро-

ванием изображения в камере, передачей его по сети, декодированием и ото-

бражении на экране монитора незначительна. Другими словами, из-за своей простоты, Motion-JPEG обеспечивает минимальное время задержки между ре-

альным событием и его цифровым отображением, что позволяет оперативно обрабатывать изображение, например используя детектор движения, и отсле-

живать движущиеся объекты. При использовании форматаMotion-JPEG воз-

можна передача изображения с любым разрешением, начиная от самого мини-

мального QVGA для мобильного телефона, до разрешения в несколько мега-

пикселов. Он гарантирует качество изображения не зависимо от его сложности и количества/размера движущихся объектов, предлагая пользователю выбрать наиболее оптимальные параметры, подходящие для его системы (высокое каче-

ство изображения (низкое сжатие) или более низкое качество (высокое сжатие)

и меньшие размеры файла, позволяющие снизить нагрузку на сеть и уменьшить размеры дискового пространства, необходимые для хранения видео информа-

316

ции). Скорость передачи кадров может быть установлена принудительно и под-

страивается автоматически под имеющуюся полосу пропускания без потери качества изображения.

Однако при компрессии Motion-JPEG не используются алгоритмы видео сжатия, это производит к относительно большим объемам данных, передаю-

щихся по сети. В этом отношении, форматы MPEG имеют преимущество по сравнению с M-JPEG, т.к. по сети за единицу времени передается меньший объем информации (более низкий bit-rate). Если существуют ограничения по полосе пропускания, если видео должно записываться с большой скоростью и есть ограничения по размеру дискового пространства– выбор MPEG сжатия может оказаться единственно возможным. Он обеспечивает относительно вы-

сокое качество изображения при более низкой нагрузке на транспортную маги-

страль (требуется меньшая полоса пропускания), по сравнению с Motion-JPEG в 2.5 – 7 раз. Однако это достигается за счет более сложных алгоритмов кодиро-

вания/декодирования, требующих большего времени на обработку видео, что приводит к значительным задержкам (до 3-4 секунд) между реальным событи-

ем и отображением его на экране.

При низких скоростях MPEG-4 не дает выигрыша, т.к. несуществующие кадры «заполняются» аппроксимированной информацией смежных изображе-

ний. При больших значениях скорости передачи кадров, для MPEG-4 требуется значительно меньшая полоса пропускания, чем для Motion-JPEG.

Таким образом, из выше сказанного можно сделать следующие выво-

ды. В большинстве приложений используется формат сжатияMotion-JPEG, по-

зволяющий найти компромисс между качеством и скоростью передачи видео изображения. MPEG-4 позволяет экономить дисковое пространство и менее требователен к размеру полосы пропускания, но предъявляет повышенные тре-

бования к ресурсам рабочей станции, обрабатывающей видео поток. В случаях,

когда нужно только записывать или просматривать видео, MPEG-4 идеальный выбор, но если необходимо анализировать изображение предпочтение стоит отдать Motion-JPEG.

317

7.8 МЕТОДЫ КОМПРЕССИИ ИЗОБРАЖЕНИЙ В

МУЛЬТИМЕДИЙНЫХ СИСТЕМАХ

7.8.1 Метод DivX

Описанные в подразделе 7.6 стандарты предполагают их использование в классических системах вещательного ТВ. В то же время изображения и звук могут распространяться и другими методами – на носителях различного типа, а

также путем использования глобальных компьютерных сетей, в том числе

Internet. Если раньше звуковые дорожки и видеосюжеты были слишком«тяже-

лы» для Web, то современные скорости передачи данных по Всемирной ком-

пьютерной сети в совокупности с новыми технологиями сжатия мультимедиа-

данных, а также постоянно нарастающий темп перехода вon-line диктуют со-

всем другие условия. Теперь ни для кого не секрет, что большинство мульти-

медиа-ресурсов доступно также и в режимеon-line. Причем если раньше это делалось в основном для скачивания с последующим просмотром(прослуши-

ванием), то теперь это стало доступно также и в режиме потокового воспроиз-

ведения.

Очевидно, что для представления информации вWeb требуется ка-

чество без потерь с точки зрения усвоения или в крайнем случае- с есте-

ственными потерями качества. Тем не менее до последнего времени прак-

тически не существовало алгоритма, позволяющего передавать видео при-

емлемого качества в потоковом режиме по сети за реальное время. С этой точки зрения колоссальным прорывом явилось появление таких стандар-

тов, как MPEG-7 и DivX.

DivX базируется на формате MPEG-4. Существует четыре режима сжатия, в которых работают кодеры стандартаMPEG-4 (в частности, DivX): а) однопроходный с постоянным битрейтом, б) однопроходный с переменным битрейтом, в) однопроходный с постоянным качеством и ) г

двухпроходный.

а) однопроходный режим с постоянным битрейтом. Однопроходный ре-

жим с постоянным битрейтом самый простой: каждый кадр (или группа кадров

- например, 25 последовательных кадров, это одна секунда видео) имеет оди-

318

наковый размер. Результирующий поток видеоданных имеет постоянный бит-

рейт, что и определяет основное применение такого режима: цифровое видео-

вещание (digital video broadcasting). Алгоритм этого режима весьма простой, и,

соответственно, нересурсоемкий - это может оказаться очень полезным в слу-

чае сжатия видео в реальном времени, например при оцифровке видео. Однако,

результаты, полученные в таком режиме, существенно уступают результатам в других однопроходных режимах.

б) однопроходный режим с переменным битрейтом. Однопроходный

режим с переменным битрейтом реализует простейшую схему по избавлению от главного недостатка постоянного битрейта: одинаковое количество бит на каждую сцену, вне зависимости от сложности этой сцены для сжатия. Этот ре-

жим реализует простую схему: если кадр простой для сжатия, то используется

лишь часть выделенных для нее битов. Остальные биты «откладываются» в

своего рода копилку - резервуар. Благодаря этому на сложных сценах можно использовать больше бит для сжатия кадра- заимствуется часть битов из ре-

зервуара. Данная схема проста и эффективна, потому с одной стороны она дает много лучшее качество изображения, чем в режиме с постоянным битрейтом. А

с другой стороны - алгоритм сжатия не на много сложнее и вполне может ис-

пользоваться для сжатия видео в реальном времени.

Однако, объем резервуара ограничен, потому слишком часто встречают-

ся проблемы такого рода: длинная статичная сцена, а резервуар полон. Поэтому конец длинных статичных сцен всегда имеет слишком высокое качество(отно-

сительно среднего качества сжатого материала). Другая крайность - длинная динамичная сцена. Нам нужны дополнительные биты из резервуара, но резер-

вуар уже исчерпан в начале быстрой сцены. Кадры кодируются со средним битрейтом, которого здесь слишком мало. Потому конец длинной динамичной сцены имеет слишком низкое качество.

в) однопроходный с постоянным качеством. Название этого режима - «с

постоянным качеством» - не совсем корректно. В процессе сжатия остается постоянным так называемыйquantizer - численная характеристика степени сжатия кадра. В программе NanDub этот параметр менее лаконично, но более вразумительно называется степень игнорирования деталей(detail removal factor, DRF). Стандарт сжатия MPEG использует аналогичное стандарту JPEG

319

сжатие графической информации в кадре. Особенность этой схемы сжатия со-

стоит в том, что чем выше степень сжатия, тем больше на сжатом изображении заметно квадратных блоков. Именно эту степень сжатия и описывает степень игнорирования деталей - чем этот показатель выше, тем больше сжатие, тем ниже качество, тем более заметны квадраты. Значения этого показателя могут быть от 2 (максимальное качество) до 31 (минимальное качество).

Режим с постоянным качеством использует наиболее простой алгоритм сжатия, потому этот режим в первую очередь рекомендуется для сжатия видео в реальном времени- такой способ кодирования самый быстрый. Основной недостаток этого режима - не возможно узнать заранее (до сжатия), какой раз-

мер будет иметь результат.

г) двухпроходный режим. Сжатие видео в этом режиме проводится в два прохода и, соответственно, занимает примерно вдвое больше времени. В пер-

вый проход собирается статистика о сжимаемости видео материала. Во втором проходе эта статистика используется для перераспределения битов, причем би-

ты могут перераспределяться не только в пределах некоторого небольшого промежутка времени, как было в случае однопроходного режима и схемой с резервуаром битов, а на протяжении всего материала.

Очевидно, что именно двухпроходный режим обеспечивает максималь-

ное качество сжатия видео. В сравнении с однопроходным режимом с перемен-

ным битрейтом он лучше, потому что по сути позволяет иметь резервуар сколь угодно большого размера, четкую стратегию «какой сцене сколько бит из ре-

зервуара можно отдать» и, как следствие, отличную точность предсказания размера результата сжатия. По сравнению с однопроходным режимом с посто-

янным качеством двухпроходный режим может использовать кадры с меньшей степенью игнорирования деталей там, где это более заметно, и с большей - там где это менее заметно. Это приводит к более экономному использованию битов и, соответственно, к меньшему размеру результата сжатия при том же видимом качестве.

При первом и втором проходе необходимо использовать один и тот же источник видео материала. Это достаточно прозрачно, когда загружать в редак-

тор один и тот же файл. Однако следует помнить, что на вход кодера поступает результат обработки видео различными фильтрами- то есть набор фильтров

320