- •1. Понятие телевизионного стандарта. Телевизионные стандарты: secam, pal, ntsc, hdv и их характеристики.
- •3. Цифровое видео: особенности, основные характеристики.
- •4. Понятие о сжатии информации. Методы и алгоритмы сжатия.
- •2. Понятие аналогово-цифрового преобразования. Основные операции аналогово-цифрового преобразования: дискретизация и квантование.
- •5. Линейные системы. Дискретные и непрерывные сигналы. Теорема Котельникова. Алиасинг.
- •7. Корреляция. Дискретное преобразование Фурье (дпф).
- •8. Применения дпф.
- •6. Импульсная характеристика. Свертка.
- •9. Применения цифровой обработки сигналов.
- •12. Компенсация движения на основе областей, подпиксельная компенсация движения.
- •10. Понятие видеокодека. Блок схема кодера. Принцип работы.
- •13. Модель изобр. Кодирование изобр. С предсказ. Кодирование преобразованием. Квантование. Переупорядочение и кодир. Нулей.
- •15. Гибридная модель dpcm/dct видеокодека.
- •16. Цветовые пространства: rgb, yCbCr; форматы сэмплир. YCbCr.
- •14. Энтропийный кодер. Коды с предсказанием. Коды переменной длины. Арифметическое кодирование.
- •18. Оценка качества видеоизображения: субъективное и объективное измерение качества.
- •20. Форматы сжатия аудиоданных с потерями.
- •21. Форматы сжатия аудиоданных без потерь.
- •17. Понятие формата видеофайлов. Основные видеоформаты и их характеристики.
- •29. Классификация жанров кино по imDb и их основные характеристики.
- •31. Программа нелинейного монтажа Adobe Premiere. Основные правила монтажа.
- •32. Промо-ролик, трейлер, тизер: основные отличия, правила создания.
- •30. Морфинг и варпинг. Принципы построения, назначение.
- •33. Стилизация видео. Основные принципы стилизации.
- •23. Извлечение звука из различных источников
- •34. Спецэффекты. Основные понятия и назначение. Классификация. Основные методы и приемы разработки.
- •24. Параметры цифрового звука.
- •25.Обработка звука – фильтры.
- •27. Использование аудиофайлов в Web
- •28. Основы видеомонтажа. Основные понятия. Линейный и нелинейный монтаж. Основные принципы и методы видеомонтажа.
15. Гибридная модель dpcm/dct видеокодека.
Большинство стандартов видеокодирования основаны на некоторой единой модели видеокодека - гибридной моделью DPCM/DCT, которая включает оценку движения и компенсацию высоких частот (обозначается DPCM), стадию преобразования и энтропийный кодер.
Видеокодер обрабатывает кадр Fn и производит закодированный (сжатый) битовый поток, а декодер использует этот битовый поток для построения реконструированного кадра Fn'. Он обычно неидентичен исходному кадру Fn. Большинство функций декодера имеются в кодере.
Поток данных кодера. Имеется два основных пути прохождения данных в кодере: слева направо (кодирование) и справа налево (реконструкция). Поток кодирования состоит в следующем:
1. Видеокадр Fn подается на вход кодера и обрабатывается там макроблоками (областям из 16 х 16 сэмплов яркости и хроматичности).
2. Кадр Fn сравнивается со ссылочным кадром, например с ранее закодированным кадром Fn-1’. Функция оценки движения находит в Fn-1', (или в интерполированной по подсэмплам версии кадра Fn-1') область 16 х 16, которая больше других «похожа» на текущий макроблок в Fn. Смещение текущего макроблока по отнош. к положению выбранного ссылочного макроблока записывается в вектор движения VM.
3. На основе выбранного вектора движения VM строится прогноз компенсированного движения P (область 16 х 16, выбранная функцией оценки движения).
4. Макроблок P вычитается из текущего макроблока, и их разность D называется остаточным макроблоком.
5. Макроблок D преобразуется с помощью DCT. Обычно макроблок D делится на подблоки, и каждый подблок преобразуется отдельно.
6. Каждый подблок квантуется (X).
7. Для коэффициентов DCT всех подблоков делается переупорядочение и результат кодируется символами «серия-значение».
8. Коэффициенты, векторы движения и связанные с ними информационные заголовки каждого макроблока кодируются энтропийным кодером для получения выходного сжатого битового потока.
Поток реконструкции данных.
1. Для каждого квантованного макроблока X делается его деквантование и обратное преобразование для получения декодированного остаточного макроблока D’. Процедура квантования не является обратимой, поэтому макроблок D’ в большинстве случаев не совпадает с D (т.е. здесь вносится искажение).
2. Прогноз компенсации движения P складывается с D’ для получения реконструированного макроблока, который сохраняется в реконструированном кадре Fn'.
Поток данных декодера.
1. Сжатый поток битов декодируется энтропийным декодером для извлечения из него коэффициентов преобразования, векторов движения и заголовков каждого макроблока.
2. Обращается кодирование «серия-значение», и делается обычное упорядочение коэффициентов. В результате получается квантованный преобразованный макроблок X.
3. Макроблок деквантуется, и к результату применяется обратное преобразование DCT, что дает остаточный макроблок D’.
4. Декодированный вектор движения используется для нахождения позиции области 16 х 16 на предыдущем (ссылочном) кадре Fn-1', копия которого хранится декодером. Эта область становится прогнозом с компенсацией движения P.
5. Макроблок P прибавляется к D’, и получается восстановленный макроблок, который сохраняется на своем месте на декодир. кадре Fn'.
После полного декодирования кадр Fn' готов для демонстрации зрителю и, кроме того, его можно сохранить в качестве ссылочного кадра для декодирования следующего кадра Fn+1'.
Из рисунков, а также из приведенных объяснений видно, что кодер содержит в себе часть функций декодера (деквантование, IDCT, реконструкция). Это необходимо, чтобы быть уверенным в том, что и кодер, и декодер работают с одними и теми же ссылочными кадрами Fn-1' для получения прогноза компенсации движения.