1.4 Система оценки качества объемного телевизионного изображения

Предлагаемая система относится к области телевидения и, в частности, к системам 3D телевидения, и может использоваться при настройке, калибровке ТВ камер и оценке качества формируемого ими объемного изображения.

Известен ряд систем оценки качества объемного изображения, но большинство из них не охватывает передающие камеры, которые вносят значительные искажения по сравнению с 2D телевидением из-за влияния внешних параметров, как-то: базис съемки, вертикальный и горизонтальный параллакс. Свое влияние оказывают артефакты, вызванные несовершенством оптических деталей в камере, артефакты от дискретизации информации при использовании ПЗС сенсоров и артефакты, вызванные геометрическими искажениями стереокамер.

Известна система стереоцветного телевидения (СЦТ) с используемым для оценки ее качества испытательным объектом [15], предназначенная для оценки качества стереоизображения. Система содержит две ТВ камеры, перед которыми установлены киноленты с испытательными изображениями, а сформированное обеими камерами стереоизображение проецируется одновременно от двух камер на стерео видеоконтрольное устройство (ВКУ).

Оценка качества стереоизображения осуществляется экспертами по изображению на экране ВКУ.

Известна также система оценки качества [15], использующая испытательный объект, который сочетает в себе элементы для определения четкости, количества передаваемых черно-белых градаций, геометрических искажений, искажений цветов и объема. Испытательный объект содержит основу в виде главной плоскости, укрепленной вертикально на опорной площадке. В центре главной плоскости сделан круглый вырез, в котором укреплена на подшипниках крестовина из двух взаимно-перпендикулярных дисков, которые могут поворачиваться вокруг своей вертикальной оси на 360º. На первом подвижном диске нанесены вертикальный и горизонтальный клинья четкости. На втором – имеются специальные зажимы, позволяющие располагать сменный набор выкрасок.

В углах главной плоскости испытательного объекта вмонтированы пустотелые объемные фигуры в виде кубиков. Нижние кубики имеют грани, окрашенные в белый цвет, а верхние кубики – без плоских граней. По бокам главной плоскости испытательного объекта, перпендикулярно ей, укреплены по одной вспомогательной плоскости. Перпендикулярно вспомогательным плоскостям смонтирован ряд меньших плоскостей, параллельных главной. Первая малая плоскость находится на расстоянии 250 мм перед главной плоскостью, а последняя – на расстоянии 250 мм за ней. Эти малые плоскости располагаются одна за другой. Каждая последующая плоскость шире предыдущей. Кроме этого, в главной плоскости, в том месте, где крепится вспомогательная плоскость, сделаны два прямоугольных выреза, через которые видны лежащие за главной плоскостью малые плоскости. Они окрашены: три- в основные цвета и четыре – в промежуточные.

Качество воспроизведения системы оценивалось субъективно наблюдателями по искажению цвета малых цветных плоскостей и выкрасок, расположенных на подвижном диске в центре испытательного объекта.

Воспроизведение объема оценивалось по восприятию глубинного расположения малых плоскостей и по восприятию объемных фигур, вмонтированных по углам испытательного объекта.

Каждая из этих систем имеет свои недостатки.

В первой для разных камер используются свои источники изображений, которые вносят дополнительные искажения в оценку качества. Кроме того, в этой системе возможно, но затруднительно создавать подвижное изображение, особенно, если необходимо создавать и оценивать многоракурсное изображение, когда число камер умножается на число ракурсов. Система не позволяет оценивать искажения, вносимые каждой из камер.

Вторая система, использующая объемный испытательный объект, не позволяет изменять сюжеты, что необходимо для надежной оценки качества систем объемного телевидения, и использует сложный испытательный объект.

При этом обе системы не позволяют сравнивать эталонное и искаженное изображения в электронном виде. Это значительно осложняет как субъективную, так и объективную оценку качества системы.

Известен способ для калибровки и настройки системы из двух камер для стереосъемки, используемый при съемке в 3D- формате [16], в которой в качестве испытательного объекта предлагается тестовая таблица Fairburn 3D для работы со стереоригами – как с соосным, так и со светоделительным блоком. Данная таблица содержит 15 тестовых элементов, позволяющих зафиксировать отклонения в настройках камер по вертикали и по горизонтали, а также обнаружить трапецеидальные искажения. Для настройки идентичности цветопередачи таблица содержит шестиугольную версию запатентованного атласа цветов CromaDuMonde (24 цвета + 4 оттенка кожи). Таблица имеет также две серые полосы, насыщенность которых составляет 18% от насыщенности BaSO4 (специально для тех, кто работает с кинопленкой), и миниатюрную шкалу серого – логарифмические шаги 16 и 11 с истинным черным цветом в виде фона таблицы. Максимально контрастные штриховые миры в виде расходящихся веером клиньев позволяют оценивать фокусировку по углам таблицы даже в условиях низкой освещенности.

Данный испытательный объект в виде таблицы Fairburn 3D может быть использован при калибровке стереоригов, для чего при подготовке к съемкам в 3D сначала настраивают камеры с объективами по отдельности перед их установкой на стереориг. При этом центр таблицы должен находиться на одном уровне с центром объективов, и она должна быть установлена в плоскости съемки так, чтобы расстояния от центра до верхней и нижней части таблицы совпадали, а также были равными расстоянию от центра до правого и левого краев.

Использование в данной системе испытательного объекта в виде тестовой таблицы Fairburn 3D позволяет производить калибровку и настройку камер при подготовке к съемке, однако не позволяет создавать подвижные изображения и оценивать ряд важных параметров, характеризующих качество формируемого 3D изображения.

Наиболее близким к предлагаемому решению [17] является система, которая содержит две ТВ камеры, перед которыми установлены киноленты с испытательными изображениями, а сформированное обеими камерами стереоизображение проецируется одновременно от двух камер на стерео видеоконтрольное устройство (ВКУ)

Техническим результатом предлагаемого технического решения является обеспечение возможности:

оценивать качество формируемого объемного изображения передающим трактом от оптической системы видеокамер без внесения искажений, появляющихся при использовании различных источников изображений;

использовать для оценки качества подвижные эталонные ТВ изображения;

оценивать качество формируемого изображения многоракурсного телевидения;

определять искажения, вносимые каждой из камер в формируемое объемное изображение для последующей калибровки и настройки камер;

получения как субъективной, так и объективной оценки качества формируемого изображения и их сопоставления.

Достижение указанного технического результата обеспечивается в предлагаемой системе оценки качества объемного телевизионного изображения, содержащей, по меньшей мере, две телевизионные (ТВ) камеры, перед которыми установлен испытательный объект, выполненный с возможностью получения изображения с изменяющимися сюжетами, воспроизводящее устройство Система отличается тем, что содержит N ТВ камер, где N – число ракурсов ТВ изображения, оптически связанных с монитором, используемым в качестве испытательного объекта при воспроизведении на его экране эталонных объемных ТВ изображений, источник видеосигнала эталонных объемных ТВ изображений, выход которого подключен к первому входу накопителя видеосигнала эталонных объемных ТВ изображений длительностью, достаточной для оценки качества N ракурсов ТВ изображения. Выход накопителя видеосигнала эталонных объемных ТВ изображений подключен к параллельно-последовательному преобразователю видеосигнала эталонных объемных ТВ изображений, первый выход которого связан с входом упомянутого монитора, выходы N ТВ камер подключены к соответствующим входам накопителя видеосигнала искаженных объемных ТВ изображений, выход которого подключен ко входу последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

Для реализации возможности субъективной оценки качества объемного ТВ изображения система может содержать дополнительный 3D монитор для наблюдения экспертами искаженного объемного ТВ изображения, соответствующие входы которого соединены с выходами последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

Для цифрового представления объективной оценки качества объемного ТВ изображения система может содержать вычислитель объективных оценок качества, соответствующие входы которого могут быть связаны с соответствующими выходами параллельно-последовательного преобразователя видеосигнала эталонных объемных ТВ изображений, последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений и соответствующим входом накопителя видеосигнала эталонных объемных ТВ изображений. При этом выход вычислителя объективных оценок качества может служить для подключения к устройству отображения объективных цифровых оценок качества изображений.

При этом дополнительный монитор может быть использован в качестве устройства отображения объективных цифровых оценок качества изображений.

Наличие в данной системе монитора, на экране которого воспроизводится изменяющееся (движущееся) эталонное объемное ТВ изображение, являющееся испытательным объектом, которое считывается N ТВ камерами (по числу ракурсов ТВ изображения), позволяет избежать искажений, при использовании различных источников изображений.

При этом для формирования изменяющегося (движущегося) эталонного объемного ТВ изображения используется видеосигнал M кадров, N ракурсов эталонных ТВ изображений, поступающих от источника видеосигнала эталонных объемных ТВ изображений (например, ячеек памяти компьютера). Этот видеосигнал накапливается в накопителе видеосигнала эталонных объемных ТВ изображений. Длительность накапливаемого видеосигнала выбирается достаточной для оценки качества ТВ изображений, и может составлять порядка 10 секунд или 500 кадров. Считывание накопленного видеосигнала осуществляется параллельно-последовательным преобразователем видеосигнала эталонных объемных ТВ изображений не одновременно, а поочередно по каждому ракурсу. В этом преобразователе происходит кодирование (разделение) видеосигнала по отдельным кадрам каждого ракурса и вводится специальная информация о номерах кадра, ракурса и сюжета (изменяющегося (движущегося) ТВ изображения). Например, это могут быть метки, подобные сигналу телетекста. В результате сформированная из полученных кадров последовательность видеосигнала отображается на экране упомянутого монитора, а каждой из ТВ камер формируется видеосигнал каждого из ракурсов.

Введение этого видеосигнала с выходов ТВ камер в накопитель видеосигнала искаженных объемных ТВ изображений и считывание его последовательно- параллельным преобразователем видеосигнала искаженных объемных ТВ изображений, который декодирует видеосигнал и введенную в него специальную информацию, позволяет сохранить для каждой камеры только кадры с номером соответствующего ей ракурса.

Из вышесказанного ясно, что на выходах обоих преобразователей имеются сформированные по кадрам, ракурсам и сюжетам последовательности видеосигнала эталонных и искаженных ТВ изображений, несущие информацию, которая может быть использована для объективной и субъективной оценки качества формируемого ТВ камерами объемного изображения.

Количественная объективная оценка качества объемного ТВ изображения может быть осуществлена, например, подачей выходных сигналов преобразователей на вычислитель объективных оценок качества.

Субъективная оценка качества может быть осуществлена экспертами при подаче выходного сигнала последовательно-параллельного преобразователя видеосигнала искаженных объемных изображений на вход дополнительного 3D монитора для отображения сформированного объемного ТВ изображения.

Обеспечение возможности определения искажений, вносимых камерами в формируемое объемное ТВ изображение для последующей калибровки и настройки камер, может быть осуществлено путем оценки параметров изображения по испытательным изображениям, например, испытательным таблицам, на экране монитора, или измерительными средствами, например, вычислителем объективных оценок качества.

Функциональная схема предлагаемой системы приведена на рисунке 1.11.

На рисунке 1.12 приведена блок-схема алгоритма процессов обработки видеосигнала N ракурсов эталонного ТВ изображения. На рисунке 1.13 приведена блок-схема алгоритма процессов обработки видеосигнала N ракурсов искаженного ТВ изображения.

Рассмотрим работу предлагаемой системы оценки качества объемного телевизионного изображения.

Рисунок 1.11 - Функциональная схема системы оценки качества объемного изображения

Видеосигнал от источника видеосигнала эталонных объемных ТВ изображений, которые могут представлять собой изображения в виде изменяющихся сюжетов, (в качестве такого источника могут служить ячейки памяти компьютера), поступает в накопитель видеосигнала эталонных объемных ТВ изображений. Накопитель служит для накапливания М кадров ТВ изображения, длительность которых достаточна для оценки качества ТВ изображения (обычно достаточна длительность, равная 10 секундам, или М = 500 кадров), по каждому из N ракурсов, где N – равно количеству ТВ камер, используемых для формирования объемного ТВ изображения. Для стереоскопического телевидения N = 2. Для получения более точных оценок источник эталонных изображений может содержать информацию о сюжетах, съемка которых производилась несколько раз (L повторений сюжетов).

Рисунок 1.12 - Блок-схема параллельно-последовательного преобразователя

Из накопителя видеосигнал эталонных объемных ТВ изображений поступает в параллельно-последовательный преобразователь видеосигнала эталонных объемных изображений, который преобразует видеосигнал М кадров по N ракурсам (с учетом L повторений сюжетов) таким образом, что на 2D монитор выводится поочередно видеосигнал по каждому из N ракурсов.

При этом в активную часть каждого из М кадров вводится специальная информация, например, в виде меток (подобных сигналу телетекста), о номерах кадра, ракурса (сюжета). Из полученных кадров формируется последовательность (1-1, 1-2, …1-М, 2-1, 2-2, …N-М), как показано на рисунке 1.12, которая отображается монитором. Это позволяет использовать 2D монитор, которые имеют в настоящее время более высокие технические характеристики, и избавиться от необходимости использования сепарирующих устройств разделения ракурсов, которые вносят дополнительные искажения и снижают точность оценки качества объемного ТВ изображения.

Рисунок 1.13 – Блок схема последовательно-параллельного преобразователя

Воспроизводимые на экране 2D монитора ТВ изображения каждого ракурса фиксируются установленными перед экраном 2D монитора N ТВ камерами, каждая из которых формирует видеосигнал всех N ракурсов.

С выходов ТВ камер видеосигнал всех N ракурсов объемом M х N кадров (с учетом L повторений сюжетов) поступает в накопитель видеосигнала искаженных объемных ТВ изображений, где для каждого ракурса накапливаются последовательности видеосигнала из М х N кадров (с учетом L повторений сюжетов). С выхода накопителя видеосигнала искаженных объемных ТВ последовательности видеосигнала поступают в последовательно-параллельный преобразователь видеосигнала искаженных объемных ТВ изображений. В преобразователе во всех кадрах декодируются значения оптических меток и кадры распределяются по N ракурсам, номера которых соответствуют определенной ТВ камере, в соответствии с рисункам 1.13.

Из полученных N последовательностей видеосигнала, каждая из которых содержит М кадров (с учетом L повторений сюжетов), формируется 3D видеосигнал в формате, который должен соответствовать 3D дополнительному монитору. 3D монитор может использоваться, если необходимо отобразить количественную субъективную оценку качества ТВ объемного изображения. В этом случае перед экраном 3D монитора располагаются эксперты, оценивающие качество воспроизведенного объемного изображения.

Поскольку видеосигналы эталонных и искаженных объемных ТВ изображений хранятся в электронном виде, с выходов преобразователей они могут быть поданы в вычислитель объективных оценок качества. В вычислителе по любому из известных алгоритмов, например, PSRN [18] может быть вычислена объективная метрика качества объемного ТВ изображения. Результаты вычислений могут быть отображены на экране дополнительного 3D монитора.

Программная реализация процессов хранения и обработки видеосигналов может быть осуществлена согласно представленным блок-схемам алгоритмов (рисунки 1.12 и 1.13) и с использованием упомянутых выше алгоритмов вычисления объективной метрики качества объемного ТВ изображения на профессиональном компьютере.

Выводы

1 Основным способом повышения качества стерео видеосъемки является калибровка камер.

2 Для калибровки стереокамер могут быть использованы плоские и объемные, подвижные и неподвижные испытательные объекты.

3 Исследования показали, что даже при условии отсутствии синхронизации камер и мониторов, возможна высококачественная съемка с экрана монитора, что позволяет его использовать в качестве источника стерео и многоракурсного, неподвижного и подвижного испытательного объекта.

4 Разработана система оценки качества с использованием электронного испытательного объекта.

5 Разработанная система позволяет создавать подвижные испытательные объекты и оценивать качество стереоскопических и многоракурсных видеокамер.