1 Методы повышения качества стереоскопических и многоракурсных систем телевидения

1.1 Общие положения

Несмотря на повышение размерности в новейших системах телевидения до 4 и более, качество восприятия, в основном, определяется качеством передачи изображений. Это объясняется тем, что, во-первых, основным источником информации для человека является зрительная система, а, во-вторых, эта информация при просмотре поступает непрерывно, в отличие от других ощущений в системах 4D, где обычно спецэффекты носят непостоянный характер.

Качеству стереоскопических систем в последнее время посвящено множество исследований, однако, в большинстве из них рассматриваются либо общие вопросы оценки качества, либо вопросы качества передачи изображений по каналам связи и их восприятию на экране телевизора.

Между тем известно, что, если искажения при передаче, могут быть в какой-то мере устранены, то искажения при съемке устранить крайне затруднительно, а то и невозможно.

Это особенно касается телевизионных систем, где для получения художественного эффекта необходимо изменять базу стереокамер.

Основным методом для повышения качества съемок является калибровка внешних параметров камер. Однако этот метод, в основном, разработан для зрительных систем в роботехнике, где большое внимание уделяется точности внешних параметров камер, и значительно меньше влиянию на них изменения базиса съемок. Поэтому представляет интерес проанализировать методы калибровки камер и рассмотреть возможности их использования в телевидении.

Другим условием повышения качества съемок является их метрологическое обеспечение.

В настоящее время методы оценки параметров 3D камер применительно к вещательному телевидению практически не разработаны.

1.2 Анализ методов калибровки стереоскопических камер

1.2.1. Общие положения

В процессе съемки стерео фото и видео возникает необходимость калибровки камеры: нахождение ее внутренних и внешних параметров. В зависимости от того, какими ресурсами мы обладаем, и что является для нас приоритетней – время или точность результатов, используются соответствующие алгоритмы калибровки.

Калибровка камер - это процесс соотнесения идеальной математической модели камеры с конкретным физическим устройством, а также определение ориентации и расположения камеры в системе координат сцены. Существуют два вида калибровки камер: внутренняя и внешняя.

Внутренняя калибровка производится один раз. Связано это с тем, что внутренние геометрические параметры, оптические характеристики линз и параметры устройства отображения не меняются во время съемки.

Параметры внутренней калибровки:

• фокусное расстояние по обеим координатам (fx, fy);

• принципиальная точка (спец. точка на оптической оси);

• коэффициенты дисторсии (k1, k2, p1, p2).

Задачей внешней калибровкой является определение ориентации и положения камеры в координатах пространства сцены. Из-за того, что в каждой новой сцене камеры устанавливаются по-новому, внешнюю калибровку следует повторять в зависимости от изменений положения камер.

Параметры внешней калибровки:

• вектор переноса T.

• матрица поворота R.

1.2.2Алгоритмы калибровки

«Классический» метод - последовательное определение внутренних и внешних параметров камеры, предложенный Р. Цаем (R.Tsai) в [2]. Этот алгоритм восстанавливает параметры камеры, используя прямое вычисление, основанное на отношении между точками калибровочного изображения и теми же точками на плоскости изображения камеры. Цай использует модель камеры-обскуры, изображенной на рисунке 1.1, для описания преобразования точек из 3D пространства в пиксели.

Данная модель имеет следующие параметры для оценки:

f – фокусное расстояние камеры.

k – коэффициент радиальных искажений линз.

C_x, C_y – координаты центра радиальных искажений линз.

S_x – масштабный коэффициент для учета любых неопределенностей возникших из-за несовершенства тайминга аппаратного обеспечения для сканирования и оцифровки.

Рисунок 1.1 – Модель камеры-обскуры

R_x, R_y, R_z - углы поворота для преобразования между реальным миром и координатами камер,

T_x, T_y, T_z - Компоненты перевода для преобразования из координат реального мира в координаты камеры.

P_i = [X_i^w , Y_i^w , Z_i^w ] ^T - известное 3D положение i точки в системе координат реального мира

p_i = [x_i,im , y_i,im ] ^T - координаты изображения i-ой точки

- матрица вращения, (1.1)

- вектор смещения, (1.2)

- матрица камеры, с четырьмя неизвестными параметрами. (1.3)

1. Преобразование из координат реального мира (X_w,Y_w,Z_w) в координаты изображения (X_i,Y_i,Z_i), содержащие внешние параметры камеры (перевод T и поворот R), можно представить в виде уравнения:

(1.4)

где R и T характеризуют 3D преобразование из реального мира в систему координат камеры и определяются как:

, (1.5)

, (1.6)

где

(R_x,R_y,R_z) - углы Эйлера, вращение вокруг трех осей.

(T_x,T_y,T_z) - параметры перевода из 3D координат реального мира в координаты камеры.

2. Преобразование из 3D положения (из координат кадра изображения) в плоскость изображения затем вычисляются по следующим шагам в соответствии с рисунком 1.2:

Рисунок 1.2 - Модель репроекции камеры Цая с проекцией перспективы и радиальным искажением

А) Преобразование из 3D координат реального мира (X_i,Y_i) в координаты неискаженной плоскости изображения (X_u,Y_u)

, (1.7)

. (1.8)

В) Преобразование из неискаженных (X_u,Y_u) в искаженные (X_d,Y_d) координаты изображения

, (1.9)

, (1.10)

где , и k является коэффициентом дисторсии линзы.

Преобразование из искаженных координат плоскости изображения (X_d,Y_d) в итоговые координаты изображения (X_f,Y_f):

, (1.11)

, (1.12)

где (d_x,d_y) - расстояние между соседними элементами датчика в направлении X и Y,

d_x и d_y фиксированные параметры камеры. Они зависят только от размера ПЗС и разрешения изображения, (X_f, Y_f) итоговое положение пикселей в изображении.

Основные этапы алгоритма калибровки

На первом этапе определяются внешние параметры Sx, R и две первые компоненты вектора смещения, Tx и Ty. Также на данном этапе оценивается фокусное расстояние f и компонента z вектора смещения Tz. Это достигается решением системы линейных уравнений, которые включают в себя координаты точек на калибровочном шаблоне, как на изображении, так и в реальном мире. Различные параметры затем восстанавливаются при решении данной системы.

Второй этап включает в себя поиск наискорейшего спуска. Он используется для определения коэффициента дисторсии k1, который не может быть определен из калибровочного шаблона. f и Tz также корректируются в процессе поиска. Оптимизация не использует полную модель камеры для увеличения производительности. Таким образом, вычисленный остаток совершенно не имеет значения для погрешности измерения, которое сделано в данном случае отдельно с помощью построения полной модели камеры, собирая все полученные параметры из предыдущих шагов. Последняя получаемая здесь ошибка возникает из-за разницы между рирпроекционными 3D координатами в реальном мире и их соответствующими точками изображения.

Чувствительность решения

Ошибки в параметрах калибровки прямо пропорциональны ошибкам в измерениях изображения. Фактор пропорциональности зависит от геометрии отображения, и от проектирования цели. Некоторые параметры калибровки более чувствительны к ошибкам, чем другие, и некоторые ведут себя хуже, когда поле наблюдения узкое или диапазон глубины цели ограничен.

Плюсы

Алгоритм калибровки Цая очень эффективный, точный и параметры калибровки не требуются при начальном приближении.

Данный метод имеет широкое распространение, так как подходит для компланарных и некомпланарных точек.

Решение, как правило, используется для калибровки с одним ракурсом, но также может применяться и для многоракурсной калибровки. Для этого плоскую модель передвигают на разные уровни по оси z для калибровки множества изображений.

Минусы

Учитываются только радиальные искажения.

Модель, в общем, не распознает асимметрию или отсутствие ортогональности проекции.

Основные проблемы в реализации алгоритма Цая в большинстве случаев возникают на ранних этапах. Точность построения и измерения калибровочного шаблона, нахождения точек калибровки на линии плоскости и нахождения центра изображения скорее обеспечат больше сложностей и будут служить большим источником ошибок, чем проблемы, возникающие непосредственно с самим алгоритмом.

Так как большинство современных камер оснащены линзами с авто-фокусировкой и автоматической апертурой, то могут возникнуть проблемы из-за несовпадения ожидаемых внутренних параметров, которые должны оставаться постоянными на всем диапазоне настроек фокуса, масштабирования и апертуры. Данная проблема была рассмотрена Вилсоном (R.G.Willson) [3].

Представляет проблемы учесть аналитически шумы из-за нелинейности отображаемой модели. Однако вопрос чувствительности был изучен ранее с использованием симулятора Монте Карло (Monte Carlo), который добавляет произвольный шум в данные калибровочного изображения и пересчитывает параметры калибровки. Повторяет и получает значение и ковариационную статистику.

«Гибкий» метод» – в данном методе, предложенном Ж. Жанг в 2000 г. (Zhang, 2000), используется плоский калибровочный объект (шахматная доска) при различных ориентациях [4]. Она представляет собой массив черно-белых квадратов N х N в виде «шахматной доски». Алгоритм использует извлеченные точки углов шахматной доски для вычисления проекции преобразования между точками изображения на разных изображениях.

Основные этапы алгоритма калибровки

1) Необходимо сделать несколько изображений калибровочного объекта в различных положениях перемещая либо объект, либо камеру.

2) Обнаружение точек функции на изображениях.

3) Оценить пять внутренних параметров и все внешние параметры используя решение в аналитическом виде:

Из координат изображения p = (u,v, 1) и их известного соответствующего набора координат в реальном мире P = (X,Y, Z = 0,1), гомография A = (a1a2a3) [3] можно вычислить:

Sp = AP, A = λK(r1r2t), (1.13)

где r1 и r2два первых столбца вектора матрицы вращения R. Используя ограничение, что эти два столбца вектора ортогональны получаем два следующих тождества:

a₁^TK^-TK^-1a₂ = 0, a₁^TK^-TK^-1a₁ = a₂^TK^-TK^-1h₂. (1.14)

Изображение абсолютного конуса В = K^-TK^-1 как правило симметрично и может быть описано как 6D вектор b = (b₁₁,...b₃₃)^т. Таким образом для каждой из N проекций цели мы получаем набор из 2 уравнений, чтобы решить для b, что означает что нам необходимо по крайней мере 3 ракурса калибровочной цели чтобы решить систему для всех неизвестных.

4) Оценить искажения радиальных искажений решением метода наименьших квадратов:

k = (D^TD)^-1 D^Td. (1.15)

5) Уточнить все восстановленные параметры, используя нелинейную минимизацию репроекции ошибки:

. (1.16)

Плюсы

Простота реализации. В отличие от классического метода не требуется дорогое оборудование с двумя или тремя ортогональными плоскостями, данный метод прост в использовании и гибок.

Движение не должно быть известно.

Лучше значения конвергенции при многоракурсной калибровке, чем у алгоритма Цая.

Данный метод более устойчив по сравнению с автокалибровкой.

Минусы

Необходимо как минимум три различные проекции плоского калибровочного объекта.

Существует влияние ошибки печати на качество калибровки. Штробль [5] описал подобный сценарий, он предположил, что процедура печати вводит только два типа систематических ошибок: ошибки в глобальном масштабе шахматной доски и без предсказуемого соотношения перспективы.

Автокалибровка в реальном времени - одновременное определение внутренних и внешних параметров. Технологии этой категории используют только движение камеры в статической сцене. Если изображения будут браться от тех же самых камер с фиксированными внутренними параметрами, соответствия между тремя картинками достаточно для получения и внутренних, и внешних параметров, которые позволят реконструировать 3D структуру. Мэйнибанк и Фаугерас впервые предложили самокалибровки на основе уравнений Круппа [6]. В последнее время многие исследователи выдвинули ряд аналогичных методов [7-11]. Все эти методы основаны на абсолютном коническом сечении и абсолютной квадрики, для которых необходимо составлять нелинейных уравнений из нескольких значений. Автокалибровка будет надежной, если геометрия сети благоприятна, т.е. изображения конвергентны и имеется большое число измеренных точек, расположенных на всей поверхности снимка.

Плюсы

Калибровка может быть полностью автоматической процедурой.

Минусы

Хотя этот метод является достаточно гибким, он имеет существенный недостаток - вычислительная сложность и большое количество времени, которое для этого затрачивается.

Требуется доступ к "сырым" изображениям камеры, а данная функция может не присутствовать в камерах с низкой стоимостью.

Не всегда возможно применить данный метод калибровки в короткобазисных измерениях.

1.2.3 Программное обеспечение для калибровки камер

Для программной калибровки стереокамер чаще всего используется такое программное обеспечение как Matlab и библиотека OpenCV, со специально разработанными алгоритмами.

На рисунке 3 показаны шаги калибровки камеры методом Цая в инструментах Matlab. В первом шаге, получают набор изображений и определяют ошибки между левым и правым кадрами. Если изображения не сходятся друг с другом, система будет регулировать положение камеры, пока они не сойдутся. Результаты будут содержать внутренние и внешние параметры.

Алгоритм калибровки стереокамер OpenCV основан на том, что функции используют модели камеры-обскуры. То есть, сцены формируется путем проецирования 3D-очки в плоскости изображения с использованием перспективного преобразования.

Существует множество вариантов алгоритмов калибровки: от простых до очень сложных и требующих больших ресурсов и времени для вычислений. Алгоритм, предложенный Жангом (Zhang, 2000), блок схем которого представлена на рисунке 1.3, является наиболее простым в реализации при достаточно хороших результатах и чаще других применяется при калибровке стереокамер. Самый труднореализуемый алгоритм и в тоже время самый востребованный, так он практически отсутствует в современных стереокамерах - автокалибровка камер. Его реализация позволила бы сократить время выполнения и повысить эффективность калибровки.

Рисунок 1.3 – Блок схема метода Цая

Из проведенного анализа видно, что выбор методов калибровки и их точность сильно зависят от испытательных объектов.

Рассмотренные методы калибровки разработаны для устройств, используемых в робототехнике. Очевидно, что эти методы могут быть использованы и в вещательном объемном телевидении. Однако следует учесть, что в этом случае больший интерес представляют не измерительные характеристики передающих камер, а качественное восприятие создаваемого ими изображения.

Поэтому испытательные объекты, используемые в робототехнике, могут быть использованы для калибровки передающих камер и в вещательном телевидении, однако их недостаточно для оценки качества изображения.

В объемном телевидении для настройки и оценки камер предложено использовать как плоские испытательные объекты в виде таблиц, так объемные.

Однако создание подвижных испытательных объектов связано с проблемами выбора сюжетов, в первую очередь, детальности скорости движения.

Разрешить эту проблему можно, если использовать электронное формирование испытательных объектов. При этом такие объекты могут быть использованы как для оценки качества и калибровки стереоскопических и многоракурсных камер, так и для выработки требований к построению физических подвижных объемных испытательных объектов.

Для этого рассмотрим сначала возможности съемки с экрана монитора.