Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

—алгоритмы расчета отличий между изображениями и оценка их качества (Джонсон и Фершильд, 2003; Фершильд, 2002);

—изучение глазных движений наблюдателя при решении им различных зрительных задач и в условиях адаптации к естественным сценам (Бабкок

иколл., 2003; Вебстер и Моллон, 1997);

—анализ прежних моделей пространственного и цветового зрения в прило жении к проблемам цветового восприятия и воспроизведения изображений с большим динамическим диапазоном (high dinamic range imaging) (Патта найк и колл., 1998).

Модели цветового восприятия и модели восприятия изображений

Модель цветового восприятия, способная прогнозировать цветовые отличия между сложными стимулами (изображениями) — это хороший инструмент, однако его возможности весьма ограничены. Если такая модель необходима для полного описания результатов зрительного восприятия простых цветовых стимулов, то модель восприятия изображений необходима для описания ре зультатов восприятия стимулов со сложной пространственной структурой. Если модели цветового восприятия позволяют дать четкое описание перцепци онных атрибутов (светлоты, субъективной яркости, полноты цвета, насыщен ности и цветового тона), то модели восприятия изображений (наряду с возмож ностями моделей цветового восприятия) позволяют прогнозировать и такие ат рибуты сложных стимулов, как резкость (sharpness), зернистость (graininess), контраст и разрешение (resolution).

Как и в моделях цветового восприятия, в основе моделей восприятия изо бражений лежит равномерное цветовое пространство, а заложенный в них блочный принцип обеспечивает особую гибкость в выборе цветовых про странств, к примеру, может быть выбрано CIELAB пространство, сходное с ним S CIELAB пространство, CIECAM02 или IPT цветовое пространство (Эбнер

иФершильд, 1998). То есть, блочный принцип вполне может быть реализован

ив iCAM (для превращения ее в полную модель восприятия изображений и/или в модель их отличия).

Модели восприятия изображений можно использовать для создания много мерных моделей качества изображений, к примеру: можно взять взвешенные суммы различных атрибутов восприятия для получения метрики общего каче ства изображений (Киелан, 2002; Энгельдрум, 2002). Такие модели могут уси лить или даже заменить собой человеческие наблюдения за весовыми парамет рами изображений, например, модель качества изображений может опериро вать взвешенными суммами тонального баланса, контраста и резкости. Шаги, которые уже сделаны в этом направлении, будут описаны ниже.

396

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

20.2 СТРУКТУРА ICAM%МОДЕЛИ

На рис. 20.1 дана поточная диаграмма общей структуры iCAM модели в применении к статичным изображениям.

На входе модель требует колориметрически характеризованных данных изображения (или сцены), а также данных об окружении (в абсолютных едини цах фотометрической яркости). Самое изображение описывается относитель ными CIE XYZ трехстимульными значениями, тогда как в качестве адапти рующего стимула берется CIE XYZ изображение, фильтрованное по низкой пространственной частоте, и к которому добавлена информация о его абсолют ной фотометрической яркости (необходима для прогнозирования степени хро матической адаптации).

Для контроля различных яркостно зависимых функций модели, отвечаю щих за прогнозирование эффектов Ханта (рост полноты цвета стимулов по мере роста их фотометрической яркости) и Стивенса (рост визуального контраста изображения по мере роста яркости его элементов), используются простран ственно низкочастотные абсолютные яркости (Y) элементов изображения.

Наконец, для прогнозирования контраста изображения учитывается та же пространственно низкочастотная яркость изображения (Y), но с существенно меньшей частотой (четко установлено, что контраст изображения — это в том числе функция от относительной яркости окружения [формулы Бартлесона и Бренемана]).

Адаптирующие изображения обрабатываются некими специфическими низкочастотными фильтрами (FL), работа которых зависит как от дистанции просмотра, так и от целевого назначения исследуемых изображений.

Отметим также, что во избежание падения общей насыщенности репродук ции (возникающего порой за счет локальной хроматической адаптации) жела тельными могут оказаться иные яркостные и хроматические характеристики пространственно низкочастотных адаптирующих стимулов.

Сказанное — один из примеров учета разного рода зависимостей в моделиро вании восприятия изображений: локальная хроматическая адаптация может соответствовать измерениям величины отличия (image difference) или уровня качества изображений (image quality) , но не соответствовать ситуациям визуа лизации изображений (image rendering).

Первая стадия обработки изображений по iCAM — это учет смены хроматиче ской адаптации: iCAM задействует расчет, взятый из CIECAM02, поскольку по следний хорошо изучен и блестяще зарекомендовал себя в работе со всеми дос тупными визуальными данными. К тому же он является сравнительно простой математической операцией, вполне подходящей для обработки изображений.

Модель хроматической адаптации, заложенная в iCAM (уравнения 20.1–20.6) — это линейная фонкризовская нормировка RGB сигналов изобра жения до RGB адаптированных сигналов по каждому пикселу пространствен но низкочастотного адаптирующего изображения (RWGWBW).

RGB сигналы вычисляются с использованием линейного преобразования XYZ значений, взятого из CIECAM02 (TC8 01), а полученный результат моду

397

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Сцена			Низкая			Y-низкая
(изображение)			частота			частота			Y-низкая
									частота
XYZ ñòèì.			XYZ адапт.			Y àáñ.			Y окружения
MCAT02			MCAT02
RGB ñòèì.			RGB адапт.
		CAT				FL			FL

RGB адаптированные

Степени

3x3 степенная 3x3

IPT

Прямоуг. цил.
JCH	Светимостн.
	завис.

QM

Рис. 20.1 Поточная диаграмма работы модели восприятия изображений iCAM. На вход подают ся: CIE трехстимульные значения (XYZ) изображения (или сцены); адаптирующий стимул, представляющий собой то же самое изображение (сцену), но отфильтрованное по низкой про странственной частоте; информация об абсолютной фотометрической яркости адаптирующего стимула. Адаптированные сигналы вычислены с использованием линейного преобразования хроматической адаптации (взятого из CIECAM02) с последующей конверсией их в оппонентное IPT пространство (использует информацию о яркости для модуляции нелинейной компрес сии). Прямоугольные IPT координаты конвертируются в цилиндрические корреляты светло ты (J), насыщенности (С) и цветового тона (h). Для получения коррелятов субъективной ярко сти (Q) и полноты цвета (М) светлота и насыщенность шкалируются на функцию абсолютной яркости. При необходимости может быть вычислен коррелят чистоты цвета (отношение насы щенности к светлоте или полноты цвета к субъективной яркости).

398

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

лируется коэффициентом степени адаптации (D), лежащим в диапазоне от 0.0 (отсутствие адаптации) до 1.0 (полная адаптация).

Для вычисления D коэффициента (как функции от адаптирующей ярко сти (LA) при разных условиях просмотра) iCAM использует уравнение 20.3, взятое из CIECAM02. Вместе с тем, D коэффициент может быть выставлен и вручную.

RX

G MCAT02 Y																		(20.1)
B						Z
MCAT02				07328.									04296.			01624.		(20.2)
				07036.									16975.			00061.
				0003.0									00136.			09834.
											(LA 42)
						1
D F 1								e					92					(20.3)
				36.
						D
RC													&1 D R					(20.4)
	100
						RW
						D
GC													&1 D G					(20.5)
	100
						GW
						D
B	100												&1 D		B			(20.6)
						B
C
						W

Для дальнейшей работы iCAM модель смены хроматической адаптации рас считывает согласованные стимулы по D65 осветителю: адаптированные сигна лы по данным условиям просмотра (RCGCBC) с помощью уравнений 20.1–20.6 инвертируются по белой точке на D65 (и при D = 1.0). Однако, несмотря на то, что данный расчет идентичен CIECAM02, модель iCAM всерьез отличается от нее, поскольку на входе задействует пространственно модулированные данные изображения, а не единичные цветовые стимулы и адаптирующие точки. К примеру, вот как выглядит модуляция изображения по абсолютной яркости и по яркости окружения с использованием FL функции, взятой из CIECAM02 (уравнение 20.7):

					4						4	2
		1						1
													3
FL	02.	(5L	1)			(5LA ) 01. 1		(5L	1)					(5LA )		(20.7)
		A						A

399

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Данная функция, при деликатном манипулировании значением адапти рующей яркости, позволяет прогнозировать различные яркостно зависимые эффекты восприятия (что реализовано в CIECAM02 и в более поздних моде лях). Функция успешно задействуется на первых стадиях работы iCAM, одна ко методики использования коэффициента FL, как уже было отмечено, в CIECAM02 и в iCAM сильно рознятся.

Следующий этап в работе iCAM — конверсия RGB сигналов (грубая анало гия колбочковым сигналам в зрительной системе человека) в оппонентные цве товые сигналы: светлый темный, красный зеленый и желтый синий (анало гия высокоуровневого кодирования в зрительной системе), которые необходи мы для создания перцепционно равномерного цветового пространства и полу чения коррелятов различных атрибутов восприятия. Критериями выбора именно такого преобразования в свое время явились его применимость к обра ботке изображений и точность расчетов.

В качестве цветового пространства было выбрано некое IPT пространство (Эбнер и Фершильд,1998), которое создавалось специально для работы с изо бражениями и к которому предъявлялось два требования:

—относительно простая структура;

—точность в прогнозах контуров постоянного цветового тона (критично для приложений гамут мэппинга).

Отметим, что более поздние исследования еще раз подтвердили соответствие IPT пространства упомянутым требованиям.

Преобразование из RGB в IPT оппонентное пространство (которое много проще, чем преобразования, «зашитые» в CIECAM02) выражается уравнения ми 20.8–20.12 и имеет следующую структуру:

—линейное преобразование в самостоятельное пространство колбочковых ответов;

—применение степенной функции;

—заключительное линейное преобразование в IPT оппонентное простран ство (I — светлый темный; P — красный зеленый; T — желтый синий).

L					04002.						07075.	00807.	XD65
M		02280.									11500.	006.12	Y		(20.8)
													D65
S					00.						00.	09184.	ZD65
L L0.43 ;L 0															(20.9)
L				L				0.43 ;L + 0
M M 0.43 ;M 0															(20.10)
M						M				0.43 ;M + 0
S S0.43 ;S 0															(20.11)
S				S				0.43 ;S + 0

400

Г Л А В А 2 0				МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ
I		0.4000	0.4000	02000. L
P		4.4550	4.8510	0.3960 M		(20.12)
T		0.8056	0.3572	11628.	S

Ключевой узел iCAM — нелинейная функция в IPT преобразовании:

—во первых, она необходима для прогнозирования нелинейной компрес сии ответа, превалирующей в большинстве сенсорных систем человека. Такая компрессия помогает конвертировать физически линейные сигналы (к приме ру, яркость) в перцепционно линейные размерности (к примеру, светлоту). Коль скоро CIECAM02 использует гиперболически нелинейную функцию, то охватывается практически весь диапазон возможных яркостей;

—во вторых, степени этой функции модулируются яркостями низкочастот но фильтрованного изображения и его окружения, что достигается путем ум ножения базовой степени IPT системы на определенным образом нормирован

ные FL коэффициенты (вычисляются по контексту изображения [image wise computed]). Такое управление IPT степенями позволяет iCAM модели прогно зировать эффекты Ханта, Стивенса и Бартлесона — Бренемана.

Отметим также то, что модель может выполнять визуально приемлемый то новый мэппинг HDR изображений1 в низкий динамический диапазон воспро изводящей системы (см. пример на рис. 20.7).

Для прогноза отличия изображений (а также их качества) к последним необ ходимо применить пространственный фильтр, дабы исключить возможные ва риации по пространственным частотам, лежащим ниже порога восприятия (так, например, если расстояние просмотра достаточно велико, растровые точки мо гут быть незаметны). Обработка зависит от дистанции просмотра и основывается на фильтрах, полученных из контрастно сенситивных функций человека (CSF). Поскольку CSF яркостной (высокочастотной) и хроматической (низкочастот ной) чувствительностей изменчивы, то понятно, что применять эти фильтры следует на оппонентной стадии восприятия, то есть — на стадии IPT.

Так как пространственная фильтрация, прогнозирующая результат воспри ятия, уместна только в системе линейных сигналов, она задействуется на ли нейной стадии IPT, то есть до конверсии в нелинейную версию этого простран ства. Джонсон и Фершильд (2001, 2003) указывают на важность такого типа фильтрации при оценке различий в изображениях и дают спецификацию необ ходимых фильтров, основанную на визуальных данных. Вместе с тем, как уже было сказано ранее, пространственная фильтрация сильно «размывает» эле менты изображения, что нежелательно в тех случаях, когда наблюдатели рас сматривают его ближе, чем предписанная дистанция просмотра.

Примером контрастно сенситивных функций, используемых для создания пространственных фильтров iCAM, являются уравнения 20.13 и 20.14 (получе ны аппроксимацией экспериментальных данных): формула 20.13 представля

1	High Dynamic Range images — HDR. Изображения с высоким динамическим диапазоном
(энергетическим контрастом). — Прим. пер.

401

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

ет CSF, отвечающую за яркостный канал (I канал), а уравнение 20.14 — за ка налы хроматические (P и T каналы):

CSF	(f) a 0 f c 0e b0f			(20.13)
lum
CSF		(f) a 0e b1 0fc1	a 0e b2 0fc2	(20.14)
chrom		1	2

где a, b и c устанавливаются на 75, 0.2 и 0.8 соответственно по яркостной CSF, примененной к I каналу. Пространственная частота f определена в циклах на градус визуального угла (cpd — cycles per degree). По красно зеленой хромати ческой CSF, примененной к P размерности, параметры a1, b1, c1, a2, b2, c2 уста навливаются соответственно на 109.14, 0.00038, 3.424, 93.60, 0.00367, 2.168. По сине желтой хроматической CSF, примененной к T размерности, — соот ветственно на 7.033, 0.000004, 4.258, 40.69, 0.10391, 1.6487.

Применение пространственных фильтров оправдано только тогда, когда це лью является вычисление перцепционных отличий в изображениях (то есть в конечном счете оценка их качества). В этом состоит принципиальная разница между пространственно локализованной адаптацией (пригодной и для метри ки визуализации, и для метрики качества) и пространственной фильтрацией (пригодной для метрики качества, но не пригодной для метрики визуализа ции).

При оценке качества изображений пространственная фильтрация обычно разбивается на отдельные частотные и ориентационные каналы (Дэли, 1993; Lubin, 1993 и Паттанайк, 1998), при этом отметим, что в мультишкальных

имультиориентационных фильтрациях чаще всего нет необходимости, о чем свидетельствуют результаты сравнительно недавних экспериментов (Джонсон

иФершильд, 2001, 2003; Ватсон и Рамирес, 2000). Таким образом, для сохра нения простоты и легкости использования iCAM модели чаще всего применя ется т.н. изотропная моношкальная пространственная фильтрация.

Когда по данным изображения вычислены IPT координаты, то для получе ния предикторов светлоты (J), насыщенности (С) и угла цветового тона (h) вы полняется простое преобразование прямоугольных координат в координаты ци линдрические (уравнения 20.15–20.17). Отличия в данных размерностях могут быть использованы для набора статистики отличия изображений, а статистиче ские данные, в свою очередь, — для получения метрики их качества.

В целом по изображению общее эвклидово отличие описывается величиной %Im в IPT пространстве (уравнение 20.20), что отличает ее от традиционной %E (CIELAB), включенной в пространственную фильтрацию. Отметим также, что в ряде случаев могут понадобиться корреляты абсолютных атрибутов воспри ятия — субъективной яркости (Q) и полноты цвета (M), которые получают пу тем шкалирования относительных атрибутов (светлоты и насыщенности) на со ответствующую FL функцию, получаемую из контекстной карты яркостей изо бражения (уравнения 20.18 и 20.19).

402