20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ КАК МОДЕЛИ БУДУЩЕГО

За шесть лет, минувших с момента первого издания нашей книги, модели цветового восприятия прошли путь бурного развития, однако общий подход к решению задач остался прежним: модели стараются оперировать изо лированными цветовыми стимулами, то есть максимально обособленными от прочих визуальных факторов. Вполне вероятно, что уровень развития сего дняшних моделей цветового восприятия уже достиг того рубежа, когда даль

нейший прогресс потребует появления моделей нового поколения. Сравнительно недавно Фершильд и Джонсон (2002, 2003, 2004) предложи

ли новый класс моделей — «модели восприятия изображений» (image appearan ce models), поднимающие модели цветового восприятия на такой уровень, на котором учитываются пространственные и временные аспекты зрения, что по зволяет прогнозировать восприятие сложных стимулов, а также измерять от личия между изображениями (первый шаг в направлении метрики качества изображений).

Текущая глава дает краткий обзор общей концепции моделей восприятия изображений и представляет одну из них — модель iCAM. Предстоящий разго вор в целом основан на материалах соответствующей статьи Фершильда и Джонсона (2004), и завершается он размышлениями о том, что ожидается в обозримом будущем в сферах моделирования цветового восприятия и модели рования восприятия изображений.

Для того чтобы иметь возможность регулярно знакомиться с текущим поло жением дел в нашей области, а также периодически обновлять библиографию по вопросам моделирования цветового восприятия и восприятия изображений, рекомендуем обращаться на сайты: www.cis.rit.edu/fairchild/CAM.html и www.cis.rit.edu/mcsl/iCAM.

20.1 ОТ ЦВЕТОВОГО ВОСПРИЯТИЯ К ВОСПРИЯТИЮ ИЗОБРАЖЕНИЙ

Опыт измерения сложных стимулов помогает нам определить контексты формулировки и применения моделей восприятия изображений — моделей, включающих в себя элементы естественной эволюции цветового зрения, а также элементы моделей пространственного и временного восприятия зрительных сти

389

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

мулов (рассматриваемых как единое целое, а не как отдельные области исследо вания).

Современные системы визуализации долгое время никак не оценивались с научных позиций, или, если и оценивались, то в контексте методов, отрабо танных для описания свойств самих систем, к примеру: денситометры были разработаны для измерения количества красителя (или серебра) в слоях фото материала или толщины красочного слоя на поверхности; в электронных сис темах, например телевизионных, для колориметрической оценки качества системы визуализации измеряется вольтаж сигналов и т.п. (Хант, 1995).

У визуальных измерений, выполняемых с целью оценки качества изобра жений, воспроизведенных той или иной системой, долгая и славная история (блестяще изложенная в работе Шэйда [1956]), однако, коль скоро сегодня сис темы визуализации сложны и открыты, потребность в аппаратно независимой оценке изображений самоочевидна.

Колориметрия изображений

Электронные системы визуализации, разработанные специально для цвет ного телевидения — это одна из первых сфер аппаратно независимой оценки изображений. Райт (1981) указывает на то, что цветное телевидение не могло быть изобретено без колориметрии: в основу создания и стандартизации теле визионных систем (включая новейшие цифровые) была положена классиче ская колориметрическая система CIE.

С появлением цифровых систем визуализации CIE колориметрия стала применяться еще шире, в частности для создания изображений, предназначен ных к тиражированию разными способами (и получения цветопроб этих изо бражений), а использование CIE колориметрии в аппаратно независимом опи сании изображений дает надежду на решение некоторых новейших проблем цветовоспроизведения, реализуемого открытыми цифровыми системами. На помним, что гибкость, присущая цифровым системам, дает практическую воз можность расчета колориметрических данных изображения, независимо от технологических отличий между устройствами и носителями.

Научные изыскания в сфере калибровки и характеризации цветовоспроиз водящих устройств начинаются с фундаментальных цветовых измерений и за канчиваются спецификацией различных аппаратов: CRT , LCD и проекцион ных мониторов, сканеров, цифровых камер, а также различных пленочных и печатных носителей (некоторые концепции и результаты таких исследова ний подытожены Бернсом [1997]). Исследования такого рода — это экспери ментальный базис науки о цветовом восприятии и восприятии изображений, дающий возможность глубже понять фундаментальные проблемы аппаратно независимого цветовоспроизведения, а именно:

—общеконцептуальные проблемы, возникающие в данной сфере (Фер шильд, 1994);

—проблемы разработки алгоритмов гамут мэппинга, выполняемого с це лью воспроизведения требуемых цветовых стимулов, выходящих за границы цветового охвата целевого устройства (Браун и Фершильд, 2000);

390

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

— проблемы визуализации средствами компьютерной графики высококаче ственных спектральных изображений (high quality spectral images) (техноло гия, радикально повышающая точность данных о цветовых стимулах регист рируемой сцены [Джонсон и Фершильд, 1999]).

Процесс создания и тестирования моделей цветового восприятия в контек сте воспроизведения изображений разными способами целиком строится на ис следованиях данного типа.

Уравнения цветовых отличий

Итогом многолетних исследований в сфере цветовых отличий стала форму ла CIEDE2000 (Луо и колл., 2001), в основу которой положено некое равномер ное цветовое пространство. Напомним, что в 1976 г. CIE рекомендовала два су губо временных и далеких от совершенства цветовых пространства — CIELAB и CIELUV. Позднее, признав неравномерность CIELAB, комиссия разработала усовершенствованные формулы цветовых отличий (CIE %E94* и CIEDE2000), ко торые, несомненно, лучше и вполне способны прогнозировать перцепционные отличия между простыми цветовыми патчами. Заметим при этом, что в истин но равномерном пространстве цветовые отличия могут измеряться как простое эвклидово расстояние между цветовыми координатами двух стимулов (к при меру, CIE %Eab* ).

Отличие изображений

CIE формулы цветовых отличий были разработаны с использованием про стых цветовых стимулов в определенных условиях просмотра, однако нет ни каких оснований полагать, что эти формулы способны прогнозировать цвето вые отличия между пространственно сложными стимулами.

Для оценки сложных цветовых стимулов, таких, как полутоновые образцы, была разработана модель S CIELAB (Чанг и Ванделл, 1996), выступающая в роли некоего предобработчика данных (pre processor), предназначенных в ко нечном итоге для стандартных CIE формул. Для аппроксимации контраст но сенситивных функций (CSF)1 зрительной системы человека пространствен ная предобработка задействует т.н. разделяемые ядра свертки (separable convolution kernels).

CSF необходимы для удаления из изображения лишней информации, то есть информации, не воспринимаемой зрительной системой человека (к приме ру, все мы знаем, что растровые точки при определенном расстоянии просмот ра начинают сливаться в единый цветовой стимул). Попиксельное вычисление цветовых отличий между изображением непрерывного тона и автотипным (растрированным. — Прим. пер.) изображением будет давать очень большие расхождения, тогда как визуальные отличия могут быть очень маленькими. Пространственная предобработка «размывает» автотипное изображение, при ближая его к изображению непрерывного тона.

1См. гл. 1. — Прим. пер.

391

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Сравнительно недавно S CIELAB была модифицирована и расширена: поя вилась возможность вычислять отличия между изображениями (Джонсон

иФершильд, 2001, 2003). Модернизация (см. раздел 20.3) коснулась уравне ний CSF: к S CIELAB были добавлены блоки пространственно частотной адап тации, пространственной локализации, а также блоки детекции локального

иобщего контрастов.

Таким образом, S CIELAB — это первый прецедент т.н. модели отличия изо бражений, основанной на CIELAB пространстве и уравнениях цветовых отли чий.

Цветовое восприятие

К сожалению, фундаментальная CIE колориметрия не в состоянии полно стью специфицировать изображения: природа последних такова, что, зареги стрированные или воспроизведенные различными цифровыми системами, они неизбежно будут рассматриваться в огромном диапазоне условий просмотра (от условий оригинальной сцены до экранного отображения в тускло освещен ной комнате). Таким образом, модели цветового восприятия призваны поднять базовую CIE колориметрию с уровня цветовых соответствий (при фиксирован ных условиях просмотра) на уровень прогнозирования цветового восприятия (при разных способах воспроизведения и просмотровых условиях).

Возможность применения к цифровым системам визуализации результатов исследований в области моделирования цветового восприятия весьма активно обсуждалась еще в 90 х годах прошлого века, и в 1997 г. история завершилась созданием CIECAM97s (см. гл. 15), а спустя шесть лет вышел ее модифициро ванный вариант — CIECAM02 (см. гл. 16). Своим развитием обе модели во мно гом обязаны визуальным экспериментам, выполненным в целях проверки ра боты публикуемых моделей в контексте репродуцирования изображений (Бра ун и Фершильд, 1997).

Таким образом, исследования в области цветовосприятия, будучи основан ными на работе с изображениями, выдвинули на передний план вопросы вос приятия пространственно сложных стимулов (изображений) и проблемы оцен ки их качества.

Восприятие изображений и их качество

Модели цветового восприятия учитывают изменения в условиях просмотра, но при этом ориентированы в основном на изменения в цвете осветителя (белая точка), уровне освещенности (фотометрическая яркость) и относительной яр кости окружения. Модели восприятия не имеют непосредственного отношения к различным пространственным или временным свойствам человеческого зре ния, в частности пространственным и временным свойствам восприятия изо бражений: по сути, эти модели рассматривают каждый пиксел изображения (и каждый кадр в видео) как полностью независимые стимулы.

Зрительная адаптация к сцене или изображению — это физиологическая ре акция, зависящая не только от пространственно локализованных низкочас

392

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

тотных (low pass) атрибутов сложных цветовых стимулов, но еще и от их вре менных параметров.

Для прогнозирования восприятия цифровых видеокадров (в частности, с большим динамическим диапазоном), должны учитываться временные свой ства световой и хроматической адаптаций. Для прогнозирования качества (или отличия) изображений видеоряда к пространственным фильтрам, уда ляющим незамечаемые пространственные артефакты (к примеру, шум или JPEG компрессию), должны быть добавлены временные фильтры, то есть фильтры, удаляющие невоспринимаемые высокочастотные темпоральные мо дуляции (т.е. незамечаемое «мерцание»).

Не составит труда показать то, что адаптация имеет важную низкочастот ную временную характеристику, к примеру: если неожиданно включить свет в темной комнате (скажем, рано утром после сна), то повышенный уровень ос вещения в первый момент ослепляет зрительную систему, то есть, по сути, «пе реэкспонирует» ее. Однако спустя короткий период времени зрение адаптиру ется к высокому уровню освещения, и к наблюдателю возвращается нормаль ное зрительное восприятие. Сказанное справедливо и для обратных ситуаций, например, когда из обстановки с высоким уровнем освещения переходят в об становку с низким уровнем (представьте себе, что солнечным днем вы въезжае те в темный тоннель).

Фершильд и Ренифф (1995), а также Риннер и Гегенфуртнер (2000) дают де тальное описание временного компонента хроматической адаптации. Резуль татом исследования явились т.н. темпорально интегративные функции, кото рые можно использовать при моделировании восприятия движущихся изобра жений, а также проиллюстрировать ими один из механизмов адаптации к сти мулам низкой пространственной частоты (последнее связано с непрерывным движением глазных яблок).

В свое время было выполнено серьезное исследование качества видеоизобра жений (и метрики этого качества), нацеленное на создание и оптимизацию ал горитмов кодирования/компрессии/декодирования, в частности MPEG2 и MPEG4. Аналогично модель Дэли (Дэли, 1993), прогнозирующая степень ви димых отличий в статичных изображениях (still image visible differences predictor), вполне пригодна для прогнозирования видимости артефактов, по являющихся в статичном изображении после его JPEG компрессии, то есть — модель Дэли была создана для прогнозирования вероятности визуального об наружения артефактов.

При разработке iCAM пошли дальше, и, вместо того чтобы ориентироваться на пороговые отличия в качестве, внимание было сосредоточено на шкалирова нии качества изображений по их отличиям от оригинала, лежащим выше порога различимости (к примеру, создание шкал резкости, контраста, зернистости).

Отметим, что надпороговые отличия между изображениями — это область исследования, касающаяся именно восприятия изображений и непосредствен но относящаяся к вопросу их качества.

Аналогичная ситуация имеет место в метрике качества видеоизображений, которая была разработана для выявления вероятности обнаружения артефак

393

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

тов в видеоизображениях. Отметим, однако, что как таковых моделей воспри ятия видеоизображений, способных прогнозировать величины воспринимае мых отличий в видеоряде, не существует.

Дабы подчеркнуть отличие целей и задач iCAM от целей и задач ранее опуб ликованных моделей, мы коротко опишем две широко известных модели каче ства видеоизображений (модель Sarnoff JND и модель NASA DVQ).

Модель Sarnoff JND — это основа программного пакета «JNDmetrix» (www.jndmetrix.com), предназначенного для некоего специального оборудова ния, контролирующего качество видеоизображений. Модель кратко описана

втехническом отчете Sarnoff (2001), а более полный материал можно найти

впубликации ATIS (2001).

Модель Sarnoff JND основана на т.н. мультимасштабной модели простран ственного зрения (Lubin, 1993, 1995), расширенной в направлении цветовой обработки и временных вариаций стимулов. Модель Lubin сходна с моделью Дэли в том, что тоже создана для прогнозирования вероятности распознавания артефактов в изображениях, то есть для выявления пороговых изменений (час то называемых «едва заметными отличиями», или «JNDs»).

В отличие от iCAM модель Sarnoff JND не имеет механизма учета хромати ческой и яркостной адаптаций: на входе Sarnoff выполняется заурядная нор мировка данных (что можно рассматривать лишь как зачаточную форму моде ли адаптации). Отметим, что временные аспекты Sarnoff модели нацелены не на прогнозирование восприятия видеоряда, а на прогнозирование обнаруже ния временных артефактов.

Во временной обработке стимулов модель задействует только два рабочих окна (четыре поля), и, таким образом, несмотря на то, что она способна прогно зировать воспринимаемость относительно высокочастотных вариаций стиму лов в видео (мерцание), она не может предсказать различимость низкочастот ных вариаций (последнее требует использования модели, ориентированной на восприятие, а не на JND). Модель Sarnoff также не предназначена для видеови зуализации.

Сказанное выше не является критикой Sarnoff модели, но иллюстрацией того, насколько сильно ее цели отличны от целей и задач iCAM.

Заметим, что наука о зрении утверждает, что JND прогнозы нелинейно со относятся с восприятием надпороговых отличий, — это значит, что использо вание JND модели в целях прогнозирования надпороговых отличий в изобра жениях вполне возможно, и, таким образом, Sarnoff JND модель может с опре деленным успехом применяться к надпороговым данным.

Подобной Sarnoff JND является DVQ модель (Digital Video Quality), разра ботанная NASA и опубликованная в свое время Ватсоном (1998, 2001). DVQ метрика аналогична концепции Sarnoff JND, но существенно отличается от нее по исполнению: ее пространственное деление основано на т.н. коэффици ентах дискретного косинус преобразования (discrete cosine transformation — DCT), контролирующего работу аппаратов и, в частности, пригодного для рас познавания артефактов в DCT алгоритмах видеосжатия. Модель также имеет

394

Г Л А В А 2 0

МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

развитый временной фильтр, способный прогнозировать различные темпо ральные артефакты.

Подобно Sarnoff JND, модель DVQ нацелена на прогнозирование вероятно сти визуального обнаружения пороговых отличий между изображениями, а не на прогноз восприятия через пространственную или временную адаптации (или атрибуты восприятия), и, следовательно, не может применяться для ви деовизуализации. И вновь мы скажем, что это не недостаток, а скорее целевая особенность модели DVQ.

Несмотря на то, что модели цветового восприятия, будучи внедренными в современные CMS, весьма успешно управляют процессом аппаратно незави симого цветовоспроизведения, еще многое предстоит сделать в плане их усо вершенствования и расширения возможностей.

Для решения проблем описания и учета пространственных свойств зрения, а также для описания результатов восприятия изображений и оценки их каче ства была выдвинута концепция моделей восприятия изображений (Фершильд и Джонсон, 2002; Фершильд, 2002): модели восприятия изображений сочетают в себе элементы моделей цветового восприятия с элементами моделей про странственного зрения (последние и ранее использовались в метрике качества изображений с целью модернизации моделей восприятия).

До сего времени модели цветового восприятия, такие, как CIECAM97s

иCIECAM02, игнорировали пространственные аспекты зрения, в то время как собственно модели пространственного зрения, предназначенные для оценки качества изображений, игнорировали цвет (Дэли, 1993; Lubin, 1993). Опреде ленное исключение представляют собой ранее упоминавшиеся ретинексные модели (Лэнд, 1964, 1986; Лэнд и Мак Канн, 1971; Мак Канн и колл., 1976)

иих всевозможные производные (Фант и колл., 2000; Барнард и Фант, 1997; Брайнард и Ванделл, 1986). Несмотря на то, что ретинексная модель никогда не была ни полной моделью восприятия изображений, ни моделью оценки их качества, ее гибкие пространственные механизмы хроматической адаптации

ицветовой константности в конечном счете служат целям визуализации изо бражений и готовят почву для создания моделей их восприятия. Пространст венные ATD модель (Грэнджер, 1993) и S CIELAB модель (Чанг и Ванделл, 1996) также в какой то степени касаются обсуждаемых проблем.

Целью создания моделей восприятия изображений является объединение двух описанных выше областей исследования, результатом чего должна стать единая модель, способная к прогнозированию зрительного восприятия слож ных стимулов, их специфицированию, воспроизведению и оценке качества воспроизведения. Один из фактических прецедентов — модель iCAM, предна значенная для работы со статичными изображениями, детально описана в те кущей главе.

Модель iCAM была создана на основе результатов исследований, проведен ных по следующим направлениям:

—равномерные цветовые пространства (Эбнер и Фершильд, 1998);

—значимость учета окружения (Фершильд, 1995);

395