Глава 6

МУЛЬТИМЕДИЙНЫЕ ПРИЛОЖЕНИЯ

И ОБОРУДОВАНИЕ

Мультимедиасистемы в своей основе представляют собой аппа­ратно-программные средства интерактивного доступа к массивам и базам данных разноформатной (мультимедийной) информации, ос­новными среди которых являются звук, фото (статическое изобра­жение) и видео (динамическое изображение). Мультимедийные сис­темы не отрицают интеграцию с классическими видами данных  табличные (базы данных) и текстовые (информационно-поисковые системы), но основная нагрузка при разработке мультимедийных приложений и их использовании приходится на перечисленные ос­новные виды.

Процессы обработки мультимедийной информации и функции соответствующих информационных технологий систем, как обычно, включают следующие этапы  сбор и получение информации, об­работка, редактирование, хранение и поиск, выдача и представле­ние пользователям. Сразу оговоримся, что проблема поиска мульти­медийной информации весьма далека от своего решения, поскольку требует высокой формализации ее представления (хотя такие по­пытки и известны, например, мультимедийный стандарт MPEG-7 или более известный аудиоформат MIDI). Поэтому здесь речь пой­дет в основном о проблемах получения мультимедиаинформации в цифровой форме, преобразовании в компактное представление (сжатие), редактировании, выходном представлении.

1. Цифровое фото  представление и обработка

Фотография как источник изображений в цифровой форме мо­жет быть оцифрована с помощью сканера и в последующем обрабо­тана с помощью редактора изображений наподобие Photoshop. Здесь же мы остановимся на цифровых фотокамерах.

Беспленочные (цифровые) камеры очень похожи на традицион­ные фотокамеры: в камерах обоих типов имеются объектив, затвор и диафрагма. Фактически, в некоторых профессиональных беспле­ночных камерах используются готовые корпуса от 35-мм аппаратов Nikon, Minolta или Canon (рис. 6.1, а). Различие же состоит во внут­реннем устройстве или в способе сохранения изображения.

В традиционных фотокамерах изображение фокусируется на пленке, покрытой светочувствительным слоем кристаллов галоид­ного серебра. Затем пленка последовательно погружается в раство­ры химических реактивов для проявления и фиксации отснятого изображения.

В цифровых камерах изображение фокусируется на фоточувст­вительном кристалле полупроводника, называемом прибором с зарядовой связью (ПЗС). ПЗС применяются также в скане­рах, факсимильных аппаратах и видеокамерах, хотя обычно качест­во большинства ПЗС для беспленочных камер выше и такие ПЗС, безусловно, дороже.

Прибор с зарядовой связью

ПЗС, или charge coupled device (CCD),  технология, лежащая в основе большинства цифровых камер, была предложена в 1960-х гг., когда шли поиски недорогих систем памяти для массового произ­водства. Возможность использования ПЗС для съемки изображений даже не приходила в голову исследователям, работавшим над техно­логией первоначально.

В 1969 г. У. Бойл и Дж. Смит (Bell Labs) предложили использо­вать ПЗС для хранения данных. Первое применение ПЗС для съем­ки  матрица с форматом 100 × 100 пикселей  была создана в 1974 г. в Fairchild Electronics. В следующем году такие устройства уже использовались в телекамерах для коммерческих передач и ско­ро стали обычными в телескопах и медицинских системах.

ПЗС работает подобно электронной версии человеческого глаза. Каждая матрица состоит из миллионов ячеек, известных как фото­точки или фотодиоды, которые преобразуют оптическую информа­цию в электрический заряд. Когда световые частицы (фотоны) вхо­дят в кремний фотодиода, они обеспечивают достаточно энергии для генерации свободных электронов, число которых возрастает с потоком света. Если к фотодиоду приложено внешнее напряжение, возникает электрический ток (рис. 6.1).

Следующая стадия заключается в прохождении токов через уст­ройство, известное как регистр считывания. После того как заряд входит и затем выходит из регистра считывания, он исчезает и на его место перемещается следующий сзади. Так образуется последо­вательность сигналов, которые передаются на усилитель, а затем  аналого-цифровой преобразователь.

Фотодиоды матрицы ПЗС фактически реагируют на яркость, а не на цвета освещения. Цвет добавляется к изображению посредст­вом красных, зеленых и синих фильтров, помещенных поверх каж­дого пикселя. Поскольку человеческий глаз наиболее чувствителен к желто-зеленому диапазону, количество зеленых фильтров в 2 раза больше, чем красных и синих. Каждый пиксель представляет только один цвет, и истинный цвет создается путем усреднения световой интенсивности окружающих пикселей  процесс, известный как цветовая интерполяция.

КМОП (CMOS)

В 1998 г. появились датчики CMOS (complementary metal-oxide semiconductor) как альтернативная к приборам с зарядовой связью технология снятия изображения. Производственные процессы CMOS те же, что и в производстве миллионов процессоров и чипов памяти во всем мире. Поскольку уже есть высокопродуктивная ин­дустрия с существующей инфраструктурой, чипы CMOS значитель­но дешевле в изготовлении, чем ПЗС. Другое преимущество состоит в том, что они имеют значительно более низкие требования к мощ­ности, чем ПЗС. Если последние имеют только одну функцию  регистрации, то КМОП может быть загружен рядом других задач  аналого-цифровое преобразование, обработка сигналов, баланс бе­лого цвета, управление камерой и пр.

Весьма перспективным является расширение CMOS  техноло­гия ХЗ, предложенная в 2002 г. Foveon Corporation. В обычных цифровых системах фильтры цвета применены к единственному слою фотодатчиков, расположенных в мозаичном порядке. Фильт­ры позволяют только одной длине волны света  красный, зеле­ный или синий  проходить к любому данному пикселю, позволяя записать только один цвет. В результате типичные мозаичные дат­чики фиксируют только 50% зеленых и 25% синих или красных падающих лучей. Подход имеет неустранимые недостатки незави­симо от того, сколько пикселей мог бы содержать датчик изображе­ния. Так как они фиксируют только часть светового потока, прихо­дится осуществлять дополнительную обработку, чтобы интерполи­ровать две трети, которые они теряют. Это замедляет скорость получения изображения, а интерполяция ведет к цветовым арте­фактам и потере четкости изображения. Некоторые камеры даже преднамеренно размывают изображения, чтобы уменьшить цвето­вые артефакты.

Датчик изображения CMOS Foveon Corporation использует тех­нологию Х3 и позволяет фиксировать информацию в 3 раза быст­рее, чем обычные цифровые камеры при сохранении разрешающих способностей. Это достигается использованием трех слоев фотодат­чиков, внедренных в кремний. Уровни расположены так, чтобы ис­пользовать тот факт, что кремний поглощает лучи света различной длины волны на различных глубинах, так что один слой регистриру­ет красные, другой  зеленые и оставшийся  синие лучи. Это оз­начает, что для каждого пикселя на датчике изображения Foveon ХЗ фактически имеется стек трех фотодатчиков (рис. 6.2).

Технология ХЗ не только ведет к лучшим изображениям, но так­же и лучшим камерам. Фактически, это открывает возможность по­строения нового поколения устройств, стирающих существующую грань между фотографией и цифровым видео, не жертвуя качест­вом. Поскольку датчики ХЗ фиксируют полный цвет в каждом ме­стоположении пикселя, эти пиксели могут группироваться, чтобы создать большие, полноцветовые суперпиксели. Эта возможность на­звана «пиксели переменных размеров» (Variable Pixel Sizing  VPS). В этом случае сигналы от группы пикселей могут быть объединены так, что камера будет рассматривать ее как один пиксель. Например, датчик изображения 2300 × 1500 содержит более 3,4 млн. пиксе­лей, но при использовании VPS, чтобы сгруппировать их в блоки 4x4, датчик изображения приобретает размерность 575 × 375 пиксе­лей, каждый из которых в 16 раз больше, чем исходный. Размеры группы пикселей являются переменными  2 × 2, 4 × 4, 3 × 5 и т. д. и управляются электронной схемой, интегрированной в датчики изображения Foveon ХЗ.

Группировка пикселей увеличивает отношение сигналшум, что позволяет делать полноцветные снимки при низком освещении с уменьшенным шумом. Использование VPS для уменьшения разре­шающей способности также позволяет датчику работать при высо­ких скоростях передачи кадров. Технология VPS позволяет созда­вать комбинированные устройства, совмещающие цифровое фото (высокая разрешающая способность, относительно медленная обработка информации) и цифровое видео (высокая скорость при более низком разрешении); по оценкам, изменение параметров может достигать 50 раз.

В то время как обычные датчики изображения CMOS изготов­лялись, используя технологии 0,35- или 0,50-мкм, и считалось, что следующий шаг  0,25-мкм, датчик CMOS Foveon Corporation ХЗ содержит 16,8 млн. пикселей (4096 × 4096), имеет размер 22 × 22 мм и выполняется по 0,18-мкм технологии.

Качество изображения

Качество цифровой камеры зависит от нескольких факторов, включая оптическое качество линзы, матрицы съемки изображения, алгоритмов сжатия и других компонентов. Однако самый важный детерминант качества изображения  разрешающая способность матрицы ПЗС: чем больше элементов, тем выше разрешающая спо­собность, и, таким образом, больше подробностей может быть за­фиксировано.

В 1997 г. типичная разрешающая способность цифровых камер была 640 × 480 пикселей, год спустя появились «камеры мегапиксе­ля», что подразумевало, что за те же деньги можно было приобре­сти модель на 1024 × 768 или даже 1280 × 960. К началу 1999 г. раз­решающие способности дошли до 1536 × 1024, и в середине этого же года был преодолен барьер 2 мегапикселей с появлением разре­шающей способности 1800 × 1200 = 2,16 млн. Год спустя  барьер 3 мегапикселей (2048 × 1536 = 3,15 млн. пикселей). Первая камера с 4 мегапикселями появилась в середине 2001 г., обеспечивая 2240 × 1860 = 4,16 млн. пикселей.

Однако даже датчик Foveon ХЗ (4096 × 4096 = 16,8 млн. пиксе­лей) все же не перекрывает возможностей обычной фотопленки. Поскольку высококачественные линзы объективов обеспечивают разрешение по крайней мере 200 точек на 1 мм, негативная пленка стандарта 100ASA шириной 35 мм и размером кадра 24 × 36 мм обеспечит разрешение 24 × 200 × 36 × 200 = 34,56 млн. пикселей, что еще недостижимо для цифровых камер.

Тем не менее основное преимущество цифровых фотокамер по сравнению с обычными состоит в том, что они позволяют немед­ленно воспроизвести изображение на телевизионном приемнике или мониторе компьютера, записать его на видеомагнитофон или передать в телевизионную сеть.