12.16. Обработка сигналов в среде мультимедиа

Назначение и возможности технологии мультимедиа. Мультимедиа – своеобразное слово-лозунг, используемое в самых различных случаях, часто в рекламных целях. Эквивалентом данно­го слова является термин "много сред коммуникаций". В этом смысле термином "Мультимедиа" можно обозначить любую интеграцию более чем двух автономных сред коммуникаций, например таких, как ком­пьютер, факс и модем.

При более точном толковании термин " Мультимедиа" означает, что человек одновременно и наиболее рационально использует для связи с окружающим миром по возможности все свои органы чувств, по край­ней мере такие важнейшие для приема и переработки информации, как зрение и слух. При этом связь может осуществляться как с партнером (человеком), так и с какой-либо технической системой. Иначе гово­ря, Мультимедиа – это ориентированный на человека интерфейс, свя­зывающий его с компьютером как универсальным или всеобъемлющим устройством, являющимся сегодня важнейшим звеном телекоммуника­ционной системы.

До настоящего времени отдельные технические средства телеком­муникации, такие как телефон, 3В, звуковоспроизведение, передача данных (сети ЭВМ), передача текстов (электронная почта, телефакс, Internet), ТВ вещание, передача неподвижных и движущихся изображе­ний, все еще более или менее отделены друг от друга. При использова­нии технологии мультимедиа эти виды технических средств, использу­емые для передачи разнородной информации, объединяются на общей цифровой основе, позволяющей создать новую среду, включающую пер­сональный компьютер, проигрыватель компакт-дисков, радиоприемник, телевизор, факс, видеотелефон с автоответчиком. Независимо от того, состоит ли передаваемая в этой среде информация из чисел, текста, гра­фики, неподвижных и движущихся изображений со звуком или только из звуковой информации, ее можно будет создать, рассчитать, изменить, передать, принять, накопить, воспроизвести, стереть и т.п.

Существует много сфер деятельности, где человек мог бы исполь­зовать средства мультимедии. В самом общем виде их можно разде­лить на три части:

1. Передача и прием информации (сообщений). К одному или не­скольким приемникам можно будет передать любую информацию аку­стического, визуального или абстрактного типа, которую позже эти при­емники обнаружат и используют. Сюда же относится также добывание мультимедийной информации из банков данных, причем содержащих не только печатную продукцию, но подвижные изображения и звуки. При этом продолжительность передачи не будет играть существенно роли.

2. Представление информации. Пользователь сам сможет регули­ровать, в каком виде и форме ему будет представлена информация из посланных сообщений и банков данных: в акустическом виде. в виде текста или изображения, в качестве изменяющейся картинки или лю­бой комбинации этих зависящих либо независящих от времени видов. При этом имеющиеся в распоряжении пользователя технические сред­ства и компьютерные программы помогут ему отфильтровать и отсор­тировать информацию, исходя из своих представлений (информацион­ное самоопределение). Кроме того, информация, представленная или подготовленная в одной форме с помощью программного обеспечения, сможет быть либо преобразована в другую, по возможности более ком­пактную и наглядную форму.

3. Связь пользователей в реальном масштабе времени. Люди, на­ходящиеся в разных местах, благодаря мультимедийным средствам те­лекоммуникаций, смогут не только видеть и слышать Друг друга, но также одновременно работать над документами (официальными бума­гами, чертежами, рисунками, акустическими сигналами и т.п.). Таким образом, несмотря на то, что участников разделяет пространство, ме­жду ними возможна кооперация, совместная работа. Связь в реальном масштабе времени и одновременная работа пространственно разнесен­ных участников требуют не только записи и воспроизведения информа­ции на рабочем месте в удобной для человека форме, но и средств для ее передачи с высокой скоростью.

Итак, технология мультимедиа обеспечит эффективные, универ­сальные рабочие места, которые создадут удобную для человека сре­ду, привычную рабочую атмосферу для участников, разделенных в про­странстве. В этой пространственно разнесенной среде использование зрения и слуха не будет неестественно ограничено. При этом мобильные слушатели, перемещающиеся по территории, будут иметь возможность для передачи и приема разнородной информации. Конечно, совсем не­обязательно, чтобы каждое рабочее место было оборудовано всем набо­ром мультимедийных средств обработки, хранения, передачи и воспроиз­ведения информации. Однако интеграция различных, пока еще изолиро­ванных телекоммуникационных служб, а также радиовещания, телеви­дения, компьютерных сетей будет возрастать на общей цифровой основе.

Другое применение технологии мультимедиа имеет место в так на­зываемых системах виртуальной реальности. Кажущаяся действитель­ность возникает за счет объединения реальных изображений и изображе­ния, созданного компьютером, т.е. речь идет о комбинации реальных и синтетических изображений в одном видеоряде. Чтобы, например, изо­бразить картины с живыми существами, соответствующие им сигналы сначала преобразуют в цифровую форму. При этом можно рассчитать также промежуточные картины для создания движущегося изображе­ния. При показе на дисплее компьютера подвижного ряда изображе­ний, необходимо вычисление двумерного изображения, освещаемого ис­точником света для создания игры тени и света. В ряде мультимедиа может происходить достоверное представление реальных или создан­ных компьютером живых существ в реальных или искусственных мирах. При этом искусственные живые существа можно "пробудить к жизни", создав иллюзию того, что они являются живыми, реально существую­щими персонажами разворачивающегося действия. Типичными приме­рами применения такой компьютерной технологии мультимедиа явля­ются такие фильмы как "Парк Юрасика", где искусственные динозавры действуют вместе с реальными актерами, и "Форрест Гамп", в котором живой актер действует вместе с уже умершими людьми, о действиях которых имеется ранее при их жизни сделанная видеозапись.

С другой стороны, с помощью дополнительных устройств становит­ся возможным представить пользователю как он входит в сформиро­ванное компьютером помещение и движется в нем, поворачивая голову и видя определенные меняющиеся планы. Система пространственно­го видения и слушания (созданная с помощью стереонаушников и стереоочков) регистрирует (отображает) любое движение головы и даже движение глаз и создает сообразно с этим изменяющимся направлени­ем взгляда новые компьютерные изображения и сопутствующие звуко­вые сигналы. Типичным применением технологии мультимедиа может стать архитектура, где появляется возможность "увидеть" здание, скон­струированное с помощью ЭВМ, и войти в него. Таким образом каждый пользователь может перемещаться в построенных с помощью компью­тера мирах. Если скомбинировать эту систему виртуального видения и слышания с "перчаткой руки", имеющей соответствующие датчики, то с помощью специальных чувствительных элементов можно регистриро­вать и идентифицировать любое движение руки человека. При хватании любого виртуального предмета "перчатка данных руки" выдает ощуще­ние тяжести или легкости этого предмета, его твердости или мягкости, теплоты, холодности, то есть совокупность тех ощущений, которые воз­никают у человека при хватании реального предмета.

"Перчатка данных" может быть расширена до "костюма данных", если чувствительными элементами будут регистрироваться изменения состояния всего тела. например будет чувствоваться касание к предме­ту благодаря датчикам давления. Таким образом отображение действий реального живого существа происходит с помощью трехмерного сканера, т.е. все движения человека в помещении регистрируются и записывают­ся. Подобный трехмерный сканер может работать в полосе частот ТВ сигнала, если видеокамеры записывают вызываемые движением чело­века позиционные изменения. При этом измерительные датчики закре­пляются на самых важных местах "костюма данных".

Таким образом можно передать движение реального человека по направлению к управляемому компьютером виртуальному человеку. В другой ситуации движение может передаваться роботу, который работает во враждебном окружении. В том случае, когда робот и человек осна­щены соответствующими датчиками, то человек может, например, не только видеть и слышать, но также и чувствовать то, что делает робот, а также соответственно управлять им с помощью собственных движений.

В виртуальном мире люди, находящиеся в различных местах, и свя­занные сетью передачи данных, смогли бы вместе двигаться и действо­вать в нем. В этом смысле задуманы виртуальные бюро, где несколько человек (виртуально) работают друг с другом.

В конечном итоге, связь между находящимися на расстоянии людь­ми могла бы быть с передачей не только зрительной, но и звуковой информации. В это взаимодействие могут быть вовлечены и другие ор­ганы чувств человека – вкус и обоняние.

Технология мультимедиа станет основой для распространения раз­нородной информации в XXI веке, так как ожидается значительный рост информационных услуг.

Технические требования к технологии мультимедиа. Реализация всех возможностей технологии мультимедиа требует не только значительных затрат при организации рабочего места пользова­теля, но и больших объемов памяти для записи, хранения и последу­ющей обработки поступающих по телекоммуникационным каналам ци­фровых данных разнородной информации. Кроме того, как уже было упомянуто ранее, нужно иметь каналы с большой пропускной способ­ностью в том случае, если должна быть выполнена передача массива данных в масштабе реального времени.

Полоса частот передачи значительно увеличивается, если в масшта­бе реального времени будет передаваться не только аудиовизуальная, но также зрительная информация и информация о движении изображения.

Ниже будут рассмотрены объемы данных, которые поступают в ка­нал при преобразовании в цифровую форму изображений (графиков, фотографий, движущихся изображений), а также сопутствующих им ЗС.

Для хорошей разрешающей способности цветного неподвижного изображения (качество хорошей фотографии) необходимо иметь 3072х2048 точек изображения (элементов изображения – Pixel). Если для кодирования трех основных цветов – красного, зеленого, голубого – используется по 8 битов (1 байт), то сигнал изображения уже имеет объем в 3072х2048х24 = 144-Мбит или 18 Мбайт.

В видеоформате YUV в каждой строке имеется 720 Y-значений от­счетов сигнала изображения с разрешающей способностью по яркости 8 бит и соответственно 360 U и V-значений отсчетов с необходимым разрешением по цвету 8 бит. При 625 строках (PAL/SECAM) и передаче 25 кадров в секунду это дает в итоге поток данных со скоростью около 172 Мбит/с. Для телевидения высокой четкости (HDTV) с 1920х1152 элементами (точками на кадр) и передаче 50 кадров в секунду скорость передачи данных уже составляет около 2,5 Гбит/с.

Цифровой стереосигнал с частотой дискретизации 48 кГц и линей­ным квантованием с разрешением 16 бит/отсчет дает скорость переда­чи данных 1,5 Мбит/с, Для компакт-диска скорость передачи данных составляет 1636 Мбит/с.

Итак, при преобразовании информационных видео- и аудиосигна­лов в цифровую форму возникает большой объем цифровых данных и требуемая для их передачи пропускная способность канала связи ока­зывается очень высокой. Отказаться от преобразования сигналов в ци­фровую форму нельзя, так как только в цифровой технике возможно многократное копирование сигнала и его разнообразная обработка без потери качества.

Имеющиеся в распоряжении дешевые цифровые сети, например ISDN, допускают скорость передачи данных n-64 кбит/с, максималь­но до 2 Мбит/с. Через них можно передать без сжатия данных лишь стереосигнал, но не видеосигнал. Передача одного фотоизображения продлилась бы почти 75 секунд. Более высокие скорости передачи пред­лагают сети VBN с пропускной способностью 140 Мбит/с или широко­полосные ISDN сети на 155 Мбит/с. Но их использование для обычного рабочего места с технологией мультимедиа слишком дорого. Например, было бы желательным видеоконференции проводить с использованием линии ISDN, где качество при передаче сигналов изображения соответ­ствует сегодняшнему телевидению.

В качестве доступной по цене накопительной памяти пред­лагается компакт-диск (КД). В режиме 1 (2048 бит полезных дан­ных/сектор, максимальное число секторов 333000/КД) можно нако­пить до 650 Мбайт цифровых данных. Тем самым один КД мог бы со­держать до 36 изображений. Чтение КД можно выполнять со скоростью лишь 600 кбайт/с. Это означает, что для чтения одного изображения с КД требуется свыше 30 с. Видеосигналы, представленные в стандарте МККР, можно накопить до длины 30 с. Но их нельзя будет считывать с КД в масштабе реального времени. Данные должны были бы непо­средственно считываться с видеопамяти, поскольку шина персонального компьютера не может работать с требуемой для передачи в реальном времени скоростью. Лишь стереоаудиоданные с частотой дискретиза­ции 44,1 кГц можно без проблем считывать с накопителя на магнитных дисках или КД. Процесс накопления таких данных может длиться до 74 мин. В режиме СД-ДА можно считывать 75 секторов с емкостью 2352 байта каждый или 176400 байт/с. Это соответствует скорости передачи данных около 1,36 Мбит/с (поток данных с качеством компакт-диска).

Из изложенного следует, что совместная передача и накопление ци­фровых данных, соответствующих видео- и аудиосигналам, становятся возможными лишь при значительном сжатии этих данных. Если удаст­ся поток данных со скоростью 172 Мбит/с для видеосигнала, включая 1,5 Мбит/с для аудиосигнала, сжать в общей сложности до значения1,5 Мбит/с, то лишь тогда можно использовать канал ISDN для их пе­редачи, а компакт-диск для их накопления. Подобное сжатие достига­ется MPEG стандартом, который уже рассматривался ранее примени­тельно к аудиосигналу.

Способ компрессии аудиоданных. В стандарте MPEG-1 для ЗС приняты частоты дискретизации 32, 44,1 и 48 кГц, в MPEG дополнительно введены частоты дискретиза­ции 16, 22,05 и 24 кГц. Скорость передачи потока данных в MPEG-1 изменяется от 32 до 448 кбит/с, в то время как стандарт MPEG-2 до­пускает и более низкие скорости передачи данных – до 8 кбит/с. Бу­дущий стандарт MPEG-4 позволит вести передачу цифровых данных с еще более низкой скоростью.

Стандартом MPEG-1 предусматриваются три различных метода ко­дирования аудиосигналов: " Layer-1', " Layer-2" и "Layer-3", реализующих разную степень компрессии аудиоданных. Во всех случаях реализуется метод субполосного кодирования, когда аудиосигнал расщепляется на 32 одинаковых по ширине частотные полосы, в каждой из которых пре­жде всего выполняется понижение частоты дискретизации в 32 раза. Квантование отсчетов ЗС происходит с учетом психоакустической моде­ли, в которой учитываются характеристики маскировки человеческого слуха. Квантованные значения отсчетов ЗС, коэффициенты масштаби­рования и другая информация о кодировании образуют группу данных, с адаптивным распределением битов по субполосам. В группе данных (аудиофрейме) определена лишь их структура, но не содержание, на­пример вид психоакустической модели, используемой при кодировании отсчетов выборки ЗС.

Наиболее высокое разрешение по частоте и лучшее энтропийное кодирование с заранее определенными таблицами Хоффмана реализо­вано в "Layer-3".

Стандарт MPEG-2 (ISO/IEC 13818-3) содержит в сравнении с MPEG-1 многоканальное кодирование сигналов окружения (Surround). Наряду с каналами Л и П стандарт MPEG-2 поддерживает также цен­тральный фронтальный канал С и два канала пространственного звуча­ния LS и RS (3/2 формат), а также другие форматы воспроизведения ЗС, например 3/1, 3/0, 2/2, 2/1, предусмотренные документом 10/63-Е, и канал сверхнизких частот (Low frequency enhancement – LFE). Эта новая по сравнению с MPEG-1 стандартом информация размещается в части блока дополнительных данных, определенного в MPEG-2, так что поток данных остается совместимым с MPEG-1. Декодирующее устрой­ство MPEG-1 может просто игнорировать эти дополнительные данные. В то же время декодирующее устройство стандарта MPEG-2 может пе­рераспределять путем последующего матрицирования моно- и стереоинформацию кодирующего устройства MPEG-1 на многоканальный вывод.

Таким образом, декодирующее устройство стандарта МPEG-1 может пе­рерабатывать стереоинформацию кодирующего устройства МPEG-2. В свою очередь декодер стандарта МPEG-2 может воспроизвести моно- и стереоинформацию кодирующего устройства MPEG-1.

Способ компрессии видеоданных. В этом разделе рассмотрено сжатие видеоинформации, которое тре­буется для реализации технологии мультимедиа. При кодировании сиг­налов изображений необходимо удалить избыточную информацию, и тогда возможно будет достигнуто требуемое для передачи сигналов изо­бражения сжатие.

Для кодирования неподвижных изображений имеется стандарт JPEG. Сжатие данных изображения достигается применением 8х8 дис­кретного косинусного преобразования (Diskrete Cosinus Transformation – DCT) и специального квантования. При этом учитывается свойство зрения, заключающееся в том, что человек воспринимает с меньшими помехами шумы квантования при высоких пространственных частотах, чем при низких. Поэтому высокочастотные коэффициенты преобразо­вания DCT квантуются более грубо. Для их кодирования использует­ся адаптивная дифференциальная ИКМ, причем 64 коэффициента пре­образования блока картинки кодируются с помощью таблиц Хоффмана, где для кодирования коэффициентов DCT используются кодовые сло­ва разной длины: более короткие для часто встречающихся коэффи­циентов и более длинные для редко встречающихся. Таким образом может быть достигнута компрессия потока цифровых видеоданных в пределах от 8:1 до 18:1.

Для кодирования подвижных изображений прежде всего был рас­ширен стандарт JPEG. В его разновидности M-JPEG отдельно кодиру­ется каждое видеоизображение. Таким образом достигается сжатие в пределах от 20:1 до 50:1 и даже более. Недостатком модифицированно­го стандарта M-JPEG является то, что процедура кодирования сжатых сигналов очень трудоемка. Кроме того, с увеличением степени сжатия значительно ухудшается качество изображения.

Лучшие результаты дает стандарт MPEG (ISO/IEC 11172-2 и 13818-2), который тоже использует для сжатия корреляцию сигна­лов внутри кадра и при смене кадров. Коэффициенты преобразования DCT, во-первых, подвергаются локальной пространственной обработке, при которой используется корреляция данных внутри кадра изображе­ния. Кроме того, коэффициенты разных кадров изображения подвер­гаются временной обработке, которая использует похожесть следующих друг за другом кадров изображения (картинок). После двух ступеней обработки происходит адаптивное квантование, а потом кодирование коэффициентов DCT кодовыми словами переменной длины, например при котором редким высоким амплитудным значениям соответствуют длинные кодовые слова, а частым маленьким амплитудным значениям– короткие кодовые слова. Дальнейшее сжатие достигается благода­ря тому, что через регулярные интервалы времени передается полная информация о кадре изображения (картинке), подвергнутая сжатию пу­тем двухступенчатой обработки коэффициентов DST, а в промежутках вся необходимая информация вычисляется через предсказание. Допол­нительное сжатие при этом осуществляется также благодаря интерпо­ляции информации о цвете.

Заметим, что процедура кодирования становится здесь более тру­доемкой, а декодирование компрессированных данных – наоборот бо­лее простым в сравнении с методом M-JPEG. Поэтому кодирование осуществляется с помощью специального аппаратурного обеспечения (Hardware), в то время как декодирование компрессированных видео­сигналов может происходить с помощью программного обеспечения (Software). В стандарте MPEG-1 (ISO/IEC 11172-2) достигается сжа­тие видеоданных от 50:1 до 200:1, так что для передачи видеосигнала необходима скорость 1,2 Мбит/с. В этом случае видеоинформацию на видеокомпакт-диск можно записывать не 39 с, а 50.. .60 мин. Если до­полнительно к этому использовать способ записи с повышенной плот­ностью, то становится возможным записать игровой фильм с длитель­ностью показа 120...150 мин.

Более эффективнее сжатие цифровых видео- и аудиоданных обес­печивает стандарт MPEG-2 (ISO/IEC 13818-2 и 3).

Следует отметить, что оба указанных стандарта определяют лишь синтаксис и семантику потока цифровых данных. При этом скорость передачи данных сжатого сигнала может быть как постоянной, так и переменной. Пока соблюдаются определенные правила синтаксиса раз­личные декодеры и кодеры с разной степенью компрессии цифровых данных могут меняться местами. Сигналы, которые создаются коди­рующим устройством MPEG-2, могут обрабатываться декодирующим устройством MPEG-1. Процедура декодирования в обоих стандартах жестко регламентирована в отличие от процедуры кодирования, где име­ется определенная степень свободы при обработке данных.

Мультимедийные авторские системы. Данные системы представляют собой изделия с соответствующим программным обеспечением. С их помощью можно без дополнительно­го программирования сгруппировать различные видео- и аудиоданные, обрабатывать их, архивировать, выполнять различные презентации. Для презентации кроме программного обеспечения (Software) требуется так­же соответствующее аппаратное обеспечение (Hardware), которое в мас­штабе реального времени восстанавливает сжатые данные в накопитель­ной среде и затем выводит их на экран монитора или соответственно на громкоговоритель системы воспроизведения.

Обработка видеоизображений от их введения в компьютер до ани-мирования (оживления) и составляет основное содержание программно­го обеспечения мультимедийных авторских систем. Перевод объекта из одной формы в другую (оживление) происходит через оценку началь­ной и конечной форм с помощью специальных вспомогательных линий и точек маркировки, определяющих диапазон и скорость преобразова­ния изображений. При этом все промежуточные изображения (кадры) рассчитываются программным способом.

15