Kandaurova_N_Vychislitelnye_sistemy_seti_i_telekommunikatsii

8. Пятибратов А.П. и др. Вычислительные системы, сети и телекоммуникации: учебник / А.П. Пятибратов, Л.П. Гудыно, А.А. Кириченко; под ред. А.П. Пятибратова. – 2-е изд., перераб. и доп. – М.: Финансы и статистика, 2002.

Лекция № 9. СИСТЕМЫ МУЛЬТИМЕДИА

9.1. Назначение и состав систем мультимедиа

Мультимедиа (многосредовость) – это компьютерная информационная технология, позволяющая объединять в компьютерной системе текст, звук, графические изображения и анимацию.

Согласно этому определению, основными отличительными признаками систем мультимедиа являются: интеграция в одном программном продукте многообразных видов информации: традиционных (текст, таблицы, иллюстрации) и оригинальных (речь, музыка, видеофильмы и др.). Это предполагает наличие в составе компьютера специфических устройств, предназначенных для работы с различными видами информации (микрофона, аудиосистемы, проигрывателя оптических компакт-дисков, телевизора, видеомагнитофона, цифровой видеокамеры и др.).

Всѐ это привело к тому, что компьютер в мультимедийном исполнении стал универсальным устройством, перерабатывающим различные виды информации [6, 10, 23]:

числовая, логическая и символьная информация;

аудиоинформация имеет динамический характер и существует в режиме реального времени (звуковой сигнал, аккорд – смесь звуковых сигналов, звуковые эффекты, мелодия, речь);

видеоинформация: статическая и динамическая.

Статическая видеоинформация – это штриховые рисунки (графики, чертежи, таблицы) и полутоновые рисунки (форма предметов передается яркостью, освещенностью, цветом).

Для точности передачи изображения существенное значение имеет разрешающая способность (пиксел на сантиметр или дюйм) считывающей и воспроизводящей аппаратуры.

При считывании и отображении полутоновых изображений важно знать: какое количество уровней серого должна обеспечивать аппаратура. Глаз человека способен различать около 200 оттенков серого. Для оцифровки такого количества оттенков необходимо 8 бит на каждый пиксел. Для хранения оцифрованного изображения размером 9×12 см при разрешающей способности 300 пиксел на дюйм необходимо около 1 Мб памяти.

Динамическая видеоинформация используется либо для передачи движущихся изображений (анимация), либо для последовательной демонстрации отдельных кадров вывода (слайд-фильмы). В их основе лежит последовательное экспонирование на экране отдельных кадров вывода в соответствии со сценарием.

Анимационные фильмы демонстрируются так, чтобы зрительный аппарат человека не мог зафиксировать отдельные кадры вывода. При демонстрации более 16 кадров в секунду незаметно даже мелькание. Если кадры содержат различные фазы движения объекта, то такая демонстрация создает впечатление перемещения объекта.

121

При демонстрации слайд-фильмов каждый кадр должен экспонироваться на экране в среднем от 0,5 до 1,5 мин.

При работе с видеоинформацией используются операции: захват изображения с экрана с загрузкой его в файл; сжатие изображения и его восстановление; конструирование видеоэффектов; запись компьютерных изображений на видеомагнитофон и т.д.

Семантическая (смысловая) информация – это информация, не имеющая ярко выраженного носителя. Смысл связан с такими понятиями, как ум, разум, рассудок, смышленость, догадливость, понимание, постижение. Смысл это – сущность какого-либо высказывания, несводимая к значениям составляющих его элементов. Компьютеры предназначены для работы только со знаковыми системами. Так как проблема машинной обработки смысла не решена, приходится применять упрощенные средства человеко-машинного общения, далекие от привычного для человека естественного языка. При работе с семантической информацией используются такие операции, как узнавание, классификация, прогнозирование, выделение существенных признаков и др.

Для обработки каждого вида информации существуют свои технологии и программно-аппаратные средства. А поскольку разные виды информации могут использоваться совместно, то возникает проблема их сопряжения и преобразования из одного вида в другой.

Технология мультимедиа создает новый уровень интерактивного общения «человек – компьютер», когда в процессе диалога пользователь получает более обширную и разностороннюю информацию, что способствует повышению эффективности профессиональной деятельности, обучения и отдыха.

Применение мультимедиа привело к появлению новых источников информации: электронных книг; музейных и туристических путеводителей; обучающих, консультирующих и диагностических систем; рекламных роликов и др.

Специальным построением программного обеспечения в системах мультимедиа достигается эффект, который получил название виртуальная реальность. Этот эффект воздействует на психику человека и направлен на замену имеющейся у человека модели мира, виртуальной (несуществующей) моделью, в которой живут и действуют невоспринимаемые в реальном мире персонажи (космические монстры, привидения и т.п.).

Системы мультимедиа работают в реальном режиме времени, что связано с использованием в них аудио- и видеоинформации, имеющих аналоговую природу. Ввод-вывод этих видов информации в компьютер требуют применения специальных устройств, которые приведены на рисунке

9.1.

К устройствам управления курсором относятся мышь, джойстик, трекбол и т.п.

Кроме того, в состав специальных устройств систем мультимедиа входят преобразователи информации: аналого-цифровые и цифро-

122

аналоговые, системы распознавания, преобразователи форматов (конвертеры), системы сжатия и восстановления аудио- и видеосигналов, преобразователи TV-сигналов в компьютерные и обратно.

Устройства ввода-вывода систем мультимедиа

Устройства			Устройства		Устройства		Преобразователи
ввода			вывода		ввода-вывода		информации
Клавиатуры			Принтеры		Абонентские		АЦП
					терминалы
Устройства			Плоттеры				ЦАП
управления					Модемы
курсором			Электронные				Системы
			экраны и		Сенсорные		распознавания
Системы ввода			панели		дисплеи
с машино-							Преобразова-
читаемых			Системы		Аудиовидео-		тели форматов
документов			аудиовывода		магнитофоны		(конвертеры)
Сканеры			Видеовывод		Пишущие CD		Системы
			(пишущий		(CD-R и CD-		сжатия и вос-
Устройства			плеер, TV-		RW)		становления
ввода			приѐмник)
акустических							TV-преобразо-
сигналов							ватели
Цифровые
фотокамеры
Цифровые
видеокамеры

Рисунок 9.1 – Устройства ввода-вывода систем TV-устройства мультимедиа

ввода (плеер, TV)

9.2. Анимационные устройства ввода-вывода

Необходимость использования специализированных технических средств для компьютерной графики и анимации (воспроизведения движущихся изображений) объясняется высокими требованиями к качеству воспроизводимого изображения. При воспроизведении статических изображений повышение качества достигается увеличением разрешающей способности экрана и улучшением цветопередачи, что, требует значительного увеличения видеопамяти и емкости внешних ЗУ. Работа в реальном масштабе времени при демонстрации фильмов предъявляет высокие требования к производительности центрального процессора и скорости обмена с внешними устройствами. Внешние устройства используют видео- и аудиоаппаратура с иными принципы представления информации.

123

Информацию приходится перекодировать. Это также требует дополнительных временных, аппаратных и программных ресурсов. Кроме того, редактирование видеоинформации и перекодирование, создание видеоэффектов тоже связано с вычислительной обработкой, т.е. с дополнительными затратами времени [6, 10, 23].

Таким образом, при использовании компьютеров для создания и демонстрации компьютерной графики и анимации требуются: высокая производительность всего технического комплекса, специализированные преобразователи информации, технические средства для высококачественного отображения, ввода-вывода и хранения больших объемов информации.

Производительность технического комплекса определяется производительностью его составных частей и отсутствием их простоев из-за ожидания друг друга, совмещением во времени различных операций.

Технический комплекс (микропроцессорный комплект + интерфейс ввода-вывода + устройства ввода-вывода) представляет собой последовательную систему с параллельными ветвями УВВ. Производительность такой системы зависит от быстродействия микропроцессорного комплекта, пропускной способности интерфейса вводавывода, производительности и способа подключения УВВ. При этом одним из элементов этого комплекса является человек-оператор, обладающий временем реакции, несопоставимым с временем выполнения операций электронной частью комплекса.

Для воспроизведения фильмов необходимо выводить на экран не менее 24 кадров в секунду, а человеку необходимо для восприятия изображения не менее 30с. Для хранения фильмов в цифровом виде нужны запоминающие устройства очень большого объема. Это приводит к поиску способов сжатия информации с помощью программных и аппаратных преобразователей.

Обилие разновидностей компьютерной графики и анимации информации приводит к необходимости использования различных устройств ввода и соответствующих устройств вывода информации.

В состав анимационных устройств ввода-вывода входят: цифровая фотокамера, видеокамера, видеомагнитофон и телевизор, а так же преобразователи видеосигналов.

Основой цифровой фотокамеры обычно является ПЗС – прибор с зарядовой связью, преобразующий световые волны в электрические сигналы. Приборы с зарядовой связью выполнены в виде матриц, содержащих от 300 до 900 тыс. элементов. От количества элементов зависит разрешающая способность.

Большинство современных цифровых фотокамер имеет жидкокристаллический дисплей, выполняющий две функции: просмотр содержимого памяти и дублирование оптического видоискателя. Кроме того : на дисплей выводится экранное меню, с помощью которого выбираются опции работы с изображением.

124

Цифровая фотокамера имеет запоминающее устройство для хранения отснятых изображений (фотографий). В качестве ЗУ используются различные типы устройств, в том числе сменные Smart-Media карты, объем которых составляет от 2 до 8 Мбайт. В среднем на такую карту емкостью 2 Мбайта умещается до 10 кадров с разрешением 1024x768 или до 40 кадров с разрешением 640x480. Отснятое изображение перед записью в ЗУ сжимается. Степень сжатия также оказывает влияние на количество размещаемых в памяти кадров.

С помощью меню можно просматривать на дисплее отснятые кадры, стирать их и воспроизводить на освободившееся место новую съемку.

Глаз человека имеет ограниченную разрешающую способность – две точки с угловым расстоянием меньше одной минуты воспринимаются глазом слитно; цветовое восприятие человека субъективно.

Три цветные элементарные точки на экране образуют триаду. Для того чтобы триада воспринималась как одна точка, угловое расстояние между отдельными точками должно быть меньше одной минуты. При расстоянии от глаза до экрана в 1 м линейные размеры точек должны составлять доли миллиметра. При диагонали экрана 61 см общее число триад на экране должно быть около 500 000 (это эквивалентно 1000 пиксел при 500 пикселных строках).

Стандарт телевидения – 525 строк на экране. При чересстрочной развертке частота смены полукадров – 50 герц. Для того чтобы видеосигнал мог перенести каждый элемент кадра (триаду), он должен иметь частоту (f):

f=N/2T,

где: N – число элементов изображения (триад) на экране; Т – время передачи одного кадра (1/25 с).

Тогда f =500 000 / (2/25)=6 250 000=6,25 МГц.

Это достаточно большая частота, но для передачи видеосигнала от телецентра к телевизионному приемнику необходима радиочастота примерно в 10 раз большая. Поэтому диапазон частот телевещания охватывает частоты от 48,5 до 230 МГц.

Несущая частота используется как энергия для переноса информации, когда на нее накладывается видеосигнал, образуются модулированные радиочастотные колебания. Сам процесс наложения видеосигнала на несущую частоту называется модуляцией.

Полный телевизионный сигнал должен нести информацию о яркости, цвете изображения и звуке. Для получения устойчивого изображения на экране прорисовка каждого кадра на передающей камере в телецентре и в телевизионном приемнике должна начинаться в одно и то же время, т.е. синхронно. Поэтому полный телевизионный сигнал включает и синхроимпульсы кадровой и строчной развертки.

Видеокамера представляет собой устройство, преобразующее визуальное изображение в аналоговые электрические сигналы.

Основным блоком, воспринимающим изображение в видеокамере, является электронно-лучевой прибор, который по своему устройству

125

напоминает электронно-лучевую трубку: в нем также имеются катод, анод, сетка, отклоняющая и фокусирующая системы. Электронный луч постоянно перемещается, формируя растровую развертку на специальном экране – мишени. Мишень выполнена из диэлектрической пластинки (например, слюды), с одной стороны которой наклеена металлическая фольга, а с другой

– напылен серебряно-цезиевый состав. Напыление производится так, что серебряно-цезиевый состав образует отдельные, электрически не связанные между собой пятна очень маленьких размеров (примерно 1000 пятен в строке и 625 строк на пластинке). Каждое такое пятно образует пиксел, т.е. наименьший элемент изображения.

В отличие от ЭЛТ мишень установлена под углом 45° к падающему на нее потоку электронов. Поток электронов формирует растр на поверхности мишени, покрытой серебряно-цезиевым составом. На ту же поверхность через оптическую систему проецируется изображение.

Пятна серебряно-цезиевого состава с одной стороны мишени и фольга с противоположной ее стороны образуют электрические конденсаторы. При отсутствии изображения (вся мишень затемнена) электронный луч заряжает эти конденсаторы. Когда на мишень попадает изображение, часть серебряно - цезиевых пятен засвечивается. Свет имеет электромагнитную природу: попадая на серебряно-цезиевые вкрапления, он способствует уходу из них электронов, вследствие чего соответствующие конденсаторы разряжаются, причем сила разряда пропорциональна яркости света. При повторном сканировании мишени электронный луч дозаряжает разряженные конденсаторы, в результате чего на противоположной обкладке конденсатора фиксируется возникновение электрического тока, величина которого пропорциональна степени разряда элементарного конденсатора (которая, в свою очередь, зависит от яркости изображения, попавшего на этот пиксел), Сигнал, снятый с фольги на мишени, после усиления является носителем изображения и может быть записан на магнитный носитель или передан на приемник телевизионного изображения.

Если в таком приборе производится однократное считывание информации, которое после оцифровки запоминается на магнитном носителе, то прибор является видеофотокамерой.

Видеомагнитофон – это устройство, воспринимающее высокочастотный телевизионный сигнал для записи его на магнитную ленту. После окончания записи телевизионный сигнал (хранящийся на видеокассете) может быть считан с магнитной ленты и воспроизведен на телевизионном устройстве.

Таким образом, видеомагнитофон – это запоминающее устройство, специализирующееся на приеме, записи и воспроизведении динамической видеоинформации.

Для приема высокочастотного телевизионного сигнала служит тюнер – приемник телевизионных сигналов.

Плеер – устройство, позволяющее считывать информацию с видеокассеты для воспроизведения на телевизоре.

126

Пишущий плеер – устройство, позволяющее записывать видеоизображение с телевизора (тюнера) на видеокассету и считывать информацию с видеокассеты для воспроизведения ее на телевизоре.

Помимо приема, записи и считывания видеоинформации, видеомагнитофоны могут выполнять дополнительные функции, что позволяет реализовать различные видеоэффекты.

К дополнительным функциям относятся:

регулировка скорости и направления протяжки магнитной ленты;

цифровые эффекты (картинка в картинке, воспроизведение стопкадров, экстраэффекты – мозаика, цифровое шумоподавление);

наложение звука;

поиск по индексу;

программирование на запись телепередачи;

редактирование вставкой.

Передаваемое изображение может состоять из отдельных кадров, сменяющих друг друга не реже 16 раз в секунду (телевизионный стандарт – 25 кадров/с). Воспринимается такое изображение как непрерывное.

Для пересылки цветного изображения необходимо передавать три сигнала: R (red); G (green); В (blue). Они определяют яркость и цвет изображения. Но зрение человека более чувствительно к яркости, чем к цвету, а мелкие детали изображения по цвету почти не различаются. Яркость

(Y)образуется из яркостей трех основных цветов: Y=R+G+B.

Втелевидении с целью совместимости черно-белого и цветного изображений вместо сигналов R, G и В передаются другие три сигнала: Y –

яркость и цветоразностные сигналы – синий (В-Y) и красный (R-Y). Причем эти сигналы передаются с помощью различных видов модуляции: Y – с помощью амплитудной модуляции, цветоразностные сигналы – с помощью частотной модуляции.

В зависимости от того, как именно передаются цветоразностные сигналы, различаются две системы цветного телевидения – СЕКАМ (советско-французская) и ПАЛ (германская).

В системе СЕКАМ цветоразностные сигналы передаются через строку, поочередно, на разных несущих частотах. Причем полная информация о цвете передается в двух строках. В результате этого каждая пара строк оказывается одноцветной, но из-за чересстрочной развертки одноцветные строки не находятся рядом.

В системе ПАЛ цветоразностные сигналы передаются одновременно на одной поднесущей частоте со сдвигом фаз на 90°.

Преобразование телевизионных сигналов в компьютерные заключается в выделении сигналов Y, B-Y, R-Y и синхроимпульсов, их очистке от сигналов звукового сопровождения и вычислении по ним сигналов R, G, В и адресов пиксел на экране.

127

9.3. Устройства ввода-вывода звуковых сигналов

Системы мультимедиа начинались со звука [6, 23], который воспринимается независимо от изображения, не наносит ущерба восприятию выводимой на экран информации, а при хорошем качестве даже дополняет ее и повышает восприимчивость пользователя, оказывает сильное психологическое воздействие на оператора, создает настроение. Звуковое сопровождение служит дополнительным способом передачи информации об основном и фоновом процессах, например, воспроизведение речи дает представление об индивидуальности говорящего, помогает разобраться в произношении слов; сопровождение фонового процесса звуковыми эффектами способствует возникновению образного представления об особенностях их протекания, информирует пользователя о наступлении ожидаемого события, привлекает к себе внимание и др. Так, о появлении сообщения в электронной почте может информировать звук падающей газеты или защелкивание крышки почтового ящика; перекачка информации может сопровождаться журчанием ручейка и т.д.

Однако звуковая (аудио или акустическая) информация имеет и самостоятельное значение. Можно выделить три направления в использовании звуковых возможностей систем мультимедиа:

бытовые системы мультимедиа используют звуковые возможности ПК в обучающих программах, в энциклопедиях и справочниках;

мультимедиа бизнес-приложения используют звук для тренинга,

презентации, видеотелеконференций, голосовой почты, автоматического стенографирования, голосовой защиты;

профессиональные мультимедиасистемы – это средства производства озвученных видеофильмов, домашние музыкальные студии позволяют выполнить программную обработку мелодии, воспроизвести или записать на стандартную звукозаписывающую аппаратуру.

Физические основы генерации компьютерного звука [23, 24, 25].

Звук – это механические колебания (вибрация) упругой среды (газ, жидкость, твердое тело). Чистый звуковой тон представляет собой звуковую волну, подчиняющуюся синусоидальному закону:

у = am × sin(ωt)=am × sin(2πft),

где: aт – максимальная амплитуда синусоиды; ω – частота (ω = 2πf);

f – количество колебаний упругой среды в секунду (f=1/T); T – период;

t – время (параметрическая переменная).

Звук характеризуется частотой (f), измеряемой в герцах, т.е. количеством колебаний в секунду, и амплитудой (а). Амплитуда звуковых колебаний определяет громкость звука.

128

Для монотонного звука (меандр) характерно постоянство амплитуды во времени. Затухающие звуковые колебания характеризуются уменьшением амплитуды с течением времени.

Человек воспринимает механические колебания частотой 20 Гц – 20 КГц как звуковые. Колебания с частотой менее 20 Гц называются инфразвуком, колебания с частотой более 20 КГц – ультразвуком. Для передачи разборчивой речи достаточен диапазон частот от 300 до 3000 Гц.

Если несколько чистых синусоидальных колебаний смешать, то вид колебаний изменится – колебания станут несинусоидальными. Если смешиваются не любые синусоидальные колебания, а строго определенные, частота которых отличается в 2 раза, называются гармоники. Основная гармоника имеет частоту f1 и амплитуду а1 вторая гармоника – частоту f 2 и амплитуду а2 и третья гармоника – соответственно f3 и а3. Причем, f1<f2<f3,

а1>а2>а3.

При бесконечном количестве таких гармоник образуется периодический сигнал, состоящий из прямоугольных импульсов. На слух всякое отклонение от синусоиды приводит к изменению звучания.

Синусоидальные сигналы в компьютере можно получить только с помощью специальных устройств – аудиоплат. Без таких устройств хорошего качества звучания добиться не удается.

Для улучшения качества звучания необходимо к компьютеру подключить внешнюю аппаратуру. При этом следует преобразовать дискретные сигналы компьютера в аналоговые сигналы аудиоаппаратуры. Такое преобразование можно выполнить с помощью схемы цифроаналогового преобразования (ЦАП).

Для ввода звуковых сигналов в компьютер необходимо их оцифровывать, т.е. аналоговый (непрерывно изменяющийся) сигнал преобразовать в дискретные сигналы-импульсы.

Существует много способов оцифровки аналогового сигнала:

аналого-цифровой преобразователь (АЦП);

время-импульсное кодирование аналогового сигнала (клиппирование);

спектральный анализатор и др.

Обычно звуковая плата состоит из трех модулей: модуля оцифрованного звука, многоголосного частотного синтезатора и модуля интерфейсов внешних устройств.

Модуль оцифрованного звука предназначен для цифровой записи, воспроизведения и обработки оцифрованного звука.

Многоголосный частотный синтезатор предназначен для генерации звуковых сигналов сложной формы. Существуют два способа синтеза звуковых сигналов: частотный и волновой.

Частотные синтезаторы генерируют звуковые колебания синусоидальной формы заданной частоты и амплитуды.

Волновой синтезатор имеет запоминающее устройство, в которое записаны образцы звучания различных музыкальных инструментов в виде

129