Билет 3 Цифровой интерфейс музыкальных инструментов (midi)

MIDI (Musical Instrument Digital Interface) – этот стандарт включает в себя протоколы взаимодействия аппаратных средств (звуковой карты, отдельного устройства, синтезатора) и описание формата хранения данных (при хранении и обмене стандартизуемая мелодия описывается стандартизированным набором).

Суть MIDI-технологии:

Компьютер не просто проигрывает нужную вам мелодию, а стандартизует ее с помощью звуковой карты.

MIDI – мелодии – системы команд, управляющие звуковой картой, коды нот, которые она должна изобразить с указанием инструмента, длительности и некоторых других параметров каждой ноты.

Эта технология идеальна для компьютеров композиторов, т.к. позволяет с легкостью изменять любые параметры создаваемой на компе мелодии (заменять инструменты, добавлять, удалять их, изменять темп и стиль композиции).

Достоинства MIDI:

• Файлы с MIDI музыкой очень крохотные – несколько десятков Кбайт.

Недостатки MIDI:

• Голос в MIDI файл не записать

• Музыка хорошо звучит только при очень качественной звуковой карте

• MIDI сравнительно легко можно перевести в формат оцифрованного звука, но не наоборот.

Для ввода мелодии в стандарте MIDI в компьютер, применяется специальное средство ввода – MIDI клавиатура. Она фактически похожа на клавиатуру пианино, но предназначена для передачи соответствующих нот звуковой карте для последующего синтеза звука заданным инструментом. Программы синтеза мелодий отображают набранные ноты в соответствии с музыкальной нотацией, и позволяют их редактировать.

Примеры программных средств синтеза звука:

• Cakewalk Sonar

• Guitar Pro

• Rosegarden

Билет 4 Ввод видео данных

Общие проблемы при обработке разных потоковых данных является их объем. Практически всегда качество воспроизведения оцифрованного потока зависит от частоты дискретизации. Чем больше частота дискретизации, тем больше объем.

Существует 2 способа генерации движущихся изображений в цифровой форме.

1. С помощью видеокамеры можно записать последовательность кадров реального движения в реальном мире (видео).

2. Можно создать все кадры по отдельности либо с помощью компьютера, либо записывая по одному неподвижные изображения (анимация).

Поскольку и видео и анимация – разновидности движения изображения, то они имеют некоторые общие свойства, хотя и отличаются с технической точки зрения. Видео существенно ограничивает возможности обработки, хранения и передачи данных. Его благоразумно использовать в мультимедийной продукции для маломощных платформ. Потребность в высоких скоростях передачи данных возникала из-за того что мы имеем дело с движущимися изображениями и кадры должны сменять друг друга достаточно быстро, чтоб они воспринимались как непрерывно движущиеся.

Большой объем каждого кадра объясняется требованиями записи растровых изображений. Требование можно снизить с помощью сжатия изображения или при воспроизведении непосредственно с компакт диска. Для уменьшения объема данных нужно значительное сжатие, а так же использование других методов.

Например, ограничение размера кадров. При воспроизведении видео в реальном времени данное сжатие нужно выполнять так быстро как требует специальное аппаратное обеспечение.

Для сжатия оцифрованного видео существуют различные технологии, для осуществления которых необходимо использовать видеокамеры или компьютер. Если оцифровка и сжатие выполняются внутри камеры, то чисто цифровой поток данных передаётся компьютеру с помощью высокоскоростного интерфейса (например, DV-формат). При использовании цифровой видеокамеры сжатые данные записываются на карту памяти, а затем при желании копируются на компьютер, где подвергаются дальнейшей обработке (редактирование, дополнительное сжатие и т. д.).

Цифровое видео может записываться либо с помощью камеры, либо с помощью видеомагнитофона, либо с широковещательного телеканала.

Существующие технологии позволяют осуществлять оцифровку и сжатие:

• В камере

• В компьютере

Если оцифровка и сжатие выполняется с использованием схем встроенных в камеру цифровой сигнал (поток данных) передается компьютеру с помощью высокоскоростного интерфейса.

В настоящее время широко используется комбинация аппаратного обеспечения для записи видео, состоящая из цифровой видеокамеры или видеомагнитофона, использующего одну из разновидностей DV (Digital Video) формата (mini DV, или просто DV), соединенного с компьютером посредством интерфейса FireWire. Термин DV употребляется так же в качестве названия процесса хранения и обработки видеоданных в цифровой форме.

Три разновидности DV используют различные форматы ленты и предполагают различные степени коррекции ошибок и совместимости с аналоговым студийным оборудованием . но все они посылают цифровое видео на компьютеры как поток данных в одном формате, так что от ПО не требуется различать 3 типа оборудования.

DV –пользовательский формат, хотя и применяется для полупрофессионального воспроизводства видео .

Все оборудование DV поддерживает средства управления устройством:

• возможность остановки,

• запись,

• перемотка ленты в заданное место

с помощью сигналов посланных с компьютера посредством ПО.

Хотя качество цифрового видео в формате DV очень высоко – это сжатый формат, а сжатие порождает артефакты (дефекты) и препятствует последующей обработке и восстановлению сжатого изображения.

Оцифровка в компьютере. Если оцифровка выполняется в компьютере, то аналоговый видеосигнал, согласующийся с некоторым стандартом широковещательного видео, подается на вход платы оцифровки видеоизображений подключенной к компьютеру. В этой плате аналоговый видеосигнал преобразуется в цифровой.

Обычно получающиеся цифровые данные сжимаются в карте для передачи на диск для хранения и передачи. Иногда удается выполнить сжатие с использованием ПО, запущенного на ЦП компа.

Эту схему можно изменить, подав аналоговый сигнал на внешнее устройство переводящее сигнал в цифровой, который в свою очередь посылается не компьютер посредством FireWire. Этот вариант удобнее, если не требуется максимального качества, так как он позволяет ПО трактовать выход любого источника видео как поток цифрового видео.

Преимущества оцифровки в камере:

Когда аналоговый сигнал передается по кабелю, даже на небольшое расстояние, он искажается из-за шума. Шум так же накапливается, когда аналоговые данные записываются на машинную ленту. Если оцифровка выполняется внутри камеры, передаются по кабелю и записываются на ленту только цифровые сигналы. Сжатие применяется к чистому сигналу, поэтому оно может оказаться, гораздо более эффективным.

Недостаток оцифровки в камере:

Отсутствие контроля над этим процессом со стороны пользователя.

Поток данных, полученный цифровой видеокамерой, должен отвечать определенному стандарту (обычно DV) в котором оговаривается скорость передачи потока данных, а, следовательно, и степень приемлемого сжатия. Аналоговое видео записывает сцены, а соответствующее ПО позволяет пользователю управлять параметрами сжатия, использовать компромиссы между качеством изображения и скоростью передачи данных, а следовательно размером файла.

Устройства цифрового видео и платы оцифровки видеоизображений обычно выполняют не только оцифровку и сжатие, но также обратные операции − восстановление и цифроаналоговое преобразование. Устройства, которые сжимают и восстанавливают сигналы, называются компрессорами / декомпрессорами (кодеками).

Используя аппаратный кодек (кодек цифровой видеокамеры или плату оцифровки), можно оцифровать видеосигналы, записать их на компьютере, а затем воспроизвести на внешнем мониторе (т. е. телевизоре), подключённом к аналоговому выходу видеокамеры или видеокарты. Но при распространении мультимедийной продукции неизвестно, будут ли у зрителей аппаратные кодеки, а если и будут, то какие именно.

Также обычно требуется воспроизводить видео на компьютерном мониторе. Таким образом, нужен программный кодек − программа, обеспечивающая возможность воспроизведения видео на обычных компьютерных мониторах.

Обычно ПО работает медленнее специализированной аппаратуры, но воспроизведение полноэкранного видео с частотой низковещательного телевидения при использовании программного кодека на быстрых ПК возможно.

Как правило, алгоритмы сжатия, подходящие для программных кодеков, отличаются от алгоритмов, подходящих для аппаратной реализации, поэтому часто приходится восстанавливать сжатый видеоматериал (с ухудшенным качеством) для его подготовки к внедрению в мультимедийную продукцию.