Мультимедиа технологии. Лекция 3. Составляющие...

Мультимедиа технологии. Лекция 3. Составляющие мультимедиа.

Звук

Антон Викторович Кудинов,

доцент кафедры ВТ

Содержание Природа звука Оцифровка звука. Запись звука Обработка Сжатие Форматы хранения Объединение звука и изображения Методы синтеза звука MIDI

2

Природа звука Отличается от всех цифровых средств

информации (визуальных) Комбинация физических и

психологических факторов Сложно смоделировать Не всегда нужен: легко раздражает

3

Два специальных типа звука Музыка (имеет культурный статус) Речь (имеет лингвистическое содержание)

Разработаны специальные представления речи (особые алгоритмы сжатия) и музыки (команды)

4

Природа звука Преобразование энергии в колебания

воздуха или другой упругой среды Камертон – одна частота

Большинство звуков – сложной природы, можно разложить на набор частотных компонентов

Частотный спектр - способ описания звука через относительные амплитуды его частотных компонентов

5

Свойства звука Высота – восприятие мозгом частоты колебаний Длительность – восприятие

продолжительности колебаний Громкость – восприятие амплитуды колебаний

единица измерения – децибел удвоение амплитуды звуковых колебаний

соответствует увеличению громкости на 6 децибел, и наоборот

Пространственная локализация – оценка направления на источник звука и расстояния до него

Тембр – окраска звука. По тембрам отличают звуки одинаковой высоты и громкости, но исполненные или на разных инструментах, разными голосами, или на одном инструменте разными способами, штрихами.

6

Особенности восприятия звука человеком 20 Гц – 20 кГц (средние) Верхняя граница чувствительности

снижается с возрастом Форму сигнала любого звука можно

изобразить, построив зависимость его амплитуды от времени

Иллюзии: более громкий звук кажется более низким сложные звуки кажутся более низкими, чем

чистые человек выделяет свое имя, произнесенное в

шуме стереофония7

Цитата «Зная об очевидной сложности

акустических сигналов, было бы наивно верить, что аналоговые или цифровые технологии развились достаточно, чтобы допускать точную запись и передачу того, что мы слышим. Ситуацию еще более усложняет то, что мы не знаем точного предела человеческого восприятия. Очевидно одно: в лучшем случае, даже при использовании самой сложной технологии, то, что воспроизводится аудиосистемой, является лишь аппроксимацией реального звука».

Кен С. Похлманн8

Оцифровка звука 1. Преобразование звука в электрический

сигнал

2. Аналогово-цифровое преобразование: квантование дискретизация

9

Дискретизация Частота Найквиста для оцифровки звука:

f = 2 fmax = 2 * 20 кГц = 40 кГц Для разный целей:

AudioCD – 44,1 кГц передача через Internet – 22,05 кГц запись речи – 11, 025 кГц цифровые аудиоленты – 48 кГц

Используется частотный фильтр, удаляющий частоты больше половины частоты дискретизации

10

Квантование Количество уровней выбирается исходя из

удобного количества бит Обычно – 16 бит, 65 536 уровней Шум квантования Минимальный уровень – 8 бит Высококачественный звук – 24 бит

(сложная схема АЦП)

11

Шум квантования

12

Сжатие сжатие речи

удаление пауз (амплитуда ниже заданного порога)

нелинейное квантование адаптивная дифференциальная импульсно-

кодовая модуляция (16-32 Кбит/с) кодирование с линейным предсказанием

сжатие на основе восприятия отбрасывание данных, не влияющих на

восприятие сигнала сжатие на основе порога слышимости – психо-

акустическая модель стандарт MPEG-1, разработанный для видео,

хорошо используется для аудио, имеет 3 уровня (3-й уровень – MP3)

аудио MPEG-2 – Advanced Audio Coding (AAC), лучше сжатие, нет обратной совместимости

13

Форматы хранения и передачи По платформам:

MacOS – AIFF (.aiff) Windows – WAVE (.wav) Unix – AU (.au, .snd)

MP3 – скорее алгоритм сжатия, может быть частью других форматов

RealAudio (.ra, .ram) – для потокового аудио MIDI (.mid) MOD (.mod) – для хранения сэмплов,

платформонезависимый

14

Методы синтеза звука таблично-волновой синтез (WaveTable, WT) –

основан на воспроизведении сэмплов – заранее записанных звучаний реальных инструментов сэмплы содержатся в ПЗУ звуковой платы, можно

загружать в ОЗУ изменение высоты звука через изменение скорости

проигрывания сэмпла параллельное проигрывание разных сэмплов дополнительная обработка звука (модуляция,

фильтрация) достоинства: реалистичность звучания классических

инструментов, простота получения звука недостатки: жесткий набор заранее подготовленных

тембров, большие объёмы памяти для сэмплов, неодинаковое звучание разных моделей синтезаторов из-за различающихся наборов стандартных инструментов

15

Методы синтеза звука частотная модуляция (Frequency Modulation,

FM) – синтез, основанный на использовании нескольких генераторов сигнала с взаимной модуляцией каждый генератор управляется схемой,

регулирующей частоту и амплитуду сигнала (оператор)

бывает двухоператорный (OPL2) и четырехоператорный (OPL3) синтез

16

тембр звучания определяется схемой соединения операторов и параметрам и каждого оператора

мах количество синтезируемых тембров – зависит от числа операторов и схемы управления ими

Частотная модуляция достоинства: не надо заранее записывать

звуки инструментов и хранить их в ПЗУ, велико разнообразие получаемых звучаний, легко повторить тембр на различных платах с совместимыми синтезаторами

недостатки: трудно обеспечить достаточно благозвучный тембр во всем диапазоне звучания, имитация звучания реальных инструментов крайне грубая, сложно организовать тонкое управление операторами, из-за чего в звуковых платах используется упрощенная схема с небольшим диапазоном возможных звучаний

17

Выбор метода синтеза Если в композиции нужен звук реальных

инструментов, лучше подходит метод таблично-волнового синтеза

Для создания новых тембров более удобен метод частотной модуляции, хотя возможности FM-синтезаторов звуковых плат достаточно ограничены

18

MIDI Musical Instruments Digital Interface по сравнению с цифровым звуком – как

векторная графика по сравнению с растровой

сокращенная форма записи музыки в цифровой форме

достоинства: меньший объем памяти более высокое качество произведения можно редактировать на уровне отдельных нот,

менять скорость и тембр звучания и т.д. недостатки:

зависимость от устройства воспроизведения нельзя записать произвольный звук

19

MIDI-файл представляет собой последовательность

команд, которыми записаны действия (например, нажатие клавиши на пианино или поворот регулятора) General MIDI (GM) –разработка фирмы Roland, 128

мелодических тембров с возможностью воспроизведения звуков разной высоты и 46 ударных инструментов. За всеми инструментами закреплены номера

General Standart (GS) – общий стандарт фирмы Roland, включает дополнительные наборы мелодических и ударных инструментов, а также различные эффекты (скрип двери, звук мотора, крики и т.д.)

Extended General (XG) – новый стандарт фирмы Yamaha, включающий несколько сотен мелодических и ударных инструментов, ставший альтернативой формату GS

20

Спасибо за внимание!

KudinovAV@tpu.ru

21