Мультимедиа технологии. Лекция 3. Составляющие мультимедиа.

Звук

Антон Викторович Кудинов,

доцент кафедры ВТ

Содержание Природа звука Оцифровка звука. Запись звука Обработка Сжатие Форматы хранения Объединение звука и изображения Методы синтеза звука MIDI

2

Природа звука Отличается от всех цифровых средств

информации (визуальных) Комбинация физических и

психологических факторов Сложно смоделировать Не всегда нужен: легко раздражает

3

Два специальных типа звука Музыка (имеет культурный статус) Речь (имеет лингвистическое содержание)

Разработаны специальные представления речи (особые алгоритмы сжатия) и музыки (команды)

4

Природа звука Преобразование энергии в колебания

воздуха или другой упругой среды Камертон – одна частота

Большинство звуков – сложной природы, можно разложить на набор частотных компонентов

Частотный спектр - способ описания звука через относительные амплитуды его частотных компонентов

5

Свойства звука Высота – восприятие мозгом частоты колебаний Длительность – восприятие

продолжительности колебаний Громкость – восприятие амплитуды колебаний

единица измерения – децибел удвоение амплитуды звуковых колебаний

соответствует увеличению громкости на 6 децибел, и наоборот

Пространственная локализация – оценка направления на источник звука и расстояния до него

Тембр – окраска звука. По тембрам отличают звуки одинаковой высоты и громкости, но исполненные или на разных инструментах, разными голосами, или на одном инструменте разными способами, штрихами.

6

Особенности восприятия звука человеком 20 Гц – 20 кГц (средние) Верхняя граница чувствительности

снижается с возрастом Форму сигнала любого звука можно

изобразить, построив зависимость его амплитуды от времени

Иллюзии: более громкий звук кажется более низким сложные звуки кажутся более низкими, чем

чистые человек выделяет свое имя, произнесенное в

шуме стереофония7

Цитата «Зная об очевидной сложности

акустических сигналов, было бы наивно верить, что аналоговые или цифровые технологии развились достаточно, чтобы допускать точную запись и передачу того, что мы слышим. Ситуацию еще более усложняет то, что мы не знаем точного предела человеческого восприятия. Очевидно одно: в лучшем случае, даже при использовании самой сложной технологии, то, что воспроизводится аудиосистемой, является лишь аппроксимацией реального звука».

Кен С. Похлманн8

Оцифровка звука 1. Преобразование звука в электрический

сигнал

2. Аналогово-цифровое преобразование: квантование дискретизация

9

Дискретизация Частота Найквиста для оцифровки звука:

f = 2 fmax = 2 * 20 кГц = 40 кГц Для разный целей:

AudioCD – 44,1 кГц передача через Internet – 22,05 кГц запись речи – 11, 025 кГц цифровые аудиоленты – 48 кГц

Используется частотный фильтр, удаляющий частоты больше половины частоты дискретизации

10

Квантование Количество уровней выбирается исходя из

удобного количества бит Обычно – 16 бит, 65 536 уровней Шум квантования Минимальный уровень – 8 бит Высококачественный звук – 24 бит

(сложная схема АЦП)

11

Шум квантования

12

Сжатие сжатие речи

удаление пауз (амплитуда ниже заданного порога)

нелинейное квантование адаптивная дифференциальная импульсно-

кодовая модуляция (16-32 Кбит/с) кодирование с линейным предсказанием

сжатие на основе восприятия отбрасывание данных, не влияющих на

восприятие сигнала сжатие на основе порога слышимости – психо-

акустическая модель стандарт MPEG-1, разработанный для видео,

хорошо используется для аудио, имеет 3 уровня (3-й уровень – MP3)

аудио MPEG-2 – Advanced Audio Coding (AAC), лучше сжатие, нет обратной совместимости

13

Форматы хранения и передачи По платформам:

MacOS – AIFF (.aiff) Windows – WAVE (.wav) Unix – AU (.au, .snd)

MP3 – скорее алгоритм сжатия, может быть частью других форматов

RealAudio (.ra, .ram) – для потокового аудио MIDI (.mid) MOD (.mod) – для хранения сэмплов,

платформонезависимый

14

Методы синтеза звука таблично-волновой синтез (WaveTable, WT) –

основан на воспроизведении сэмплов – заранее записанных звучаний реальных инструментов сэмплы содержатся в ПЗУ звуковой платы, можно

загружать в ОЗУ изменение высоты звука через изменение скорости

проигрывания сэмпла параллельное проигрывание разных сэмплов дополнительная обработка звука (модуляция,

фильтрация) достоинства: реалистичность звучания классических

инструментов, простота получения звука недостатки: жесткий набор заранее подготовленных

тембров, большие объёмы памяти для сэмплов, неодинаковое звучание разных моделей синтезаторов из-за различающихся наборов стандартных инструментов

15

Методы синтеза звука частотная модуляция (Frequency Modulation,

FM) – синтез, основанный на использовании нескольких генераторов сигнала с взаимной модуляцией каждый генератор управляется схемой,

регулирующей частоту и амплитуду сигнала (оператор)

бывает двухоператорный (OPL2) и четырехоператорный (OPL3) синтез

16

тембр звучания определяется схемой соединения операторов и параметрам и каждого оператора

мах количество синтезируемых тембров – зависит от числа операторов и схемы управления ими

Частотная модуляция достоинства: не надо заранее записывать

звуки инструментов и хранить их в ПЗУ, велико разнообразие получаемых звучаний, легко повторить тембр на различных платах с совместимыми синтезаторами

недостатки: трудно обеспечить достаточно благозвучный тембр во всем диапазоне звучания, имитация звучания реальных инструментов крайне грубая, сложно организовать тонкое управление операторами, из-за чего в звуковых платах используется упрощенная схема с небольшим диапазоном возможных звучаний

17

Выбор метода синтеза Если в композиции нужен звук реальных

инструментов, лучше подходит метод таблично-волнового синтеза

Для создания новых тембров более удобен метод частотной модуляции, хотя возможности FM-синтезаторов звуковых плат достаточно ограничены

18

MIDI Musical Instruments Digital Interface по сравнению с цифровым звуком – как

векторная графика по сравнению с растровой

сокращенная форма записи музыки в цифровой форме

достоинства: меньший объем памяти более высокое качество произведения можно редактировать на уровне отдельных нот,

менять скорость и тембр звучания и т.д. недостатки:

зависимость от устройства воспроизведения нельзя записать произвольный звук

19

MIDI-файл представляет собой последовательность

команд, которыми записаны действия (например, нажатие клавиши на пианино или поворот регулятора) General MIDI (GM) –разработка фирмы Roland, 128

мелодических тембров с возможностью воспроизведения звуков разной высоты и 46 ударных инструментов. За всеми инструментами закреплены номера

General Standart (GS) – общий стандарт фирмы Roland, включает дополнительные наборы мелодических и ударных инструментов, а также различные эффекты (скрип двери, звук мотора, крики и т.д.)

Extended General (XG) – новый стандарт фирмы Yamaha, включающий несколько сотен мелодических и ударных инструментов, ставший альтернативой формату GS

20

Спасибо за внимание!

KudinovAV@tpu.ru

21