ПримененияПрименениябанков фильтровбанков фильтров

Лектор: Лукин Алексей СергеевичЛектор: Лукин Алексей Сергеевич

ПланПлан

Банки фильтров, основанные на Банки фильтров, основанные на STFTSTFT Психоакустическая компрессия звукаПсихоакустическая компрессия звука

►Слуховая маскировкаСлуховая маскировка►Устройство алгоритма Устройство алгоритма mp3mp3

Подавление стационарных шумовПодавление стационарных шумов►Метод спектрального вычитанияМетод спектрального вычитания►STFT STFT как банк фильтров, полосовые гейтыкак банк фильтров, полосовые гейты►Проблема «музыкального шума»Проблема «музыкального шума»►Частотно-временное разрешениеЧастотно-временное разрешение

Расширение частот в аудиосигналеРасширение частот в аудиосигнале

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

СпектрограммаСпектрограмма► график зависимости амплитуды от частоты и от график зависимости амплитуды от частоты и от

времени, показывает изменение спектра во времени, показывает изменение спектра во временивремени

►отображается модуль отображается модуль Short Time Fourier Transform Short Time Fourier Transform (STFT)(STFT)

m

miemwmnxnSTFT ][][],[

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

Частотно-временное разрешениеЧастотно-временное разрешение►Способность различать детали по частоте и по Способность различать детали по частоте и по

времени, «размытость» спектрограммывремени, «размытость» спектрограммы►Для Для STFT STFT определяется длиной весового окна определяется длиной весового окна (а (а

также, отчасти, размером и шагом также, отчасти, размером и шагом DFT DFT по времени)по времени)

►Соотношение неопределенностей:Соотношение неопределенностей: разрешение по разрешение по частоте обратно пропорционально разрешению по частоте обратно пропорционально разрешению по временивремени

consttf

6 ms 12 ms 24 ms 48 ms 96 ms размер окна

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

Частотно-временное разрешениеЧастотно-временное разрешение►Частотное разрешение спектрограммы Частотное разрешение спектрограммы

равномерноеравномерное►Частотное разрешение слуха на НЧ выше, чем на Частотное разрешение слуха на НЧ выше, чем на

ВЧВЧ

STFT, окно 12 мс STFT, окно 93 мс

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

Как банки фильтров разбивают частотно-Как банки фильтров разбивают частотно-временную плоскость?временную плоскость?►Вейвлеты делят частотную ось на октавыВейвлеты делят частотную ось на октавы►STFT STFT разбивает частотную ось равномерноразбивает частотную ось равномерно

f

tSTFT

f

tВейвлеты

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

Без весовых окон, без перекрытия блоковБез весовых окон, без перекрытия блоков► Размытие спектра → плохое разделение частот в Размытие спектра → плохое разделение частот в

каналахканалах►Нестыковки на границах блоковНестыковки на границах блоков►Нет избыточностиНет избыточности

С весовыми окнами, с перекрытием блоковС весовыми окнами, с перекрытием блоков►Хорошее разделение частот в каналахХорошее разделение частот в каналах►Нет нестыковок на границах блоковНет нестыковок на границах блоков►ИзбыточностьИзбыточность►ПримерПример банка фильтров, подходящего для банка фильтров, подходящего для

обработкиобработки::► Декомпозиция – Декомпозиция – STFT, STFT, окно окно Hann, Hann, перекрытие 75%перекрытие 75%► Синтез – обратное Синтез – обратное STFT, STFT, окно окно Hann, Hann, сложение с сложение с

перекрытием перекрытием (OLA)(OLA)

+

–

–

+

Банки фильтров, Банки фильтров, основанные на основанные на STFTSTFT

Модифицированное дискретное косинусное Модифицированное дискретное косинусное преобразование (преобразование (MDCT)MDCT)►Перекрытие 50%, весовое окноПерекрытие 50%, весовое окно►Неплохое разделение частот в каналахНеплохое разделение частот в каналах►Без избыточности! → подходит для компрессииБез избыточности! → подходит для компрессии

►Каждое окно длины 2Каждое окно длины 2N N захватывает захватывает N N новых новых отсчетов и выдает отсчетов и выдает N N вещественных вещественных коэффициентов спектракоэффициентов спектра

►Требования к окнамТребования к окнам::►Примеры подходящих окон:Примеры подходящих окон:

► Полпериода синусаПолпериода синуса► Kaiser-Bessel derived (KBD)Kaiser-Bessel derived (KBD)

+

constNnwnw 22 ][][

Слуховая маскировкаСлуховая маскировка

Абсолютный порог слышимостиАбсолютный порог слышимости

Как соотнести уровни в звуковом файле с Как соотнести уровни в звуковом файле с абсолютными уровнями звука?абсолютными уровнями звука?

Слуховая маскировкаСлуховая маскировка

Сильные звуки Сильные звуки ((masker)masker) маскируют более маскируют более слабые слабые ((maskee)maskee)

►Одновременная маскировкаОдновременная маскировка►ВременнВременнаая маскировка (прямая и обратная)я маскировка (прямая и обратная)

Слуховая маскировкаСлуховая маскировка

Маскировка тонами, шумами и общий порог Маскировка тонами, шумами и общий порог маскировкимаскировки

Шаг квантования выбирается Шаг квантования выбирается пропорциональным порогу маскировкипропорциональным порогу маскировки

Алгоритм Алгоритм mp3mp3

Кодирование аудиоданных с потерямиКодирование аудиоданных с потерями

mp3-файлx[n]

FFT

Банкфильтров …

MDCT

MDCT

MDCT

…Q Huffman

…

Психоакустическийанализ

Компрессия mp3

Пред-эхоПред-эхо

Pre-echo (pre-ringing)Pre-echo (pre-ringing) Переключение размераПереключение размера

гранул в БФгранул в БФ

ШумоподавлениеШумоподавление

Аддитивный шумАддитивный шум

Метод спектрального вычитания

][][][ nnoisencleanndirty

Шум предполагается стационарным,т.е. не меняющимся во времени (средняя мощность, спектр)

Стационарные шумыСтационарные шумы

Общий принцип подавленияОбщий принцип подавления1.1. Преобразование, компактно локализующее Преобразование, компактно локализующее

энергию (энергию (energy compaction)energy compaction)

2.2. Модификация коэффициентов преобразования Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих (подавление коэффициентов, соответствующих шуму)шуму)

3.3. Обратное преобразование (восстановление Обратное преобразование (восстановление очищенного сигнала)очищенного сигнала)

Спектральное Спектральное вычитаниевычитание

Спектральное вычитание для Спектральное вычитание для аудиосигналоваудиосигналов

1.1. STFTSTFT

2.2. Оценка спектра шума по участку без полезного Оценка спектра шума по участку без полезного сигналасигнала

3.3. «Вычитание» спектра шума из спектра сигнала«Вычитание» спектра шума из спектра сигнала

4.4. Обратное Обратное STFTSTFT

Spectral Subtraction,Short-Time Spectral Attenuation

STFT

Noise spectrumestimation

InverseSTFT

x[t] X[f,t]–

W[f,t]

S[f,t] s[t]

схема алгоритма спектрального вычитания

Спектральное Спектральное вычитаниевычитание

Требования к банку фильтровТребования к банку фильтров► Точное (или почти точное) восстановлениеТочное (или почти точное) восстановление► Отсутствие «эффекта блочности» (перекрытие, Отсутствие «эффекта блочности» (перекрытие,

окна)окна)► Хорошая частотная локализацияХорошая частотная локализация► Не требуется: сохранение количества Не требуется: сохранение количества

информацииинформации

Выбираем банк фильтров,основанный на STFT

ШумоподавлениеШумоподавление

Многополосная интерпретацияМногополосная интерпретация

x[n] Банкфильтров(анализ) …

Gate

Gate

Gate

… …

y[n]Банкфильтров(синтез)

Пороги срабатывания гейтов зависятот уровня шума в каждой частотной полосе

Гейт (gate) – устройство, подавляющее тихие сигналы(громкие пропускаются без изменения)

Спектральное Спектральное вычитаниевычитание

Конструкция гейтовКонструкция гейтов► Порог срабатывания зависит от шума Порог срабатывания зависит от шума → нужно → нужно

знать параметры шума → обучениезнать параметры шума → обучение► Мягкое или жесткое срабатываниеМягкое или жесткое срабатывание

► Время срабатыванияВремя срабатывания (attack/release time) (attack/release time)► Ограничение степени подавленияОграничение степени подавления

0,],[

],[1max],[

tfX

tfWtfGПример подавления:

Здесь G – коэффициент усиления, W – оценка амплитуды шума, X – амплитуда сигнала.

ШумоподавлениеШумоподавление

Шум случаен Шум случаен →→ его спектр тоже случаен его спектр тоже случаен

Пример спектра белого шума:Пример спектра белого шума:

приближенный фрагментобщая спектрограмма

ШумоподавлениеШумоподавление

После спектрального вычитания После спектрального вычитания появляютсяпоявляются

случайно расположенные всплески энергии – случайно расположенные всплески энергии – артефакт «музыкальный шум» (артефакт «музыкальный шум» (musical noise)musical noise)

«музыкальный шум»общая спектрограмма

ШумоподавлениеШумоподавление

Музыкальный шум: методы борьбыМузыкальный шум: методы борьбы► Завышение порога Завышение порога (недостаток – теряем больше сигнала)(недостаток – теряем больше сигнала)

► Ограничение Ограничение G(f, t)G(f, t) снизу снизу (чтобы музыкальный шум (чтобы музыкальный шум маскировался естественным шумом)маскировался естественным шумом)

► Увеличение времени срабатывания гейтов Увеличение времени срабатывания гейтов (при слишком (при слишком сильном увеличении получается шумовое эхо и смазываются атаки сильном увеличении получается шумовое эхо и смазываются атаки в сигнале)в сигнале)

► Сглаживание Сглаживание G(f, t)G(f, t) по времени и/или по частоте по времени и/или по частоте

зашумленный сигналпростое спектр. вычитаниесглаживание по времени

Спектральное Спектральное вычитаниевычитание

Эффекты частотно-временного Эффекты частотно-временного разрешенияразрешения► Эффект Гиббса (размытие транзиентов)Эффект Гиббса (размытие транзиентов)► Недостаточное частотное разрешениеНедостаточное частотное разрешение

Зашумленный сигнал Размер окна 50 мс Адаптивное разрешение

Расширение частотного Расширение частотного диапазонадиапазона

Задача расширенияЗадача расширения► Дано аудио, обработанное НЧ-фильтром Дано аудио, обработанное НЧ-фильтром (т.е. без высоких (т.е. без высоких

частот, например – после частот, например – после mp3-mp3-компрессии)компрессии)

► Нужно достроить высокие частоты, основываясь только Нужно достроить высокие частоты, основываясь только на низких на низких (или, возможно, на дополнительной информации о ВЧ, (или, возможно, на дополнительной информации о ВЧ, закодированной в потоке)закодированной в потоке)

Расширение частотного Расширение частотного диапазонадиапазона

МетодМетод1.1. Сгенерировать грубое приближение высоких частот по Сгенерировать грубое приближение высоких частот по

низким низким (методы (методы spectral replication, distortion, vocoder+resampling)spectral replication, distortion, vocoder+resampling)

2.2. Придать грубому приближению желаемую форму Придать грубому приближению желаемую форму (продолжение низких частот по энергии, степени тональности и (продолжение низких частот по энергии, степени тональности и

т.д.) т.д.) – – здесь используем банки фильтровздесь используем банки фильтров

Расширение частотного Расширение частотного диапазонадиапазона

ЭкспериментыЭксперименты

Линейное продолжениеобщей формы низких частот