Компьютерная Графика - spbu.ru · Шум Соль и перец:...
TRANSCRIPT
![Page 1: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/1.jpg)
Компьютерная Графика
Подавление и устранение шума
![Page 2: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/2.jpg)
Борьба с шумом изображения
� Подавление и устранение шума� Причины возникновения шума:
� Несовершенство измерительных приборов
� Хранение и передача изображений с потерей данных
Шум фотоаппарата Сильное сжатие JPEG
![Page 3: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/3.jpg)
Шум
� Соль и перец: случайные белые и черные пиксели
� Импульсный: случайные белые пиксели
� Гауссов: колебания интенсивности, распределенные по нормальному закону
Original
Gaussian noise
Salt and pepper noise
Impulse noise
![Page 4: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/4.jpg)
Гауссов шум
� Математическое обоснование: сумма множества независимых факторов
� Предположения: независимый, с нулевым матожиданием
![Page 5: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/5.jpg)
Усреднение
Зашумленные изображения Усреднение по 10 изображениям
Так работают камеры в некоторых сотовых телефонах
);,()),((
);,(1
),(
);,(),(),(
1
jigjiIE
jiIN
jiI
jiErrjigjiI
r
N
kk
r
=
=
+=
∑=
![Page 6: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/6.jpg)
Шум в бинарных изображениях
� Бинарное изображение – изображение, пиксели которого принимают всего два значения (0 и 1).
� Пример бинарного изображению с сильным шумом
![Page 7: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/7.jpg)
Шум в бинарных изображениях
� По одному пикселю невозможно определить – шум или объект?
� Нужно рассматривать окрестность пикселя!
![Page 8: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/8.jpg)
Подавление и устранение шума
Широко известный способ - устранение шума с помощью операций математической морфологии:
� Сужение (erosion)
� Расширение (dilation)
� Закрытие (closing)
� Раскрытие (opening)
![Page 9: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/9.jpg)
111
1]1[1
111
Применения сужения к бинарному изображению с сильным шумом
010
1]1[1
010
0011100
0111110
1111111
111]1[111
1111111
0111110
0011100
![Page 10: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/10.jpg)
111
111
111
Применения открытия к бинарному изображению с сильным шумом
010
111
010
0011100
0111110
1111111
1111111
1111111
0111110
0011100
![Page 11: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/11.jpg)
Сужение vs Открытие
Сужение Открытие
![Page 12: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/12.jpg)
Устранение шума в бинарных изображениях
Пример бинарного изображению с дефектами распознаваемых объектов
![Page 13: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/13.jpg)
111
111
111
Применения закрытия к бинарному изображению с дефектами объектов
0011100
0111110
1111111
1111111
1111111
0111110
0011100
01110
11111
11111
11111
01110
![Page 14: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/14.jpg)
Не лучший пример для морфологии
Не во всех случаях математическая морфология так легко убирает дефекты, как хотелось бы…
![Page 15: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/15.jpg)
111
111
111
Применения операции открытия
010
111
010
0011100
0111110
1111111
1111111
1111111
0111110
0011100
![Page 16: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/16.jpg)
Подавление и устранение шума в полутоновых и цветных изображениях
� Усреднение (box filter)
� Фильтр Гаусса (gaussian blurring)� Медианный фильтр
![Page 17: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/17.jpg)
� Заменим каждый пиксель взвешенной суммой соседних пикселей
� Веса называются ядром фильтра
Усреднение по области
111
111
111
“box filter”
![Page 18: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/18.jpg)
Усреднение (box filter)
Результат применения:
![Page 19: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/19.jpg)
Сглаживание бокс-фильтром
� Сглаживание бокс-фильтром не соответствует размытию при расфокусированных линзах
� Точка света при расфокусированных линзах выглядит как размытый кружок, а сглаживание бокс-фильтром дает квадратик
![Page 20: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/20.jpg)
Фильтр гаусса� Для подавления краевых эффектов, задаем веса пикселей пропорционально близости к центру ядра:
“fuzzy blob”
![Page 21: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/21.jpg)
Усреднение vs Гауссов
![Page 22: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/22.jpg)
Фильтр Гаусса (gaussian blurring)
22
σ2 2
2
σπ2
1))((),(
kld
ekjliIjiIdn
nl
m
mk
+=
⋅++=′−
−= −=∑ ∑
Свертка по функции:
Параметр задает степень размытия.
На графике функция с .
σ
5σ =
![Page 23: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/23.jpg)
Удаление шумов
222, ,
2
12
kldeppdn
nk
m
mlljkiij +=⋅=′
−
−= −=−−∑ ∑
2σ
σπ
![Page 24: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/24.jpg)
Фильтр Гаусса (gaussian blurring)
Результаты свертки по функции Гаусса и по константной функции (усреднения).
Исходное изображение
Фильтр Гаусса с Sigma = 4
Усреднение по 49 пикселям (7x7)
Важное свойство фильтра Гаусса – он по сути является низкочастотным фильтром.
![Page 25: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/25.jpg)
Подавление и устранение шума
Устранение шума в полутоновых, цветных и бинарных изображениях с помощью медианного фильтра - выбор медианы среди значений яркости пикселей в некоторой окрестности.
Определение медианы:
Медианный фильтр радиусом r – выбор медианы среди пикселей в окрестности [-r,r].
[ ] набора. медиана
чисел, набор анныйотсортиров-1
2/ −=
n
i
A
;,n, iA
![Page 26: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/26.jpg)
Медианный фильтр
Результат применения медианного фильтра с радиусом 5 пикселей.
Результат применения медианного фильтра с радиусом в 7 пикселей
к изображению с шумом и артефактами в виде тонких светлых окружностей.
![Page 27: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/27.jpg)
Очистка изображения с помощью медианного фильтра
Фильтр с окрестностью 3x3
![Page 28: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/28.jpg)
Сравнение медианы и гауссова фильтра
3x3 5x5 7x7
Гауссов
Медиана
![Page 29: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/29.jpg)
Быстрая реализация медианного фильтра
Медианный фильтр считается дольше, чем операция свертки, поскольку требует частичной сортировки массива яркостей окрестных пикселей.
Возможности ускорения:
• Использовать алгоритмы быстрой сортировки
• Конкретная реализация для каждого радиуса (3x3, 5x5)
• Не использовать сортировку вообще – считать через гистограмму окрестности точки
![Page 30: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/30.jpg)
«Продвинутые» фильтры
![Page 31: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/31.jpg)
В чем отличие разных фильтров?
• Box filer (простое размытие) – помимо подавления шума портит резкие границы и размывает мелкие детали изображения
• Gaussian filter – меньше размывает мелкие детали, лучше убирает шум
• Median filter – резких границ не портит, убирает мелкие детали, изображение становится менее естественным
• «Продвинутые» фильтры – лучшее сохранение деталей, меньше размытие. Часто сложны в реализации и очень медленные.
Что лучше? – зависит от конкретной задачи
![Page 32: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/32.jpg)
Повышение резкостиЧто убирает размытие?
original smoothed (5x5)
–
detail
=
sharpened
=
Добавим это обратно:
original detail
+ α
![Page 33: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/33.jpg)
Компенсация разности освещения
Пример
![Page 34: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/34.jpg)
Компенсация разности освещения
Идея:
Формирование изображения:
Плавные изменения яркости относятся к освещению, резкие - к объектам.
),(),(),( jifjiljiI ⋅=
объект освещениеИзображение освещенного объекта
),( jil),( jif
),( jiI
![Page 35: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/35.jpg)
Выравнивание освещения
� Алгоритм
� Получить приближенное изображение освещения путем низочастотной фильтрации
� Восстановить изображение по формуле
GjiIjil ∗=′ ),(),(
),(
),(),(
jil
jiIjif
′=′
![Page 36: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/36.jpg)
Метрики качества
� Как измерить похожесть двух изображений?
исходноеизображение
искаженноеизображение
![Page 37: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/37.jpg)
Метрики качества
� Среднеквадратичная ошибка (MSE)
� Пиковое отношение сигнал/шум (PSNR)
∑=
−=N
iii yx
NMSE
1
2)(1
MSE
MPSNRdB
2
lg10=
N – число пикселей
M – максимальноезначение пикселя
![Page 38: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/38.jpg)
Метрики качества
� PSNR и MSE не учитывают особенности человеческого восприятия!
Оригинал
Далее будут использованы рисунки из статьиWang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?”
![Page 39: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/39.jpg)
Метрики качества
� У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB)
Повышена контрастность Добавлен белый гауссов шум
![Page 40: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/40.jpg)
Метрики качества
� И у этих – тоже примерно 25 dB!
Добавлен импульсный шум Размытие
![Page 41: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/41.jpg)
Метрики качества
� И у этого – тоже!
Артефакт блочности после JPEG
![Page 42: Компьютерная Графика - spbu.ru · Шум Соль и перец: случайные белые и черные пиксели Импульсный: случайные](https://reader035.vdocuments.pub/reader035/viewer/2022063003/5f678525a8692b45bb6b03e5/html5/thumbnails/42.jpg)
Метрики качества
� Вывод: PSNR не всегда отражает реальный видимый уровень искажений.
� SSIM� VQM