РОССИЙСКАЯ ФЕДЕРАЦИЯ

ФЕДЕРАЛЬНАЯ СЛУЖБАПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ

(51) МПКG06T 5/00 (2006.01)

(19) RU (11) 2 451 338(13) C1

(12) ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ

(21)(22) Заявка: 2010152858/08, 23.12.2010

(24) Дата начала отсчета срока действия патента: 23.12.2010

Приоритет(ы):(22) Дата подачи заявки: 23.12.2010

(45) Опубликовано: 20.05.2012 Бюл. № 14

(56) Список документов, цитированных в отчете опоиске: SU 1411781 A1, 23.07.1988. RU 2298882 C2,

10.05.2007. RU 2367015 C1, 10.09.2009. US20080252781 A1, 16.10.2008. WO 2001/109599A1, 16.12.2004. WO 2006/057994 A3, 01.06.2006.

Адрес для переписки:390000, г.Рязань, ул. Семинарская, 32, ОАО"ГРПЗ", отд.149, В.И. Калинкину

(72) Автор(ы):Богданов Аркадий Петрович (RU),Костяшкин Леонид Николаевич (RU),Морозов Андрей Владимирович (RU),Павлов Олег Вячеславович (RU),Романов Юрий Николаевич (RU),Рязанов Антон Владимирович (RU)

(73) Патентообладатель(и):Открытое акционерное общество"Государственный Рязанский приборныйзавод" (ОАО "ГРПЗ") (RU)

(54) СПОСОБ КОМПЛЕКСИРОВАНИЯ ЦИФРОВЫХ ПОЛУТОНОВЫХ ТЕЛЕВИЗИОННЫХ ИТЕПЛОВИЗИОННЫХ ИЗОБРАЖЕНИЙ(57) Реферат:

Изобретение относится к области обработкиизображений, в частности к способукомплексирования цифровых полутоновыхизображений, полученных от двух каналовразличного спектрального диапазона.Техническим результатом является повышениекачества изображения, содержащегоинформативные элементы изображений одной итой же сцены, полученные в различныхспектральных диапазонах. Способкомплексирования цифровых полутоновыхтелевизионных и тепловизионных изображенийвключает получение исходных изображений,комплексирование изображений, основанное накритериальном суммировании для каждогопикселя, формирование результирующего

изображения, нормализацию яркостногодиапазона изображения. Вычисляют среднююяркость по всем значениям яркостей пикселейизображения второго канала, среднее значениеабсолютных разностей между значением среднейяркости изображения второго канала изначениями яркости всех пикселей изображениявторого канала. Для каждого пикселякомплексированного изображения вычисляютсумму значения яркости пикселя изображенияосновного канала и абсолютной разностизначения яркости пикселя изображения второгоканала и средней яркости изображения второгоканала; из полученной суммы вычитают среднеезначение абсолютных разностей яркостипикселей изображения второго канала и среднейяркости изображения второго канала. 6 ил.

Ñòð.: 1

ru

RU

2451338

C1

1C

83

31

54

2U

R

Ñòð.: 2

RU

2451338

C1

1C

83

31

54

2U

R

RUSSIAN FEDERATION

FEDERAL SERVICE FOR INTELLECTUAL PROPERTY

(51) Int. Cl.G06T 5/00 (2006.01)

(19) RU (11) 2 451 338(13) C1

(12) ABSTRACT OF INVENTION

(21)(22) Application: 2010152858/08, 23.12.2010

(24) Effective date for property rights: 23.12.2010

Priority:(22) Date of filing: 23.12.2010

(45) Date of publication: 20.05.2012 Bull. 14

Mail address:390000, g.Rjazan', ul. Seminarskaja, 32, OAO"GRPZ", otd.149, V.I. Kalinkinu

(72) Inventor(s): Bogdanov Arkadij Petrovich (RU),Kostjashkin Leonid Nikolaevich (RU),Morozov Andrej Vladimirovich (RU),Pavlov Oleg Vjacheslavovich (RU),Romanov Jurij Nikolaevich (RU),Rjazanov Anton Vladimirovich (RU)

(73) Proprietor(s): Otkrytoe aktsionernoe obshchestvo"Gosudarstvennyj Rjazanskij pribornyj zavod"(OAO "GRPZ") (RU)

(54) METHOD OF INTEGRATING DIGITAL GRAYSCALE TELEVISION AND THERMAL IMAGES(57) Abstract:

FIELD: information technology.SUBSTANCE: method of integrating digital

grayscale television and thermal images involvesobtaining original images, performing imagingintegration based on criteria summation for eachpixel, formation of a resultant image andnormalisation of the brightness range of the image.Average brightness is calculated for all brightnessvalues of pixels of the second channel image, as wellas the average value of absolute difference betweenthe average brightness value of the second channelimage and brightness values of all pixels of thesecond channel image. For each pixel of theintegrated image, the sum of the brightness value ofthe pixel of the main channel image and the absolutedifference of the brightness value of the secondchannel image and the average brightness of thesecond channel image is calculated; the average valueof the absolute difference of the brightness of thepixels of the second channel image and the averagebrightness of the second channel image are subtractedfrom the obtained sum.

EFFECT: high quality of an image containinginformation elements of images of the same sceneobtained in different spectral ranges.

6 dwg

Ñòð.: 3

en

RU

2451338

C1

1C

83

31

54

2U

R

RU 2 451 338 C1

Изобретение относится к области обработки изображений, в частности к способукомплексирования цифровых полутоновых изображений, полученных от двухканалов различного спектрального диапазона.

Из уровня техники известен способ комплексирования информации отмногоканальной системы с использованием вейвлет-спектров (Тетерин В.В. и др.Метод комплексирования информации от многоканальной системы сиспользованием вейвлет-спектров. Оптический журнал, том 73, №10, 2006, с.47). Прикомплексировании компонент по этому способу выбираются элементы разложенияодного из исходных изображений, что приводит к потере информации о локальныхструктурных особенностях другого изображения. В способе не производитсяяркостно-контрастной коррекции на уровне компонент разложения с цельюповышения качества результирующего изображения.

Известен способ комплексирования многоспектральных полутоновыхизображений (Москвитин А.Э. «Технология и алгоритм повышения качестваизображений земной поверхности на основе комплексирования спектральнойвидеоинформации» (Алгоритм, основанный на раздельной обработке низко- ивысокочастотных компонент разнозональных видеоданных). Автореферат. Рязань,2003 г.), включающий получение исходных изображений, разложение каждогоисходного изображения на низкочастотные и высокочастотные компоненты,раздельную обработку НЧ и ВЧ компонент изображений, комплексированиекомпонент, основанное на принципе взвешенного суммирования для каждогопикселя, формирование результирующего изображения.

Недостатком данного способа является то, что яркостная нормализация исходныхизображений проводится методом приведения яркости исходных изображений кединому среднему значению и среднеквадратическому отклонению яркости, что вслучае значительных различий яркостно-контрастных характеристик исходныхизображений неизбежно приводит к усилению неинформативной шумовоймикроструктуры одного изображения до уровня существенных структурныхособенностей другого изображения.

Наиболее близким к предлагаемому является способ комплексирования цифровыхмногоспектральных полутоновых изображений (патент RU №2342701,опубликовано 27.12.2008 г., МПК G06K 9/40, G06T 5/40), который выбран в качествепрототипа. Данный способ включает получение исходных изображений, разложениекаждого исходного изображения на низкочастотные и высокочастотныекомпоненты, раздельную обработку низко- и высокочастотных компонентизображений, комплексирование компонент, основанное на принципе взвешенногосуммирования для каждого пикселя, формирование результирующего изображения.При этом каждое исходное изображение подвергают многоуровневой декомпозициивейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования с целью получения аппроксимирующей составляющей,представляющей из себя низкочастотную компоненту изображения, и семействадетализирующих составляющих, являющихся высокочастотными компонентамиизображения. Определяют значения матриц энергетических характеристик пикселейна всех уровнях разложения для каждого изображения. Осуществляют фильтрациювсех детализирующих составляющих, включающую коррекцию детализирующихсоставляющих путем адаптивного изменения значений детализирующихсоставляющих в соответствии с межуровневой динамикой их энергетическиххарактеристик и устранение шумовой микроструктуры путем адаптивного

Ñòð.: 4

DE

5

10

15

20

25

30

35

40

45

50

RU 2 451 338 C1

порогового ограничения значений детализирующих составляющих на каждомуровне разложения. Вычисляют для каждого разложения корректирующие функциияркости и корректирующие функции контраста, параметром которых являетсязначение аппроксимирующей составляющей. Производят выравнивание яркостныхдиапазонов каждого разложения путем преобразования аппроксимирующихсоставляющих корректирующими функциями яркости. Преобразуютдетализирующие составляющие корректирующей функцией контраста. Вычисляютдля каждого разложения на каждом уровне весовую функцию, параметром которойявляется значение энергетической характеристики. Производят для каждого пикселяна каждом уровне разложения вычисление компонент синтезированногоизображения путем взвешенного суммирования значений соответствующихсоставляющих разложений исходных изображений с использованием весовыхфункций. Осуществляют фильтрацию всех детализирующих составляющихсинтезированного изображения, включающую коррекцию детализирующихсоставляющих путем адаптивного изменения значений детализирующихсоставляющих в соответствии с межуровневой динамикой их энергетическиххарактеристик и устранение шумовой микроструктуры путем адаптивногопорогового ограничения значений детализирующих составляющих на каждомуровне разложения. Вычисляют корректирующую функцию яркости икорректирующую функцию контраста, параметром которых является значениеаппроксимирующей составляющей синтезированного изображения. Преобразуютаппроксимирующую составляющую корректирующей функцией яркости.Преобразуют детализирующие составляющие корректирующей функцией контраста.Формируют синтезированное изображение путем реконструкции при помощиобратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к детализирующим составляющим синтезированногоизображения и аппроксимирующей составляющей синтезированного изображения,согласуют яркостной диапазон результирующего изображения с параметрамивидеосистемы.

К недостаткам данного способа можно отнести общее снижение локальногоконтраста из-за усреднения двух разноспектральных изображений (частный случай -вычисление попиксельно средних значений яркостей пикселей двухразноспектральных изображений, т.е. когда весовые функции детализирующихсоставляющих каждого изображения практически близки к 0.5).

Техническим результатом предлагаемого способа комплексирования цифровыхполутоновых телевизионных и тепловизионных изображений является повышениекачества изображения, содержащего информативные элементы изображений одной итой же сцены, полученные в различных спектральных диапазонах.

Технический результат достигается тем, что способ комплексирования цифровыхполутоновых телевизионных и тепловизионных изображений включает получениеисходных изображений, комплексирование изображений, основанное накритериальном суммировании для каждого пикселя, формированиерезультирующего изображения, нормализацию яркостного диапазона изображения.При этом он отличается от прототипа тем, что определяют основной канал снаибольшим количеством информативных деталей на изображении. Вычисляютсреднюю яркость изображения второго канала. Вычисляют среднее значениеабсолютных разностей между средней яркостью изображения второго канала изначениями яркости всех пикселей изображения второго канала. Для каждого

Ñòð.: 5

5

10

15

20

25

30

35

40

45

50

RU 2 451 338 C1

пикселя комплексированного изображения вычисляют сумму значения яркостипикселя изображения основного канала и абсолютной разности значения яркостипикселя изображения второго канала и средней яркости изображения второгоканала; из полученной суммы вычитают среднее значение абсолютных разностейяркости пикселей изображения второго канала и средней яркости изображениявторого канала.

Сущность изобретения поясняется рисунками Фиг.1 - Фиг.6, гдеФиг.1 - структурная схема (алгоритм) способа комплексирования цифровых

полутоновых телевизионных и тепловизионных изображений;Фиг.2 - структурная схема блока обработки изображений;Фиг.3 - телевизионное изображение;Фиг.4 - тепловизионное изображение;Фиг.5 - комплексированное изображение;Фиг.6 - таблица параметров телевизионного, тепловизионного и

комплексированного изображений.Способ комплексирования цифровых полутоновых телевизионных и

тепловизионных изображений (Фиг.1) включает следующие этапы:- получают исходные телевизионные и тепловизионное изображения;- определяют основной канал с наибольшим уровнем информативных деталей

(телевизионный);- вычисляют среднюю яркость изображения второго канала (тепловизионного);- вычисляют среднее значение абсолютных разностей между средней яркостью

изображения второго канала и значениями яркости всех пикселей изображениявторого канала;

- для каждого пикселя комплексированного изображения вычисляют суммузначения яркости пикселя изображения основного канала и абсолютной разностизначения яркости пикселя изображения второго канала и средней яркостиизображения второго канала; из полученной суммы вычитают среднее значениеабсолютных разностей яркости пикселей изображения второго канала и среднейяркости изображения второго канала;

- осуществляют формирование результирующего изображения;- нормализуют яркостный диапазон изображения.Способ комплексирования цифровых полутоновых телевизионных и

тепловизионных изображений осуществляется в два прохода следующим образом.Получают исходные цифровые телевизионное и тепловизионное изображения,например, путем оцифровки с помощью аналого-цифровых преобразователейаналоговых сигналов от телевизионного и тепловизионного датчиков,осуществляют комплексирование изображений, основанное на определенномсуммировании для каждого пикселя, как показано ниже, производят формированиерезультирующего изображения в виде массива значений яркостикомплексированного изображения заданного размера, нормализуют яркостныйдиапазон изображения.

При этом, предварительно используя любой известный способ вычислениямощности высокочастотных компонент изображения, определяют основной канал снаибольшим количеством информативных деталей на изображении, напримертелевизионный (ТВ).

Для второго канала, например тепловизионного (ТПВ), вычисляют его среднююяркость по формуле:

Ñòð.: 6

5

10

15

20

25

30

35

40

45

50

RU 2 451 338 C1

где x, y - координаты точек с яркостью QТ П В ТПВ изображения,w, h - размеры изображения.Далее вычисляют среднее значение абсолютных разностей между всеми

значениями яркости пикселей QТ П В и средней яркостью ТПВ изображения поформуле:

Окончательное вычисление яркости пикселей комплексированного изображенияFx y осуществляют по формуле:

где

Fx y - комплексированное изображение;x, y - координаты точек с яркостью Q ТВ и ТПВ изображений.Примером конкретного применения способа комплексирования цифровых

полутоновых телевизионных и тепловизионных изображений является егоиспользование в двухканальном блоке обработки изображений для повышенияинформативности и качества выходного изображения. На Фиг.2 показана блок-схема двухканального блока обработки разноспектральных изображений, где ТВ -входное телевизионное изображение; ТПВ - входное тепловизионное изображение;

1 - аналого-цифровой преобразователь ТВ (АЦП ТВ);2 - аналого-цифровой преобразователь ТПВ (АЦП ТПВ);3 - блок улучшения ТВ (БУ ТВ);4 - блок улучшения ТПВ (БУ ТПВ);5 - геометрические преобразования по каналу ТВ;6 - геометрические преобразования по каналу ТПВ;7 - блок комплексирования;8 - цифроаналоговый преобразователь (ЦАП) 8.Информацию от двух разноспектральных каналов (ТВ и ТПВ) после их

улучшения и совмещения штатными средствами блоков обработки 3, 4 блоккомплексирования 7 вычисляет и объединяет указанным выше способом.

Сравнительные результаты, полученные при проведении экспериментальныхработ, приведены на Фиг.3 - Фиг.6.

На Фиг.3 представлено исходное телевизионное изображение. Изображение имеетестественный вид с хорошо проработанными деталями дороги на переднем плане,автомобили. Дальний план - слабоконтрастный и с местной засветкой. В левой частииз-за засветки встречной фарой от левого автомобиля отсутствует всякаяинформация в светлом пятне.

На Фиг.4 представлено исходное тепловизионное изображение той же сцены.Изображение имеет вид «негатива» с хорошо проработанными деталями обоихавтомобилей, фигуры человека около левого автомобиля. На переднем плане едвазаметны детали дороги. Задний план практически без деталей за исключениемстолба.

На Фиг.5 представлено комплексированное изображение той же сцены,полученное предлагаемым способом. Изображение имеет в целом естественный вид,

Ñòð.: 7

5

10

15

20

25

30

35

40

45

50

RU 2 451 338 C1

хорошо проработанные детали двух автомобилей, человека, дороги на переднемплане, а также детали заднего плана. На месте неинформативного светлого пятна оттелевизионного изображения присутствует подробная информация оттепловизионного изображения.

На Фиг.6 представлена таблица параметров телевизионного, тепловизионного икомплексированного изображений, позволяющая сравнить качественныехарактеристики каждого изображения (в диапазоне яркости 0÷255 для цифровыхизображений). В качестве таких характеристик обычно используют общий контраст,количество уровней и отношение сигнал/шум. Изображение лучшего качества имеетмаксимальный контраст, равный 1, максимальное количество уровней 256 имаксимальное отношение сигнал/шум. Из таблицы видно существенное улучшениеосновных характеристик комплексированного изображения по сравнению свходными телевизионным и тепловизионным изображениями.

Полученные данные позволяют сделать вывод, что предлагаемый способкомплексирования цифровых полутоновых телевизионных и тепловизионныхизображений позволяет повысить качество цифровых полутоновых изображенийодной и той же сцены, полученных от двух каналов различного спектральногодиапазона (телевизионного и тепловизионного), за счет существенного повышениялокального контраста и информативности результирующего изображения.

Формула изобретенияСпособ комплексирования цифровых полутоновых телевизионных и

тепловизионных изображений, включающий получение исходных изображений,комплексирование изображений, основанное на критериальном суммировании длякаждого пикселя, формирование результирующего изображения, нормализациюяркостного диапазона изображения, отличающийся тем, что определяют основнойканал с наибольшим уровнем информативных деталей на изображении, вычисляютсреднюю яркость изображения второго канала, вычисляют среднее значениеабсолютных разностей между значением средней яркости изображения второгоканала и значениями яркости всех пикселей изображения второго канала, длякаждого пикселя комплексированного изображения вычисляют сумму значенияяркости пикселя изображения основного канала и абсолютной разности значенияяркости пикселя изображения второго канала и средней яркости изображениявторого канала, из полученной суммы вычитают среднее значение абсолютныхразностей яркости пикселей изображения второго канала и средней яркостиизображения второго канала.

Ñòð.: 8

CL

5

10

15

20

25

30

35

40

45

50

RU 2 451 338 C1

Ñòð.: 9

DR

RU 2 451 338 C1

Ñòð.: 10

RU 2 451 338 C1

Ñòð.: 11