19소음·진동

January 2020

특집: 딥

러닝, 소

음진동분야에도유용한가?

1. 머리말

1800년경 천문학자 William Herschel에 의해적외선(infrared, IR)의 존재가 밝혀지면서 적외선은가시광선과달리눈에보이지않으면서에너

지를가지고있음이발견되었다. 그 이후, 20세기에들어열감지기소자, 전자회로기술, 컴퓨터기

술이 집약되고 초소형화 기술인 MEMS 공정을

통하여 IR감지시스템은비약적인발전이이루어지면서 적외선 열화상(infrared thermal imaging,thermography) 기술이 탄생되었다. 이러한 열화상기술은기계, 전기/전자, 화학공정, 건축물, 신재생에너지, 자동차용 나이트 비젼, 국방감시, 의

료, 복합소재, 수의학, 체육및항공우주분야등에

서 다양하게 활용되고 있다. 특히 물체내의 열에

너지 분포를 포함한 이상징후를 진단하는 기술로

그림 1 적외선열화상기술이적용가능한다양한활용분야

* E-mail : joohyung.kim@inha.ac.kr

열화상기반딥러닝기술

김 주 형*, 권 장 우**

(*인하대학교 기계공학과, **인하대학교 컴퓨터공학과)

딥러닝, 소음진동분야에도유용한가?

특집특집

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지19

20소음·진동제30권 제1호, 2020년

특집: 딥러닝, 소

음진동분야에도유용한가?

승화하여이를진단하는기술로활용되고있으며,

국제단체인 ISO산하 기술분과(TC108/SC5/WG7)에서심도있게다뤄짐으로지난 20년간관련기술 뿐만 아니라 전문기술자들을 교육하고 양

성하는 제도들이 선진국을 중심으로 활발하게 이

루어져 왔으며, 한국에서는 한국소음진동공학회

부설 한국설비진단자격인증원을 중심으로 지난

10년간활발하게활동해오고있다(1).

최근 4차산업혁명을기반으로인공지능의등장은이러한열화상기술분야에도적용되어최근연

구가시작되고있는실정이다(2). 현재가시광기반

의 일반영상정보를 기반으로 한 인공지능기술은

최근 비약적인 발전과 다양한 적용분야로 활용되

는등많은진보가이루어지고있음과달리, 열화

상 기술은 일반 영상정보와는 조금 더 복잡한 물

리현상에대한 -열전달모드, 방사-반사-흡수, 흑

체 및 회색체, 소재 종류 및 내부구조, 표면상태,

반사열원등등의 - 충분한이해를바탕으로한인

공지능의적용은최근에시도되고있는실정이다.

이에 관련한 기술분야에서의 차이점과 장점을 이

글을통해다루고자한다.

2. 열화상에대한이해와인공지능과의연계

열화상은 전자기파의 한 분야로 기계/전자분야에서와 같이 주파수에 관련하여 다양하게 활용되

고있다.

열화상기술에서얻어지는이미지는그림 2에서처럼, 파장에 따라 주변으로 방사되는 에너지

(radiative energy)와 최대파장과, 물체의 온도특성에 영향을 받는다(2). 이러한 방사에너지는 일반

흑백영상 이미지(contrast와 brightness에 의해서조절)에서 얻어지는 것과 비슷하게 level 기능과range라는 두 가지에 의해 이미지가 얻어지게 된다. 이는일반적으로의료분야에서활용되는자기

공명장치(magnetic resonance imaging, MRI)나컴퓨터 단층촬영(computerized tomography,CT)과같이뼈와장기를포함한인체내부를방사흑백형태의원본(raw data)과비슷하며이를기반으로 의사들은 본인들의 의학적 경험과, 방대한

데이터를 기반으로 학습된 인공지능을 이용해 병

을 진단하기도 한다. 그렇기 때문에 병을 진단할

그림 2 열화상에사용되는파장에따른분류및관련방사에너지법칙들

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지20

21소음·진동

January 2020

특집: 딥

러닝, 소

음진동분야에도유용한가?

수 있는 의학적인 이미지 분해능은 매우 중요하

다. 이미국내에서도 IBM Watson의경우대학병원에서 의사들과 함께 협진하는 새로운 시스템으

로 진화하여, 의학적 판단의 기초가 되도록 활용

하여 big data기반의 처리가 가능하게 되어 이를통해환자의상태를진단하는것에인공지능을알

리는커다란신호탄이되었다(3).

열화상도 동일하게 열화상 카메라에 의해 물체

가 방사하는 적외선 열영상(thermal image)을 얻는것은동일하며, (열에너지분포는위의 level과range에 의해 결정되나)이러한 영상이미지 측정에서 NETD(noise equivalent temperaturedifference)라는 온도분해능은 매우 중요한 파라미터가 된다. 이러한 NETD는 추후 방사율에 의한 온도로 보정, 변환되어 흑백형태의 이미지가

구해지며, 추후 우리에게 친숙한 색 형태의 영상

으로변환된다(2).

그러므로 우리 주변에서 열화상 이미지는 매우

익숙하므로, 많은사람들이열화상이미지로일반

카메라를 사용한 영상처리처럼 단순히 인공지능

을 적용하기 쉬울 것으로 판단하지만, 이는 잘못

된판단이다. 의료분야에서여전히많은데이터를

기반으로이를진단하는것이매우중요하다.

이러한 영상이미지를 사람이 판단하지 않고 주

변의 조건환경에 따른 열화상이미지에서 열적 데

이터와 형상 데이터(이미지)를 추출하고 이를 기반으로온도에대한분석이이루어져야한다(2). 특

히이러한열적분석은물체를이루는소재, 구조,

온도에 따른 방사율(emissivity), 표면조도, 주변의열반사등의여러가지원인을파악하고이러

그림 3 열화상딥러닝을위한열화상데이터그리고열분포특성을담은이미지추출기술(4,6)

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지21

22소음·진동제30권 제1호, 2020년

특집: 딥러닝, 소

음진동분야에도유용한가?

한분석을방해하는요소가포함되어있는지여부

를경험이아닌인공지능을이용한학습을통하여

열적분석을 통한 이미지와 열적 데이터는 관련한

data mapping이이루어져야한다. 이러한열화상을 기반으로 한 인공지능관련 연구는 2010년 이후에시작되었다고할수있다(4).

그림 5는 다양한 딥러닝 모델을 통하여 열화상이미지를분석하는흐름도를보여주고있다. 우선

시각적인정보를통한형태를파악하고그에따른

열적 관심영역(AOI)을 찾아내고, 열적 관심영역의 방사에너지를 물리적 상태(소재, 도장여부, 표면상태)를 고려한 방사율의 선택 및 환경변수(바람유무, 타열원으로인한열적반사, 그늘여부, 주

변 온습도여부, 열/기계/전기적 외부부하 등등)를고려하여 관심영역에서의 분석이 필요하다. 이는

고장유무와 비교하여 열적으로 정상/비정상 상태인지를파악하고이러한판단에영향을주는환경

변수가 분석에 영향을 주는 열적 방해요소인지를

파악하여 이를 제거하고 분석할 수 있도록 해야

한다.

우선열적관심영역을찾아불량을찾아내는기

법으로 support vector machine기반의 기계학습(machine learning)기법이활용될수있다. 기계적불량을가진회전체시스템의 IR열화상측정을통

해 열데이터 기반의 정보를 패턴인식, 자료분석을

위한 지도학습(supervised learning)을 통한 결과를통해건전성에대한분석을진행하였다(그림 6).이를 통해서 정상상태와 비정상상태를 파악하고

이를통하여상태감시진단이가능하다는것을보

여주고 회전체의 동작상황에 대해서 문제가 발생

할경우, 특별한 열적형태가나타남을통해문제

의원인을찾아낼수있다는것을알수있다.

이미인공지능기술은다양하게연구되어대표적

으로, 합성곱 신경망(convolutional neuralnetworks, CNN), 심층신경망(artificial neuralnetwork, ANN), 순환신경망(recurrent neuralnetworks, RNN) 등이 많은 분야에서 활용되고있다(6~8). 열화상기술분야에서는현재 CNN을기반으로 한 연구와 VGG(neural network createdby the Visual Geometry Group) Network을 이용하여열적이상을분류할수있는기술이연구가

되고 있다. 벨기에 겐트대학에서는 VGGNetwork을 이용한 회전기기에서의 형상공학(feature engineering)과 형상학습(featurelearning)비교를통한문제점발견에대한비교평가를 연구 진행하였다. 이를 통하여 기계적 결함

에대한문제를발견하는것에인공지능을진행하

여 형상학습을 통한 문제점이 기존의 형상공학보

그림 4 인공지능을이용한열화상딥러닝에대한전체적인흐름도

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지22

23소음·진동

January 2020

특집: 딥

러닝, 소

음진동분야에도유용한가?

다 6 %~37 % 정도의 정확성을 향상시키는 것으

로보고되었다.

인공지능기술은측정된열화상이미지를통해열

적관심영역(area of interest, AOI)을찾아내고그형태에서의열적상태가변화가있는지를찾아내는

것이 매우 중요하다. 그러나 일반 영상과 달리 열

화상 이미지에는 다양한 환경변수를 이해하고 이

를제거해야정확인열적인상태를이해할수있기

에이러한분야에대한아직까지사례연구는부족

한것이현실이다. 방사율과환경변수를이해하지

않고 촬영된 영상만으로 인공지능을 이용하여 그

안에들어있는숨겨져있는물리적상황과열적상

태를파악하는것은그정확도가매우부족하기때

문이다(2). 이러한이유로의료분야에서전문가들의

분석과함께인공지능과협업을하고수많은데이

터를 통해 학습량을 늘려가는 이유도 비슷하리라

고사료된다(3). 아직까지실제발전소나공장그리

고움직이는이동체등에대한열화상인공지능기

그림 5 열화상이미지에서기계불량원인에따른 support vector machine기반의열적형상추출(5)

그림 6 VGG network을이용한회전체의인공지능학습결과(6)

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지23

24소음·진동제30권 제1호, 2020년

특집: 딥러닝, 소

음진동분야에도유용한가? 술개발은현재까지전무한실정이다.

그림 8은 현재 testbed로 인하대학교 내에서 인공지능을 이용한 전력설비를 열화상으로 모니터

링하는 연구를 수행하는 인공지능 모델을 보여주

고있다. Deep residual network(ResNet)은사용2015년도 ILSVRC2015(ImageNet Large ScaleVisual Recognition Challenge 2015)에서제시된우승모델로, top-5 에러가 사람의 판단정확도에근접한 수준으로 보고되었다(9,10). 현재 이를 기반

으로 인하대학교에서는 열화상 데이터 측정을 위

한 표준 측정지침을 수립하고, 이를 기반으로 측

정시간에 대한 부하여부, 날씨정보, 전기량 사용

에따른주변전실의전기및기계상태를열화상으

로 분석하여 열적 변화가 있는 부위에 대한 원인

을 찾는 연구가 수행중이다. 향후 이러한 학습된

기술과확보된 dataset을기반으로사람이판단하는 수준의 열화상 기반의 상태감시 및 예측이 가

능한인공지능기술로발전할것을기대한다. 이를

위해 학계와 국가기관을 중심으로 인공지능을 이

용한실제학습을통한열화상인공지능기술에대

해서는새로운시도는향후관련기계상태감시와

예측에 인공지능을 기반으로 열화상 모니터링 분

야에새로운활력을불어넣을것으로생각된다.

3. 맺음말

열화상 기술은 현재 인공지능 기술과 접목하여

인지하기문제를해결하고원인을찾아내는기술

로 발전하는 초기단계에 있다. 일반적인 영상과

달리 열화상에 대한 물리적인 이해와 환경적인

이해는 오랜 경험을 가진 전문가집단의 고유한

영역으로 자리잡아 왔으나, 인공지능 기술을 이

용하여 사람보다 더 정확하게 문제를 예측하고

원인을찾아내는기술의필요성은계속해서대두

되는 실정이다. 특히 열화상기술은 눈에 보이지

않는에너지를찾아내고이러한에너지의이상분

포로 인한 다양한 적용분야에 활용이 될 수 있는

무궁한발전성을가지고있다. 지금까지 SVM 또는 feature기반의 CNN, VGGNet 등의인공지능기술들이 열화상과 연계되어 연구들이 진행되고

있으나, 아직까지 실제현장에 적용이 되는 기술

까지는 다소의 시간이 걸릴 것으로 여겨진다.

ResNet과 같은 새로운 인공지능 기술 등의 접목을 통하여 지속적인 인공지능 기술의 발전은 사

람을 대신하여 보이지 않는 문제점을 찾아내고

해결할수있는기술로발전하여, 보다정확한상

태파악 및 예측을 위해 진동, 윤활, 초음파 기술

들과접목되어상호보완하는첨단인공지능기술

로연계될것으로보인다.

참고문헌

(1) 한국소음진동공학회 부설 한국설비진단자격인증원홈페이지, www.kci-md.or.kr

(2) Michael Vollmer, 2014, 적외선열화상분석기술, 홍릉과학출판사.

그림 7 열화상 자동분석기술을 위한 ResNet기반의 열화상 기반 발전설비 모니터링 인공지능기술(인하대학교 교내 전력설비모니터링)

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지24

25소음·진동

January 2020

특집: 딥

러닝, 소

음진동분야에도유용한가?

(3) IBM Watson(https://www.ibm.com/cloud/watson-visual-recognition)

(4) Ramesh, V., 2017, A Review on Applicationof Deep Learning in Thermography, Int. J.Engineering and Management Research,Vol. 7, No. 3, pp. 489~493.

(5) Lim, G.-M., Bae, D.-M. and Kim, J.-H.,2014, Fault Diagnosis of Rotating Machineby Thermography Method on SupportVector Machine, J. Mechanical Scienceand Technology, Vol. 28, No. 8, pp.2947~2952.

(6) Janssens, O., Loccufier, M., Van de Walle,R. and Van Hoecke, S., 2018, DeepLearning for Infrared Thermal Image BasedMachine Health Monitoring, IEEE/ASMETrans. on Mechatronics, Vol. 23, No. 1, pp.151~159.

(7) Rodin, C. D., de Lima, L. N., de AlcantaraAndrade, F. A., Haddad, D. B., Johansen, T.A. and Storvold, R., 2018, Object

Classification in Thermal Images usingConvolutional Neural Networks for Searchand Rescue Mission with Unmanned AerialSystems, 2018 Int. Joint Conf. NeuralNetworks (IJCNN2018), Rio de Janeiro,Brazil.

(8) Huda, A. S. N., Taib, S., Ghazali, K. H.,Jadin, M. S., 2014, A New ThermographicNDT for Condition Monitoring of ElectricalComponents using ANN with ConfidenceLevel Analysis, ISA Transaction, Vol. 53,pp. 717~724.

(9) He, K., Zhang, X., Ren, S. and Sun, J.,2016, Deep Residual Learning for ImageRecognition, 2015; Identity Mapping inDeep Residual Networks, 2016, arxiv.org.

(10) Russakovsky, O., Deng, J., Su, H., Krause,J. et al., 2015, ImageNet Large ScaleVisual Recognition Challenge, Int. J.Computer Vision (IJCV), Vol. 115, No. 3,pp. 211~252.

30권1호내지작업(1~31) 2020.1.16 9:25 AM 페이지25