개요: 한식 이미지와 국산 차량 이미지 데이터셋이란?

한식 이미지 데이터셋과 국산 차량 이미지 데이터셋은 음식 인식 응용 기술과 차량 인식 응용 기술의 개발과

성능 고도화를 위해 한국과학기술연구원(KIST) 인공지능연구단과 ㈜휴먼ICT가 함께 2017년과 2018년에 각각

구축한 데이터셋이다. 한식 이미지 데이터셋은 27가지 대분류와 150가지 소분류를 갖는 총 15만장의

이미지로 구성되어 있으며, 차량 이미지 데이터셋은 국내 5개 자동차 제조사에서 2000년 이후에 출시한

100종의 자동차를 다양한 각도와 시간대에 따라 촬영한 약 6만 5천장의 이미지로 구성되어 있다. 그림 1은

한식 이미지와 차량 이미지 데이터의 예시이다.

(a) 한식 이미지 (b) 국산 차량 이미지

그림 1 한식 이미지와 국산 차량 이미지의 예

데이터셋의 구성

한식 이미지 데이터셋은 2014년에 농림축산식품부와 한식재단에서 출간한 한식메뉴 외국어표기 길라잡이를

참고하여 구축하였다. 그림 2와 같이 27가지의 대분류와 150가지의 소분류로 한식을 구분하였고, 각 소분류에

맞는 음식 사진을 1000장씩 수집하고 정제하는 방식으로 총 15만장 규모의 데이터셋을 구축하였다.

그림 2 한식 이미지 데이터셋의 대분류와 소분류

차량 이미지 데이터셋은 차량 인식기가 다양한 각도와 조명 환경에서 찍힌 차량 사진을 어느 수준까지 잘

식별할 수 있는지에 대한 물음에 답을 할 수 있도록 설계되었다. 데이터 구축 시 임의의 사진에서 정확한

차종과 연식, 촬영 각도, 조명 환경을 알아내어 색인하는 일은 어려운 일이므로, 그림 3과 같은 촬영 장비를

제작하여 사용하였다.

그림 3 차량 이미지 데이터셋 촬영 방법 및 장치

촬영을 위해 국내 5개의 자동차 제조사에서 2000년 이후 출시한 100종의 차량을 대여하였다. 실외와 실내

환경을 고려한 5개의 조명 환경에서, 20개의 수평 방향과 5개의 수직 방향을 고려하여 총 100개의 시점에서

촬영하였다. 최종적으로 표 1과 같이 차종당 500장, 총 5만장 이상 규모의 데이터셋이 구축되었다.

표 1 국산 차량 이미지 데이터셋의 구성

구성 요소 상세 설명

차량 이미지

촬영 시스템

호 형태의 프레임 수직 90도 커버

최소 5대의 Digital Camera Canon IXUS 185 Compact

차량 이미지

데이터

제조사 쉐보레, 현대, 기아, 쌍용, 르노삼성

연식 2002년 ~ 2019년

각도 수평 360도, 수직 90도 (100개 시점)

조명 오전, 정오, 오후, 저녁, 실내 (5가지)

색인 정보 촬영 조건 폴더와 파일 이름으로 구분

데이터셋의 설계 기준과 분포

앞에서 설명한 바와 같이 한식 이미지 데이터셋은 2014년에 농림축산식품부와 한식재단에서 출간한

한식메뉴 외국어표기 길라잡이의 분류체계를 기준으로 하였다. 참고문헌에 상차림, 반찬으로 구분된 음식은

만두, 무침, 쌈, 적, 튀김 등으로 보다 세분화하였다. 그림 4와 그림 5는 이렇게 구축한 한식 이미지 데이터셋의

대분류와 소분류 분포이다. 소분류 당 약 1000장의 한식 이미지를 포함하고 있는 것을 알 수 있다.

그림 4 한식 이미지 데이터셋의 대분류 분포

그림 5 한식 이미지 데이터셋의 소분류 분포

차량 이미지 데이터셋은 국내 자동차 점유율을 기준으로 구축하였다. 국내 자동차 점유율에 맞게 총 100 종의

차량을 대여하였고, 대여된 차량을 여러 대의 카메라를 동시에 제어할 수 있는 촬영 장비를 제작하여

촬영하였다. 그림 6, 그림 7, 그림 8은 이렇게 획득한 총 5만장 규모의 차량 이미지 데이터셋의 제조사별,

차종별(연식포함), 차형태별, 촬영 시간대별, 촬영 장소별 분포이다. 차종별 평균 650장의 이미지를 포함하고

있는 것을 알 수 있다.

그림 6 차량 이미지 데이터셋의 제조사별 분포

그림 7 차량 이미지 데이터셋의 차종 분포 (연식 포함)

그림 8 차량 이미지 데이터셋의 차량 형태, 촬영 시간대, 촬영 장소 비율

데이터 구조

한식 이미지 데이터셋과 차량 이미지 데이터셋의 구조는 매우 단순하다. 그림 9는 한식 이미지

데이터셋의 구조이며, 27가지 대분류와 150가지 소분류를 나타내는 폴더 안에 약 1000장의 항목이

파일 이름으로 구분되어 있다.

그림 10은 차량 이미지 데이터셋의 구조이며, 제조사와 차량 이름, 연식, 조명 환경, 100개의 촬영

각도가 폴더 이름과 파일 이름으로 구분되어 있다.

그림 9 한식 이미지 데이터셋 구조

그림 10 차량 이미지 데이터셋 구조

데이터 예시

한식 이미지 데이터셋의 예시 그림은 그림 11과 같다. 대분류 폴더 안에 소분류 폴더가 있고, 그 안에 약

1000장의 한식 이미지가 들어 있다. 저작권 문제 해결을 위해 원본 이미지의 주소를 기록한 파일과, 최종

이미지의 원본 이미지에서의 크롭(Crop) 정보가 담긴 파일이 포함되어 있다.

그림 11 한식 이미지 데이터셋 예시

차량 이미지 데이터셋의 예시 그림은 그림 12와 같다. 제조사 폴더 안에는 차량 이름과 연식 폴더가 있고, 그

안에는 촬영 시간, 촬영 수평 각도 폴더가 있고, 마지막 폴더에 촬영 수직 각도가 파일 이름으로 구분된 차량

이미지가 들어 있다.

그림 12 차량 이미지 데이터셋 예시

데이터 구축 과정

한식 이미지 데이터셋은 2017년에 구축되었다. 인터넷 크롤러(Crawler)를 사용하여 수집하였고, 저작권 문제

해결을 위해 원본 이미지의 주소를 기록하였다. 한 장의 사진 안에 여러 개의 음식이 포함된 경우 크롭하여

데이터를 정제하였다.

차량 이미지 데이터셋은 2018년에 구축되었다. 그림 13과 같은 장비와 소프트웨어를 사용하여 촬영하고

색인하였다. 사진에 포함된 식별 가능한 개인정보(사람의 얼굴, 차량 번호판 등)는 모두 가림 처리를 하였다.

그림 13 차량 이미지 획득 현장 사진

검수와 품질 확보

본 데이터셋의 품질 확보를 위해 1차, 2차 검수 시스템을 운영하였다. 한식 이미지의 경우 이미지 수집 후

정제 과정에서 1차 검수, 음식 분류기 테스트 과정에서 2차 검수를 수행하였다. 차량 이미지의 경우 현장에서

초점이 맞지 않는 영상 및 누락된 영상을 1차 검수하고, 현장에서 발견하지 못한 데이터 오류는 개인정보

가림 처리를 하는 과정에서 2차 검수하였다. 복구할 수 없는 오류라고 판단되면 재촬영을 원칙으로 하였다.

한식 분류기, 차량 분류기를 GoogleLetNet, VGG-19 모델을 사용하여 학습하고 교차 유효성 검증 (Cross-

Validation)을 통해 데이터셋의 유효성을 확인하였다.

데이터 구축 담당자

수행기관(주관) : 한국과학기술연구원 인공지능연구단, 이메일: jhcho@kist.re.kr