음성인식과 deep learning 기반의 자율주행 자동차
TRANSCRIPT
지능형로봇음성 인식과 deep learning 기반의 영상 처리를 활용한 자율 주행 자동차
조장 : 이 ** 조원 : 김정원 / 이 ** / 김 **
구현목표
동작 시스템 시각 및 음성 시스템 머신러닝 시스템
영상을 이용하여 표지판을 검출 하는 시스템 구현
녹음된 명령어를 인식하는 시스템 구현
영상과 음성에 따른 다양한 주행 알고리즘 구현
모드변환 리모컨 구현
Deep Learning 을 이용한 표지판 인식 라이브러리를 구현
개발환경 & 도구
OS Board Tool & Lan-guage
• Raspberry Pi 3• Arduino UNO• Easy VR Shield
• Raspbian JESSIE
• Ubuntu Linux• Window10
• C Language• Python • Vi / Vim Editor• sketch
라이브러리
• Tensorflow• Numpy• Matplotlib• Cuda• Tflearn• Open CV 3
구현 하드웨어
Motor Driver _ L298N
DC Motor
Servo Motor
Serial Connect
음성모듈카메라모
듈
구현 _ 카메라
카메라 모듈
원본 이진화 관심영역
구현 _ 머신러닝
카메라 모듈에서 전송 받은 이미지 파일
구현 _ 음성
음성 모듈
응답 목소리 녹음된 명령어
I2C Com-munica-tion
Sound Table build
시스템 구현도
인식 및 학습 부분PC
움직임 제어 부분ATMEGA328P_ARDOIN
O
영상 및 통신제어부분RASPBERRYPI 카메라
음성 제어 부분ATMEGA328P_ARDOIN
O마이크스피커
Serial Communication (UART)
Serial Communication (UART)
TCP / IP Socket Communication
리모컨 _ 모드 전환 부분
ATMEGA328PRF Communication(inter: SPI Communication)
시스템 구현도
일반주행모드
일반주행모드
카메라 주행 모드
일반주행모드
회전
음성 주행 모드
리모컨 _ 모드 전환 부분
ATMEGA328P
시스템 구현도
인식 및 학습 부분PC
움직임 제어 부분ATMEGA328P_ARDOIN
O
영상 및 통신제어부분RASPBERRYPI 카메라
음성 제어 부분ATMEGA328P_ARDOIN
O마이크스피커
Serial Communication (UART)
Serial Communication (UART)
TCP / IP Socket Communication
리모컨 _ 모드 전환 부분
ATMEGA328P
리모컨 _모드전환RF Communication
(Inter: SPI Communication)
시스템 구현도
움직임 제어 부분ATMEGA328P_ARDOIN
O
리모컨 _ 모드 전환 부분
ATMEGA328P
조이스틱 _수동모드RF Communication
(Inter: SPI Communication)
X 축 , Y 축 값 전송
시스템 구현도카메라모드
인식 및 학습 부분PC
움직임 제어 부분ATMEGA328P_ARDOIN
O
영상 및 통신제어부분RASPBERRYPI 카메라
Serial Communication (UART)
TCP / IP Socket Communication
리모컨 _ 모드 전환 부분
ATMEGA328PSPI Communication
동작신호 “ 1” 전송
“ 사진” 전송
“ 결과값” 전송
“ 결과값” 전송
표지판에 따른 동작 수행
시스템 구현도음성모드
움직임 제어 부분ATMEGA328P_ARDOIN
O
영상 및 통신제어부분RASPBERRYPI
Serial Communication (UART)
리모컨 _ 모드 전환 부분
ATMEGA328PSPI Communication
음성 제어 부분ATMEGA328P_ARDOIN
O마이크스피커
Serial Communication (UART)
동작신호“ 2” 전송
동작신호“ 2” 전송
“ 결과값” 전송
“ 결과값” 전송
음성에 따른 동작 수행