Đơn vị chủ trì : Công ty CP Dịch vụ CNTT NaiscorpNhóm thực hiện: KS. Nguyễn Khánh Toàn TS. Lê Thị Lan SV. Nghiêm Tiến Viễn

NGHIÊN CỨU, XÂY DỰNG HỆ THỐNG GỢI Ý QUẢNG CÁO TRONG CÁC DỊCH VỤ CHIA SẺ HÌNH ẢNH TRỰC TUYẾN

Mã số: KC.01.TN10/11-15

ĐỀ TÀI NGHIÊN CỨU KHOA HỌC TIỀM NĂNG

109/10/14

NỘI DUNG

• Thông tin chung v đ tàiề ề• M c tiêu c a đ tàiụ ủ ề• Các n i dung nghiên c u trong đ tàiộ ứ ề• K t qu đ t đ cế ả ạ ượ• K t lu nế ậ

09/10/14 2

Thông tin chung về đề tài

• Công ty Naiscorp - đ n v ch trìơ ị ủ– T o n n t ng Server/websiteạ ề ả– K t n i các module ế ố– Nghiên c u đ nh h ng kinh doanhứ ị ướ

• Trung Tâm MICA – đ n v ph i h pơ ị ố ợ– Nh n d ng đ i t ng và khung c nh trong nhậ ạ ố ượ ả ả– C i ti n nâng cao ch t l ng moduleả ế ấ ượ– Module đ c nghiên c u khá đ c l p v i h ượ ứ ộ ậ ớ ệ

th ngố09/10/14 3

Mục tiêu và nội dung khcn

Ý t ng c a đ tài:ưở ủ ề•Google r t thành công v i h th ng Ads Wordấ ớ ệ ố

– B n ch t là tìm xâu qu ng cáo phù h p v i n i ả ấ ả ợ ớ ộdung d ng textạ

•Nhóm d án mu n làm vi c t ng t v i nhự ố ệ ươ ự ớ ả– Nh n d ng đ i t ng/ khung c nh trong nhậ ạ ố ượ ả ả– Tìm xâu qu ng cáo phù h p v i nhả ợ ớ ả– Đ a nh kèm v i qu ng cáo cho khách hàngư ả ớ ả

09/10/14 4

Sơ đồ hệ thống

09/10/14 5

Hoạt động của hệ thống

• Kho nh t 2 ngu nả ừ ồ– Ng i dùng t Upanh lênườ ự– Trang web có ch a nhứ ả

• L y nh t kho -> Nh n d ng nh -> Tìm ra ấ ả ừ ậ ạ ảđ i t ng/ khung c nh ch a trong nhố ượ ả ứ ả

• Khách hàng qu ng cáo ả– G n 1 đ i t ng qu ng cáo v i 1 xâu qu ng cáoắ ố ượ ả ớ ả

• N u trong nh có ch a đ i t ng/khung c nh ế ả ứ ố ượ ả-> Hi n th xâu qu ng cáoể ị ả

09/10/14 6

Nội dung cần nghiên cứu

• Nghiên c u xây d ng C s h t ngứ ự ơ ở ạ ầ– Back–End: H th ng database, sao l u d li uệ ố ư ữ ệ– Front-End: DNS, Load Balance, Webserver

• Nh n d ng nhậ ạ ả– Nh n d ng đ i t ng trong nhậ ạ ố ượ ả– Nh n d ng khung c nh trong nhậ ạ ả ả

• K t n i và v n hành h th ngế ố ậ ệ ố– Th nghi m ch c năng nh n d ngử ệ ứ ậ ạ– Th nghi m ch c năng qu ng cáoử ệ ứ ả

09/10/14 7

Phần 1: Nền tảng cho Quảng Cáo

Nghiên cứu công nghệ Webserver Portal cho phép phục vụ hàng

triệu lượt truy vấn mỗi ngày

Công nghệ lưu trữ phân tán

o Hệ thống file phân tán (Hadoop, GlusterFS, Riak Store,

OpenStack Swift

o Hệ thống caching (Varnish Cache trên RAM, Squid trên SSD,

Nginx Cache trên HDD

09/10/14 8

Nội dung đăng ký theo thuyết minh đề tài Kết quả đạt được

- Tìm hiểu và đánh giá các kết quả đã đạt được về nhận dạng đối tượng, khung cảnh trong ảnh- Tìm hiểu và phân tích các lớp đối tượng, khung cảnh trong ảnh

Báo cáo phân tích và đánh giáCơ sở dữ liệu ảnh khung ảnh- 5 khung cảnh (biển, chùa, núi, phố, rừng) - 500 ảnh/khung cảnh- Thu thập từ CSDL của Naiscorp và một vài CSDL chuẩn khácCơ sở dữ liệu ảnh đối tượng-10 lớp đối tượng- 500 ảnh/đối tượng- Thu thập từ CSDL của Naiscorp và một vài CSDL chuẩn khácXây dựng groundtruth cho các ảnh trong CSDL

Nội dung 2.1: Phát hiện và nhận dạng các đối tượng trong ảnh

Mô đun phát hiện và nhận dạng đối tượng

Nội dung 2.2: Nhận dạng khung cảnh Mô đun nhận dạng khung cảnh

Nội dung 2.3: Thử nghiệm và đánh giá hiệu quả của engine nhận dạng ảnh

Các kết quả thử nghiệm, đánh giá online và offline của các mô đun xây dựng

Phần 2. Engine nhận dạng ảnh

Nhận dạng khung cảnh- Định nghĩa bài toán:

o Đầu vào: 1 ảnho Đầu ra: tên của khung cảnh có trong ảnh (ví dụ: biển, núi

v.v.)

Núi

Nhận dạng đối tượng trong ảnh

- Định nghĩa bài toán: o Phát hiện: Xác định sự tồn tại

của đối tượng trong ảnho Nhận dạng: Xác định lớp mà

đối tượng thuộc vào

Ng iườ

Ng aựChó

Xe Ng iườBò

- Các khó khăn của bài toáno Thay đổi hướng nhìno Thay đổi ánh sángo Thay đổi kích thước, diện mạo

Thay đổi hướng nhìn

Thay đổi kích thướcThay đổi ánh sáng

Engine nhận dạng Ảnh đầu vào

Nhận dạng đối tượngNhận dạng khung

cảnh

0

0

0

0

0

0

0

0

0

0

0

0

1

0

0

Máy bay

Đồng hồ

Giày dép

Hoa

Kính

Laptop

Người

Ôtô

Thuyền

Xe máy

Biển

Chùa

Đường phố

Núi

Rừng

Hệ thống nhận dạng đối tượng / Khung cảnh

Đầu ra của hệ thống nhận dạng

Vector N chiều (N là số lớp đối tượng)

Vector M chiều (M là số

lớp khung cảnh)

Không có đ i t ngố ượ

(1)

(2)

(2)

Nhận dạng khung cảnh

Ảnh đầu vào

Trích chọn đặc trưng

Nhận dạng (SVM, KNN)

GIST, LDO, Phân bố màu sắc

Kết quả đầu ra

Cở sở dữ liệu

Tiền xử lý

Trích chọn đặc trưng

Huấn luyện bộ phân lớp(SVM, KNN)

Các bộ phân lớp

Pha hu n luy nấ ệ Pha nh n d ngậ ạ

Nhận dạng khung cảnh• Mô đun nh n d ng khung c nh trong đ tài:ậ ạ ả ề- Nh n d ng 5 khung c nh (bi n, núi, chùa chi n, ậ ạ ả ể ề

đ ng ph , r ng)ườ ố ừ- Th nghi m và đánh giá các đ c tr ng và ử ệ ặ ư

ph ng pháp nh n d ng khung c nhươ ậ ạ ả- Color histogram + color moment + SVM- Local dominant orientation (LDO) + kNN- GIST + kNN

• Đ xu t s d ng ề ấ ử ụ GIST và kNN

50 100 150 200

50

100

150

200

Dominant Orientation

0.01

0.02

30

210

60

240

90

270

120

300

150

330

180 0

LDO feature

50 100 150 200

50

100

150

200

Dominant Orientation

0.01

0.02

30

210

60

240

90

270

120

300

150

330

180 0

LDO feature

Nhận dạng khung cảnh

Tên khung c nhả

ID Phân b màuố

LDO GIST

Bi nể 0 64.2 51 86.8

Chùa 1 68.2 55 93

Núi 2 60.4 48 82.9

Đ ng phườ ố 3 66.2 59 92.4

R ngừ 4 80.1 64 84.7

Trung bình 67.82 55 87.96

Cơ sở dữ liệu khung cảnh:• 2500 ảnh (5 khung cảnh * 500 ảnh/khung cảnh) Kết quả nhận dạng: •5 lớp khung cảnh, •1250 ảnh huấn luyện (250 ảnh huấn luyện/khung cảnh)•1250 ảnh thử nghiệm (250 ảnh thử nghiệm/khung cảnh )

Th i gian th c hi n trung bìnhờ ự ệ : 96.5 ms/ảnh (core i5-2520M CPU @ 3.2 GHz x 2 RAM: 8GB) ~ 10 ảnh/s

Báo cáo chi ti t th nghi m đi kèmế ử ệ

Nhận dạng đối tượng trong ảnh

Ảnh đầu vào

Quét cửa sổ trên ảnh

Trích chọn đặc trưng

Nhận dạng (Adaboost, SVM, KNN)

Haar, HoG, Gist

Kết quả đầu ra

Cở sở dữ liệu

Tiền xử lý

Trích chọn đặc trưng

Huấn luyện bộ phân lớp(Adaboost, SVM, KNN)

Các bộ phân lớp

Pha hu n luy nấ ệ Pha nh n d ngậ ạ

Nhận dạng đối tượng trong ảnh Đặc trưng Haarlike

M i đ c tr ng Haar-like bao g m hai ho c ba hình ch nh t đen và ỗ ặ ư ồ ặ ữ ậtr ng k nhauắ ề

Đặc trưng HOG: L c đ h ng các vector gradientượ ồ ướ

Đặc trưng GIST: T p đ u ra c a các b l c ậ ầ ủ ộ ọ

Gabor

Averaging over a grid 64 x64 for each filter output

Nhận dạng đối tượng trong ảnh

Dữ liệu huấn luyện và thử nghiệm Huấn luyện: 250 ảnh mỗi lớp x 10 lớp = 2500 ảnh Thử nghiệm: 250 ảnh mỗi lớp x 10 lớp = 2500 ảnh Ảnh positive của lớp này có thể là ảnh negative của lớp khác

Nhận dạng đối tượng trong ảnh

Kết quả thử nghiệmSTT

Tên lớp

Haar-Adaboo

st

HOG -SVM

Gist - KNN

1 Điện thoại di động 0.97 0.67 0.88

2 Đồng hồ 0.98 0.95 0.813 Giầy dép 0.34 0.67 0.734 Hoa 0.90 0.76 0.755 Kính 0.91 0.87 0.986 Laptop 0.62 0.78 0.997 Người 0.91 0.90 0.778 Xe oto 1.00 0.85 0.919 Tàu thuyền 1.00 0.78 0.9210 Xe máy 0.56 0.88 0.96  Trung bình 0.82 0.81 0.87

Th i gian th c hi n trung bìnhờ ự ệ : 88 ms/ảnh (core i5-2520M CPU @ 3.2 GHz x 2 RAM: 8GB) > 10 ảnh/s

Kết quả của đề tài

• Website www.quangcaoanh.com ở quy mô phòng thí nghiệm– Cho phép thử nghiệm chức năng nhận

dạng ảnh– Cho phép thử nghiệm chức năng gắn

quảng cáo trên các ảnh

– Ảnh được lấy từ các website khác

• Cho phép thống kê quảng cáo

09/10/14 20

Kết quả của đề tài

o Sản phẩm trung gian:

Phần mềm nhận dạng đối tượng/khung cảnh trong ảnh

o Bài báo khoa học:

02 bài đ c ch p nh n trong h i ngh qu c t (Commantel ượ ấ ậ ộ ị ố ế2012, Seatuc 2013)

01 bài báo đ c g i cho T p chí Khoa h c và công ngh các ượ ử ạ ọ ệTr ng k thu t đang ch k t qu ph n bi nườ ỹ ậ ờ ế ả ả ệ

o Đào tạo:

01 h c viên cao h c đang đ c đào t o trong đ tàiọ ọ ượ ạ ề

09/10/14 21

Website: Quangcaoanh.com

09/10/14 22

Demo Quảng cáo trên ảnh

09/10/14 23

Demo Quảng cáo trên ảnh

09/10/14 24

Demo Nhận dạng

09/10/14 25

KẾT LUẬN

• Đ tài đã hoàn thành các m c tiêu c a ề ụ ủch ng trình ti m năngươ ề

• S n ph m c a đ tài là m t h th ng qu ng ả ẩ ủ ề ộ ệ ố ảcáo d a vào n i dung nh hoàn thi n quy mô ự ộ ả ệphòng thí nghi mệ

• Đ nh h ng qu ng cáo d a trên n i dung là ị ướ ả ự ộđúng và đi tr c xu h ng công nghướ ướ ệ

• Ti m năng c a th tr ng s n ph m là r t l nề ủ ị ườ ả ẩ ấ ớ• Đ tài nên đ c đ u t đ phát tri n thêmề ượ ầ ư ể ể

09/10/14 26