mô hình hóa màu da (facial skin color modeling)

Mô hình hóa màu da(Facial Skin Color Modeling)

Mô hình hóa màu da(Facial Skin Color Modeling)

Đặng Trần Minh HậuLê Ngọc ThànhNghiêm Quốc MinhNguyễn Thị Ngọc MaiNgô Đức ThànhVũ Quốc Hoàng

Nội dungNội dung

• Giới thiệu– Ứng dụng màu sắc trong phát hiện mặt người– Đặc điểm màu sắc: Điểm mạnh & Điểm yếu

• Phát hiện màu da trong các không gian màu

• Mô Hình Màu Da

• Mô hình hoá màu da với Skin locus

• Kết luận

• Demo

Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người

Giới thiệu – Ứng dụng màu sắc trong phát hiện mặt người

• Có thể nhần lẫn đối tượng tương tự màuVí dụ: Bàn tay, gỗ

• Cần những căn cứ khác để phát hiện vùng mặt

Sử dụng như bước tiền xử lý để loại bỏ những đối tượng sai rõ

• Yếu tố nào cần quan tâm khi chọn mô hình màu da?

• Làm sao để tìm mô hình phù hợp?

Đặc điểm màu sắcĐặc điểm màu sắc

• Màu sắc có độ phân biệt cao và tính toán nhanh

• Những biến đổi hình học thông thường không ảnh hưởng thông tin màu

• Màu da khác hẳn so với những thứ xung quanh

Màu sắc được dùng khá phổ biến trong phát hiện mặt người

Đặc điểm màu sắc (tt)Đặc điểm màu sắc (tt)

• Nhạy với biến đổi về độ chiếu sáng (đặc biệt là sắc độ)

Có thể ảnh hưởng xấu cho 1 số mô hình

White balancing

Yếu tố nào cần quan tâm khi chọn mô hình màu da?

Yếu tố nào cần quan tâm khi chọn mô hình màu da?

• Nhân tố quan trọng cần quan tâm là độ chiếu sáng

• Sắc thái da (skin tone): những giá trị màu thể hiện da với chất lượng chấp nhận được với con người.

• Khó khăn khi chọn mô hình: với skin tone tương ứng với mô hình, thay đổi màu sắc (illumination) vùng da trở thành không phải da

Những nhân tố ảnh hưởng thể hiện màu da

Những nhân tố ảnh hưởng thể hiện màu da

• Khác biệt về độ nhạy của máy ảnh

• Sự phản xạ

• Tham số cài đặt của camera

Ít ảnh hưởng hơn thay đổi về độ chiếu sáng


• Giới thiệu

• Phát hiện màu da trong các không gian màu– Các nghiên cứu và so sánh



• Kết luận

• Demo

Màu da trong các không gian màuMàu da trong các không gian màu

• Không gian màu: Tạo ra bằng cách chuyển đổi từ không gian RGB

• Tách thông tin màu: Cường độ (Intensity) và sắc độ (chromaticity)

Không hoàn toàn: Sắc độ phụ thuộc vào giá trị cường độ trong RGB Sử dụng thông tin sắc độ không cho ta kết

quả tốt đối với biến đổi về cường độ

Màu da trong các không gian màu (tt)

Màu da trong các không gian màu (tt)

Thiết kế một không gian mới để giải quyết yêu cầu

• Ví dụ: tint/saturation/lightness (TSL), không gian màu đặc biệt dùng trong phát hiện màu da do Terrillon và cộng sự thiết kế

Những nghiên cứu và so sánhNhững nghiên cứu và so sánh

• Chỉ sử dụng những bộ chú thích sắc độ (chromaticity descriptor)

Chống lại những ảnh hưởng do thay đổi cường độ

• Điều kiện: – Camera tuyến tính– Không gian màu độc lập giữa cường độ và

sắc độ

Những nghiên cứu và so sánh (tt)Những nghiên cứu và so sánh (tt)

• Sắc thái da khác nhau chủ yếu ở giá trị cường độ của chúng

• Do độ phản xạ của những nhóm sắc thái da là tương tự nhau


• Brand và Mason so sánh 3 phương pháp – Ratio between RGB channel– One-dimensional indicator from IQ

components of YIQ space– RGB probability map

RGB probability map có tỉ lệ lỗi sai thấp nhất, phát hiện đúng: 95% với tập huấn luyện


• Jones and Rehg: thực nghiệm trong không gian RGB– Mô hình histogram cho kết quả tốt hơn Mô

hình Gauss hỗn độn

• Zarit: phân lớp dựa tren histogram màu, thực hiện trên 5 không gian màu: CIE Lab, Fleck HS, HSV, normalized RGB, YCrCb– Dựa trên look-up table và lý thuyết quyết định

Bayesian– Không gian HS tốt nhất


• Một số nghiên cứu của Caetano, Yang và Ahuja cho thấy: không gian normalized RGB có thể phù hợp với nhiều ứng dụng dùng skin tone

• Khó đưa ra mô hình tốt nhất vì còn tùy thuộc vào nhiều điều kiện

Tùy vào ứng dụng mà chọn mô hình


• Giới thiệu


• Mô Hình Màu Da– PP Trên Ảnh Đơn– PP Trên Chuỗi Ảnh Tuần Tự


• Kết luận

• Demo

Mô Hình Màu DaMô Hình Màu Da

• Phương pháp trên ảnh đơn (single image)Đặc điểm: dựa trên xác suất phân bố màu điểm ảnh hoặc vùng giới hạn của không gian màu đối tượng.

• Phương pháp trên chuỗi ảnh tuần tự (image sequence)Đặc điểm: theo vết một đối tượng, lợi dụng tính chất những đặc trưng biến đổi rất chậm để tìm vùng da.

Phương Pháp Trên Ảnh Đơn (1)Phương Pháp Trên Ảnh Đơn (1)

• Dựa vào phân bố xác suất (Statistics)Ý tưởng: mỗi đối tượng có tỉ lệ sắc màu (color tone) riêng biệt cần tính giá trị ngưỡng (threshold).Điểm yếu: giá trị ngưỡng mang tính chất tương đối phụ thuộc vào tập huấn luyện, cách chọn ngưỡng, …Các thuật toán áp dụng: biến đổi Gauss, mạng Nơron, Histogram…


• Dựa vào vùng không gian màu (region in color space)Ý tưởng: da người nằm trong một vùng không gian màu nhất định cần xác định hình dạng của vùng này.Điểm yếu: định ra đường biên vùng không dễ vì bị ảnh hưởng bởi nhiễu, tập ảnh, độ chiếu sáng,…


• Tinh chỉnh màu cho phương pháp dựa vào vùng không gian màu.Mục đích: giảm ảnh hưởng của sự biến đổi độ sáng và độ phản xạ của bức ảnh.Phương pháp: màu trắng tham khảo (reference white)- Chọn một dãi giá trị màu trắng trong tập giá trị độ sáng gamma không tuyến tính đã được tinh chỉnh (nonlinear gamma-corrected liminance)- Hệ số scale các giá trị trên về 255 làm hệ số tinh chỉnh ảnh.

Phương pháp Trên Chuỗi Ảnh Tuần Tự

Phương pháp Trên Chuỗi Ảnh Tuần Tự

• Mô hình bất biến (fixed model)Xem mỗi bức ảnh là một tập các ảnh rời rạc giống phương pháp trên.

• Mô hình thích ứng (adaptive model)Ý tưởng: Phân bố màu trên một tập các ảnh tuần tự khá giống nhau hay sự thay đổi ít. Tuy nhiên độ chiếu sáng thay đổi rất nhanh.


• Giới thiệu



• Mô hình hoá màu da với Skin locus– Tạo Skin locus– Ứng dụng của skin locus

• Kết luận

• Demo

Mô hình hoá màu da với Skin locusMô hình hoá màu da với Skin locus

Ánh sáng thay đổi màu da thay đổi.

Skin Locus là khoảng sắc độ da dưới sự thay đổi của cường độ sáng trong không gian màu NCC.

Ưu điểm của Skin Locus:• Chịu được sự thay đổi cường độ sáng.• Chịu được sự thay đổi sắc độ sáng.

Tạo Skin locusTạo Skin locus

2 cách tiếp cận:• Dựa trên quang phổ (Spectral-based).• Dựa trên tập ảnh (Image-Based).

Cách tiếp cận dựa trên quang phổCách tiếp cận dựa trên quang phổ

Cần các thông tin về thông số máy ảnhkhó lấy.Đưa ra cách tiếp cận dựa trên ảnh.

Cách tiếp cận dựa trên tập ảnhCách tiếp cận dựa trên tập ảnh

Bước 1:Tạo tập ảnh dưới điều kiện chiếu sáng đã

chọn.


Bước 2:Trích xuất vùng da (tự động hoặc làm tay).


Bước 3:Chuyển từ không gian RGB NCC.Mô hình hoá bằng hàm thích hợp (đa thức).

NCC NCC

Normalized Color Coordinate

White BalanceWhite Balance

Quá trình loại bỏ các dải màu không thực (unrealistic color casts)

Ứng dụng của skin locus: một vài ví dụ

Ứng dụng của skin locus: một vài ví dụ

• Các ảnh tĩnh

• Video

Ảnh tĩnhẢnh tĩnh

• Xem skin locus như là bộ lọc• Xác định màu da la mặt

VideoVideo

• Video được tách riêng thành các frame để xử lý

• Có thể lấy skin locus dựa trên các frame đầu

Kết luậnKết luận

• Có nhiều phương pháp để phát hiện da mặt.

• Phụ thuộc vào nhiều yếu tố: điều kiện chiếu sáng, độ nhạy máy ảnh, cân bằng trắng, định dạng ảnh, không gian màu…

• Điều kiện chiếu sáng quan trọng nhất.

• Skin locus cho kết quả tốt nhất.

DemoDemo

Chân thành cảm ơn!

mô hình hóa màu da (facial skin color modeling)

Documents