โครงงานทางวศวกรรมเรอง

หองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลตVirtual Fitting Room Using Augmented

Reality

โดย

นายดนยนนท เกาเงน รหสประจำาตวนสต5030161721นายณชนนท วงษวไล รหสประจำาตวนสต5031023021

อาจารยทปรกษาโครงงาน ผชวยศาสตราจารย ดร.อรรถวทย สดแสง

อาจารยทปรกษาโครงงาน (รวม) อาจารย ดร.นทท นภานนท

รายงานนเปนสวนหนงของการศกษา วชา โครงงานวศวกรรมคอมพวเตอร

2

หลกสตรปรญญาวศวกรรมศาสตรบณฑต สาขาวศวกรรมคอมพวเตอร

ภาควชาวศวกรรมคอมพวเตอร คณะวศวกรรมศาสตร

จฬาลงกรณมหาวทยาลย

ปการศกษา 2553

ก

กตตกรรมประกาศ

โครงงานนสำาเรจไดดวยความชวยเหลอของ ผศ.ดร.อรรถวทย สดแสง และ อ.ดร.นทท นภานนท อาจารยทปรกษาโครงงาน ผทใหคำาปรกษา คำาแนะนำา ตลอดจนความชวยเหลอตางๆ ททำาใหโครงงานนสำาเรจลลวงดวยด

ขอขอบคณสมาชกหองปฏบตการวจยระบบอจฉรยะ 2 ทเออเฟ อสถานทใหผพฒนาโครงงานในการทำางาน และจดหาอปกรณตางๆ ทชวยในการพฒนาโครงงานน

ขอขอบคณภาควชาวศวกรรมคอมพวเตอร คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย ทไดประสทธประสาทวชาความรใหกบผพฒนาโครงงาน ซงจะชวยเปนพนฐานการทำางานในอนาคต

สดทายนทางผพฒนาโครงงานขอขอบพระคณบดามารดา รนพ และเพอน ทคอยใหคำาแนะนำาและกำาลงใจ อกทงยงชวยใหผพฒนาโครงงานมองปญหาในมมมองใหมๆ สงผลใหชวยแกไขปญหาเหลานนไดในทสด

ท งน โครงงานน ได ร บ เง นทนสน บสน นจาก ศ นย เทคโนโลย อเลกทรอนกสและคอมพวเตอรแหงชาต สำานกงานพฒนาวทยาศาสตรและเทคโนโลยแหงชาต และสำานกสงเสรมอตสาหกรรมซอฟตแวร ภายใตการแขงขนพฒนาโปรแกรมคอมพวเตอรแหงประเทศไทย ครงท 13

ข

บทคดยอ

ดนยนนท เกาเงน และ ณชนนท วงษวไล (2553). หองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต. โครงงานวศวกรรม วศ.บ.(คอมพวเตอร). กรงเทพฯ: คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย. อาจารยทปรกษาโครงงาน: ผศ.ดร.อรรถวทย สดแสง. อาจารยทปรกษาโครงงานรวม: อ.ดร.นทท นภานนท

ในปจจบน ธรกจการคาเสอผาแบบคาปลกนนมปญหาเกดขนตางๆมากมาย เชน เสอทลกคาตองการลองนนไมมขนาดทพอดกบลกคา ลกคาตองเสยเวลาในการเปลยนเสอผาทตนใสมาเพอลองเสอทตองการ หรออาจจะถกมจฉาชพแอบถายภาพไวในขณะททำาการเปลยนเสออยได เปนตนซงยงไมมเทคโนโลยทนำามาแกไขปญหาเหลานไดดเทาทควร

ผพฒนาจงมแนวคดทจะพฒนาหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต ซ งจะทำาใหผใชงานไมตองเปลยนเสอเพอทำาการลองเสอทตองการ เพอลดปญหาทเกดขนดงกลาว โดยระบบจะแสดงภาพเสอผาซอนทบลงบนตวของผใชงาน แลวแสดงผลออกทางจอภาพ เสมอนกบเสอนนอยบนตวผใชงานจรง ซงจะมแบบเสอผาตางๆ ใหผใชงานไดเลอกใช ผานทางสวนตอประสานผใช ทสามารถใชงานไดงาย

จากทกลาวมาขางตน โครงงานหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต จะสามารถแกไขปญหาตางๆ ของการลองเสอได และยงชวยสงเสรมใหมการใชเทคโนโลยเขามาชวยในธรกจการซอขายเสอผาไดอกดวย

ค

โครงงานวศวกรรมคอมพวเตอร ปการศกษา 2553 น ส ตผ จ ดท ำา โครง

งาน ___________________________ภาควชาวศวกรรมคอมพวเตอร

น ส ต ผ จ ด ท ำา โ ค ร ง ง า น

___________________________คณะวศวกรรมศาสตร

อ า จ า ร ย ท ป ร ก ษ า โ ค ร ง ง า น

_______________________จฬาลงกรณมหาวทยาลย

อาจารยทปรกษาโครงงานรวม __________________

ง

AbstractDanainan Kaongoen and Natchanon Wongwilai (2553). Virtual Fitting Room Using Augmented Reality. B. Eng. (Computer) Senior Project. Bangkok: Chulalongkorn University. Senior Project Advisor: Asst.Prof. Dr.Attawith Sudsang. Senior Project Co-Advisor: Dr.Nattee Niparnan.

Nowadays, the retail clothing business has many problems such as, many customers would like to try, but shirt does not fit for them, customers spent a lot times for try on a coat and they are peek while changing shirts, which don’t have the technology to solve these problems well enough.

So, we have idea to develop Virtual Fitting Room Using Augmented Reality that allows the user doesn’t take off their cloth when trying the shirt, to reduce the problem. The system will put shirt image on human image then show that picture on the screen as if it is real. So, user can choose many kind of cloths via user interface which easy to use.

Finally, Virtual Fitting Room Using Augmented Reality can solve many problems of cloth fitting and also helps involving of technology in clothing business.

Senior Project Academic Year 2010 Student ______________________________ Department of Computer

จ

Engineering Student ______________________________ Faculty of Engineering

Project Advisor _______________________ Chulalongkorn University

Project Co-Advisor ____________________

ฉ

สารบญ

กตตกรรมประกาศ…………………………………………………………………………………......... กบทคดยอ……………………………….……………………………….……………………………….. ขAbstract……………………………….……………………………….……………………………...… คสารบญ…………………………………………………………………………………….......………… งสารบญตาราง………………………………………………………………………………….………… ฉสารบญรปภาพ………………………………………………………………………………...………… ชบทท 1 บทนำา……………………………….……………………………….………………………....... 1

1.1 ทมาและความสำาคญของปญหา………………………………………………………....... 1

1.2 ภาพโดยรวมของระบบ…………………………………………………………………...… 1

1.3 วตถและเปาหมาย………………………………………………………………………..… 3

ช

บทท 2 ทฤษฎและหลกการทเกยวของ……………………………….………………………………..… 4

2.1 Automated detection of human for visual surveillance system................................ 4

2.2 Robust real-time upper body limb detection and tracking...................................... 5

2.3 Human pose modeling and body tracking from monocular video sequences........ 6บทท 3 รายละเอยดของการพฒนา……………………………….…………………………………….. 10

3.1 Functional Specification……………………………….……………………...………… 10

3.2 โครงสรางของซอฟตแวร……………………………….………………………………...… 11

3.3 Input / Output Specification……………………………….……………………….....… 16

3.4 ขอบเขตและขอจำากดของโปรแกรมทพฒนา………………………………………….....… 17

3.5 เครองมอทใชในการพฒนา……………………………….……………………………...… 18

3.6 กลมผใชโปรแกรม……………………………….……………………………….……….... 18

ซ

บทท 4 ผลการทดสอบโปรแกรม……………………………….……………………………………...… 19

4.1 การทดสอบสวนการประมาณคาทาทางของคน (human pose estimation testing)......... 19

4.2 การทดสอบสวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง

(virtual cloth registration testing).............................................................................. 244.3 การทดสอบสวนตอประสานผใช (user interface testing).............................................. 25

บทท 5 ปญหาและอปสรรค……………………………….……………………………….…………..… 26บทท 6 แนวทางการพฒนาตอในอนาคต……………………………….……………………………..…

28บทท 7 ขอสรปและขอเสนอแนะ……………………………….…………………………………...…… 29บทท 8 เอกสารอางอง……………………………….……………………………….……………....… 30บทท 9 ภาคผนวก……………………………….……………………………….…………………..… 31

ฌ

11.1คมอการตดตงอยางละเอยด……………………………….……………………...…..... 26

11.2คมอการใชงานอยางละเอยด……………………………….………………………...… 30

ญ

สารบญตาราง

ตารางท 4.1 แสดงผลการทดสอบ Head detection.........................................................................

20ตารางท 4.2 แสดงผลการทดสอบ Torso detection.........................................................................

21ตารางท 4.3 แสดงผลการทดสอบ Upper arms detection...............................................................22

ฎ

สารบญรปภาพ

รปท 1.1 แสดงลกษณะโดยรวมของระบบ....................................................................................... 2รปท 1.2 ตวอยางการใชงานโปรแกรม.............................................................................................2รปท 2.1 ตวอยางผลลพธการดงภาพเงา (Silhouette extraction)...................................................... 5รปท 2.2 ตวอยางการตรวจจบสผวท white balance ตางกน............................................................ 6รปท 2.3 ตวอยาง vertical projection histogram............................................................................ 6รปท 2.4 ตวอยางการตรวจพบศรษะของคน....................................................................................

7รปท 2.5 ตวอยางการหาตำาแหนงของไหล....................................................................................... 7รปท 2.6 ตวอยางผลลพธการตรวจพบศรษะและลำาตว..................................................................... 8รปท 2.7 ตวอยางการประมาณตำาแหนงของแขน.............................................................................. 9

ฏ

รปท 2.8 ตวอยางผลลพธการประมาณคาทาทางของคน.................................................................. 9รปท 3.1 แสดงแผนภาพโครงสรางซอฟตแวร...................................................................................

11รปท 3.2 ตวอยางผลลพธจากขนตอน Silhouette extraction............................................................ 12รปท 3.3 แสดงการทำางานในขนตอน Skin extraction......................................................................

12รปท 3.4 ตวอยางผลลพธจากขนตอน Head detection....................................................................

13รปท 3.5 แสดงขนตอนการหาตำาแหนงของไหลในกรณเอยงตว.......................................................... 13รปท 3.6 แสดงขนตอนการหาทศทางของแขนทอนบน...................................................................... 14รปท 3.7 ตวอยางภาพเสอทใชในโปรแกรม......................................................................................

14รปท 3.8 แสดงขนตอนการซอนทบภาพเสอบนภาพผใชงาน.............................................................. 15รปท 3.9 ตวอยางสวนตอประสานผใช............................................................................................. 15รปท 3.10 แสดง Algorithm ทใชในโปรแกร

ฐ

ม...................................................................................16

รปท 4.1 ตวอยางภาพจากไฟลวดโอทใชในการทดสอบ.................................................................... 19รปท 4.2 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงศรษะ....................................... 20รปท 4.3 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงไหลดานซาย............................. 21รปท 4.4 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงไหลดานขวา.............................. 22รปท 4.5 แผนภาพแสดงความถของความผดพลาดในแตละมม

ในการประมาณทศทางของแขนทอนบนดายซาย................................................................ 23

รปท 4.6 แผนภาพแสดงความถของความผดพลาดในแตละมม ในการประมาณทศทางของแขนทอนบนดาย

ขวา................................................................ 23รปท 4.7 แสดงผลการทดสอบในสวน virtual cloth registration........................................................ 24รปท 4.8 แสดงผลการทดสอบในสวน user interface.......................................................................

25รปท 5.1 ตวอยางการทำางานทผดพลาดอนเกดมาจากขอบมดของรางกาย......................................... 27

บทท 1 บทนำา

1.1 ทมาและความสำาคญของปญหา

ในปจจบน ธรกจการซอขายเสอผานนเปนธรกจทสรางรายไดอยางมหาศาลไมวาจะเปนผคารายใหญ เชน สนคาแบรนดเนมตางๆ หรอแมแตผคารายยอย ซงผประกอบการธรกจประเภทนนนมจำานวนมาก และมการแขงขนกนสง จะเหนไดจากขอมลจากศนยวจยกสกรไทยทระบวาในป 2553 ธรกจเส อผาส ำาเรจร ปจะเตบโตสงขนรอยละ 10 หรอมมลคา 3,025 ลานดอลลารสหรฐ

โดยเฉพาะในธรกจซอขายเสอผาแบบปลกนน จะพบปญหาตางๆมากมาย เชน สนคาไมเพยงพอตอความตองการของลกคา สนคาไมตรงตามความตองการของลกคา และในกรณทรานบางรานมหองลองเสอใหลกคาไดลองสนคาตวอยาง กอาจจะเกดปญหาทางดานความปลอดภย โดยอาจจะโดนแอบถายภาพไวในขณะทก ำาล งลองเส อผ าได ซ งยงไมม เทคโนโลยทชวยในการสงเสรมการขายและมการปองกนอนตรายจากลกคาเทาทควร

ดงนน ทางผพฒนาจงไดพฒนาโครงงาน หองลองเสอเสมอนโดย“ใชออคเมนตเตดเรยลลต ซงเปนโปรแกรมจำาลองการลองเสอ ทผใชงาน”ไมตองเปลยนเสอเพอทำาการลองเสอทตองการ โดยอาศยหลกการของออคเมนตเตดเรยลต นำาเอาภาพเสอทตองการมาสวมลงบนตวผใชงาน แลวแสดงใหเหนภาพทางจอภาพ เสมอนกบเสอนนอยบนตวผใชงานจรง ทำาใหการลองเสอผาของลกคาในหองลองเสอนนมความปลอดภยมากขน ลกคาสามารถทดลองใสเสอผาทตองการได โดยไมจำาเปนทจะตองถอดเสอผาทใสอยออกเพอความสะดวกรวดเรวในการลองเสอผา อกทงในกรณทไมม

2

สนคาชนดทตองการ กยงสามารถทจะทดลองไดกอนวาสนคาชนดนนเปนทตองการหรอไม

1.2 ภาพโดยรวมของระบบหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต จะมลกษณะเปน

หองปดทมการควบคมแสงสวาง ฉากหลง และตำาแหนงของอปกรณตางๆ ซงมลกษณะทำางานคอ จะมกลองรบภาพผใชงานทยนอยบรเวณฉากทเตรยมไว จากนนจะนำาภาพทไดไปประมวลผลในคอมพวเตอร แลวแสดงผลเปนภาพผใชงานทสวมใสเสอภาพทตองการ ออกทางจอภาพดานหนาผใชงาน เสมอนกบผใชงานสองกระจกลองเสออย

รปท 1.1 แสดงลกษณะโดยรวมของระบบ

โปรแกรมหลกทใชประมวลผลภาพทรบมานน จะใชขอมลขาเขาเปน ไฟลวดโอ หรอวดโอสดจากกลองเวบแคม ซงจะนำาภาพทไดมาหาตำาแหนงองคประกอบของรางกาย ไดแก ศรษะ ล ำาตว และแขน จากนนจะนำาตำาแหนงทได ไปสรางแบบจำาลองของเสอใหอยในลกษณะเดยวกบผใชงาน แลวจงซอนทบภาพเสอลงไปบนภาพผใชงาน แลวแสดงผลออกทางจอภาพ

ในการใชงานนนจะมคำาสงตางๆ ใหผใชเลอกใชงาน ไดแก เลอกแบบเสอผาเปนชาย-หญง เลอกแบบเสอผาแบบถดไป-กอนหนา ถายรป และ

3

ออกจากโปรแกรม โดยจะรบคำาสงผานทางตำาแหนงมอของผใชงานในจอภาพ ซงในจอภาพจะแสดงภาพปมคำาสง ใหผใชงานเลอนมอไปอยบนปม แทนการกดปมโดยใชเมาส เพอความสะดวกในการใชงาน

รปท 1.2 ตวอยางการใชงานโปรแกรม

1.3 วตถประสงคและเปาหมายโครงงานหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต เปน

โปรแกรมชวยสงเสรม และแกไขปญหาการลองเสอ ในธรกจซอขายเสอผา ซงมวตถประสงคและเปาหมายของโครงงานดงตอไปน

1. เพอพฒนาโปรแกรม ทสามารถประมาณคาทาทางรางกายสวนบนของคน ทลำาตวเอยงไมเกน 30 องศาในทกๆ แกนได

2. เพอพฒนาโปรแกรม ทสามารถนำาภาพเสอมาซอนทบลงบนรางกายผใชงานได เสมอนวาสวมเสออยจรง

3. เพอพฒนาโปรแกรมทชวยแกไขปญหาของการลองเสอ ในธรกจการซอขายเสอผาแบบปลกได

4. เพอสงเสรมใหมการใชงานเทคโนโลยมาชวยในธรกจการซอขายเสอผามากขน

บทท 2 ทฤษฎและหลกการทเกยวของ

ในบทนจะอางองถงงานวจยทผพฒนาไดนำามาเปนแนวทางศกษาในก า ร พ ฒ น า โ ด ย ศ ก ษ า ใ น เ ร อ ง Silhouette extraction using brightness difference ทใชในการลบภาพพนหลงออกจากภาพ เรอง Skin detection ทใชในการหาพนทบรเวณใบหนาและแขน และเร อง Upper-body detection and tracking ในการหาต ำาแหน งของ ศรษะ ลำาตว และแขน เพอใชในการจำาลองแบบเสอในลกษณะทตองการ ซงในแตละหวขอทศกษานน มรายละเอยดแบงตามหวของานวจยไดดงน

2.1 Automated detection of human for visual surveillance system

Y. Kuno, T. Watanable, Y. Shimosakoda แ ล ะ S. Nakagawa [1] ไดอธบายกระบวนการในการตรวจจบคนจากกลองวงจรปด ทมความรวดเรวและเชอถอได โดยอาศยภาพลกษณะเบองตนของภาพเงา ของคน (silhouette) มาใชในการวเคราะห ซงกระบวนการทใชในการหาภาพเงาคนนจะใชขอมลความตางของความสวางภายในภาพ2.1.1 Silhouette extraction using brightness difference

ในการหาภาพเงาดวยวธนจะอาศยหลกการทวา ทภาพพนหลงทมแสงสวางเพยงพอ เมอมวตถเขามาความสวางในบรเวณนนจะเปลยนทำาใหสามารถตรวจจบวตถนนได ซงจะใชการหาผลตางของความสวางระหวางภาพพนหลงกบภาพปจจบนทละจดภาพโดยใช function ดงน

5

เมอ iseq, icurr และ ibg คอ ภาพผลลพธ ภาพปจจบน และภาพพนหลง ตามลำาดบ โดยคาทไดจะเปนคาสของแตละจดภาพของภาพ binary ทมคาจะอยในชวง 0 ถง 1 ซงตองมการกำาหนดคา threshold เพอปองกนการเกดสงรบกวน (noise) ทไมต องการ เม อผานกระบวนการก ำาจดส งรบกวนและเตมของวางในพนททตองการเรยบรอยแลว กจะไดภาพเงาทแยกสวนของพนหลง ดงรป

(ก) ภาพนำาเขา (ข) ภาพผลลพธรปท 2.1 ตวอยางผลลพธการดงภาพเงา (Silhouette extraction)

2.2 Robust real-time upper body limb detection and tracking

ในงานวจยน [2] Matheen Siddiqui และ Gerard Medioni ไดเสนอวธในการตรวจจบ (detection) และตดตาม (tracking) แขนแบบ 2 มต และสรางแบบจำาลองของแขนในลกษณะตางๆ เพอใหอธบายลกษณะของแขนใน 3 มตได โดยในงานวจยนจะอาศยขอมลของสผวเปนหลก ซ งในการดงลกษณะของสผวน จะออกแบบใหรองรบผใชงานไดครอบคลมทกสผว และรองรบการปรบเปลยน white balance ของกลองดวย2.2.1 Skin detection

6

หลกการในการตรวจจบสผวในงานวจยน จะเร มจากการการหาตำาแหนงของหนาดวย Harr-like detector เมอไดตำาแหนงของใบหนามาแลวกจะนำาภาพบรเวณใบหนามาหา histogram ซงสผวทแตกตางกนของคนนนจะตางกนเพยงคา Hue และ Saturation ในแบบจำาลองปรภมส HSV เทานน histogram ทหาจงใชเปน H-S histogram ซงกคอ histogram ของสผวนนเอง หลงจากได H-S histogram มาแลวกจะนำาไปตรวจสอบในภาพตนฉบบทละจดภาพ เพอหาจดภาพทมสคลายกบ histogram นหรอเรยกวธนวา back projection ซงถาจดภาพใดมความเหมอนนอยกวา 40% กจะถกตดออกไป ซงภาพทไดกจะเปนสวนของผวทอยในภาพ โดยไมวาจะเปลยนผใชงานหรอเปลยนกลอง สผวบรเวณแขนกจะเหมอนกบสผวบรเวณหนาในภาพนำาเขากยงคงเหมอนกน ทำาใหสามารถตรวจจบสผวไดเหมอนเดม

รปท 2.2 ตวอยางการตรวจจบสผวท white balance ตางกน

2.3 Human pose modeling and body tracking from monocular video sequences

Lim Siew Hooi, G. Sainarayanan และ Liau Chung Fan [3] ไดเสนอวธการประมาณคาทาทางของคนจากลำาดบภาพ (video sequences) มมมองเดยว ซงจะใชขอมลสผวและภาพเงาของคนในการประมาณ โดยใชขอมลทางสถตและขอมลกษณะโครงสรางของคนเขาชวย

7

ในการประมาณ ซงงานวจยนไดอธบายหลกการในการตรวจจบ แยกเปนสวนตางๆ ของรางกายดงน2.3.1 Head detection and tracking

งานวจยไดนำาวธการในการแยกพนหลง โดยการเทยบความตางของความสวาง มาจากจากงานวจยในขอ 3.1 [1] ซ งเม อไดภาพเงาคน (silhouette) มาแลวก จะสราง vertical projection histogram ซงคอ กราฟทแสดงจำานวนจดภาพในแนวตงของภาพ จากขอมลทางสถตจะไดวา 15% จากบนสดของภาพเงานนคอ พนทบรเวณศรษะของคน นนคอพนท 15% จากจดสงสดของ vertical projection histogram จะเปนบรเวณศรษะของคน

(ก) Vertical projection histogram (ข) ภาพขอบของภาพเงาทตรวจพบศรษะ

รปท 2.3 ตวอยาง vertical projection histogram

รปท 2.4 ตวอยางการตรวจพบศรษะของคน

8

2.3.2 Torso fitting and trackingตำาแหนงของไหลนน จะอยในแนวแกน y ทอยถดจากจดสงสดของ

ศรษะลงมาเทากบ 20% ของความสงคน ซงทระดบนจะใชหาจดของหวไหลโดยนำาภาพเงาของคนมาทำา distance transform ซงภาพทไดจะมลกษณะคลายกบภาพกระดกของคน ทระดบดงกลาวจะไลไปในแนวแกน y ในภาพทผานการ distance transform เมอเจอจดภาพทมความสวางมากทสด จะไดวาจดนนคอจดของหวไหลทตองการ

รปท 2.5 ตวอยางการหาตำาแหนงของไหล

ซงหลกการนอาจใชไมไดในกรณทมการยกแขนเหนอศรษะ จงตองอาศยหลกการทางสถตทแสดงความสมพนธระหวางความกวางของไหล และระยะระหวางศรษะถ งไหล ซ งสามารถเขยนเป นสมการ linear regression ไดดงน

Ws = mHhs + cโดย Hhs และ Ws คอความสงจากหวถงระดบของไหล และความกวางของไหล ตามลำาดบ ซ งคาคงท m และ c หาไดจากการแกสมการ linear regression น

9

(ก) ภาพนำาเขา (ข) ภาพผลลพธรปท 2.6 ตวอยางผลลพธการตรวจพบศรษะและลำาตว

2.3.3 Limb detection and trackingสผวทไดจากการทำางานในขนกอนๆ จะถกนำามาใชในสวนนโดยแยก

สวนของสผวออกจากภาพมาทำาเปนภาพ silhouette ซงคอภาพเงาของหนาและแขนนยเอง มมของแขนทอนบนจะไดจากการเวยนไปทจดของขอบภาพ silhouette ของแขนโดยใชสมการ

โดย Q1 และ Q2 คอ vector บอกตำาแหนงทลากจากไลไปยงจดทขอบภาพ silhouette ของแขน แตวธนจะพบปญหาความคลาดเคลอนมาก ผวจยจงเสนอวธใหมโดยใช Radon transform มหลกการคอ นำาภาพพนทเลกๆ บรเวณรอบหวไหลมาแลวใช Radon transform เพอหาเสนในภาพ ซงเสนทพบคอเสนทเกดจากรอยตอระหวางแขนกบลำาตวจะทำาใหไดทศของแขนทอนบน

เมอไดทศของแขนทอนบนแลวกจะลากเสนตรงไปตามทศนน เมอสดขอบของภาพเงาของแขนแลว กจะไดวาจดทสนสดนนคอศอก แลวจงลากเสนตรงอกเสนไปยงขอบทเหลอ โดยเลอกเสนทลากนนอยในบรเวณทเปนแขนมากทสด กจะไดตำาแหนงของแขนทงหมด

10

รปท 2.7 ตวอยางการประมาณตำาแหนงของแขน

รปท 2.8 ตวอยางผลลพธการประมาณคาทาทางของคน

บทท 3 รายละเอยดของการพฒนา

3.1 Functional Specificationขอกำาหนดเชงหนาทของโครงงานหองลองเสอเสมอนโดยใชออคเมน

ตเตดเรยลลต สามารถอธบายแยกเปน 3 สวนคอ1. สวนการประมาณคาทาทางของคน (human pose

estimation)2. สวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง (virtual

cloth registration)3. สวนตอประสานผใช (user interface)โดยแตละสวนมรายละเอยดดงตอไปน

สวนการประมาณคาทาทางของคนตองสามารถตรวจหาตำาแหนงของรางกายสวนบน (upper body) พรอมองคประกอบ ไดแก ศรษะ ไหล ลำาตว และทศของแขนทอนบน จากไฟลวดโอ และวดโอจากกลองเวบแคมได

สวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง ตองสามารถซอนทบภาพเสอเสมอนลงบนภาพทรบจากไฟลวดโอ และวดโอจากกลองเวบแคมได ตามตำาแหนงทไดจากสวนการประมาณคาทาทางของคน โดยรองรบการเกดการซอนทบกนของรางกาย เชน ผใชงานนำามอมาวางไวบนลำาตว ภาพเสอทเหนจะตองโดนมอบงดวย เปนตน

สวนตอประสานผใช ตองสามารถรบค ำาสงจากผใชงานผานทางตำาแหนงของมอ จากภาพทไดรบจากไฟลวดโอ และวดโอจากกลองเวบแคมได

12

3.2 โครงสรางของซอฟตแวร

Source media

Source Preprocessing

Feature Extraction

Human Pose Estimation

Virtual Cloth Registration

User Interface

Output

รปท 3.1 แสดงแผนภาพโครงสรางซอฟตแวร

โดยแตละสวนมรายละเอยดดงตอไปน

1. สวนการดงลกษณะทสนใจออกจากภาพ (feature extraction)

ในสวนนจะรบภาพนำาเขา เขามาโดยใชคำาสงของ OpenCV และตอนเรมตนโปรแกรมกจะเกบภาพพนหลงไว ซงในสวนนแบงการทำางานหลกออกเปน 2 สวนคอ

13

Silhouette extraction โดยจะดงภาพของคนออกจากพนหลง โดยนำาภาพนำาเขาและภาพพนหลงมาทำาการลบภาพพนหลง ดวยวธการเปรยบเทยบความตางของความสวาง [1] จะไดภาพ silhouette ทตองการ จากนนกนำามาปรบแตงเตมชองวางตดขอบใหพรอมสำาหรบใชงานขนถดไป

(ก) ภาพนำาเขา (ข) ภาพผลลพธ

รปท 3.2 ตวอยางผลลพธจากขนตอน Silhouette extraction

Skin extraction ทำาไดโดยนำาภาพนำาเขามาปรบใหเปนภาพ HSV จากนนกหาตำาแหนงของใบหนาโดยใช พนท 15% จากจดย อ ด ข อ ง vertical projection histogram [3] เ ม อ ไ ด ต ำาแหน งของใบหนาก ท ำาการหา H-S Histogram ซ งก ค อ histogram ของสผวนนเอง แลวจงนำา histogram ทไดไปท ำาการ back projection ก บภาพต นฉบบ ก จ ะสามารถ segment สวนของสผวออกจากภาพได [2] ซงหลงจากผานขนตอนนไปกจะใช histogram อนเดมนในการหาสผวตลอดการทำางานของโปรแกรม จากนนทำาการปรบภาพ กำาจด noise เพอใหพรอมใชในขนถดไป

รปท 3.3 แสดงการทำางานในขนตอน Skin extraction

H-SHistogram

Backprojection

14

2. สวนการประมาณคาทาทางของคน (human pose estimation)

ในสวนนจะแบงการทำางานหลกๆ ออกเปน 3 สวนดงนHead detection จากภาพ segment ของสผว ภายใน

ภาพจะม 3 สวนนนคอ ศรษะ และแขนทง 2 ขาง ซงศรษะจะมลกษณะทกลมกวาแขน จงสามารถแยกศรษะออกจากแขนได โดยใช Hough transform กจะไดตำาแหนงของศรษะตามตองการ และในการ track ตำาแหนงของศรษะนน จะท ำาโดยตรวจหาบรเวณรอบๆ ตำาแหนงของศรษะเดมในภาพกอน ถาไมเจอกจะทำาการ re-detect ใหมทงภาพ

(ก) Vertical projection histogram (ข) ภาพผลลพธ

รปท 3.4 ตวอยางผลลพธจากขนตอน Head detection

Torso detection เรมจะหาตำาแหนงของไหลทงสองขาง ซงแนวระดบของไหลนนจะอยหางจากศรษะเปน 20% [3] ของความสงคน หลงจากนนนำาภาพ Silhouette มาทำา Distance Transform จะทำาใหไดภาพทแสดงลกษณะคลายกบ skeleton ของคนแลวจงดในแนวระดบของไหลตดผานภาพ skeleton จดทตดกนจะไดเปนตำาแหนงของไหลทง 2 ขางดงรป ความสงของลำาตวจะใชยาวลงมาจนถงขอบลางของภาพพอด (โปรแกรมออกแบบใหผใชงานยนในระดบเดยวกน) กจะสามารถ Detect ลำาตวได

และในกรณทมการเอยงของลำาตวเกดขนนน เราจะพบกรณนกตอเมอระยะหางของไหลทง 2 ขางนน มขนาดนอยกวาระยะหางของไหลของผใชงานในทายนหนาตรง เมอตรวจพบกรณนเกดขน

15 %

15

กจะทำาการหาตำาแหนงของไหลใหม โดยการไลหาขอบไหลบนทง 2 ขางในแนวดง เมอพบกจะกำาหนดใหจดทอยตำากวาขอบไหลนนเปนตำาแหนงของไหล ทำาใหสามารถหาตำาแหนงของไหลไดในกรณทมการเอยงตว

รปท 3.5 แสดงขนตอนการหาตำาแหนงของไหลในกรณเอยงตวในสวนนจะหาทศทางของ upper arms เพอใชในการขยบ

ตำาแหนงของแขนเสอใหตรงกบผใชงาน โดยจะนำาภาพนำาเขามาตดเปน patch เลกๆ บรเวณรอบจดหวไหลทง 2 ขางซงจะไดภาพทมเสนขอบของแขนเสอท ำาใหสามารถทราบทศทางของ Upper Arm ได โดยใช Radon Transform [3]

รปท 3.6 แสดงขนตอนการหาทศทางของแขนทอนบน

3. สวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง (virtual cloth registration)

Distance Transform+

Old shoulder distance

16

Virtual Cloth จะใชคา parameter ตางๆทไดจากขนตอนกอนหนาโดยภาพของเสอจะแบงออกเปน 3 สวนคอ แขนซาย, แขนขวา และลำาตวโดยลำาตวเสอ จะนำาไป fitting กบลำาตวจากภาพนำาเขา สวนแขนจะยอ/ขยายตามสดสวนทลำาตวเสอขยาย จากนนจะท ำาการ rotate แขนเส อตามคาทหามาไดแลวจงน ำาไปประกอบเขาก บภาพ ซ งภาพเส อสวนล ำาต วน นก จะมการใช Perspective transform ในการปรบภาพเพอใหมการรองรบกรณทมการเอยงลำาตวของผใชงานดวย

รปท 3.7 ตวอยางภาพเสอทใชในโปรแกรม

โดยในการซอนทบของภาพนนจะสนใจ ในกรณทมการบงของแขนบนเสอดวย จงตองมการนำาภาพเสอทไดมาตดขอบสวนทเกนโดยการสราง Mask ดวยภาพ silhouette ของผใชงาน แลวจงนำามาลบออกดวยภาพสผว กจะทำาใหกรณทแขนบงลำาตว จะไมบงภาพของเสอไปดวย

รปท 3.8 แสดงขนตอนการซอนทบภาพเสอบนภาพผใชงาน

( AND ) - =

17

4. สวนตอประสานผใช (user interface)จะใชการรบคำาสงจากผใชผานทาง Virtual Button ซงการ

กดปมทำาโดยการขยบมอไปยงตำาแหนงปมบนกลอง แทนการรบคำาสงผาน mouse และ keyboard ซ งจะอาศยหลกการ Skin color detection ทไดจากขนตอนกอนหนามาตรวจสอบวาม Skin color อยตรงกบตำาแหนงปมหรอไม และมการใส delay เพอเพมความแมนยำาในการกดดวย

โดยในการออกแบบนนจะแบง Interface ออกเปน 2 หนา คอ หนาเร มตนโปรแกรมโดยในสวนนจะมเสนรางกำาหนดใหผใชงานยนอยกลางภาพ โดยหนหนาตรง และมปม Start ใหกดเพอเรมตนโปรแกรม

สวนถดไปคอสวนหนาการใชงานซงจะมปมคำาสงตางๆ คอ เลอกแบบเสอชาย-หญง เลอกแบบเสอกอนหนา-ถดไป ถายรป และออกจากโปรแกรม และยงมสวนดานขางทจะบอกรายละเอยดของเสอทเลอกอย อกทงยงมการแสดงรปถายของผใชงานดวย

(ก) สวนตอประสานเรมตนการใชงาน (ข) สวนตอ

ประสานการใชงานหลกรปท 3.9 ตวอยางสวนตอประสานผใช

18

ซงจากทไดกลาวมานนสามารถแสดงใหเหนเปนแผนภาพแสดง Algorithm หลกทใชในการทำางานของโปรแกรมไดดงรป

Human Posture Parameter Skin Color

User Interface Registration

Input image & Background image

TrackingUpper Body Detection

Feature Extraction

Initial

NO

NO

YES

YES

Vertical Projection Histogram

Head Detection(use VPHist)

Skin Extraction

Silhouette Extraction

Head Detection(use Skin color)

Upper Arms Detection

Torso Deection

Head Tracking

Torso Tracking

Lost?

Lost?

Virtual ClothModeling

Rendering

Event Detection

Run Command

รปท 3.10 แสดง Algorithm ทใชในโปรแกรม

3.3 Input / Output Specificationโครงงานหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต สามารถ

แบงการทำางานหลกออกเปน 4 สวนหลก โดยแตละสวนมขอกำาหนดของขอมลขาเขา/ขาออก ดงตอไปน

1. สวนการดงลกษณะทสนใจออกจากภาพ (feature extraction)

ขอมลขาเขา คอ ภาพพนหลง ไฟลวดโอ และวดโอสดจากกลองเวบแคม

19

ขอมลขาออก คอ ภาพ silhouette ของคน H-S Histogram ของสผว และภาพแสดงเฉพาะพนททเปนสผว

2. สวนการประมาณคาทาทางของคน (human pose estimation)

ขอมลขาเขา คอ ภาพ silhouette ของคน H-S Histogram ของสผว และภาพแสดงเฉพาะพนททเปนสผว (ไดจากสวน feature extraction)

ขอมลขาออก คอ ตำาแหนงและขนาดขององคประกอบรางกายสวนบน (ศรษะ ลำาตว และทศของแขนทอนบน)

3. สวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง (virtual cloth registration)

ขอมลขาเขา คอ ภาพตนฉบบ และตำาแหนงและขนาดขององคประกอบรางกายสวนบน (ไดจากสวน human pose estimation)

ขอมลขาออก คอ ภาพทมการซอนทบภาพเสอลงบนรางกายของผใชงาน

4. สวนตอประสานผใช (user interface) ขอมลขาเขา คอ H-S Histogram ของสผว (ไดจากสวน

feature extraction) ขอมลขาออก คอ ชอคำาสงการใชงานจากผใชงาน

3.4 ขอบเขตและขอจำากดของโปรแกรมทพฒนา1. ภาพขาเขาตองเปน ไฟลวดโอ และวดโอจากกลองเวบแคม ตองม

ขนาด 640x480 และเปนรปแบบท OpenCV รองรบ คอ ไฟลวดโอทมรปแบบทรองรบขนอยกบระบบปฏบตการทใช ในกรณ Microsoft Windows จ ะ ข น ก บ Video for Windows (VfW)

20

2. ภาพผใชงาน ในภาพขาเขาตองอยในทาทางยน เหนรางกายครงบน (ตงแตแนวเขมขดขนไป) ลำาตวเอยงไดไมเกน 30 องศาในทกๆ แกน สามารถเคลอนทไดแตตองไมมสวนของรางกายเกนออกจากขอบภาพ

3. ภาพขาเขาตองมสภาพแสงทเหมาะสม ฉากหลงมสเดยวไมสะทอนแสง และตองไมมเงาทบเกดบรเวณฉากหลง

4. ภาพผใชงาน ในภาพขาเขา ตองสวมเฉพาะเสอแขนสน และหามใสเครองประดบ เชน แวนกนแดด ผาโพกศรษะ ผาคลม เปนตน

5. โปรแกรมของโครงงานนสามารถใชงานไดบนระบบปฏบตการ Microsoft Windows XP และ Vista เทานน

3.5 เครองมอทใชในการพฒนา1. ภาษา C++ และ Microsoft Visual Studio 2008 เปน IDE

หลกในการพฒนา2. Library ก า ร ท ำา Image processing ข อ ง Intel ช อ

OpenCV

3.6 กลมผใชโปรแกรมโปรแกรมหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต มกลม

เปาหมายหลก คอ กลมผใชงานทวไป ไดแก กลมลกคา หรอบคคลตางๆทสนใจเขามาใชงานโปรแกรม โดยอาจจะเปนการใชงานแทนหองลองเสอจรงๆ หรอจะเปนการทดลองการทำางานของโปรแกรมวามประสทธภาพเปนอยางไร

สวนกลมเปาหมายรอง คอ กลมนกพฒนาซอฟแวร ซงสามารถนำาขนตอนและวธการท ำางานของโปรแกรมนไปศกษา และพฒนาตอใหม ประสทธภาพดยงขน

บทท 4 ผลการทดสอบโปรแกรม

ในการทดสอบการทำางานของโปรแกรมน จะทดสอบการทำางานใน 3 สวนคอ ทดสอบสวนการประมาณคาทาทางของคน เพอดความแมนยำาในการประมาณของโปรแกรม ทดสอบสวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง เพอตรวจสอบวาภาพเสอทปรากฎ มคณภาพในระดบทสามารถนำาไปใชงานได และทดสอบสวนตอประสานผใช เพอดความถกตองในการใชงานคำาสงตางๆ ของโปรแกรม

4.1 การทดสอบสวนการประมาณคาทาทางของคน (human pose estimation testing)

ในการทดสอบสวนน ผพฒนาไดใชขอมลตวอยางเปน วดโอไฟลขนาด 640x480 ของคน 4 คนคนละ 1 วดโอ (แตละไฟลมระยะเวลาไมเทากน) เปนชาย 2 คน และหญง 2 คน โดยมการกำาหนดทาทางพนฐานทตองทำาในวดโอไว คอ ยนลำาตวตรง ลำาตวเอยง 30 องศาในทกแกน แขนแนบลำาตว และยกแขนทำามม 30 60 90 และ 120 องศาจากแนวดง

ซงตวแปรทจะทดสอบมอย 5 ตวแปรกคอ ตำาแหนงศรษะ ตำาแหนงไหล 2 ขาง และทศของแขนทอนบน 2 ขาง ซงในการทดสอบตำาแหนงจะใชการวดระยะหางจากตำาแหนงทถกตองไปยงตำาแหนงทโปรแกรมประมาณไดในหนวย pixel และในการทดสอบทศทางจะใชผลตางของมมทถกตองกบมมทวดไดในหนวยองศา โดยตำาแหนงและมมทถกตองในแตละภาพนน หาโดยการกำาหนดเองจากการประมาณของผพฒนา

22

รปท 4.1 ตวอยางภาพจากไฟลวดโอทใชในการทดสอบ

4.1.1 การทดสอบ Head detectionการทดสอบ Head detection ทำาโดยหาระยะทผ ดพลาดจาก

ตำาแหนงทถกตองในหนวย pixel ของแตละภาพ ซงผลการทดสอบเปนดงตารางน

จำานวน frameระยะทางทผด

พลาดรวม (pixel)

เฉลย(pixel/frame)

วดโอ 1 342 8216 24.02วดโอ 2 198 4387 22.16วดโอ 3 216 8533 39.50วดโอ 4 256 3925 15.33

รวม 1012 25061 24.76ตารางท 4.1 แสดงผลการทดสอบ Head detection

รปท 4.2 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงศรษะ

4.1.2 การทดสอบ Torso detectionการทดสอบ Torso detection ทำาโดยหาระยะทผ ดพลาดจาก

ตำาแหนงทถกตองของตำาแหนงไหลทง 2 ขางในหนวย pixel ของแตละภาพ ซงผลการทดสอบเปนดงตารางน

23

จำานวน frame

ระยะทางทผดพลาดของ

ไหลขางซายรวม (pixel)

ระยะทางทผดพลาด

ของไหลขางขวารวม (pixel)

เฉลย(pixel/frame)

วดโอ 1 342 12785 9029 31.89วดโอ 2 198 6460 6944 33.85วดโอ 3 216 5419 7548 30.02วดโอ 4 256 7220 7118 28.00

รวม 1012 31884 30639 30.89ตารางท 4.2 แสดงผลการทดสอบ Torso detection

-100 -80 -60 -40 -20 0 20 40 60 80 100

-100

-80

-60

-40

-20

0

20

40

60

80

100

รปท 4.3 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงไหลดานซาย

24

-80 -60 -40 -20 0 20 40 60 80

-80

-60

-40

-20

0

20

40

60

80

รปท 4.4 แผนภาพแสดงตำาแหนงทผดพลาดในการประมาณตำาแหนงไหลดานขวา

4.1.2 การทดสอบ Upper arms detectionการทดสอบ Upper arms detection ทำาโดยหาองศาทผดพลาด

เทยบกบทศทางทถกตองของแขนทอนบนทง 2 ขางในหนวยองศาของแตละภาพ ซงผลการทดสอบเปนดงตารางน

จำานวน frame

องศาทผดพลาดของ

แขนขางซายรวม (องศา)

องศาทผดพลาดของ

แขนขางขวารวม (องศา)

เฉลย(องศา/frame)

วดโอ 1 342 2876 3980 10.02วดโอ 2 198 4501 3018 18.99วดโอ 3 216 2653 2541 12.02วดโอ 4 256 3829 3854 15.00

รวม 1012 13859 13393 13.46

25

ตารางท 4.3 แสดงผลการทดสอบ Upper arms detection

-60 -54 -48 -42 -36 -30 -24 -18 -12 -6 0 6 12 18 24 30 36 42 48 54 600

5

10

15

20

25

30

35

40

รปท 4.5 แผนภาพแสดงความถของความผดพลาดในแตละมมในการประมาณทศทางของแขนทอนบนดายซาย

-60 -54 -48 -42 -36 -30 -24 -18 -12 -6 0 6 12 18 24 30 36 42 48 54 600

5

10

15

20

25

30

35

40

45

50

รปท 4.6 แผนภาพแสดงความถของความผดพลาดในแตละมมในการประมาณทศทางของแขนทอนบนดายขวา

จากการทดสอบในทง 3 สวนนน พบวาความผดพลาดทเกดขนนน ยงถอวามคาสงอย ซงยงสามารถทจะพฒนาตอใหมความแมนยำาทเพมขนได แตในการนำาไปใชงานจรงนนอาจจะไมตองการความแมนยำาทมากนก จง

26

ควรเปรยบเทยบดจากคณภาพของภาพทแสดงออกมาดวยเปรยบเทยบกบความผดพลาดทเกดขน วาสามารถยอมรบทจะนำาไปใชงานไดหรอไม

4.2 การทดสอบสวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง (virtual cloth registration testing)

ในสวน virtual cloth registration นจะใชขอมลทไดจากขนตอน human pose estimation ดงนนผลการทดสอบ หรอขอผดพลาดทเกดกจะขนอยก บขนตอน human pose estimation ดงนนในการทดสอบสวนน จะเปนการทดสอบในเชงคณภาพ วาภาพเสอทปรากฎนนมคณภาพอยในระดบทสามารถนำาไปใชงานไดหรอไม

โด ยจะ ใช ไ ฟล ว ด โ อ ท ใ ช ใน กา ร ท ด ส อ บ ส ว น human pose estimation แลวตรวจสอบดภาพของเสอในลกษณะตางๆ ของผใชงาน ซงผลการทดสอบโดยรวมจะเหนวาภาพเสอทออกมานน มลกษณะคลายกบผใชงานสวมใสอยจรง ดงรป

รปท 4.7 แสดงผลการทดสอบในสวน virtual cloth registration

27

4.3 การทดสอบสวนตอประสานผใช (user interface testing)

ในสวนนจะเปนการทดสอบการใชงานของ user interface วาสามารถใชงานไดทกคำาสง และสามารถทำางานไดอยางถกตองหรอไม ทดสอบโดยใชวดโอจากกลองเวบแคม ทใหผใชงานมการใชงานปมคำาสงครบทกปมโดยไมเรยงลำาดบ ซงผลการทดสอบ ปมคำาสงทกปมสามารถรบคำาสงการใชงานจากผใชงานไดอยางถกตอง ซงตวอยางผลการทดสอบจะเหนไดดงรปตอไปน

รปท 4.8 แสดงผลการทดสอบในสวน user interface

บทท 5 ปญหาและอปสรรค

ในระหวางการดำาเนนการพฒนาโครงการนนน ทาผพฒนาไดพบปญหาในการดำาเนนการ ซงสามารถแบงเปนขอๆไดดงน

1. ปญหาในการควบคมปจจยภายนอก2. ปญหาความละเอยดของภาพเลกเกนไป3. ปญหาการเกดเงามดบรเวณขอบของรางกาย4. ปญหาการใชงานสวนตอประสานผใช

โดยปญหาแตละขอมรายละเอยดดงตอไปน

5.1 ปญหาในการควบคมปจจยภายนอกทมผลตอการทำางานของโปรแกรม

เน องจากในระหวางการพฒนานน สถานทท ใช ในการทดสอบโปรแกรมนนยงคงมปจจยภายนอก เชน แสง ฉากหลง ทไมสามารถควบคมจงไมสามารถหาผลในการทดสอบทแนนอนได

แนวทางการแกไข โดยใชภาพ video ทบนทกในสถานททควบคมปจจยภายนอกได มาใชในการทดสอบแทนการรบภาพจากกลองจรง

5.2 ปญหาความละเอยดของภาพเลกเกนไปเนองดวยลกษณะการทำางานของโปรแกรมนนเปนแบบ Real-time

และมสวนประมวลผลจำานวนมากทำาใหการใชขนาดภาพทใหญเกนไป จะสงผลใหการทำางานของโปรแกรมชาลงอยางมาก ในการพฒนาจงตองใชขนาดภาพ 640x480 ซ งเมอเทยบกบการใชงานจรงทมการน ำาภาพผลลพธ ไปแสดงออกทางจอภาพทมขนาดเทาตวผใชงานจรง ภาพทออกมาจะมรายละเอยดนอยมากจนไมสมจรง

แนวทางการแกไข คอ พยายามลดการประมวลผลภาพทเปนการลดรายละเอยดของภาพ เพอพยายามใหภาพคงรายละเอยดเดมไวใหมากทสด

29

และออกแบภาพเสอใหมความคมชดในการแสดงผล หรอเลอกแบบเสอทมรายละเอยดของภาพทดแลวใหรายละเอยดไดดกวาแบบอนๆ

5.3 ปญหาการเกดเงามดบรเวณขอบของรางกาย

ปญหานเกดจากสภาพแสงทมการกำาหนดไดอยาก เนองดวยไมวาจะใชตำาแหนงของแสงไฟจากทศใดกตาม กจะเกดเงาขนทงบรเวณฉากหลงและบรเวณขอบของรางกาย ทำาใหการทำางานของโปรแกรมนนเกดการผดพลาดขน เชน การตรวจจบสผวทผดพลาด(ไมพบสผวบรเวณขอบมด) ดงรป

รปท 5.1 ตวอยางการทำางานทผดพลาดอนเกดมาจากขอบมดของรางกาย

แนวทางการแกไข คอ พยายามจดตำาแหนงไฟใหสมดลกนทง 2 ดาน (ดานซาย-ขวา) เพอลดการเกดขอบมด และจดตำาแหนงใหผใชงานยนหางจากฉากหลง เพอไมใหเกดเงาบนฉากหลงดวย

5.4 ปญหาการใชงานสวนตอประสานผใช

เนองจากการใชงานโปรแกรมน ตองใชภาพผใชงานครงตวทำาใหภาพผใชงานนนมขนาดใหญ ซงในการเคลอนไหวรางกาย หรอเปลยนตำาแหนงการยนของผใชงานนน จะทำาใหมการหลดออกจากกรอบการใชงานของ

30

โปรแกรม หรอมการโดยปมคำาสงโดยไมตงใจ ซงจะทำาใหการใชงานนนลำาบากขนมาก

แนวทางการแกไข ทำาโดยการออกแบบสวนตอประสานผใชใหมปมคำาสงบรเวณดานขางเพอปองกนการหลดกรอบของผใชงาน และปญหาการกดปมคำาสงโดยไมตงใจนน แกปญหาโดยออกแบบใหปมคำาสงม Delay ในการกดเพอใหมนใจวาผใชงานนนตองการกดปมคำาสงนนจรง

บทท 6 แนวทางการพฒนาตอในอนาคต

แนวทางการพฒนาตอของ หองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต สามารถแบงไดเปน 2 สวนดงตอไปน

1. สวนการประมาณคาทาทางของคน (human pose estimation)

2. สวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง (virtual cloth registration)

ในสวนการประมาณคาทาทางของคน สามารถพฒนาตอไดในหลายดานทงในดานความถกตองแมนยำา และประสทธภาพเทยบกบเวลา ทในป จจ บ นย ง ไม เป นท น าพอใจ ซ งสามารถพฒนา โดยปรบ เปล ยน Algorithm ทใชหรอสรางเพมขนเพอรองรบการทำางานทยงคงผดพลาดอย อกทงในดานของการใชงานทยงคงมขอจำากดอยมากมาย แนวการพฒนาในดานนอาจจะ เปนลดขอจำากดของการใชโปรแกรม เชน ผใชงานสามารถใสชดอะไรกได หรอสามารถเคลอนไหวรางกายไดอยางอสระ เปนตน และยงสามารถเพมขอบเขตของการพฒนาใหเปนการลองเสอผา ทงรางกายสวนบนและสวนลางไดอกดวย

ถดมาคอสวนการซอนทบภาพเสอเสมอนโดยกำาหนดตำาแหนง ซงในสวนนจะใชขอมลจากสวนขางตนการพฒนาในสวนนจงตองดแนวทางการพฒนาจากสวนแรกกอน ซงในสวนนยงสามารถพฒนาไดในดานคณภาพของภาพเสอทสามารถแสดงใหเหนไดละเอยดกวาเดม และในดานความสมจรง สามารถพฒนาตอเพมใหภาพเสอดสมจรงยงขน เชน มการพร วไหวของชายเสอ มแสงและเงาบนรอยยบของเสอ เปนตน

บทท 7 ขอสรปและขอเสนอแนะ

โครงงานหองลองเสอเสมอนโดยใชออคเมนตเตดเรยลลต เปนโปรแกรมจำาลองการลองเสอทพฒนาขนเพอแกไขปญหาของการลองเสอ ทสามารถนำาไปใชงานไดงาย ซงผลการทดสอบความผดพลาดของการประมาณตำาแหนงศรษะอยท 24.76 pixel ตอภาพ การประมาณตำาแหนงลำาตวอยท 30.89 pixel ตอภาพ และการประมาณทศทางของแขนทอนบนอยท 13.46 องศาตอภาพ ซงถอวายงไมเปนทนาพงพอใจ ยงสามารถพฒนาเพมตอไปได โดยยงพบปญหาในกรณทมความหลากหลายของสภาพแสงและทาทางของผใชงานทเกนขอจ ำากดของโปรแกรม แตเมอทดสอบดคณภาพจากการใชงานจรงแลว ความผดพลาดทเกดขนยงถอวายอมรบได คณภาพของภาพและผลการทำางาน ถอวาอยในเกณฑทสามารถนำาใชงานได และสามารถใหผทสนใจนำาไปใชงานไดจรง

บทท 8 เอกสารอางอง

[1] Y. Kuno, T. Watanable, Y. Shimosakoda, and S. Nakagawa, “Automated detection of human for visual surveillance system.” Proc. 13th IEEE Conf. on Pattern Recognition, vol. 3, pp. 865- 869, 1996.[2] Matheen Siddiqui and Gerard Medioni, “Robust real-time upper body limb detection and tracking,” Video surveillance and sensor networks, Proceedings of the 4th ACM international workshop on, 2006.[3] Lim Siew Hooi, G.Sainarayanan and Liau Chung Fan, “Human Pose Modelling and Body Tracking from Monocular Video Sequences,” International Conference on Intelligent and Advanced Systems, 2007.

บทท 9 ภาคผนวก

11.1 คมอการตดตงอยางละเอยด1. เปดโปรแกรม setup.exe หรอ setup.msi ซงอยภายใน

folder “VirtualFittingRoom-Setup” เพอทำาการตดตงโปรแกรม “Virtual Fitting Room”

2. โปรแกรม setup จะถกเปดขนมา ใหกด Next เพอเขาสขนตอนตอไป

35

3. ผตดตงสามารถเลอกตำาแหนงทตงของโปรแกรมนได หรอใชตำาแหนงททางโปรแกรมกำาหนดไว (C:\Program Files\NSC13\VirtualFittingRoom\) จากนนใหกด Next เพอเขาสขนตอนตอไป

36

4. โปรแกรมจะแสดง License Agreement ใหผตดตงอานและทำาความเขาใจในขอตกลงการใชโปรแกรมน จากนนใหตกทชอง I Agree แลวกด Next เพอทำาการตดตง

5. โปรแกรมจะใหยนยนความตองการทจะตดตงอกครง ใหกด Next เพอทำาการตดตง

37

6. รอโปรแกรมตดตงลงบนเครอง

7. เมอตดตงโปรแกรมสำาเรจ จะมหนาจอ Installation Complete ใหกด Close เพอออกจากโปรแกรมตดตง

38

8. เมอตองการใชงานโปรแกรม ใหรนโปรแกรมทชอ “Virtual Fitting Room.exe” ทอยบน destop หรอภายใน folder ททำาการตดตงโปรแกรมนไว

11.2 คมอการใชงานอยางละเอยด1. เขาสโปรแกรม “Virtual Fitting Room” โดยจะตองไมม

บคคลหรอวตถอนนอกจากพนหลง (พนหลงตองมสเดยวไมสะทอนแสง) ขณะเขาโปรแกรม (เพอบนทกภาพพนหลงทจะใชในโปรแกรม)

2. กอนเรมตนการทำางานของโปรแกรม ผใชงานตองยนยงตำาแหนงทปรากฏอยบนหนาจอเสยกอน

39

3. เมอตองการเรมทำางานโปรแกรมใหผใชงานเออมมอไปแตะทปม ‘START’ โปรแกรมจะเรมนบถอยหลง 3 วนาท เพอเรมทำางานโปรแกรม

4. เมอโปรแกรมเรมทำางาน จะปรากฏภาพเสอบนรางกายของผใชงานทนท โดยทดานขวามอของโปรแกรมจะแสดงรายละเอยดของเสอชนดนนๆทปรากฏอยบนรางกายของผใชงาน

40

5. ผใชงานสามารถเลอกใชเมนตางๆทปรากฏอยบนโปรแกรม เพยงแคนำามอไปแตะยงเมนทตองการใชงานกสามารถใชงานเมนนนๆไดทนท เมนแตละอยางของโปรแกรมมดงตอไปนน

ปมเลอกเสอหญง/ชาย เมอกดปมนโปรแกรมจะทำาการแสดงเสอของเพศหญง/ชาย ตามทเลอก โดยจะสามารถใชคกบปมลกศร ซาย/ขวา ได

ปมลกศรซาย/ขวา จะเปนปมททำาการเปลยนเสอของเพศหญง/ชาย ในรปแบบกอนหนา/ถดไป ของเสอประเภทนนๆ(หญง/ชาย)

41

ปมถายภาพ เมอกดปมนโปรแกรมจะทำาการนบถอยหลง 3

วนาท จากนนจะทำาการถายภาพของผใชงานทมเสอทเลอกไวปรากฏอยบนรางกายแลวนำาไปแสดงยงสวนแสดงภาพถาย(มมขวาลาง) ในหนาตางการทำางานของโปรแกรม

ปมออกจากการทำางาน เมอกดปมนโปรแกรมจะออกจากการทำางานแลวกลบไปยงหนาจอเรมตนททำาการเขาสโปรแกรมน