โครงร่างวิทยานิพนธ์ · 2008-09-09 · 3 รูปที่ 2...
TRANSCRIPT
โครงรางวทยานพนธ
ชอเรอง (ภาษาไทย) การสรางฉากเสมอนโดยการประมวลภาพจากกลองเดยว
ชอเรอง (ภาษาองกฤษ) A Construction of a Virtual Set by Image Analysis From a Single Camera
เสนอโดย นายพทยา สรอยหลง
รหสประจำาตว 4771435821
สาขาวชา / ภาควชา วทยาศาสตรคอมพวเตอร / วศวกรรมคอมพวเตอร
คณะ วศวกรรมศาสตร
สถานทตดตอ หอง 20-03 ชน 20 อาคารเจรญวศวกรรม (ตก 4) คณะวศวกรรมศาสตร จฬาลงกรณมหาวทยาลย
โทรศพท 0-14044016
อเมล [email protected]
อาจารยทปรกษาวทยานพนธ อ.ดร.อรรถวทย สดแสง
คำาสำาคญ (ภาษาไทย) ฉากเสมอน, การเทยบมาตรฐานกลอง
คำาสำาคญ (ภาษาองกฤษ) Virtual set, Chromakey, Camera calibration
2
การสรางฉากเสมอนโดยการประมวลภาพจากกลองเดยวA Construction of a Virtual Set by
Image Analysis from a Single Cameraนายพทยา สรอยหลง
รหสประจำาตว 4771435821
1 ทมาและความสำาคญของปญหาเทคโนโลยของฉากเสมอน (Virtual Set) เปนเทคนคการประมวลผลภาพทมการพฒนามาจากการใชงานฉากสฟา
(Bluescreen) ในเบองตนคอการถายภาพของวตถบนฉากหลงสเดยวซงโดยปกตนยมใชฉากสฟา แลวนำาภาพทถายไดมาประมวลผล เพอตดสวนทเปนฉากหลงสฟาออก และนำาไปซอนทบกบภาพฉากหลงทเตรยมไวลวงหนา เพอใหเกดเปนภาพทดเหมอนกบวตถอยในสถานทเดยวกบภาพฉากทเตรยมไวแลว ตวอยางทชดเจนของการใชงานฉากสฟา คอ รายการพยากรณอากาศ ซงมผทำาหนาทพยากรณอากาศยนอยดานหนาของแผนทแสดงสภาพอากาศทเปลยนแปลงไปไดตามทกำาหนด วธการถายทำาคอ ถายภาพของผพยากรณอากาศทยนอยดานหนาของฉากหลง แลวจงลบสวนทเปนฉากหลงออกแลวนำาไปซอนทบลงบนเอาภาพแผนททเตรยมไวแลว ดงตวอยางในรปท 1
รปท 1 ตวอยางของการใชงานฉากสฟา (Wikimedia, 2006)
เทคนคการใชงานฉากสฟานไดรบความนยมอยางแพรหลายในวงการโทรทศนและในอตสาหกรรมภาพยนตร เนองจากสามารถลดตนทนในการสรางฉาก หรอการหาสถานทถายทำาทตรงตามความตองการ และสามารถสรางฉากทไมสามารถสรางไดในทางปฏบต เชนในภาพยนตรเรอง The Matrix (Warner, 2001), Sky Captain and the World of Tomorrow หรอ Casshern
3
รปท 2 ตวอยางการถายทำาภาพยนตร The Matrix จากสารคด The Matrix Revisited
เทคนคการใชงานฉากสฟาดงกลาวยงมขอจำากดอยบางประการ คอภาพทนำามาซอนเปนฉากหลง จะตองมการสรางเตรยมขนไวกอนทจะนำามาใชงาน ทำาใหรปแบบของฉากมจำากดเทาทเตรยมไวกอนเทานน หรอในกรณทฉากหลงทเตรยมไวเปนภาพเคลอนไหว การถายภาพวตถดานหนา จะตองเปลยนตำาแหนงของมมมองใหสอดคลองกบภาพเคลอนไหวของฉากหลงดวย แตดวยขอจำากดน ทำาใหเกดแนวคดในการสรางฉากเสมอนแบบสามมตขน โดยยงคงใชเทคนคการใชฉากสฟา เพอรวมภาพถายวตถจรง และฉากหลงทสรางขนเขาดวยกนเหมอนกบแบบเดม แตกลองทใชถายทำา สามารถเคลอนไหวไดโดยอสระ เปลยนมมมองแบบใดกได แลวจงสรางฉากเสมอนทสอดคลองกบลกษณะการเคลอนไหวของกลองขนมาเพอนำามาซอนในแบบทนกาล (realtime)
อยางไรกตาม การใชงานฉากเสมอนแบบสามมตดงกลาว ยงถกจำากดอยดวยคาใชจายทมมลคาสง จำาเปนตองใชอปกรณเฉพาะทาง เชน เครองมอตดตามการเคลอนไหวของกลอง ฉากแบบพเศษ หรออปกรณประมวลผลภาพทเปนฮารดแวรพเศษแยกจำาหนายตางหาก ขนอยกบผผลตแตละราย จากปญหาดงกลาว ประกอบกบในปจจบน คอมพวเตอรมสมรรถนะทสงขน สามารถทำางานไดรวดเรวมากขน รวมทงสวนแสดงผล สามารถสรางภาพสามมตความละเอยดสงไดรวดเรว และมคณภาพดกวาในสมยกอนมาก ทำาใหเกดแนวคดของงานวจยน ในการสรางระบบฉากเสมอนขนจากเครองคอมพวเตอรสวนบคคลทวไป โดยเลอกใชอปกรณตอพวงมาตรฐานทสามารถใชงานกบเครองคอมพวเตอรสวนบคคลได เพอมเปาหมายในการสรางระบบฉากเสมอนทมราคาถก ลดตนทนในการนำาไปใชงานกบวงการอตสาหกรรม
2 วตถประสงคของการวจยงานวจยนมวตถประสงคหลกคอการสรางระบบฉากเสมอนแบบสามมต ทสามารถแสดงฉากผลลพธเปลยน
แปลงไดตามการเคลอนทของกลอง โดยสวนประกอบยอยตางๆ ของระบบฉากเสมอนสามมตน เชนระบบสรางภาพสามมต ระบบซอนภาพและตดภาพฉากหลง หรอระบบสำาหรบหาเวคเตอรการยายตำาแหนง (Translation vector) และเมตรกซการหมน (Rotation matrix) สามารถนำาไปใชในงานอนทเกยวของกนได ระบบฉากเสมอนทสรางขนนสามารถทำางานแบบเวลาจรงไดทความละเอยดปานกลาง เทยบเทาคณภาพของวดโอแบบ MPEG-1 และสามารถสงออกขอมลทจำาเปนไปใชกบโปรแกรมตดตอวดโอคณภาพสงได การทำางานของระบบสามารถแยกการประมวลผลออกเปนสวนยอย เพอทำางานบนเครองคอมพวเตอรหลายเครองได โดยใชการเชอมตอผานระบบเครอขาย ในกรณทคอมพวเตอรเครองเดยวไมสามารถประมวลผลไดทนตามความตองการ และลกษณะการแบงการประมวลผลคอ ใชคอมพวเตอรแตละเครอง
4
ประมวลผลโปรแกรมยอยทแตกตางกน ไมไดแบงงานในลกษณะของสมดลภาวะ (Load Balancing) หรอแบบกลม (Clustering)
3 งานวจยทเกยวของในระบบฉากเสมอนปกต มขนตอนการทำางานทจำาเปนคอ การหาแนวการวางตวของกลอง, การลบฉากสวนท
ไมตองการออก, การซอนภาพฉากทสรางขนมา โดยระบบทสรางขนในงานวจยนประกอบดวยสวนยอยๆ หลายสวน ซงแตละสวนมผเสนองานวจยทเกยวของไว ดงน
• วธการตรวจจบการเปลยนแปลงมมมองของกลอง
ขอมลทจำาเปนตองใชในการตรวจจบการเปลยนแปลงมมมองของกลองนน ประกอบดวยขอมลสองสวนทแสดงความสมพนธระหวางภาพทไดจากกลองและกรอบอางองในโลกจรง คอ
• เมตรกซการหมน (Rotation matrix) ซงเปนเมตรกซขนาด 3x3 ทบอกทศทางการหมนของกลองในแนวแกน x, y, z
• เวคเตอรการยายตำาแหนง (Translation vector) เปนเวคเตอรทมทศทางในสามมต บอกทศทางการเคลอนทของกลองตามแนวแกน x, y, z ในโลกจรง
มแนวคดหลายวธในการหาเวคเตอรการเลอนตำาแหนงและเวคเตอรการหมน ซงจะแบงออกเปนสองแบบใหญๆ คอการวดตำาแหนงการเคลอนทและการหมนทตวกลองโดยตรง กบการหาจากการประมวลผลภาพทไดจากกลอง
ในวธแรก มสงทจำาเปนคอตองมอปกรณสำาหรบตรวจสอบตำาแหนงของกลอง (tracker) อาจจะเปนอปกรณประเภทตวรบร (sensor) แบบแสงหรอตวรบรแบบคลนวทย หรอเปนอปกรณทตดตงเขากบชดกลองเพอตรวจสอบการเคลอนไหวทางกายภาพของกลองโดยตรง (Siegwart and Noubakhsh, 2004) โดยวธนจะวดระยะการเคลอนทตามแนวแกนตางๆ รวมทงมมในการหมนของกลองจากตวกลองจรงๆ ขอดของวธการนคอไดขอมลเวคเตอรการยายตำาแหนง และเมตรกซการหมนของตวกลองจรงๆ ซงความแมนยำาเทยงตรง จะขนอยกบประสทธภาพของอปกรณ ขอเสยคอ ขอมลของภาพเคลอนไหวทไดจากกลอง กบขอมลเกยวกบมมมองของกลอง จะแยกกนเปนสองสวน เนองจากไดมาจากอปกรณคนละสวนกน จะตองมขนตอนการประสานเวลา (synchronize) ของขอมลทงสองสวนใหตรงกนดวย
อกวธหนงคอการนำาภาพทไดจากกลองทถายมา นำามาคำานวณยอนกลบเพอหาลกษณะการเคลอนทและการหมนของกลองโดยพจารณาจากภาพทเปลยนแปลงไปในแตละเฟรม (Faugures et al, 1992) วธนขอดคอไมมปญหาเรองความไมตรงกนของภาพเคลอนไหวกบขอมลของกลอง เพราะวาภาพเคลอนไหว 1 ภาพ เมอนำามาประมวลผล จะไดเวคเตอรการยายตำาแหนง และเมตรกซการหมนของภาพนนๆ โดยอตโนมต ไมมความจำาเปนตองปรบแตงใหตรงกนอก สวนขอเสยคอ ฉากหลงตองมขอมลบางอยางบอกเพอใหสามารถใชเปนขอมลในการหาเวคเตอรการยายตำาแหนงและเมตรกซการหมนได และวธนจะตองใชทรพยากรเพมเตมในการคำานวณ และประมวลผลเพอหาขอมลเหลานดวย
5
• การทำาโครมาคย (Chromakeying)
เปนการแยกภาพของวตถเบองหนาทสนใจออกจากฉากหลง และนำาภาพทไดรวมเขากบภาพทเตรยมไวกอนหนา ซงปญหาหลกสองประการทตองใหความสนใจในการทำาโครมาคย คอ การลบรอยหยกบรเวณขอบเพอใหกลนเขากบภาพทนำามารวมเขาดวยกน และปญหาการจดการกบสทมความใกลเคยงกน ซงมผเสนอวธแกไขปญหาไวหลากหลายวธ เชนการใชสหลกแบบเชงเสน (Linear keying) (Ultimatte, 2002) ใชในอปกรณ Ultimatte Memory Head จำาหนายในเชงพาณชย, การคำานวณจากรปทรงแปดเหลยมในปรภมสแบบ RGB (Mishima, 1993), การคำานวณโดยอาศยขอมลจากจดทอยใกลเคยง แลววเคราะหโดยใชความนาจะเปนแบบของเบย (Bayesian matting) (Chuang et al, 2001) หรอวธของ Ashikhmin (Ashikhmin, 1997) ทใชการวเคราะหแบบทละจดอยางอสระตอกนบนปรภมสแบบ YCbCr
• การสรางฉากสามมต
ในงานวจยของ (Selen, 2003) เสนอแนวทางการสรางฉากสามมต 2 รปแบบ วธแรกจะเปนการสรางฉากขนมาจากภาพถายทศนยภาพแบบกวาง (panorama) โดยใชการแกคาความบดเบยวของภาพ เพอสรางเปนมมมองทถกตอง ซงวธนสามารถสรางภาพจำาลองไดเฉพาะในแนวนอน สวนวธทสอง เปนการสรางฉากขนจากแบบจำาลองสามมต แลวประมวลผลสรางเปนภาพฉากสามมตขนมา ดวยความสามารถในการประมวลผลในขณะนน ทงสองวธสามารถทำางานไดแบบทนกาล โดยวธแรกใชคอมพวเตอรในการประมวลผลเครองเดยว แตวธทสองใชคอมพวเตอรหลายเครองชวยกนทำางาน
4 แนวคดของการวจยสำาหรบในงานวจยน ระบบฉากเสมอนทสรางขนมจดมงหมายเพอใชผลตผลงานสำาหรบใชในวงการโทรทศน ซง
แนวคดหลกจะไมแตกตางกบระบบฉากเสมอนของเดมมากนก แตจะมสวนการจบภาพทสามารถเปลยนแปลงมมกลองไดอยางอสระ และการสรางฉากทเปนฉากแบบสามมตทสรางขนโดยคอมพวเตอรในระดบเวลาจรง โดยสามารถแยกการทำางานออกเปนขนตอนตางๆ ไดดงน
1. ถายภาพวตถทตองการโดยมฉากหลงเปนฉากทเตรยมไวลวงหนา
2. หาเวคเตอรการยายตำาแหนง และเมตรกซการหมนจากภาพทไดในขนตอนทหนง
3. ลบฉากหลงสวนทไมตองการในภาพทไดจากขนตอนแรกออก
4. นำาขอมลของเวคเตอรการยายตำาแหนง และเมตรกซการหมน ทไดจากในขนตอนทสอง สรางเปนฉากสามมต โดยกำาหนดมมมองของการเรนเดอรใหสอดคลองกบเวคเตอรและเมตรกซทงสองคาทไดมา
5. นำาภาพทลบฉากหลงออกแลวในขนตอนทสาม ซอนทบลงบนฉากทเรนเดอรขนมาในขนตอนทส ไดเปนผลลพธสดทาย
6
• วธการตรวจจบการเปลยนแปลงมมมองของกลอง
ในงานวจยนมงสรางระบบฉากเสมอนสามมตทใชอปกรณเชอมตอมาตรฐานทวไป ไมใช อปกรณทเปนฮารดแวรพเศษหรอเฉพาะทาง ดงนน จงเลอกใชวธการวเคราะหภาพทถายได ในการหาขอมลบอกมมมองของกลองโดยมแนวคดในการคำานวณดงน
ถาพจารณาโดยใชแบบจำาลองของกลองรเขม (Pinhole camera) ปกต จะไดความสมพนธคอ
m = A[Rt]M
โดยท
R คอ เมตรกซการหมนt คอ เวคเตอรการยายตำาแหนงA คอ เมตรกซทแสดงคาพารามเตอรภายใน (Intrinsic parameter) ของกลองนนๆm คอตำาแหนงของจดบนภาพทไดจากกลองM คอตำาแหนงจรงของจดในโลกสามมต
ดงนน ถาสามารถรคาของ m, M และ A ได จะสามารถแกสมการหาเมตรกซการหมน และเวคเตอรการยายตำาแหนงได
สำาหรบคา m สามารถรไดจากตำาแหนงของจดบนภาพทไดจากกลอง, คา M ถาหากกำาหนดกรอบอางองในโลกจรงไวแลว จะสามารถหาคา M ใดๆ ของจดทสนใจไดเสมอดวยการวดระยะจากวตถจรง และคา A หรอพารามเตอรภายในของกลองนน เปนคาคงทเฉพาะตวสำาหรบกลองแตละตว ซงมวธการหาไดโดยวธการเทยบมาตรฐานกลอง (Camera calibration)
วธการเทยบมาตรฐานกลองทเลอกใช คอการตรวจสอบจากลายตารางหมากรกตามขนตอนวธของ (Zhang, 2000) ซงจะทำาการปรบตงกอนการนำากลองไปใชงานเพยงครงเดยว ไมจำาเปนตองปรบตงทกครงในการใชงาน เนองจากพารามเตอรภายในของกลองเปนคาคงท ไมมการเปลยนแปลง แตคาพารามเตอรภายในของกลองนน ประกอบดวย ทางยาวโฟกสของเลนส, จดกงกลางของภาพ, ขนาดของจดทได และ ความบดเบยวของเลนส ซงเปนขอจำากดททำาใหเมอมการเปลยนกลอง จะตองทำาการเทยบมาตรฐานกลองใหมทกครง เพอใหไดคาพารามเตอรภายในทถกตองเสมอ นอกจากนยงตองกำาหนดระยะโฟกสตายตวสำาหรบกลองประเภททสามารถซมไดดวย เปนเพราะวาในการซมเขาออก จะทำาใหคาความยาวโฟกสของกลองเปลยนไป สงผลใหคาพารามเตอรภายในเปลยนไปดวย
ในการใชงานฉากสฟาโดยทวไป ฉากหลงสามารถเลอกใชสอะไรกได ขนอยกบตวของวตถดานหนาทสนใจวามสวนประกอบของสใดนอย จะเลอกใชสนนเปนสของฉากหลง ตวอยางเชน สผวคนมสวนประกอบของสเขยวและสนำาเงนนอย ดงนนถาวตถทตองการจะถายเปนคน จะใชฉากหลงเปนสเขยวหรอนำาเงนกได โดยพจารณาจากวตถอนเปนสวนประกอบ เชน สของเสอผาเครองแตงกาย เปนตน สำาหรบในงานวจยนมการสรางฉากจำาลองขนาดเลกเปนตนแบบ โดยใชฉากหลงเปนฉากสเขยว
เพอการหาเมตรกซการหมน จำาเปนตองใสขอมลบางอยางทสนใจลงไปบนฉากหลง เพอนำามาใชในการคำานวณ
7
(Kansy et al, 1995) เชนการใชลวดลายทเปนตารางสเหลยม (Orad, 2001) โดยวธทเลอกใชในงานวจยนคอ ใชฉากหลงเปนสเขยวและสเขยวออนสลบกนไปเปนตารางหมากรก ตามรปท 3
รปท 3 แสดงลายตารางทใชเปนฉากหลง
ดวยวธการน จะสามารถหาคาของเวคเตอรการยายตำาแหนงและเมตรกซการหมนของกลองในแตละภาพนงของภาพเคลอนไหวได โดยใหจดมมแตละจดของตารางสเหลยมเปนจดทสนใจ เทยบกบตำาแหนงจรงของตารางสเหลยมในโลกสามมต
แตการใชวธน อาจจะคำานวณคาของเวคเตอรการยายตำาแหนงไมไดในกรณทกลองจบภาพแคเพยงบางสวนของฉาก เชนกรณในรปท 4 ถาภาพทกลองจบไดเปนขอบเขตในพนท A เทยบกบขอบเขตของพนท B ซงเปนคนละสวนกน แตในการประมวลผล ถาหากมขอมลเพยงเทาน ไมสามารถแยกความแตกตางระหวางสองพนทนได
รปท 4 แสดงปญหาของการใชลายตารางเพยงอยางเดยว
ดงนนเพอใหเกดความแตกตางของแตละตารางสเหลยม ในงานวจยนจะใชวธการเพม จด เพอใชในการแยก
8
ความแตกตางของแตละสเหลยมออกจากกน โดยสเหลยมแตละชองจะมจำานวนจดได 0-5 จด ตามรปท 5
รปท 5 แสดงการใชจดเพอสรางความแตกตางระหวางตารางสเหลยม
เมอเทยบเคยงกบสเหลยมทอยตดกนแลว ทำาใหสามารถแยกแยะตำาแหนงของสเหลยมแตละอนจากภาพได
ในการเทยบตำาแหนงจดของภาพทถายไดจากกลองกบตำาแหนงของจดในสามมตจรงๆ นน จะใชขนตอนวธชดหนงในการตรวจสอบหาตำาแหนงของจดทสนใจในภาพทถายมาได โดยขนตอนวธนจะทำางานกบภาพทเปนขาวดำาเทานน จงจำาเปนตองเปลยนจากภาพสเปนภาพขาวดำาเสยกอน โดยใชการกำาหนดคาขดแบง (Threshold) (Intel, 2001) ระหวางสขาวและดำา
แตปญหาหนงในการกำาหนดคาขดแบง เพอแปลงตารางใหเปนรปขาวดำาคอ ฉากทใชในการทำางานเปนสเขยวกบเขยวออน การกำาหนดคาขดแบงโดยใชคาเดยวกนทวทงภาพทำาไดลำาบาก เพราะสทงสองมความใกลเคยงกน ถาเทยบความแตกตางตรงตำาแหนงทแสงตกกระทบสเหลยมสเขม อาจจะมโอกาสทสเหลยมสเขมมสสวางกวาสเหลยมสออนทไดรบแสงนอย ซงถาใชวธกำาหนดคาขดแบง และใชคาเดยวกนทวทงภาพ จะทำาใหมบางสเหลยมหายไป หรอทำาใหบรเวณบางมมของสเหลยมไมแยกสขาวดำาชดเจน จงพจารณาใชวธทำา ขดแบงแบบปรบตวได (Adaptive threshold) ในการเปลยนจากภาพตารางสเปนตารางขาวดำา ซงใชหลกการเปรยบเทยบความสวางของจดทสนใจกบจดอนโดยรอบในระยะรศมทกำาหนด จะใหภาพทมการแบงสขาวและดำาไดชดเจนกวา ดงรปท 6, รปท 7 และ รปท 8
และเพอใหจดภายในตารางมความชดเจน สามารถระบตำาแหนงไดแมนยำายงขน จะใชวธการ ขยายสวนทเปนสดำา (dilation) หรอลดสวนทเปนสดำา (erosion) เพอเพมความชดเจนใหจด ดงรปท 9 แลวแตกรณวาลายของฉากทใช เปนจดสเขมบนสเหลยมสออน หรอวาจดสออนบนสเหลยมสเขม ซงจะใหผลตรงขามกน
9
รปท 6 ภาพตารางตนฉบบ
รปท 7 การใชคาขดแบงเดยวทงภาพ รปท 8 การใชคาขดแบงแบบปรบตวได
รปท 9 ภาพทใชขดแบงแบบปรบตวได และผานการเพมขนาดสดำา
10
จากขนตอนทผานมา เมอไดภาพขาวดำาดงรปท 9 แลว สามารถนำามาหาตำาแหนงของจดทไดจากกลองได โดยบรเวณจดมมของแตละสเหลยม สามารถตรวจสอบไดโดยการหาคอนทวร (contour) ของรปทงหมด และเลอกพจารณาเฉพาะคอนทวรทมลกษณะประมาณไดใกลเคยงกบรปสเหลยม และมขนาดไมเลกจนเกนไป
สำาหรบการตรวจสอบตำาแหนงของจดทอยในตารางสเหลยม จะใชการคำานวณทางคณตศาสตรดวยวธอตราสวนไขว (Cross ratio) (Cederberg, 1995) ซงมหลกการคอ
รปท 10 แสดงการหาอตราสวนไขว
จากในรปท 10 เปนรปของตำาแหนงจดบนตารางทมโอกาสเปนไปได พจารณาจด A, B, C และ D โดย A และ D เปนจดมมของรปสเหลยม B เปนจดกงกลางทเสนแทยงมมทงสองของสเหลยมตดกน และ C เปนจดจดหนงทอยบนเสนแทยงมม AD
ภาพสเหลยมทถายไดจากกลอง จะมลกษณะตางออกไป ไมไดมลกษณะเปนสเหลยมผนผาปกต เนองจากเปนภาพทฉายลงบนระนาบสองมต ทำาใหเหนเปนสดสวนอนเกดจากมมมองในสามมต ตวอยางดงในรปท 11
รปท 11 ตวอยางการหาอตราสวนไขวจากรปทไดจากกลอง
จากความรเรองเรขาคณตเชงภาพฉาย (Projective geometry) คาของอตราสวนไขวจะไมเปลยนแปลง จงสามาถสรปไดวา รปทงสองรปน มคาของอตราสวนไขวเทากน และมความสมพนธระหวางระยะทางของจด A, B, C และ D
11
ดงน
อตราสวนไขว (ABCD) ของจดสจด A, B, C, D คอ
(ABCD) = CA/CB : DA/DB
ในการใชงานจรง การหาอตราสวนไขวของตำาแหนงจดบนฉากหลง สามารถทำาไดดวยวธการวดจากฉากจรง ดงนน ถารคาอตราสวนไขว, ตำาแหนงของจด A, B และ D จะสามารถหาตำาแหนงของจด C ไดดวยการแกสมการเชงเสนปกต
จากขอมลตำาแหนงของจดทตรวจสอบได เปรยบเทยบกบจดทมในฉากจรง ทำาใหสามารถคำานวณหาเมตรกซการหมนและเวคเตอรการยายตำาแหนง ไดตามสมการ m = A[Rt]M ขางตน
• การทำาโครมาคย (Chromakeying)
การพจารณาเลอกวธทจะนำามาใชกบงานวจยน นอกจากจะดจากคณภาพของผลลพธทได ยงตองคำานงถงความเหมาะสมดานความเรวในการทำางานดวย โดยวธการทำาโครมาคยในงานวจยนเลอกใชวธโครมาคยตามแบบของ Ashikhmin ซงใหผลลพธทมคณภาพด และการทำางานบนปรภมส YCbCr ยงมขอไดเปรยบคอ เปนปรภมสทอปกรณถายภาพใชสงผานขอมลมายงคอมพวเตอรอยแลว จงไมจำาเปนตองมการแปลงคาใหอยในปรภมสอนอก นอกจากนการพจารณาคาสของแตละจดจะทำาแยกจากกนแบบอสระ ทำาใหสามารถเพมความเรวในการทำางานดวยการประมวลผลแบบขนานไดงาย
การทำางานของวธโครมาคยตามแบบของ Ashikhmin นนจะทำางานบนปรภมสแบบ YCbCr (Shapiro and Stockman, 2001) ในขนตอนวธน กำาหนดใหจดใดๆ ในรปทถายไดจากกลอง เปนไปตามสมการประกอบ (Porter and Duff, 1984)
คาสของจด = k x สของวตถ + (1-k) สของฉากหลง
จะเหนไดวา การหาคาคงท k และ คาสของวตถ จากสมการทกำาหนดใหน ไมสามารถทำาได เนองจากมขอมลไมเพยงพอ ดงนนจงใชวธการประมาณคาเขามาแกปญหาน โดยกำาหนดรปแบบการกระจายตวของสฉากหลงในแตละจดภายในภาพ แลวนำาคามาลบออกจากสของวตถ และเมอนำาไปซอนทบลงบนภาพฉากหลง จะไดคาสของแตละจด ตามสมการ
ผลลพธคาสของจด = (สของวตถ - การกระจายตวของสฉากหลง) + (คาคงท x สของฉากทนำามาซอน)
สำาหรบขนตอนวธน ใชการกำาหนดมมอลฟา (alpha) ในปรภมสแบบ YCbCr เปนตวประมาณคาจากสทเลอกมาใชเปนสหลก โดยพจารณาจากตำาแหนงของสหลกในแกนพกดของ Cb และ Cr หมนเปนพกดในแนวแกน XZ โดยใหสหลกตกลงบนแกน X พอด แลวพจารณาจากพนททอยในขอบเขตของมมทใชในการประมาณ (ปกตจะใชคามมไมเกน 90 องศา) เสนททำาใหเกดมมอลฟาน จะแบงปรภมสออกเปนสองสวนใหญๆ คอสวนทภาพเบองหนา ไมถกแทนทดวยฉากหลง และสวนทภาพเบองหนาถกแทนทดวยฉากหลงในอตราสวนตางๆ ดงในรปท 12
12
รปท 12 แสดงปรภมส YCbCr และตำาแหนงของสหลก
การหาสดสวนของการทภาพเบองหนาถกแทนทดวยฉากหลง ทำาไดโดนใชการเปรยบเทยบโดยใหสทอยบนแกน X มการถกแทนทมากทสด คอวตถดานหนาจะถกแทนทดวยฉากหลงโดยสมบรณ และสดสวนการแทนทจะลดหลนลงไปตามสมการ
Kfg = X – abs(Z)/tan(alpha)
ซงจะไดวา สทมคาใกลเคยงกบสหลกจะมคา Kfg สง ทำาใหมสดสวนการแทนทสงไปดวย ดงปรภมสในรปท 13
รปท 13 แสดงคา Kfg จะมคานอยทสดคอบรเวณเสนแบงเขตพนท
การหาความเขมของฉากทนำามาซอนในแตละจด หาไดโดยกำาหนดใหจดสหลกมคาความเขมสงสด คอ 1 (Kbg = 1) และลดลงเรอยๆ จนถงบรเวณขอบของเสนแบงพนท ใหมคาความเขมเปน 0 (Kbg = 0) ถาหากสของฉากทนำามาซอนมความใกลเคยงกบสหลกมาก จะทำาใหบรเวณนนมสดสวนของภาพฉากทนำามาซอนมากกวาภาพวตถดานหนา ดงปรภมสในรปท 14
13
รปท 14 แสดงคาความเขมของฉากทนำามาซอน จะมคาลดลงจนเปนศนยทเสนแบงพนท
ในการใชงานจรง ภาพทไดจากกลองอาจมจดรบกวน (noise) โดยมสาเหตจากภาพทไดมการเปลยนแปลงของสตลอดเวลา ถงแมจะมความเปลยนแปลงนอย แตกอาจมผลกบผลลพธทได ดงนนเพอแกปญหาน จะใชวธกำาหนดบรเวณรอบสหลกในปรภมส และใหภายในบรเวณนนมความเขมในการนำาฉากมาซอนเทากบสหลก ซงจะทำาใหการเปลยนแปลงของภาพเลกนอย ไมสงผลกระทบกบผลลพธมาก
รปท 15 แสดงการกำาหนดบรเวณรอบสหลกเพอแกปญหาจดรบกวน
ตวอยางผลลพธทไดจากขนตอนวธน ดไดจากตวอยางในรปท 16 และ 17
14
รปท 15 ภาพทถายไดจากกลองวดโอ รปท 16 ภาพทตดฉากสเขยวออกและแทนทดวยสอน
• การสรางฉากสามมต
งานวจยนเลอกใชการคำานวณตำาแหนงของจดในสามมต เปลยนใหเปนตำาแหนงจดในสองมตเพอแสดงผลบนระนาบจอภาพ ทำาไดโดยการคำานวณทางเรขาคณต ซงมชดคำาสงประมวลผลสามมตเพอใชในการคำานวณ สามารถสรางภาพ ยายตำาแหนง หมน ไดอยางมประสทธภาพ โดยผพฒนาไมจำาเปนตองสนใจกบการคำานวณทซบซอน และชดคำาสงประเภทนสามารถใชประโยชนจากฮารดแวรทมสวนประมวลผลดานสามมต เพอเพมประสทธภาพในการทำางานไดอกดวย
ในปจจบนมชดคำาสงสำาหรบประมวลผลสามมตทนยมใชกนบนคอมพวเตอรสวนบคคลอย ไดแก ไดเรกทรด (Direct3D) (Microsoft, 2005) สำาหรบใชงานบนระบบปฏบตการไมโครซอฟทวนโดวสเทานน และโอเพนจแอล (OpenGL) (Siligon Graphics, 2005) ทสามารถใชงานไดกบหลายแพลตฟอรมกวา แตเนองจากชดคำาสงทงสองนเปนเพยงแคชดคำาสงพนฐานเทานน เพอความสะดวกในการใชงานจงมผพฒนาชดคำาสงททำางานอยบนชดคำาสงทงสองแบบขางตนอกระดบหนงดวย
สำาหรบงานวจยน เลอกใชชดคำาสงโอเพนจแอลในการใชงาน เนองจากมประสทธภาพทด และสามารถทำางานไดบนหลายแพลตฟอรม
15
รปท 18 ภาพแสดงการทำางาน
16
5 ขอบเขตของงานวจยในการทำางานวจยน ไดกำาหนดของเขตของงานวจยไวเปนขอๆ ดงน
1. คณภาพของภาพผลลพธ
ระบบทสรางขนจะสามารถใชงานไดทความละเอยดตามมาตรฐาน MPEG-1 คอท 352x240 จด จำานวน 30 เฟรมตอวนาท
2. การตรวจจบการเคลอนไหวของกลอง
ขอบเขตการหาเวคเตอรการยายตำาแหนงและเมตรกซการหมน จะจำากดอยเฉพาะบนแกน x, y, z และไมมการซมภาพเขาออก
3. ระยะความคมชดของภาพ
การถายภาพโดยใชรรบแสงทมขนาดกวาง จะทำาใหภาพบางสวนมความเลอนรางและไมชดเจน ซงภาพทใชในงานวจยนอยางนอยตองมฉากหลงทคมชด จงจะสามารถตรวจสอบได
4. ความละเอยดของฉากสามมต
ฉากสามมตทนำามาซอน จะถกสรางขนแบบทนกาล ซงในการสรางฉากสามมตดวยวธนตองการความสามารถในการประมวลผลสง ทำาใหระบบยงมขอจำากดในเรองของความซบซอนของรปหลายเหลยมในฉากอย ไมสามารถสรางใหละเอยดสมจรงได
5. ลกษณะของแสงเงาในฉาก
สำาหรบในงานวจยนจะไมสนใจเรองการเรนเดอรแสงเงาทเกดจากแหลงกำาเนดแสงทเคลอนไหวได เนองจากไมสามารถหาอปกรณสำาหรบตรวจจบตำาแหนงทศทางของแสงได และเพอลดภาระในการประมวลผลของระบบทงสวนตรวจจบภาพและสวนสรางภาพสามมต
6 ขนตอนการวจยขนตอนการวจยทไดวางแผนไวมดงน
• ศกษาทฤษฎและงานวจยทเกยวของกบวทยานพนธ
• เลอกทฤษฎหรออลกอรทมทเหมาะสม นำามาใชทดลองสรางฉากเสมอนตนแบบ เพอทำาการทดลองทดสอบความถกตองของแนวคดวาสามารถทำาไดจรง โดยใชอปกรณพนฐานทไมจำาเปนตองลงทนสง เชนกลองถายภาพเคลอนไหวสำาหรบเวบ (Webcam) ความละเอยดตำา, ใชแผนพลาสตกแทนฉากหลงสเขยวโดยใชกระดาษรปสเหลยมตดเพอใหเกดเปนตารางตามทตองการ
• ทดสอบกบอลกอรทมแบบตางๆ รวมทงปรบเปลยนรปแบบของฉาก เชน ขนาดของจด หรอขนาดของตาราง เพอหาวธการทมประสทธภาพด
• สรางฉากเสมอนขนาดยอสวนตามทวางแผนไว โดยใชอปกรณทมคณภาพสงขน
17
• ทดสอบระบบกบอปกรณทมคณภาพสงขน โดยวดประสทธภาพดานตางๆ ของระบบ เชน ความเรวในการทำางาน, ความถกตองของการตรวจจบการเคลอนไหว
• สรปผลการทำางานของระบบ
7 ประโยชนทคาดวาจะไดรบไดระบบฉากเสมอนทสามารถนำาไปใชงานไดจรง และระบบฉากเสมอนแบบสามมตทสรางขนนประกอบขนจาก
โปรแกรมยอยหลายๆ สวน ซงแตละสวนคาดวาจะสามารถนำากลบไปใชงานตอในงานทมลกษณะคลายคลงกนได ทงสวนทเปนการหาเวคเตอรการยายตำาแหนง, เมตรกซการหมน หรอสวนทใชทำาโครมาคย
8 เอกสารอางองWikimedia Foundation, Inc., Bluescreen. Available from: http://en.wikipedia.org/wiki/Bluescreen, 2006
Warner Home Video, The Matrix Revisited [DVD], 2001.
R. Siegwart, I.R. Nourbakhsh, Introduction to Autonomous Mobile Robots. The MIT Press, 2004
O.D. Faugeres, Q.T. Luong, S.J. Maybank. Camera Self-Calibration: Theory and Experiments. ECCV'92, Lecture notes in Computer Science, Vol 588, 1992
Ultimatte Corporation. ultimatte. Available from: http://www.ultimatte.com , 2002
Y. Mishima, Soft Edge Chroma-Key Generation Based upon Hexoctahedral Color Space. U.S.Patent 5355174, 1993
Y.Y. Chuang, B. Curless, D.H. Salesin, R. Szeliski. A Bayesian Approach to Digital Matting. University of Washington, Seattle, WA, 2001
M. Ashikhmin. High Quality Chroma Key. Available from: http://www.cs.utah.edu/~michael/chroma/ , 1997
J.A. Selen. Merging Live Video with Synthetic Imagery. Master of Science, Cornell University, 2003
Z. Zhang, A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 22, 2000
K. Kansy, T. Berlage, G. Schmitgen, P. Wisskirchen. Real-Time Integration of Synthetic Computer Graphics into Live Video Scenes. In Proc. of 4th Intern. Conference INTERFACE to Real & Virtual Worlds, 1995
Orad Hi Tec System Limited, Method and Apparatus for Determining the Position of a TV Camera for Use in a Virtual Studio. U.S.Patent 6304281, 2001
Intel Corporation, Open Source Computer Vision Reference Manual. Intel Corporation, 2001
J.N. Cederberg, A Course in Modern Geometries. Springer, 1995, Second Edition
18
L.G. Shapiro, G.C. Stockman, Computer Vision. New Jersey: Prentice-Hall, 2001
T. Porter, T. Duff, Compositing Digital Images. In Proc. of ACM SIGGRAPH 1984, 1984
Siligon Graphics. OpenGL. Available from: http://www.sgi.com/products/software/opengl/ , 2005
Microsoft Corporation. Technical Resources for DirectX. Available from: http://www.microsoft.com/windows/directx/techinfo , 2005