how to transfer the paper to the box ?

Electrical Engineering MajorTechnical Management Sub MajorPresident of Student Association

Han Yang Chang張翰揚

The Automation Design CompetitionProject Leader

Young Entrepreneurs of the Future2015 YEFer (member)

Lakala E-billing Technology & Service Co.Technical Assistant , Intern

Outline1 • Concept

2 • System

3 • Question & Algorithm

4 • Demo

5 • Conclusion & Application

6 • Q&A

Concept System Algorith

m Demo Conclusion Q&A

三軸移動平台

固定外部參考圖形

機構獨立量測設計外部圖形



多個鏡頭三點定位移動測量





深度演算單一鏡頭

影像校正

影像銳化

提取訊息

計算分析

三維座標

回傳位置



1th 2th 3th 4th



PCI-DMC-B01*1 三軸伺服馬達 -ECMA-C105/6馬達驅動器 -ASD-A20421-F



• ｘ *1280000 （ pulse）• ｙ *1280000 （ pulse）• ｚ*1280000*2（ pulse）單位換算 _DMC_01_start_ta_m

ove送入指令

一、指定座標



二、圓弧移動

X’=r*

X=r*

ΔX=X-X’ （變動量）θ



三、立方運動於介面設定八個定點，依序移動至以下： (0,0,0),(0,0,r),(0,r,0),(0,r,r),(r,0,0),(r,0,r),(r,r,0),(r,r,r)



3D scatter chart-motor 3D scatter chart-image





一、如何的得到三維立體座標？

二、照光的角度不同，造成顏色難以區分？

三、三角形的邊長會有方格狀，造成取頂點時的誤差？

四、在移動過程中，如何解決看不到三角形的問題？

五、遮罩的傾斜度會造成誤差？

一、如何的得到三維立體座標？ 1. 計算 xy 平面的移動距離• 重心座標（ｘ ,ｙ）＝（ (x1+x2+x3)/3, (y1+y2+y3)/3）• 計算三角形重心與鏡像中心點的距離（Ｄ）Ｄｘ﹐ｙ＝座標像素點差距（ pixel ） *( 三角形實際邊長（ cm ） )/( 三角形影像邊長（ pixel ） )

• 三角形實際邊長（ cm ）：大三角形為１５公分，小三角形則為 8 公分• 座標像素點差距（ pixel ）：ｘ－Ｗ / ２；ｙ－Ｌ / ２



感光元件

Webcam

校正後量測距離



Webcam

Z 軸移動移動距離= 在感光元件上的影像三角形的邊長變化





一、如何的得到三維立體座標？ 2. 計算深度距離（利用攝影機拍攝速率及馬達實際運動速率）原理：假設馬達的速率恆定在區域二內動作，不考慮響應上的延遲時（區域一、三）。利用照相機在某個頻率取樣時，依照此頻率的倒數，我們可以得知此馬達運動的時間，在藉由此段時間及相對應的運動速率，我們可以知道實際上照相機移動的距離，再藉由影像所取得的 xy 平面移動距離，我們及可以推論出深度的移動距離。



一、如何的得到三維立體座標？ 2. 計算深度距離（利用攝影機拍攝速率及馬達實際運動速率）影像擷取速率：Ｐ（張／秒）馬達轉速：Ｖ（公分／秒）整體移動距離：Ｓ（公分）ｘｙ平面移動距離：Ｋ（公分）影像深度：Ｄ（公分）前一次ｘ , ｙ , ｚ的數值：（ｘ before, ｙ before, ｚbefore ）目前的ｘ , ｙ , ｚ的數值：（ｘ now, ｙ now, ｚnow ）Ｄ２ = Ｓ２ - Ｋ２Ｋ＝ｚ now ＝ｚ before± Ｄ（ ± 代表馬達的正逆轉）

立體運動示意圖Ｋ

ＳＤ

二、照光的角度不同，造成顏色難以區分？ Ans : 利用ＲＧＢ轉ＨＳＶ做調整

利用 cvtColor 作色彩空間轉換 RGB to HSV如果Ｈ <0 然後Ｈ <= H + 360 。在輸出時0≦V≦1 ， 0 S 1≦ ≦ ， 0 H 360≦ ≦ 。



二、照光的角度不同，造成顏色難以區分？




對於求一個銳化後的像素點（ sharpened_pixel ），這個基於拉普拉斯算子的簡單算法主要是遍歷圖像中的像素點，根據領域像素確定其銳化後的值計算公式：Sharpened pixel = 5 * current - left - right - up - down ;

Ans ：圖像銳化 Up

Left Current(Sharpened pixel)

Right

Down

-1 -1 5 -1 -1




銳化前：銳化後：



四、在移動過程中，如何解決看不到三角形的問題？1. 大三角形且完整的，原始圖像是移動至（ 5,5,0 ）輸出結果：ｘ＝ 4.94009cmｙ＝ 4.95842cmｚ＝ -

0.418609cm



四、在移動過程中，如何解決看不到三角形的問題？2. 大三角形且不完整的，原始圖像是移動至（ 15,5,0 ）輸出結果：ｘ＝ 14.9538cmｙ＝ 5.47584cmｚ＝ 2.16041cm



四、在移動過程中，如何解決看不到三角形的問題？3. 小三角形且完整的，原始圖像是移動至（ 10,5,0 ）輸出結果：ｘ＝ 9.90236cmｙ＝ 5.05249cmｚ＝ 1.2815cm



四、在移動過程中，如何解決看不到三角形的問題？4. 小三角形且不完整的，原始圖像是移動至（ 5,5,0 ）輸出結果：ｘ＝ 4.46787cmｙ＝ 5.17408cmｚ＝ -0.8535cm



Z軸的影響最大 !!

四、在移動過程中，如何解決看不到三角形的問題？ 1. 遮罩設計

• 大三角形為 15cm ，小三角形為 8cm

• 大三角形：以顏色較為分明的為主• 小三角形：其黑色與綠 / 黃分開• 兩種三角形以大三角形最多




範例：移動至（５ , ５ ,０）座標1. 遮罩設計－大三角形精度高

利用較小的三角形進行計算，結果（ 4.46,5.17,4.28 ）差 0.5cm!




範例：移動至（５ , ５ ,０）座標1. 遮罩設計－大三角形精度高

利用較大的三角形進行計算，結果（ 4.94,4.95,-0.41 ）勝




求解兩條直線方程式，分別是：ａｘ＋ｂｙ＋ｃ＝０ｄｘ＋ｅｙ＋ｆ＝０ｘ＝（ｂ *ｆ－ｅ *ｃ）／（ａ *ｅ－ｂ*ｄ）ｙ＝（ａ *ｆ－ｄ *ｃ）／（ｂ *ｄ－ａ*ｅ）

2. 利用直線方程式求解三頂點

因此可以求得三角形的三頂點解（ｘ１ , ｙ１）（ｘ２ , ｙ２）（ｘ３ , ｙ３）



五、遮罩的傾斜度會造成誤差？ 1. 計算傾斜角度（固定深度）

Ｈ＝Ｌ */2（三角形的高度）ｈ＝點到直線的距離θ＝（＋：向前傾斜；－：向後傾斜）

H

h

Ｌ

修正後三角形

傾斜後三角形θ

Ｈ＝Ｌ */2 （三角形的高度）ｈ＝點到直線的距離θ ＝（＋：向前傾斜；－：向後傾斜）



五、遮罩的傾斜度會造成誤差？ 2. 初始化鏡頭校準

（ｘ , ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置當上述條件成立後ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比

• （ｘ , ｙ）為鏡像中心點位置＝校準三角形之重心

• ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比



五、遮罩的傾斜度會造成誤差？ 3. 馬達運動過程，三頂點校準

（ｘ , ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置當上述條件成立後ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比




（ｘ , ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比

輸入：（ 15,0,0 ）輸出結果：ｘ＝15.2149cmｙ＝0.166982cmｚ＝3.03181cm




（ｘ , ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比

輸入：（ 15,0,0 ）輸出結果：ｘ＝15.2149cmｙ＝0.166982cmｚ＝0.259964cm



減少約 90%誤差 !!



（ｘ , ｙ）為此鏡頭之鏡像中三十秒影片介紹位置＝此校準三角形之重心位置

當上述條件成立後ｘ , ｙ補償量＝（鏡像中心點－三角形重心位置） * 轉換比

https://www.youtube.com/watch?v=IXKOcHhacVI



影像馬達信息結合

編碼、工件誤差直接量測獨立量測累積誤差降低成本

We Need You !!

Thanks for your attention !!

Linkedin

Facebook

Han Yang Chang