inverse perspective projection of convex quadrilaterals

Inverse Perspective Projection of Convex Quadrilaterals

Joo-Haeng LeeETRI

KOREA

ACDDE 2011VR and Multimedia WorkshopSession VRM-2 Paper ID116

111년 8월 28일 일요일

Assume that you have a hand-held projector which can accept an rectangular source image of arbitrary aspect ratio. Which of the following convex quadrilaterals is projectable from this projector?

Joo-Haeng Lee (joohaeng at etri.re.kr)

Quiz #1

2


Assume that you have a hand-held projector which can accept an rectangular source image of arbitrary aspect ratio. Which of the following convex quadrilaterals is projectable from this projector?

(a) Rhombus (b) Parallelogram

(c) Trapezoid___ (d)IsoscelesTrapezoid


Quiz #1

2


(a) (b)

(c) (d)


Quiz #2

3



Outline• Motivation

- Investigation of a geometric projection property as a theoretic aspect of RSAR (Robotic Spatial AR)

• Main Contribution

- (1) Analytic solution to the inverse perspective projection of a convex quadrilateral

- (2) Geometric interpretation

• Experimental Results + Answer to the Quiz #2

• Discussion

4



AR, SAR & RSAR• AR

- Augmented Reality

5




- Augmented Reality

• SAR

- Spatial Augmented Reality

5




- Augmented Reality

• SAR

- Spatial Augmented Reality

• RSAR

- Robotic Spatial Augmented Reality

5



Examples of AR• World Lens

6



Examples of SAR• SixthSense (2009, MIT)

7



Examples of RSAR• LuminAR (2010; MIT)

8



FRC: RSAR System in ETRI

9



FRC: Kinematic Features• 5 Motors: (tilt + pan) x 2 + (center pan)

- Redundancy in Pan Rotation

10!!

1011년 8월 28일 일요일


FRC: Micro Projectors

11

• Microvision SHOWWX

- Laser-based

- No need to control focus

- 10~15 lumen

• Optoma PK-301

- DLP

- Manual focusing required

- 20~50 lumen

1111년 8월 28일 일요일


FRC: Applications

12

! ! ! !

1211년 8월 28일 일요일


Control Issues in RSAR• Kinematic Control

- Inverse Kinematics, Redundancy in DOF

• Inverse Projection

- Approximation vs. Analytic Solution

- Image Pre-Warping

• High-Order Control

- Constraints Handling; Collaborative RSAR

13

1311년 8월 28일 일요일


Inverse Projection

14

• End Effector (= Goal)

- position, area, shape, intensity, precision, ...

• Parameters

- Internal

- External: Pose Estimation

• High-order Control

- Soft and Hard Collision Avoidance

- Image Pre-Warping

1411년 8월 28일 일요일

• End Effector: a projected mid-point


Position Control

15

1511년 8월 28일 일요일

• End Effector: a portion of area


Area Control

16

1611년 8월 28일 일요일

• End Effector: a certain shape of convex quadrilateral at a certain position


Shape Control

17

1711년 8월 28일 일요일


Problem Definition

• Geometric Projectability of a Convex Quad

- Given an arbitrary convex quadrilateral, find external and internal parameters of a projector to project this quad from an imaginary rectangle of an unknown aspect ratio.

- Which type of named convex quadrilateral can be projected from a rectangle?

- Why a certain quad is not projectable?

- How to modify a such quadrilateral to be projectable?

18

1811년 8월 28일 일요일


Solution Outline: Analytic Inverse Projection of Convex Quadrilateral

19

1911년 8월 28일 일요일



1. Get a diagonal parameterization of a convex quad.

19

1911년 8월 28일 일요일




2. Find values of length-related coefficients from inverse line projection for each diagonal.

19

1911년 8월 28일 일요일





3. Check if these coefficients satisfy the basic conditions to solve the solution equations.

19

1911년 8월 28일 일요일





3. Check if these coefficients satisfy the basic conditions to solve the solution equations.

4. Solve the analytic equations to get the projector parameters

19

1911년 8월 28일 일요일


Solution Outline: Geometric Inverse Projection of Convex Quadrilateral

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line projections have the same field-of-view

20

2011년 8월 28일 일요일


Line: Configuration

21

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2111년 8월 28일 일요일


Line: Configuration• External Param:

- center-of-projection:

- projection direction:

21

pms − p

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2111년 8월 28일 일요일





• Internal Param

- filed-of-view:

21

ψ

pms − p

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2111년 8월 28일 일요일





• Internal Param

- filed-of-view:

• Imaginary Source Line

21

ψ

pms − p

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2111년 8월 28일 일요일





• Internal Param

- filed-of-view:

• Imaginary Source Line

• Projected Line Image

- Projected mid-point:

21

ψ

pms − p

md

s0s2

l0l2

q

yy

v0v2 m

p

ms

2111년 8월 28일 일요일


Line: Inverse Projection• Input

- A projected line with a projected mid-point

• Output

- Ext param:

• center-of-projection:

- Int param:

• filed-of-view:

22

p = (d,θ )

ψd

s0s2

l0l2

q

yy

v0v2 m

p

ms

2211년 8월 28일 일요일


Line: Analytic Solution• Ext Param:

• Int Param:

• Coefficients:

23

cosθ =dl2 − l02 l0l2

=dα

tanψ =l2 − l0l0 + l2

tanθ

=1βtanθ

α and β

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2311년 8월 28일 일요일


Line: Coefficients• Coefficients defined by the given configuration:

24

α =l2 − l02l0l2

β =

l0 + l2l2 − l0

γ =αβ =l0 + l22l0l2

ds0s2

l0l2

q

yy

v0v2 m

p

ms

2411년 8월 28일 일요일

• Observation in 2D


Line: Geometric Meaning

25

pc#d ,θ&=d #cosθ ,sinθ&=1αcosθ #cosθ ,sinθ&

cl0l2 v0v2 m l0l2 v0v2 m

2511년 8월 28일 일요일

• Solution Space in 2D



26

cl0l2 v0v2 m

2611년 8월 28일 일요일




26

A circle of radius 1

2α with the center at

1

2α,0

⎛

⎝⎜⎞

⎠⎟

cl0l2 v0v2 m

2611년 8월 28일 일요일




27

A sphere S of radius 1

2α with the center at

l2

l2− l

0

#v0−m&

2711년 8월 28일 일요일


Quad: Configuration

28

m

pc

v0

v1

v2

v3

Qs

ms

2811년 8월 28일 일요일


Quad: Configuration

• Ext Params

- center of projection

• Int Params

- filed-of-view

• Source Quad

- rectangle (cf) aspect ratio

• Projected Quad

- convex quadrilateral

• Length-related coefficients:28

m

pc

v0

v1

v2

v3

Qs

ms

2811년 8월 28일 일요일


Quad: Configuration

• Ext Params

- center of projection

• Int Params

- filed-of-view

• Source Quad

- rectangle (cf) aspect ratio

• Projected Quad

- convex quadrilateral

• Length-related coefficients:28

m

pc

v0

v1

v2

v3

Qs

ms

α i ,βi and γ i for each diagonal

2811년 8월 28일 일요일


Quad: Diagonal Parameterization

• Transformation of a quad to a canonical form which is defined with simple shape parameters related to diagonals:

29

(d2 , ρ, t1, t 2 )

2911년 8월 28일 일요일


Quad: Configuration

• 1st diagonal

- Ext Params

• cop:

- Int Params

• filed-of-view:

- Source

• a line segment

- Projected Line

• the 1st diagonal

- Coefficient:30

α0 and β0

m

pc

v0

v1

v2

v3q0

y0

y0

ψ 0

p0 = (d0 ,θ0 )

3011년 8월 28일 일요일


Quad: Configuration

• 2nd diagonal

- Ext Params

• cop:

- Int Params

• filed-of-view:

- Source

• a line segment

- Projected Line

• the 2nd diagonal

- Coefficient:31

α1 and β1

ψ 1

p1 = (d1,θ1)

m

pc

v0

v1

v2

v3

q1

y1

y1

3111년 8월 28일 일요일


Quad: Inverse Projection

32

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input

- a convex quadrilateral

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input


• Output

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input


• Output

- Ext param

• center-of-projection (cop)

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input


• Output

- Ext param


- Int param

• filed-of-view (fov)m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input


• Output

- Ext param


- Int param

• filed-of-view (fov)

• Constraints

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3211년 8월 28일 일요일



32

• Input


• Output

- Ext param


- Int param


• Constraints

- same cop:

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

d0 = d1

3211년 8월 28일 일요일



32

• Input


• Output

- Ext param


- Int param


• Constraints

- same cop:

- same fov:

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

ψ 0 =ψ 1

d0 = d1

3211년 8월 28일 일요일


Quad: Analytic Solution

33

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3311년 8월 28일 일요일

• Constraint 1: cop

d0 =cosθ0α0

=cosθ1α1

=d1



33

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

3311년 8월 28일 일요일


• Constraint 2: fov

d0 =cosθ0α0

=cosθ1α1

=d1



33

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

3311년 8월 28일 일요일



• 2 Eqs and 2 Unknowns

d0 =cosθ0α0

=cosθ1α1

=d1



33

m

pc

v0

v1

v2

v3q0

q1

y0

y0y1

y1Qs

ms

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

3311년 8월 28일 일요일



• 2 Eqs and 2 Unknowns

- Existence of solution?

- Geometric meaning?

d0 =cosθ0α0

=cosθ1α1

=d1



34

tanψ 0 =tanθ0β0

=tanθ1β1

= tanψ 1

cosθ0 = ±C 2 −1

A B 2 −1

A =α1α0

B =β1β0

C =γ 1γ 0

Coefficients

Equation

3411년 8월 28일 일요일



35

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1

cosθ0 = ±C 2 −1

A B 2 −1

A =α1α0

B =β1β0

C =γ 1γ 0

Coefficients

EquationCoefficientConditions

3511년 8월 28일 일요일


Quad: Geometric MeaningSteps

1. Get a diagonal parameterization of a convex quad

2. Find two solution spheres from inverse line projection for each diagonal

3. Find an intersection circle of above two spheres

4. Find a point as center-of-projection where two line projections have the same field-of-view

36

3611년 8월 28일 일요일


Quad: Geometric MeaningStep 1. Get a diagonal parameterization of a convex quad

37

m

pc

v0

v1

v2

v3q0

y0

y0

m

pc

v0

v1

v2

v3

q1

y1

y1

3711년 8월 28일 일요일


Quad: Geometric MeaningStep 2. Find two solution spheres for each diagonal

38

m

pc

v0

v1

v2

v3

S0

m

pc

v0

v1

v2

v3 S1

3811년 8월 28일 일요일

Step 3. Find an intersection of two solution spheres

m

pc

v0

v1

v2

v3

S0

S1


Quad: Geometric Meaning

39

m

pc

v0

v1

v2

v3

S0

S1m

pc

v0

v1

v2

v3

S0

S1

copconstraint

3911년 8월 28일 일요일


m

pc

v0

v1

v2

v3

S0

S1



39

copconstraint

3911년 8월 28일 일요일


m

pc

v0

v1

v2

v3

S0

S1



40

copconstraint

4011년 8월 28일 일요일

Step 4. Find a center-of-projection where two line projections have the same field-of-view:



41

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y

m

pc

v0

v1

v2

v3

m

pc

v0

v1

v2

v3

fov constraint

4111년 8월 28일 일요일

Step 4. Find a center-of-projection where two line projections have the same field-of-view:



42

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y

m

pc

v0

v1

v2

v3

ψ 0 =ψ 1

fov constraint

4211년 8월 28일 일요일

m

pc

v0

v1

v2

v3

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y

Different field-of-views:



43

ψ 0 ≠ ψ 1

fov constraintis not satisfied!

4311년 8월 28일 일요일


Type of Quads

44

4411년 8월 28일 일요일

TypesDiag Param

Projectability Remarks

square always

rectangle always

rhombus never no int. param

parallelogram never no int. param

kite conditionally remark 1

iso. trapezoid always

trapezoid never no ext. param

quad conditionally remark 2

(d2 , ρ, t1, t 2 )

(1, ρ, 0.5, 0.5)

(1, π / 2, 0.5, 0.5)

(d2 , π / 2, 0.5, 0.5)

(d2 , ρ, 0.5, 0.5)

(d2 , π / 2, t1, 0.5)

(1, π / 2, t1, t1)

(d2 , π / 2, t1, t1)

(d2 , ρ, t1, t 2 )

4511년 8월 28일 일요일


Kite

46

m

pc

v0

v1

v2

v3

pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y

4611년 8월 28일 일요일

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y


Kite

47

4711년 8월 28일 일요일

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y


Isosceles Trapezoid

48

m

pc

v0

v1

v2v3

4811년 8월 28일 일요일

m

pc

v0

v1v2

v3pcHf,yL

0.0 0.5 1.0 1.5 2.0 2.5 3.0f

0.2

0.4

0.6

0.8

1.0

1.2

1.4

yif and y


General Quad

49

4911년 8월 28일 일요일

(a) (b)

(c) (d)


Quiz #2

50

5011년 8월 28일 일요일

(a) (b)

(c) (d)


Quiz #2

51

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Diagonal Parameters: (d2 , ρ, t1, t 2 )

5111년 8월 28일 일요일

(a) (b)

(c) (d)


Quiz #2

52

Diagonal Parameters:

(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients: !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

5211년 8월 28일 일요일

(a) (b)

(c) (d)


Quiz #2

53


(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients:

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1 !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

5311년 8월 28일 일요일

(a) (b)

(c) (d)


Quiz #2

54


(1.3, π / 2, 0.75, 0.3) (1.3, π / 2, 0.6, 0.2)

(1.3, 0.7, 0.6, 0.2) (1.3, π / 2, 0.6, 0.3)

Solution Coefficients:

A2 ≥1, B 2 ≤1,C 2 ≤1OR

A2 ≤1, B 2 ≥1,C 2 ≥1 !A2 , B 2 ,C 2 '(d2 , ρ, t1, t 2 )

(0.3, 1.5, 0.4) (12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(12.0, 0.11, 1.33)

(3.1, 0.3, 0.8)

Projectable

5411년 8월 28일 일요일


Summary

• Geometric Projectability of a Convex Quad

- Given an arbitrary convex quadrilateral, we can find projector parameters analytically with a geometric interpretation.

• Future Works

- How to modify an un-projectable quad to be projectable? Note that a projectable bounding quad is important in RSAR application

- Can it be applied to a triangle or other polygons?

- Comparison with PnP (perspective-n-point) problem in computer vision

55

5511년 8월 28일 일요일


Q & A

Contact:

Joo-Haneg Lee

joohaeng at gmail dot com

56

5611년 8월 28일 일요일

Thank You!

5711년 8월 28일 일요일

inverse perspective projection of convex quadrilaterals

Technology