touchless user interface based on marker

14

Upload: duongkiet

Post on 04-Jan-2017

225 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: TOUCHLESS USER INTERFACE BASED ON MARKER

������������ ����� �� ���� ��� ����������� ����������� ��� ������ ���� ����������� ��� �� ���� ������������� �� ������ �� �������� ���� ��� �������

��������� ��� ���� �� � ��� �� � �� ��������

�� � ���� �� � ����� ����� ���� ����

�������� ���� � ����� ��������� �������� ����

�������� � � ������� ��� ������� � ��

���� � �������� �� ������� !��� "��#��$���

��%� &������ ��� ��'� �� ��� ��(�) �� !������ *'���+��+'�, -./�� *��+'���+��+'�, �$'��+����+� * ���+��

�0��� �����������$12 ��������$���� !���

��'��+�'����#* �+��, /������* ���+��

�������� ������ �� � ������ ��� �� �

��������� � �������� ���� ����������� ������ ����� �� ������ ��������� ��� ��������

�� �������� ��� �������� ����� ������������ ��� �������� �������� ��� ������� �����

���� ������ ������ ����������� ���� � ������ �� � ����� �� ���� ����� ����� ��� ������

�������� ��������� ��� �� �� ������ �� ������ �� ��������� ����������� !����� �� ���

���� � �������������� ������ ����� �� ��� ������"�� ���������� ��������� ����� ��

����� ��� ������ ������ �� �������� ��� �������� �� ������ ���������� ��������� #���

�����$���� ��� �������� �������� �� ������ ���������� �������� ���������� � ���������

����� �� ����� �� ����� ��� ��������� ���� ��� ��������� �� ��� ������ ������ �� ���� ������

������� ������ �� ���������� ��� ���������� �� ���� ������� ��� ����������� ���������

������ ������ ��� �� � ����� ��� ����������� �� ��� �������� ����������� ������� ��

�������� %&��������� %������� ��� %'����� (������ ������������ )*��������� ������

����������� ���� ��� �������� �������� ��� ���� ������ ����������� ����������� ���� ���

��� ������� ������� ���� ��������� ���� ������������ �����*��� ��� ���� ��������

��� �������� ���� ������������

����� � "$�� ����������� 0��� �$�� ���������� 3����$$ �$�� ���������� �����$���#������ ����'�� � 4������ ����$�$

� ������������ ����� ������� ���� ������� ��� ������ ������ ���� ������� ����������� ������ ��� ������ ���� ����� �������� �� ����� ��� ���������� ��������������� ��� ! "�# ������ ������ ���� ����� ������! ����������� �� #$ ������ �� ��� ��������������� % &� ����� ������ ���� � �����'���� ��� �� ��� ����� ���������! �� ����������� ��� ������ �� �����! ��(� ����������! ���� �����! ����� ������� ����� ��������!��� ������ ������� ��������� ������� %�&� )�������! ���� ����� ������ ������� ������� *+, ��������! ��������� ������� ������! ��� ���������(���� -./� ���� ���������������� ��������� ����� 0+./�1 �� ������ ����� ������������� 2���� ���������� ������� ����� ������ �� ����� ������������� ��������� ������� 3�����! ������ ������������� ��� ��������� �� ������ ������������ �� ����� ������ ��� ������� 2�� �������� ��� ��������� �����'������ �4���� ��� �������� �� ����� ������ %5&�

2��������� ��� ���������� ������� �� ����� ������ ���� ��� ��������� � " � 5��������� (������ ���� ����� ������� %"&� 2��� ������ ��� ��������� ��� ���������� ��(��� � ����� ���� ��� ������� � �������� 3�����! ��� (����� �������� ��� ����������� ���� �� ������������ �6���� �������� ������ �� � ������ ���(� 2����� ���

���

Page 2: TOUCHLESS USER INTERFACE BASED ON MARKER

��� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

789�2: (����� ��� ��� �������� �� ������ �������� ������! �� �� ���������� ���������� ����������! ���� �� ������ � ����� *���� ���������� %;& ���� ��� ��� ���� ��������� � ������ ��������! ������� �� ������ (�� ������ �� �������� ��� ���(� 3�����!����� ���������� �� ����������� �� ������ �������� �������� 6���(�� ��� �� ��� ������������� <��������� ����������! ����� ������� ��� �������! ����! � ������ �� � ������!��� ��� ���� %#! $! =&� 2����� ���� ���������� ������ �� ������� �� �����'� ���(�! ����!�������� ��������! �� ������ ������ ������ ����������� 2��������� ��� ��������� ������� ��������� �� ������ ��� ������ ����������� , ��� ��� ������ ���������������'����(� � �������� � ������ 3�����! ����� ���������� ��������� �6��� ���������������� �� ����� ������! ���� ������� ������� ����� ��� �� ��� ������� �� ������������ ������� ������! ���� �� ������� �� ���� ����������! �� �>�����! ���� '������ ��� � ���� ��� �������

-������ ������ ������6��� ���� ��� ���� �� ���������� ��� ��������� �� �������� ��� ���� ��������� ������ ��� ������ ���� ���� ����� ��� �>�������� % ! �! ! �! 5! "&� 2� ��6��� ������ ���������� �� ���������� ��� ���������! ������������� ������� % ! �! ! �& ��� �?��� ���(��� ������� % 5! "& ��� � ����� 9����������! �� % ;! #! $! =! &! ���������� ��������� ���� ��� ������� �� ������������ �� % ;&! � ����������� ������ ��� ���� �� ������ ��� ���������� ��� ��������� � ������� �� % #&! � ��� ���������� ������ ����� ��� @����� '��� ���(��� ��� ���������� 3�����! ����� ������� �6��� ��� ���� ������>��� �� � �������� �� ��������������������� �� % $&! �� ��� ,��� ��������� � ��� ������>��� ������ ���� �� �������������� 3�����! �� ������ ��������� ������ ���� ������ ������� ��������� ��>��� ����� �� ������� ���� ������ ������� ����������� A���� �� ��� % =& ������� �� ����������� ������ ���� �� ���� ���(���� +���� �� ��� % & ������� � '��� ���(��� ������!����� ��������� ��� �������� �� ��� �� ���������� �� ������ ��� ���������� 2������������� % =! & ������ �������� ��� ����������! �� ���� ������ ���� ���� �� ����� ������ �?��� ���� � ������ �(�� ���� �� � ������

�� ���� ����! �� ������� � ��������� ��� ���������� ������ ���� �� ��(� ���������� ��� ���(��� �� �������� ������������ �� ����� ������� 2� ������ ����� ����������� ������� ������ ������� �� ������ ������������ ����������! �� '�� ������ �������'��� ��(� ������� 2���! �� ������ ��� ������ ���� �� ��� ������B�� ���������� �������� %��! � &! ��� ���( �� ����� ��� ������� ������� �������� ������������������ �� �>���� ������ ���������� ���� ������ ������� ��� ����� �����������<����'�����! �� ������� ������ ���(��� ���� ������ ������������ ��� �>����� �����������! ��� ������� �������� ���������� �������� '�� �������� � ��������� ���� �������� ����� �������� �����'������ %��&! �� ���� ��� �������� �� ������� �� ��� ���������� ��� ����� ����� 2���! �� ���( ������ ���� ������ � �������� ��� ������������ ��� ������� ��� ��������� ��������� ������ 2�� �������� ��(� ������ �� �������� �� ������ ������������� 9>������� ���������� ������ ���������� ��� ������� ������������� ������ ��� � �������� �� ������ ������������ ���������

2�� ������� �� ��� ���� �� �����B�� �� �������� <������ � ������� ��� ������������� �� ��� ������� ���������� ������ ��� �>������ ��� ��(� ��������� ��� ���������� �������� ���������� ���(��� ������6���� <������� 5 ��� " ������ ��������������� �������������� ������ �� ��� ������� ������! ������������ <������ ; ��������� ������������ �� ��� ������� ������� C������! <������ # ��������� ��� �����

�� ������ � �!�� "� C���� ����� ��� ���������� �� ��� ������� ��� ����������� ������! ����� ���� ����� ���������� ��� � ����� �� ��� ������ 2�� ������������� �6���� �� ���������� �������! ����� ���� �� ��� �����! �� �� �� ��������� ����� ������ �� ����D �6����� ����� �� ���� ��(! ��� ���������� �� ������� �

Page 3: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ ���

Activation

Control Event

Inp

ut

Nod

e

Camera Module

DSP Chip

Memory

Raw Frames

Applications

Ou

tpu

t N

ode

Display Module

Detectionand

Tracking

Con

trol

Sys

tem

nod

e

Use

r In

terf

ace

Nod

e

Post-Processed Frames

ControlInformation

� ��� �� 2�� ������ ���������� �� ��� ������� ��� ���������� ������

���������� ��� ����������! ����� ������ ��� ������ �� �������� ��� ����� ����� 3������! ��� ������� ������ ��� � ��������� � ��� ��� ���������� ������6���! ���� ������� �����������

8��� ��� ������ �� ���������! ��� ����� ������ ������� � ����� �� ������� �������� 2�� ����� ������ ���� �������� ��� �� ����� ����� � �<. ���� �� ��?������� 6��������� 2���! ��� ������������� ����� �� ����� �� ��� ����� �4�� A���������� ��� ���(��� ��� ��(� �� ��� �����! ��� ������ ������ ���� �����B�� �������2��� ���������� �� ���� �������� �� ��� ��� �������� ����� C������! ������������ ���� ���������� ,� ��� ���� ����! ��� ������� ����� ��� ����������� ���� �� ���� ������� ��� ������� �������

�� � ������# �!�� " ��� � 8��� ��������� ��� ���������� ������� �� ����� �������!������ ���������� ������ � ��(�� ���� ������� %�5&� ��?� ���������� �� ������ ��������� �������! ��������� ��� -./ ���� ��� ����� ������ ������! ����� ����������� �������������� ����������! ����� ����� ����� ��� ����� ������ ���� ������������ �������������! ���� �� �������� ������! ���� ��� �������� �� ���� ��(! ��������� ������ ���� ��� ��� ��������� ������ ��� ��� ���(��� ������! ����� �����B������ ����� ��� ��� ����� �� ������ ������������ 2������! �� ���� ���� ���������������� ���������� ��� ��� �������������� �����������

2� ������� ����� ����������! �� ��� � ����������� ��(�! ����� �� ����� �� C����� �� ,������� ��� ������� ������ ��� � �����B�� ���� ��� ��(�! � ��(� ����������������� �������! ���� �� �� �����! ��� ���� �� ��� ��������� � �6��� ���������� ������>���� 2������! �� �����B� ��� ��(� �� C���� � �� ���� ��(! ����� �������������� ���� ��� ���� ��������

�� � � ��������� ����� E�� � � ��� ��(� �����! ����� �� ����������� �� ������� C���� �� E�� � � �� ����� �����! ������� � ��� ������ E�� �0�� �1 ��� �0�� �1

Page 4: TOUCHLESS USER INTERFACE BASED ON MARKER

�� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

� ��� � , ������'��� ��(� ������ ��� ��� ���B����� ��� �������������� ����������

5�6 5�6

� ��� !� 0�1 ,� ����� ����� ��� 01 ��� ������B�� ��������� �������� ���

������ ��� ������ �� ��>��� �� �������� 0�� �1 �� ��� ������ � ��� � ! ������������ �� ������������ ������! �� ������ ��� ��(� �� ��� ����� ����� �� 2�� �������� ��� �>��������������� �� ��� ����� ��� ������ �� ����� ������������ 2������! �� ������ ����������� ���( �� �! ����� �� ���� ������ �� ��� ��(� ����� � ! � ��������� ��� �������B�� ��������� �������� %��! � &! �� ���������� �� C���� 5� 8� ��� ������ ����������� ��� �� ��4���� �������� ��� �>����� ���������� ���� �� ��� ������B������ 2��������B�� ��������� �������� �� ��'��� ��

�0�� �1 F

������

�G�0��� ��1G�0�H ��� � H ��1

���

�����

�G�0��� ��1

��������

�G�0� H ��� � H ��1

�� 0 1

���� G�0��� ��1 F �0��� ��1 � I� ! G�0� H ��� � H ��1 F �0� H ��� � H ��1 � I�! I� �� ��������� ����� �� �0��� ��1! ��� I� �� ��� ������ ����� �� �0�H��� �H��1! ������������ 2��������B�� ��������� �������� �0�� �1 ����� ��� � �� � �� ��� ����� ����� �! ������� ��� ��� �������� ���( ���� ��� ������ ��������� �� ��� �������� �� ���� ����� ���������� ��������! �� ��� ��� ��� ��������� �� ��� ��>� ����� 2��� �������������� �� '�� ��� ���( ���� � �������� ���� ���� ��� ���������

�� ��� ������� ���� ���� �� ��� �������� ��������� ���������� ���������� 2�� ���������� ������ ������� ��� ��� �������� ���( �� �� 3�����! ��� ��������� �6������������� ���� ������>��� �� ����� ��� ��(� ��� ��� ����� ����� <���� ����� �������� ���� ��� ������������� ����������! �� �� �������� �� ������B� ��� ������>��� ����� �������� �� �������� ���������� ,���! ��� �� ��� �������������� ����������! ������������ �������������� �������� ����� ����� �� ������� ������� ���(��� ���� ��������� ��>��� �>���� ��4���� ����������� ��� �� ������ ������� ����������� ������! �������� �������� ������ ��� ����� ��� ��� ��(� ������� ��6������! �� ������ ��������� ��(� ������ �������� �� ��� ����� ������ �� ��� ��(�� 2� ���� ���! �� ������� ��� ������� �������� ���������� ��������! ����� �� ���� �� ��� ���������� �������6�� % 5! "& ��� ��� ����� �������� �����'������ %��&� C���� " ����� ��� J�������� ��� ������� ������� �������� ���������� ���������

Page 5: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ ���

� ��� "� 2�� J������ �� ��� ���(��� ������

8� ������ ��� ���������� ������6��! ����� �� � ������ ��� ������ ������� �� �������� �?��� ���(���� 3�����! ��� ������������ ���������� ���(��� �� ��� ���� ���������� ����� ������ �� ��� ��(� �� ���� �� ������ ������� ����������� 2������! ��'�� ������� ���� ��������� ���� �� ���������� �� ��� ������� ��������� ���� ����� ����� �������� �����'������! ����� �� ������� �� �� ��������� ��( %��&� ,�������� �������� ��� �������� ���������� �� ��>��� �� �� �����! ��� �� �� ���������� �� ������� ����� ������������� %�"&� <���� ��������� ����� �� � ������� ������� ������ ��������! ���� ��������� ������ � ������ �� ���� ����� E�� ���� ����� ������ ��� ������� ����� �������! ���������� ��>�� ������ �� ��� ����� �������� ��� ��� ��������� ���� ��! ������������ ,���! ��� �����

0���1 ��� ���0�1 ������ ���

�������� ���������� ��������� �� ��� ����� ���� ���� ��� ��� ��������� ���� ���2���! ��� ���������� ���������� ��������� 0-�CD�1 ����

��� ���� ��'��� ��

����0���1 F . ����� � ���� F

��������

�����0�1 0�1

��0�1 F . ��� � �� F

������

���0�1

2�� -�C ������ ����0���1 ��� ��

0�1 ������� ��� ��(� �� ��>��� ���� ���� ��������� ��� �! �����������! �� ��� ��������� ������ A���� �� ��� -�CD�! �� ���������� ���� ������ �� ��� ��������� ���� �� �� ����� ��� -�C �� ��� ����� ���� �����

3�����! �� ��� ����� �������� �� ��� �������� ���� �������� ��>��� �� � ��������� ������ ���� ���� ��� ���� -�C ������ 2� ������ ��� ��������! �� ������ ��� �������������� %��& � ��������� ��� ������(��� ��� ���� �� ��� ������ ������ �� ������������ ��>���� /���� ��� ����� ���������! �� ����� ��� ��������� ������! ����������� ��� �������� ����

0���1 �� ��� ����� ���� ���� �� ��� �������� ��0�1 ��

Page 6: TOUCHLESS USER INTERFACE BASED ON MARKER

��! ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

��� ��������� ���� ��� 2���! �� ��6��� ��� ��������� ��������� ���� K�� ����� �������������� �������

9��� ���� �� ������� ��� �4��� �� ������ ������� ����������! ���� �� ����� � �������� �� ��� ����� ������� �� ��� ��(�� 2�� �������� ������ ��� ����� ��� ��� ��(�������� �� ����� ������������ 2������! ��� ���(��� ������ ������ ������ ��� ������������ �� ��� ��(� ��� ���( ��� ��(� ������ �������� �� ��� ����� ��������,������� ��� �������������� ������ ������� 0<�C21 %�;& � ��� ������� �� ���� �������� 0</�C1 %�#& ��� � ���� �� ������� ��� ����� ���������! ���� �� ������������������ ��������� �� ����� ������������� �������! �� �>���� ����������� ������� ��� �����(� ��� ���( ���� ����� ����������

E�� � ������ ��� ���� �������� �� ��� �������� ���( ��! ����� ��� ����� �� ������������ ������! ��� �� ������ ��� �������� ����� �� ����� �� <�������! ��� ��� K ������ ��� ���� ��������� �� ��� ��������� ���( � �� ��� ������� ��������� ���� ����� ��� ��������� ���( K� �� ��� ��������� ��������� ���� K��! ������������ E�� ���� K � ������ ��� ����������� �������� ������ �� ����� ��

C���! �� �>���� ������ ���� ������ �� ��� �������� ���( ��� 8� ����� ��� ������������ '��� �� ��� 2�� ������� ��������� ����� �� ����� �

����� F�

0�� � ��1� H 0�� � ��1� 051

���� �� ��� �� �� ��� <��� ���(� �� ��� ���B����� ��� ������� ���������� 2���! �������� ��� ���� ������ ���� ��� ������ ��������� ,���� ���� �������� �����! �� ��� ��������� ���( ���! � F � �� 5! ����� �� �������� � � ������ �������� �� ��� ���� �������� C���� �� 9��� ������ ���( �� ���� ���(�� ��������� � ��� ���������� ���(������������

E�� 0�� �1 ��� K 0�� �1 � ��� ��������� �� ��� ��������� ���(� �� ��� ��� ���������� 0�� �1 �� ��� ������� ��������� ���� �� ��� ��� ��������� ��������� ����K��! ������������ C� �>�����! �� ���� �� 0�� �1! �� ���������� ���( ��� ��(� ��� '����� ��� �������� 0�� �1 ���� ��>���B�� ��� ��������� ������ ��� ����� �������� � ����� ������ ���( ��� ��� ��� ��������� �������� 0�� �1� 2�� ��������� ������ ������ ��������� �� ������� � ��� A����������� �������� %�$&

�0�� �1 F

�����

� �0�� �1��� 0"1

���� � �� ��� ���� �� �������� ���! ����� �� ��� �� �;; �� ���� ��(�+���� ��� �������� 0�� �1 �� ��� ��(� �� ��� ����� ����! �� ���( ��� ��������

0��� ��

1 �� ��� ��������� ���� �� ��� ��� ��������� ��������� ���� K��! �����������!�� ���� ��� A����������� ��������� �� ��>���B��� 2� ����� ��� ������>���! ��������� ��������� ��� �������� �� ���� ��������� �������� �������! �� ��� ��� ������������� % 5&� 2�� ������� ������� �������� ���������� �������� ������� ��� ��� ���������������� ���� �� ��� ��� ��������� ��������� ���� K�� �� ��������� ��� �4��� �� �������� ���������� 2� ������ ��� ���������� �� ����� ��� ����� ������! �� ��������� ����������� ������ ��� ����� ���� ��� ����� ��������� ����� ��� ���� ������ ��������� ������ ����������� <����'�����! �� ������ ��� ������ � �� ��� ������� ������������� �� ��� ��� ������ � �� ��� ��������� ��������� ���� K��! ���� �� ��� ������������������� %�=&!

� F

����

������0��� �1����

��� ��� � F

����

������0��� K �1����

��� ��� 0;1

Page 7: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ ��"

Initial zoomoperation

Gaussian kernel Stabilized zoomoperation

� ��� #� <���������� ������ ����� ��� +������� ������ ������ '���

2���! ����� ��� ������� � ��� �! �� ����� ��� ������� �������� ���������� ���(������

�����

�F

��

���0�� �1

���

�H � K��0�� �1

���

��

� 0���0�� �1 H � K��0�� �110#1

����

��0�� �1 F

����

�0�� �1� K��0�� �1 F

����

K �0�� �1� 0$1

2��� �������� ��� �� ��������� ������� ����� ��� ����������! ����� ������� ��(�� '�� ����> �����������

�� �5� ����� ����� �� ��� ��� ���������� ������! ��� ����( �������� �� �������� ������� ���� �� ����� ���� ������ �������� 2������! �� ������ ��� ��������� ������������� ��� �����������! �� ������� ��� ����( ������ ���� �� ��� �������� �� ������������� , ������ ����( �������� �������� �� ������� ��� ����� ��� �������� ��� �� ����������! ��� ������� ��� ��� �������� �������� �� ��� B������ ��� ��� B������� ����� ��(�! ������������

2� ������ ��� B������L��� ���������! �� ������� ��� ����� �������� 0���� ��

�1 �� ������� ������ ���(�� 2���! ��� B��� ��������� �� ��� ��� ������ ���( �� ��'��� ��

��0��� ��

1� F�

0�� � ���1� H 0�� � ���1

�� 0=1

�� ��� B��� ��������� ��0��� ��

1� �� ��� ���(�� ��(� �� ���� ���� ��� B��� �����������0�� �1� �� ��� ����� ��(�! ��� B������ �������� �� ��������� -��������! �� ���B��� ��������� ��0��� �

1� �� ��� ���(�� ��(� �� ������! ��� B������� �������� ����������� 3�����! �� �� ������� ������ B������L��� ���������! ����� ����(� ��� �����2� ������ ���� �����! �� ��������� � ����������� ������ ��������� �� ��� ����(������� <����'�����! �� ����� ��� ������B����� ����� ��� +������� ������ ������'��� �� ����� �� C���� ;� �� ���� ����! �� ���

I��0��

� ��

1 F����

�����

�0�1��0��

� ��

1 0 1

���� ��� +������� (���� �� �01 F �;�" � ��" � ;�" � ��" � ;�" �� �� ���� ���! ����� ��������� ��� ����( ������ ��� �������

5� ��#��$������ ,� ����� �� C���� #! �� ��������� ���� ������������ M.�������D!M-����D ��� M*����� @�����D �� ���� �� ��� �������� �������

Page 8: TOUCHLESS USER INTERFACE BASED ON MARKER

��� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

5�6 5�6 5�6

� ��� $� ,����������� �� ��� ������� ��� ���������� ������N 0�1M.�������D! 01 M-����D ��� 0�1 M*����� @�����D

� ��� %� M.�������D ����������� ��� ��� ����

5� � �$�����% $��#��$����� .������� ������������ �� ���� �������� � (����� ������������ � ����������� ��� ���������! ����� �� �� ��� �� ������ ������ ����� ����������� ����� ���������� O� ��� ������! ���������� ��� ��������� ��� ��� ������� ��������� ������ �������� ������������ �4��������� 3�����! ������ ���������� �����������6��� ��� ������ ������ �>������� ����� ����� ������! ��� ������� ������ �6�������� � �����! ����� ���� ����� ������ �� �6������ ����� �� ���� ����! ��� ������������� ��� � �������� �� ������� ����� ������ ������� �6����� ���������� �������

8� ��������� ��� M.�������D �����������! ����� ����� ������ ��������� ���� � ����N�������� � ���� �� ��� ���� ���������! ������ ��� ������ �� ��� ���� ���������! ���������� ������ '��� �� ��� ���� ���������! �� ����� �� C���� $� , ��� ��� ��� ����� ������� � '��� �� ���� �� ��� ������ , ������ ���� ������ ���� ��� ��� ����� �����(� �� ��� ����� 2�� ��� ������� �������� ��������� ���� ���� ����� �� ��������!�� ������ ������ �������! ���� �� ������ �� � ���( ��(�����! � ����� �����! �� ����� ������ 2������! �� ��� �4� ��� ��� �>��������! ���� �� ������ ������������ ����� ����������! ����! ������ � ����� ���� ��� � ����� �� ��� ���� ��� �� �������! ������ � ��������! ��� ��(��� � ���� �� � ���! �� ����� �� C���� =� ������!��� M.�������D ����������� ��� � �������B�� �� ��� ������� �������� ������� ������

5��� �$" �$ $��#��$����� O� M-����D ����������� ������� ������ ������������� ����(��� � ������! ��������� � ����� ��������! ��� ������ � �������� �� �����! ������� �� C���� � , ��� ��� ��(� � ������! ���� ��� ����� ���� �� ��������� 2������������� ���� ������� ��� ��������� �� ���D� ���������� �� � ������� ������� 2����

Page 9: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ ��#

� ��� &� ������ � ���� �� � ��� �� ��� M.�������D �����������

� ��� '� M-����D ������������ ��� ��� ����

� ��� �(� M*����� @�����D �����������

��������� ��� � ������ �� ������ ��� ���������! �����! � �������� �� � ��� ������� �������! ��� �������� �� ������� �� ��� ������� ��B� ��� ��� � ����� ���������

5�5� &����$# ' !�$� $��#��$����� , ���� �������� �� � ����� ����� �� �� ���� ����������� 2�� M*����� @�����D ����������� �� ����������� �� ������ ������� � ���������������! ���� � ������ (����� �� ��� ������ , ��� ��� ������ ��� ���������� (������ � ��������� ������ (����� �� ����� �� C���� ��

"� "�# " ��$���� (�� ��)�# � *�� �� 2� ��������� ��� ������� ��� ���������������� ��� ��� ������������ �� ��� 8������ ����� �������! �� ��� ��� ������� ����������N ��������� ������ -HH ��� ������� -�� /�������� ������ -HH ����� ��������� �������� ���� ������� ����� ������������ O� ��� ���� ����! ������� -� ������� ��������� � � ?����������� �������! ����� ������� ��� ����� ���� ������ ������� ��� -����� E������� ������� 0-E�1 ��� ���� �>������ ��� ������ 2������! �������� ����� �� ����� ���� ��������� ������ ������ 3�����! ������� ����� �������� �?��� ������� ����� ��� ������ ���������! ���� �� ����� ���������� �� �������������� �����������

�� ���� ��(! �� ��������� ��� ����� ������ ������ ��� ��� ������ ������ ����������� ������ ����� �� ������ � ����� ����� ��������� O� ��� ������! �� ���������� ��� ��������� �� ��� M.�������D! M-����D ��� M*����� @�����D ������������! ��

Page 10: TOUCHLESS USER INTERFACE BASED ON MARKER

�!$ ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

Applications(UI)

.Net Compact Framework

Camera capture

Control system

Cameramodule

Directshow

Unmanaged codeManaged Code

C# code C++ code

C++ code

� ��� ��� <������ ���������� �� ��� ������� ��� ���������� ������

������� �����! ����� �� ����� �� �������� 8� ������ ��� ������ ����� ��� �)92������( %� & �� ������� ��� �������������� ������ ��� ��������� ������ -HH �������� ��� ������� -� �����! �� ����� �� C���� �

;� �$�� ��#��� 8� �������� ��� ��������� �� ��� ������� ��� ���������� ������!����� �� ����������� �� ��� �������N ��� .- ������ ��� ��� ����� ������� �� ���������� ���� .-�! ����� ������� ���� ������� ������ �������� �� ��������! � ������� � ����� ������ �� ��� �������� '>��� 2�� ���������� ����� ������ ��� .- ��������� ��� ����� ������ ������ ��� ��J����� �� ��� ���������� �� ����� ��������

8� ������� ��� �>�������� �� ��� .- ������ ����� � ������� ���� � .������ �*��"+3B ������� ��� �+A �,�� 2�� ����� ������ �� ����������� �� � +<�L3<�.,�����! ����� ��� � �<�$�� , ;�=�3P �������! �;#�A �,�! � 5�� ���� ���� ����������� �"�� "�� ��>���! ��� � ; ���� ��>�� ������ ��� �������� ������ �� ��� 8����������� #�;� 2�� ������� ������ �� ����������� �� -HH ���� �� ��� .- ������! �� -��� ���� ���� �� ��� ����� ������ �� ������� �� <������ "� 2�� ����� ���� ��B� �� 7*+,05����"�1 �� ��� .- ��� ����� �������� 2�� ���� ��� �� '>�� �� 5� �����L�! ������� ����� �������� �������������

;� � ������# � �(��"$�� �� 8� ������ ��� ������ ��������� �� ��� ������� ������� ���� ���� �� ��� ������������ ������ % &� 2�� ������������ ������ ������� �������������� ���� �� ��� �(�� ����� 8� �������� ��� ���������� ������� ����� ��� M*������ @�����D ��� M.�������D ������������� 8� ���� �������� ��� ��������� ���� �����4���� �������� ����������! ����� ���������� ������� �� ��J������ � ��� ������������������ �����'������� O�� �� ��� ���� ��������� �� C���� �0�1 ���� �� �>����� ����������! ��� ��� ���� �� ��� ��( ��������� �� C���� �0�1 ������� ��� ����� ������ ,���>�������� �� ������� 5� ����� ��� ��� ������ ������� �� �������

2��� ������� ��� ���������� ������� ���� �� ��� M*����� @�����D �����������!����� ��������� ��� ������ ������� ��� ���� ������� � ����� ���� 5� ������ 2��������� ������ ������� ���� ������� ���� ���� ��� ������������ ������ �� ��� .-��� ����� �������� ,���! ����� ��� ����� ������ ��� ������� ������! ��� ����������� ������ �� ���� �� ��� .- �������

2��� � ������� ��� ��� ���� �6��� �� 0��<91 ���������! ����� ���������� �� ���� �� ������ ��� ������ 0,! A! -! ��� � ������> ���� ������1 �� ���M.�������D ������������ 2�� ��<9 ��������� �� �������� � ��� �6��� ��� �� ��������� �6��� �������� ������ ������� ��� �������� ������ 2�� ������� ������������� ���� ��<9 ��������� ���� ��� ������������ ������� 2��� �� ������ ���

Page 11: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ �!�

)�*�� �� -�������� �� ���������� ������� ���� �� ��� M*����� @�����D������������ �� ���� ����! ��� ���� ���� ������� ��� ���� �� ������������ �� 5� �����! ��� ��� ���� ���� �� ��� ����������� ������� ����

2���� -��������� -����������� ������ .������ ,�������% &

.- A���� �$ ����Q � #�#$Q��( �; =5�55Q �= 5�55Q

����� A���� �; =5�55Q �= 5�55Q��( �� $5�55Q �$ ����Q

5�6

5�6

5�6

5.6

� ��� � � -����� ��������� ����� �� ��� �������� ����������� �� ���.- ������N 0�1 ��� ������������ ������ �� ��� ���� ���������! 01 ���������� �������� �� ��� ���� ���������! 0�1 ��� ������������ ������ ����� ��( ���������! ��� 0�1 ��� ������� �������� �� ��� ��( ����������

������������ ������ ������ ��������� �� �?���� ���� ������ �����! �� ����� �� C������ � ��� 5� �� ��������! ������ ��� ������������ ������ �� ���������� ��J������ ���( �����������! ��� ������� ������ ������ ���������� ��� ������ ��<9 ����������� ��� ���� ��� ��( ����������� ,���! ���� ���� �� ��� ��� ������� ������ ��� ��������������� ������! ��� .- ������ �������� ���� ������� ���� ��� ����� ������!����� ��� ����� ������ ��� ������� ������� C����� � ��� 5 ���� �>����� �������� ��� .- ������ ��� ��� ����� ������! ������������ 8� ��� ���� ��� ������� ������������� ��� ������� ������ ��� ������� ���� ��������� ���� ��� ������������������ �� ��� ���� ��� ��( �����������

Page 12: TOUCHLESS USER INTERFACE BASED ON MARKER

�!� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

)�*�� � -�������� �� ��<9 ���������� �� ��� ������� ������ ������ ������������ ������ % & �� ��� M.�������D �����������

2��� -�������� ,�������

<����

, A --�����>

,���������

������

.-

A����

-�����������;��$ ;�#$ ;�5 #� = ;�#

������.������

5�#; 5�"5 ��5; 5�"# 5�����������

��(

-�����������#� � $�� $� � =�;$ $�#�

������.������

"�� 5�== �� $ 5� 5 5�$$��������

�����

A����

-�����������;�$; ;�$� ;�= #��$ ;�=5

������.������

5�= 5�$ �� " "�5" 5�$���������

��(

-�����������=�$" $� � =� =�$ =�5

������.������

"��5 "��5 5�� "�=" "� 5��������

;��� ��"���$����$# ��"�# +��!� 2�� ������������� ������>��� �� ��� ������� ����������� ������ �� ��� ������ �� � ���� �� ����� �������� �� ������� �� 5� �����L� ����������� �������� ���������� -��������! ��� ������������ ������ �������� $ �����L�����! ����� �� �6���� ����� ������������ �� ��4�������� ������ �������� �(��� �������?�����

2���� ���������� ������ �������� ���� ��� ������� ������ ������� ���� ������ ���������� ���� ��� ������������ ������! ������ �6����� ���� ������������� ������>����

#� ����#������� 8� ������� �� ������ ��������� ��� ���������� ������ �� �������������������� �� ����� �������� 2�� ������� ������ ��� �������� ������ ���������� ���������� �� ������ ����������� � ��������� ��� ���(��� � ��(� ���� �� ��� ��������������� ���������� ��������� �� ��� ����� ���� ��� ������� ������ ��� ������ ������� ������������! ��������� ��� M.�������D! M-����D ��� M*����� @�����D� 2�� ������������� �� ������� �� ����� �������! ����� �� ��� ������� �������� ��������� ������� ��������� ���������� 6������� 2������! ��� ������� ��� ���������� ������ ��� �������������������� ��� ���������� ���������� ��� �4� ����� ��� �>��������� <��������������� ����������� ���� ��� ������� �������� ������� ���� ������ ������������� ��� ������������ ������ % &! ������ �6����� ���� ������������� ������>����

�'��,# �%" ��� 2��� ��( ��� �������� � ��� )������� ������� C��������� ��@��� 0)�C1 ���� ������ � ��� @��� ��������� 0�9<21 0)�� �� ��� �5 1! �������� � A���� <������ ������� .���� ������ ��� )������� ������� C��������� ��@��� 0)�C1 ������ � ��� ������� �� 9��������! <������ ��� 2��������� 0)�� �� ������ #1� 2�� ������ ���� ��������� ����( *������ A�������( ��� 2�� 3��� @�� ����� ����� 3������� �R� -����! E+ 9��������� �� ���� ��������� ���������

Page 13: TOUCHLESS USER INTERFACE BASED ON MARKER

�������� ��� ��������� ��� ��������� ������ ������������ �!�

5�6

5�6

5�6

5.6

� ��� �!� -����� ��������� ���� �� ��� �������� ����������� �� �������� ������N 0�1 ��� ������������ ������ �� ��� ���� ���������! 01 ���������� �������� �� ��� ���� ���������! 0�1 ��� ������������ ������ ����� ��( ���������! ��� 0�1 ��� ������� �������� �� ��� ��( ����������

����������

7�8 ����������� 3������������� "���� #�������� ��� ����������� +������ ,-.-� 2���#�� � � +7�8 3+ ��9��� !+ 4�� ��. 3+ &'������0:��� 3�� $���� � ��� ��� �� ���� ��9���$ ��$������ �)))

�������� /������� ��� ������������ #+ ��� �+�� 99+)����� � �+7�8 ;+ 4+ 0���$ ��. <+ <+ 3���$�� & ���� .�#��� �$�� ��������� -��� � $��9�� ��$$�� .�$� �� �)))

������ �������� )�������� #+%�� �+�� 99+��%����%�� � �+7�8 �3"�3 �+�(�� ����������� �� 0������ 1������ ��� +����� �� ��������� ��� 2���� 0� ���� ����

��� 3� 4��� ��� /������ ������ �� � �������� 5������� � �+7%8 <+ �$���9�:�� 0+ 0��� ��. =+ ���'�� 0������ �� $9��'�����.�9��.��� #��� �$�� ��������� ��

���� .�#���$� &���� �� �))) ���++&� � (+7(8 �+ �������� ��. ;+ 0������������ 0�$�� ����� �$ �� ��9�� �������$�� &���� �� ��# +���� 4���

��������� +������� ��� ���������� � �+

Page 14: TOUCHLESS USER INTERFACE BASED ON MARKER

�! ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���

7)8 <+ ;�'���� 3���� 9������$ �� $�� $����� ���������$� &���� �� ��# +���� 4��� ���������

+������� ��� ���������� 99+�()��(�� ���(+7�8 <+ >��' ��. >+�<+ ?��� & $�@����������� ��� ����� �99��� $���� ������� �� �$�� ����������

�))) ������ �������� )�������� #+%�� �+�� 99+)���)�(� � �+7�8 �+ A/���$ ��. >+ !+ 1-� ���� .�������B & $��#��� �������� '����� ��� ����� 4�������������

#+��� �+�� 99+��(��)�� � �+7� 8 <+ >���. ��. <+ �+ 0�$�� & ��9�����#� �$$�$$���� � ����� �99�����$ � 9�C���#� �����

$'���.�������� &���� �� �))) ��&6� 99+� %(�� %�� � +7��8 3+ �+ ������� �+ D+ =������� � ��. D+ &+ �+ >����� 4��������� �#������ � $�� � ��. ����9��

2��$$��� �.�$ �� $'�� �� �.��� � &���� �� 7' 3��"���� +���� �������� /������� ��� �����

&���������� � �+7��8 4+ !�'������ �+ 0�'� �����$ ��. �+ >����'�$� & $��#�� � $'����� �.��� ��. .�������

����.$� &������ 6����������� #+� � �+�� 99+�� (������ � )+7��8 D+ ��������� �+ ;���$� ��. 4+ 0���� !�������$�. �/��� ����'�� � �))) ������ &������ ����

#���� ������ #+�%� �+%� 99+%(��%))� � �+7��8 �+ E��� &+ !�� �� ��. �+ ;��.� 3�� �� ����'�� �$�� �����$���� ��. ��� $��������� &���� �� �)))

��&6� � �+7�%8 0+ ;�$� ;���-�. ���������� -��� ������ 9���$� &���� �� ���� +���� 4��8������ ���������

+������� � �+7�(8 <+ A����'$��� 4+ ��� � ��. <+ A��''��� & #�$�����$�. �99���� �� ������ �$�� ���������$ �

���� .�#���$� &���� �� �))) �'&6� � %+7�)8 �+ &+ D��� ��. �+ 0+ &������ 0��� .������� �$ ���������� ������@�� �� ���$ F �99������$ �

���� .�#���$� &���� �� &�� ��� � #���� ����������� 0� ���� 9������� �� &�� ��� � ������������ %+

7��8 &+ >���� E+ ��9� � ��. 3+ ��9��� & ���� ����'�� � ����� �� �$�� ���������� �� ���� .�#���$�&���� �� ���� ����� �����9����� � �+

7��8 =+ 2�� �+ 0+ &���� � ��. <+ �+ D�#�$� & ���������$�. 9����� ��������� �� ���� .�#���$� &������ �))) ���&� � �+

7� 8 <+ 4+ 1�-�$� ��$� �����G�. ��$$���������� '����� ���������� 99+�� ����� ���%+7��8 D+�0+ 3$�� ��. �+�3+ 1��� ��$� �����G�. ��$$ �������� �� .����� .�������� &������ 6����������

1������� #+��� �+�%� 99+�(�%��(��� � �+7��8 �+�1+ <�� ��. �+��+ !��� ��� � ����������� �$�� $���. ��$� ��� $9���H����� ��. 4=�� 9$��

9���$$�� � &���� �� �))) ���&� 99+%�%�%��� � )+7��8 �+ ;+ ���������� ��. >+ !+ ?�� "$�� ���������$ �� ���� ������� �))) ��������� 99+�%��)� � (+7��8 ;+ �+ 2�G��G ��. ;+ �+ I.$� 0����� ����� &���������� ��. �.����� 4������� A�� � �+7�%8 D+ 2+ 1-�� =�/��� ��� ����� ��� �� $������#������ �������$� &���� �� �))) �'&6� 99+��% �

��%)� ����+7�(8 A+ >��� &+ �$$� 3+ 3�������$ ��. 1+ ��� 2� �";�B �9��.�. �9 ���$� �������$� �������� '�����

��� ����� 4������������� #+�� � �+�� 99+��(��%�� � �+7�)8 3+ !������ 3�� .�#�� ���� ��. >������������ .�$����� ���$���$ �� $� �� $������� �))) ������

����� ���������� #+�%� �+�� 99+%��( � ��()+7��8 0+ ������ ���� ���������� 3�� I������F3 �����$ �� ��� �� ������� ��. 3���� �� � )+7��8 �+ !�$�#��� D+ 0����$� ��. &+ ������� &� #��#��- � ���� �.J������ �. �.� �����9������

���� #�������� 0� ����� 5������ 1������� � �+