touchless user interface based on marker
TRANSCRIPT
������������ ����� �� ���� ��� ����������� ����������� ��� ������ ���� ����������� ��� �� ���� ������������� �� ������ �� �������� ���� ��� �������
��������� ��� ���� �� � ��� �� � �� ��������
�� � ���� �� � ����� ����� ���� ����
�������� ���� � ����� ��������� �������� ����
�������� � � ������� ��� ������� � ��
���� � �������� �� ������� !��� "��#��$���
��%� &������ ��� ��'� �� ��� ��(�) �� !������ *'���+��+'�, -./�� *��+'���+��+'�, �$'��+����+� * ���+��
�0��� �����������$12 ��������$���� !���
��'��+�'����#* �+��, /������* ���+��
�������� ������ �� � ������ ��� �� �
��������� � �������� ���� ����������� ������ ����� �� ������ ��������� ��� ��������
�� �������� ��� �������� ����� ������������ ��� �������� �������� ��� ������� �����
���� ������ ������ ����������� ���� � ������ �� � ����� �� ���� ����� ����� ��� ������
�������� ��������� ��� �� �� ������ �� ������ �� ��������� ����������� !����� �� ���
���� � �������������� ������ ����� �� ��� ������"�� ���������� ��������� ����� ��
����� ��� ������ ������ �� �������� ��� �������� �� ������ ���������� ��������� #���
�����$���� ��� �������� �������� �� ������ ���������� �������� ���������� � ���������
����� �� ����� �� ����� ��� ��������� ���� ��� ��������� �� ��� ������ ������ �� ���� ������
������� ������ �� ���������� ��� ���������� �� ���� ������� ��� ����������� ���������
������ ������ ��� �� � ����� ��� ����������� �� ��� �������� ����������� ������� ��
�������� %&��������� %������� ��� %'����� (������ ������������ )*��������� ������
����������� ���� ��� �������� �������� ��� ���� ������ ����������� ����������� ���� ���
��� ������� ������� ���� ��������� ���� ������������ �����*��� ��� ���� ��������
��� �������� ���� ������������
����� � "$�� ����������� 0��� �$�� ���������� 3����$$ �$�� ���������� �����$���#������ ����'�� � 4������ ����$�$
� ������������ ����� ������� ���� ������� ��� ������ ������ ���� ������� ����������� ������ ��� ������ ���� ����� �������� �� ����� ��� ���������� ��������������� ��� ! "�# ������ ������ ���� ����� ������! ����������� �� #$ ������ �� ��� ��������������� % &� ����� ������ ���� � �����'���� ��� �� ��� ����� ���������! �� ����������� ��� ������ �� �����! ��(� ����������! ���� �����! ����� ������� ����� ��������!��� ������ ������� ��������� ������� %�&� )�������! ���� ����� ������ ������� ������� *+, ��������! ��������� ������� ������! ��� ���������(���� -./� ���� ���������������� ��������� ����� 0+./�1 �� ������ ����� ������������� 2���� ���������� ������� ����� ������ �� ����� ������������� ��������� ������� 3�����! ������ ������������� ��� ��������� �� ������ ������������ �� ����� ������ ��� ������� 2�� �������� ��� ��������� �����'������ �4���� ��� �������� �� ����� ������ %5&�
2��������� ��� ���������� ������� �� ����� ������ ���� ��� ��������� � " � 5��������� (������ ���� ����� ������� %"&� 2��� ������ ��� ��������� ��� ���������� ��(��� � ����� ���� ��� ������� � �������� 3�����! ��� (����� �������� ��� ����������� ���� �� ������������ �6���� �������� ������ �� � ������ ���(� 2����� ���
���
��� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
789�2: (����� ��� ��� �������� �� ������ �������� ������! �� �� ���������� ���������� ����������! ���� �� ������ � ����� *���� ���������� %;& ���� ��� ��� ���� ��������� � ������ ��������! ������� �� ������ (�� ������ �� �������� ��� ���(� 3�����!����� ���������� �� ����������� �� ������ �������� �������� 6���(�� ��� �� ��� ������������� <��������� ����������! ����� ������� ��� �������! ����! � ������ �� � ������!��� ��� ���� %#! $! =&� 2����� ���� ���������� ������ �� ������� �� �����'� ���(�! ����!�������� ��������! �� ������ ������ ������ ����������� 2��������� ��� ��������� ������� ��������� �� ������ ��� ������ ����������� , ��� ��� ������ ���������������'����(� � �������� � ������ 3�����! ����� ���������� ��������� �6��� ���������������� �� ����� ������! ���� ������� ������� ����� ��� �� ��� ������� �� ������������ ������� ������! ���� �� ������� �� ���� ����������! �� �>�����! ���� '������ ��� � ���� ��� �������
-������ ������ ������6��� ���� ��� ���� �� ���������� ��� ��������� �� �������� ��� ���� ��������� ������ ��� ������ ���� ���� ����� ��� �>�������� % ! �! ! �! 5! "&� 2� ��6��� ������ ���������� �� ���������� ��� ���������! ������������� ������� % ! �! ! �& ��� �?��� ���(��� ������� % 5! "& ��� � ����� 9����������! �� % ;! #! $! =! &! ���������� ��������� ���� ��� ������� �� ������������ �� % ;&! � ����������� ������ ��� ���� �� ������ ��� ���������� ��� ��������� � ������� �� % #&! � ��� ���������� ������ ����� ��� @����� '��� ���(��� ��� ���������� 3�����! ����� ������� �6��� ��� ���� ������>��� �� � �������� �� ��������������������� �� % $&! �� ��� ,��� ��������� � ��� ������>��� ������ ���� �� �������������� 3�����! �� ������ ��������� ������ ���� ������ ������� ��������� ��>��� ����� �� ������� ���� ������ ������� ����������� A���� �� ��� % =& ������� �� ����������� ������ ���� �� ���� ���(���� +���� �� ��� % & ������� � '��� ���(��� ������!����� ��������� ��� �������� �� ��� �� ���������� �� ������ ��� ���������� 2������������� % =! & ������ �������� ��� ����������! �� ���� ������ ���� ���� �� ����� ������ �?��� ���� � ������ �(�� ���� �� � ������
�� ���� ����! �� ������� � ��������� ��� ���������� ������ ���� �� ��(� ���������� ��� ���(��� �� �������� ������������ �� ����� ������� 2� ������ ����� ����������� ������� ������ ������� �� ������ ������������ ����������! �� '�� ������ �������'��� ��(� ������� 2���! �� ������ ��� ������ ���� �� ��� ������B�� ���������� �������� %��! � &! ��� ���( �� ����� ��� ������� ������� �������� ������������������ �� �>���� ������ ���������� ���� ������ ������� ��� ����� �����������<����'�����! �� ������� ������ ���(��� ���� ������ ������������ ��� �>����� �����������! ��� ������� �������� ���������� �������� '�� �������� � ��������� ���� �������� ����� �������� �����'������ %��&! �� ���� ��� �������� �� ������� �� ��� ���������� ��� ����� ����� 2���! �� ���( ������ ���� ������ � �������� ��� ������������ ��� ������� ��� ��������� ��������� ������ 2�� �������� ��(� ������ �� �������� �� ������ ������������� 9>������� ���������� ������ ���������� ��� ������� ������������� ������ ��� � �������� �� ������ ������������ ���������
2�� ������� �� ��� ���� �� �����B�� �� �������� <������ � ������� ��� ������������� �� ��� ������� ���������� ������ ��� �>������ ��� ��(� ��������� ��� ���������� �������� ���������� ���(��� ������6���� <������� 5 ��� " ������ ��������������� �������������� ������ �� ��� ������� ������! ������������ <������ ; ��������� ������������ �� ��� ������� ������� C������! <������ # ��������� ��� �����
�� ������ � �!�� "� C���� ����� ��� ���������� �� ��� ������� ��� ����������� ������! ����� ���� ����� ���������� ��� � ����� �� ��� ������ 2�� ������������� �6���� �� ���������� �������! ����� ���� �� ��� �����! �� �� �� ��������� ����� ������ �� ����D �6����� ����� �� ���� ��(! ��� ���������� �� ������� �
�������� ��� ��������� ��� ��������� ������ ������������ ���
Activation
Control Event
Inp
ut
Nod
e
Camera Module
DSP Chip
Memory
Raw Frames
Applications
Ou
tpu
t N
ode
Display Module
Detectionand
Tracking
Con
trol
Sys
tem
nod
e
Use
r In
terf
ace
Nod
e
Post-Processed Frames
ControlInformation
� ��� �� 2�� ������ ���������� �� ��� ������� ��� ���������� ������
���������� ��� ����������! ����� ������ ��� ������ �� �������� ��� ����� ����� 3������! ��� ������� ������ ��� � ��������� � ��� ��� ���������� ������6���! ���� ������� �����������
8��� ��� ������ �� ���������! ��� ����� ������ ������� � ����� �� ������� �������� 2�� ����� ������ ���� �������� ��� �� ����� ����� � �<. ���� �� ��?������� 6��������� 2���! ��� ������������� ����� �� ����� �� ��� ����� �4�� A���������� ��� ���(��� ��� ��(� �� ��� �����! ��� ������ ������ ���� �����B�� �������2��� ���������� �� ���� �������� �� ��� ��� �������� ����� C������! ������������ ���� ���������� ,� ��� ���� ����! ��� ������� ����� ��� ����������� ���� �� ���� ������� ��� ������� �������
�� � ������# �!�� " ��� � 8��� ��������� ��� ���������� ������� �� ����� �������!������ ���������� ������ � ��(�� ���� ������� %�5&� ��?� ���������� �� ������ ��������� �������! ��������� ��� -./ ���� ��� ����� ������ ������! ����� ����������� �������������� ����������! ����� ����� ����� ��� ����� ������ ���� ������������ �������������! ���� �� �������� ������! ���� ��� �������� �� ���� ��(! ��������� ������ ���� ��� ��� ��������� ������ ��� ��� ���(��� ������! ����� �����B������ ����� ��� ��� ����� �� ������ ������������ 2������! �� ���� ���� ���������������� ���������� ��� ��� �������������� �����������
2� ������� ����� ����������! �� ��� � ����������� ��(�! ����� �� ����� �� C����� �� ,������� ��� ������� ������ ��� � �����B�� ���� ��� ��(�! � ��(� ����������������� �������! ���� �� �� �����! ��� ���� �� ��� ��������� � �6��� ���������� ������>���� 2������! �� �����B� ��� ��(� �� C���� � �� ���� ��(! ����� �������������� ���� ��� ���� ��������
�� � � ��������� ����� E�� � � ��� ��(� �����! ����� �� ����������� �� ������� C���� �� E�� � � �� ����� �����! ������� � ��� ������ E�� �0�� �1 ��� �0�� �1
�� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
� ��� � , ������'��� ��(� ������ ��� ��� ���B����� ��� �������������� ����������
5�6 5�6
� ��� !� 0�1 ,� ����� ����� ��� 01 ��� ������B�� ��������� �������� ���
������ ��� ������ �� ��>��� �� �������� 0�� �1 �� ��� ������ � ��� � ! ������������ �� ������������ ������! �� ������ ��� ��(� �� ��� ����� ����� �� 2�� �������� ��� �>��������������� �� ��� ����� ��� ������ �� ����� ������������ 2������! �� ������ ����������� ���( �� �! ����� �� ���� ������ �� ��� ��(� ����� � ! � ��������� ��� �������B�� ��������� �������� %��! � &! �� ���������� �� C���� 5� 8� ��� ������ ����������� ��� �� ��4���� �������� ��� �>����� ���������� ���� �� ��� ������B������ 2��������B�� ��������� �������� �� ��'��� ��
�0�� �1 F
������
�G�0��� ��1G�0�H ��� � H ��1
���
�����
�G�0��� ��1
��������
�G�0� H ��� � H ��1
�� 0 1
���� G�0��� ��1 F �0��� ��1 � I� ! G�0� H ��� � H ��1 F �0� H ��� � H ��1 � I�! I� �� ��������� ����� �� �0��� ��1! ��� I� �� ��� ������ ����� �� �0�H��� �H��1! ������������ 2��������B�� ��������� �������� �0�� �1 ����� ��� � �� � �� ��� ����� ����� �! ������� ��� ��� �������� ���( ���� ��� ������ ��������� �� ��� �������� �� ���� ����� ���������� ��������! �� ��� ��� ��� ��������� �� ��� ��>� ����� 2��� �������������� �� '�� ��� ���( ���� � �������� ���� ���� ��� ���������
�� ��� ������� ���� ���� �� ��� �������� ��������� ���������� ���������� 2�� ���������� ������ ������� ��� ��� �������� ���( �� �� 3�����! ��� ��������� �6������������� ���� ������>��� �� ����� ��� ��(� ��� ��� ����� ����� <���� ����� �������� ���� ��� ������������� ����������! �� �� �������� �� ������B� ��� ������>��� ����� �������� �� �������� ���������� ,���! ��� �� ��� �������������� ����������! ������������ �������������� �������� ����� ����� �� ������� ������� ���(��� ���� ��������� ��>��� �>���� ��4���� ����������� ��� �� ������ ������� ����������� ������! �������� �������� ������ ��� ����� ��� ��� ��(� ������� ��6������! �� ������ ��������� ��(� ������ �������� �� ��� ����� ������ �� ��� ��(�� 2� ���� ���! �� ������� ��� ������� �������� ���������� ��������! ����� �� ���� �� ��� ���������� �������6�� % 5! "& ��� ��� ����� �������� �����'������ %��&� C���� " ����� ��� J�������� ��� ������� ������� �������� ���������� ���������
�������� ��� ��������� ��� ��������� ������ ������������ ���
� ��� "� 2�� J������ �� ��� ���(��� ������
8� ������ ��� ���������� ������6��! ����� �� � ������ ��� ������ ������� �� �������� �?��� ���(���� 3�����! ��� ������������ ���������� ���(��� �� ��� ���� ���������� ����� ������ �� ��� ��(� �� ���� �� ������ ������� ����������� 2������! ��'�� ������� ���� ��������� ���� �� ���������� �� ��� ������� ��������� ���� ����� ����� �������� �����'������! ����� �� ������� �� �� ��������� ��( %��&� ,�������� �������� ��� �������� ���������� �� ��>��� �� �� �����! ��� �� �� ���������� �� ������� ����� ������������� %�"&� <���� ��������� ����� �� � ������� ������� ������ ��������! ���� ��������� ������ � ������ �� ���� ����� E�� ���� ����� ������ ��� ������� ����� �������! ���������� ��>�� ������ �� ��� ����� �������� ��� ��� ��������� ���� ��! ������������ ,���! ��� �����
0���1 ��� ���0�1 ������ ���
�������� ���������� ��������� �� ��� ����� ���� ���� ��� ��� ��������� ���� ���2���! ��� ���������� ���������� ��������� 0-�CD�1 ����
��� ���� ��'��� ��
����0���1 F . ����� � ���� F
��������
�����0�1 0�1
��0�1 F . ��� � �� F
������
���0�1
2�� -�C ������ ����0���1 ��� ��
0�1 ������� ��� ��(� �� ��>��� ���� ���� ��������� ��� �! �����������! �� ��� ��������� ������ A���� �� ��� -�CD�! �� ���������� ���� ������ �� ��� ��������� ���� �� �� ����� ��� -�C �� ��� ����� ���� �����
3�����! �� ��� ����� �������� �� ��� �������� ���� �������� ��>��� �� � ��������� ������ ���� ���� ��� ���� -�C ������ 2� ������ ��� ��������! �� ������ ��� �������������� %��& � ��������� ��� ������(��� ��� ���� �� ��� ������ ������ �� ������������ ��>���� /���� ��� ����� ���������! �� ����� ��� ��������� ������! ����������� ��� �������� ����
0���1 �� ��� ����� ���� ���� �� ��� �������� ��0�1 ��
��! ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
��� ��������� ���� ��� 2���! �� ��6��� ��� ��������� ��������� ���� K�� ����� �������������� �������
9��� ���� �� ������� ��� �4��� �� ������ ������� ����������! ���� �� ����� � �������� �� ��� ����� ������� �� ��� ��(�� 2�� �������� ������ ��� ����� ��� ��� ��(�������� �� ����� ������������ 2������! ��� ���(��� ������ ������ ������ ��� ������������ �� ��� ��(� ��� ���( ��� ��(� ������ �������� �� ��� ����� ��������,������� ��� �������������� ������ ������� 0<�C21 %�;& � ��� ������� �� ���� �������� 0</�C1 %�#& ��� � ���� �� ������� ��� ����� ���������! ���� �� ������������������ ��������� �� ����� ������������� �������! �� �>���� ����������� ������� ��� �����(� ��� ���( ���� ����� ����������
E�� � ������ ��� ���� �������� �� ��� �������� ���( ��! ����� ��� ����� �� ������������ ������! ��� �� ������ ��� �������� ����� �� ����� �� <�������! ��� ��� K ������ ��� ���� ��������� �� ��� ��������� ���( � �� ��� ������� ��������� ���� ����� ��� ��������� ���( K� �� ��� ��������� ��������� ���� K��! ������������ E�� ���� K � ������ ��� ����������� �������� ������ �� ����� ��
C���! �� �>���� ������ ���� ������ �� ��� �������� ���( ��� 8� ����� ��� ������������ '��� �� ��� 2�� ������� ��������� ����� �� ����� �
����� F�
0�� � ��1� H 0�� � ��1� 051
���� �� ��� �� �� ��� <��� ���(� �� ��� ���B����� ��� ������� ���������� 2���! �������� ��� ���� ������ ���� ��� ������ ��������� ,���� ���� �������� �����! �� ��� ��������� ���( ���! � F � �� 5! ����� �� �������� � � ������ �������� �� ��� ���� �������� C���� �� 9��� ������ ���( �� ���� ���(�� ��������� � ��� ���������� ���(������������
E�� 0�� �1 ��� K 0�� �1 � ��� ��������� �� ��� ��������� ���(� �� ��� ��� ���������� 0�� �1 �� ��� ������� ��������� ���� �� ��� ��� ��������� ��������� ����K��! ������������ C� �>�����! �� ���� �� 0�� �1! �� ���������� ���( ��� ��(� ��� '����� ��� �������� 0�� �1 ���� ��>���B�� ��� ��������� ������ ��� ����� �������� � ����� ������ ���( ��� ��� ��� ��������� �������� 0�� �1� 2�� ��������� ������ ������ ��������� �� ������� � ��� A����������� �������� %�$&
�0�� �1 F
�����
� �0�� �1��� 0"1
���� � �� ��� ���� �� �������� ���! ����� �� ��� �� �;; �� ���� ��(�+���� ��� �������� 0�� �1 �� ��� ��(� �� ��� ����� ����! �� ���( ��� ��������
0��� ��
1 �� ��� ��������� ���� �� ��� ��� ��������� ��������� ���� K��! �����������!�� ���� ��� A����������� ��������� �� ��>���B��� 2� ����� ��� ������>���! ��������� ��������� ��� �������� �� ���� ��������� �������� �������! �� ��� ��� ������������� % 5&� 2�� ������� ������� �������� ���������� �������� ������� ��� ��� ���������������� ���� �� ��� ��� ��������� ��������� ���� K�� �� ��������� ��� �4��� �� �������� ���������� 2� ������ ��� ���������� �� ����� ��� ����� ������! �� ��������� ����������� ������ ��� ����� ���� ��� ����� ��������� ����� ��� ���� ������ ��������� ������ ����������� <����'�����! �� ������ ��� ������ � �� ��� ������� ������������� �� ��� ��� ������ � �� ��� ��������� ��������� ���� K��! ���� �� ��� ������������������� %�=&!
� F
����
������0��� �1����
��� ��� � F
����
������0��� K �1����
��� ��� 0;1
�������� ��� ��������� ��� ��������� ������ ������������ ��"
Initial zoomoperation
Gaussian kernel Stabilized zoomoperation
� ��� #� <���������� ������ ����� ��� +������� ������ ������ '���
2���! ����� ��� ������� � ��� �! �� ����� ��� ������� �������� ���������� ���(������
�����
�F
��
���0�� �1
���
�H � K��0�� �1
���
��
� 0���0�� �1 H � K��0�� �110#1
����
��0�� �1 F
����
�0�� �1� K��0�� �1 F
����
K �0�� �1� 0$1
2��� �������� ��� �� ��������� ������� ����� ��� ����������! ����� ������� ��(�� '�� ����> �����������
�� �5� ����� ����� �� ��� ��� ���������� ������! ��� ����( �������� �� �������� ������� ���� �� ����� ���� ������ �������� 2������! �� ������ ��� ��������� ������������� ��� �����������! �� ������� ��� ����( ������ ���� �� ��� �������� �� ������������� , ������ ����( �������� �������� �� ������� ��� ����� ��� �������� ��� �� ����������! ��� ������� ��� ��� �������� �������� �� ��� B������ ��� ��� B������� ����� ��(�! ������������
2� ������ ��� B������L��� ���������! �� ������� ��� ����� �������� 0���� ��
�1 �� ������� ������ ���(�� 2���! ��� B��� ��������� �� ��� ��� ������ ���( �� ��'��� ��
��0��� ��
1� F�
0�� � ���1� H 0�� � ���1
�� 0=1
�� ��� B��� ��������� ��0��� ��
1� �� ��� ���(�� ��(� �� ���� ���� ��� B��� �����������0�� �1� �� ��� ����� ��(�! ��� B������ �������� �� ��������� -��������! �� ���B��� ��������� ��0��� �
�
1� �� ��� ���(�� ��(� �� ������! ��� B������� �������� ����������� 3�����! �� �� ������� ������ B������L��� ���������! ����� ����(� ��� �����2� ������ ���� �����! �� ��������� � ����������� ������ ��������� �� ��� ����(������� <����'�����! �� ����� ��� ������B����� ����� ��� +������� ������ ������'��� �� ����� �� C���� ;� �� ���� ����! �� ���
I��0��
� ��
1 F����
�����
�0�1��0��
� ��
1 0 1
���� ��� +������� (���� �� �01 F �;�" � ��" � ;�" � ��" � ;�" �� �� ���� ���! ����� ��������� ��� ����( ������ ��� �������
5� ��#��$������ ,� ����� �� C���� #! �� ��������� ���� ������������ M.�������D!M-����D ��� M*����� @�����D �� ���� �� ��� �������� �������
��� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
5�6 5�6 5�6
� ��� $� ,����������� �� ��� ������� ��� ���������� ������N 0�1M.�������D! 01 M-����D ��� 0�1 M*����� @�����D
� ��� %� M.�������D ����������� ��� ��� ����
5� � �$�����% $��#��$����� .������� ������������ �� ���� �������� � (����� ������������ � ����������� ��� ���������! ����� �� �� ��� �� ������ ������ ����� ����������� ����� ���������� O� ��� ������! ���������� ��� ��������� ��� ��� ������� ��������� ������ �������� ������������ �4��������� 3�����! ������ ���������� �����������6��� ��� ������ ������ �>������� ����� ����� ������! ��� ������� ������ �6�������� � �����! ����� ���� ����� ������ �� �6������ ����� �� ���� ����! ��� ������������� ��� � �������� �� ������� ����� ������ ������� �6����� ���������� �������
8� ��������� ��� M.�������D �����������! ����� ����� ������ ��������� ���� � ����N�������� � ���� �� ��� ���� ���������! ������ ��� ������ �� ��� ���� ���������! ���������� ������ '��� �� ��� ���� ���������! �� ����� �� C���� $� , ��� ��� ��� ����� ������� � '��� �� ���� �� ��� ������ , ������ ���� ������ ���� ��� ��� ����� �����(� �� ��� ����� 2�� ��� ������� �������� ��������� ���� ���� ����� �� ��������!�� ������ ������ �������! ���� �� ������ �� � ���( ��(�����! � ����� �����! �� ����� ������ 2������! �� ��� �4� ��� ��� �>��������! ���� �� ������ ������������ ����� ����������! ����! ������ � ����� ���� ��� � ����� �� ��� ���� ��� �� �������! ������ � ��������! ��� ��(��� � ���� �� � ���! �� ����� �� C���� =� ������!��� M.�������D ����������� ��� � �������B�� �� ��� ������� �������� ������� ������
5��� �$" �$ $��#��$����� O� M-����D ����������� ������� ������ ������������� ����(��� � ������! ��������� � ����� ��������! ��� ������ � �������� �� �����! ������� �� C���� � , ��� ��� ��(� � ������! ���� ��� ����� ���� �� ��������� 2������������� ���� ������� ��� ��������� �� ���D� ���������� �� � ������� ������� 2����
�������� ��� ��������� ��� ��������� ������ ������������ ��#
� ��� &� ������ � ���� �� � ��� �� ��� M.�������D �����������
� ��� '� M-����D ������������ ��� ��� ����
� ��� �(� M*����� @�����D �����������
��������� ��� � ������ �� ������ ��� ���������! �����! � �������� �� � ��� ������� �������! ��� �������� �� ������� �� ��� ������� ��B� ��� ��� � ����� ���������
5�5� &����$# ' !�$� $��#��$����� , ���� �������� �� � ����� ����� �� �� ���� ����������� 2�� M*����� @�����D ����������� �� ����������� �� ������ ������� � ���������������! ���� � ������ (����� �� ��� ������ , ��� ��� ������ ��� ���������� (������ � ��������� ������ (����� �� ����� �� C���� ��
"� "�# " ��$���� (�� ��)�# � *�� �� 2� ��������� ��� ������� ��� ���������������� ��� ��� ������������ �� ��� 8������ ����� �������! �� ��� ��� ������� ����������N ��������� ������ -HH ��� ������� -�� /�������� ������ -HH ����� ��������� �������� ���� ������� ����� ������������ O� ��� ���� ����! ������� -� ������� ��������� � � ?����������� �������! ����� ������� ��� ����� ���� ������ ������� ��� -����� E������� ������� 0-E�1 ��� ���� �>������ ��� ������ 2������! �������� ����� �� ����� ���� ��������� ������ ������ 3�����! ������� ����� �������� �?��� ������� ����� ��� ������ ���������! ���� �� ����� ���������� �� �������������� �����������
�� ���� ��(! �� ��������� ��� ����� ������ ������ ��� ��� ������ ������ ����������� ������ ����� �� ������ � ����� ����� ��������� O� ��� ������! �� ���������� ��� ��������� �� ��� M.�������D! M-����D ��� M*����� @�����D ������������! ��
�!$ ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
Applications(UI)
.Net Compact Framework
Camera capture
Control system
Cameramodule
Directshow
Unmanaged codeManaged Code
C# code C++ code
C++ code
� ��� ��� <������ ���������� �� ��� ������� ��� ���������� ������
������� �����! ����� �� ����� �� �������� 8� ������ ��� ������ ����� ��� �)92������( %� & �� ������� ��� �������������� ������ ��� ��������� ������ -HH �������� ��� ������� -� �����! �� ����� �� C���� �
;� �$�� ��#��� 8� �������� ��� ��������� �� ��� ������� ��� ���������� ������!����� �� ����������� �� ��� �������N ��� .- ������ ��� ��� ����� ������� �� ���������� ���� .-�! ����� ������� ���� ������� ������ �������� �� ��������! � ������� � ����� ������ �� ��� �������� '>��� 2�� ���������� ����� ������ ��� .- ��������� ��� ����� ������ ������ ��� ��J����� �� ��� ���������� �� ����� ��������
8� ������� ��� �>�������� �� ��� .- ������ ����� � ������� ���� � .������ �*��"+3B ������� ��� �+A �,�� 2�� ����� ������ �� ����������� �� � +<�L3<�.,�����! ����� ��� � �<�$�� , ;�=�3P �������! �;#�A �,�! � 5�� ���� ���� ����������� �"�� "�� ��>���! ��� � ; ���� ��>�� ������ ��� �������� ������ �� ��� 8����������� #�;� 2�� ������� ������ �� ����������� �� -HH ���� �� ��� .- ������! �� -��� ���� ���� �� ��� ����� ������ �� ������� �� <������ "� 2�� ����� ���� ��B� �� 7*+,05����"�1 �� ��� .- ��� ����� �������� 2�� ���� ��� �� '>�� �� 5� �����L�! ������� ����� �������� �������������
;� � ������# � �(��"$�� �� 8� ������ ��� ������ ��������� �� ��� ������� ������� ���� ���� �� ��� ������������ ������ % &� 2�� ������������ ������ ������� �������������� ���� �� ��� �(�� ����� 8� �������� ��� ���������� ������� ����� ��� M*������ @�����D ��� M.�������D ������������� 8� ���� �������� ��� ��������� ���� �����4���� �������� ����������! ����� ���������� ������� �� ��J������ � ��� ������������������ �����'������� O�� �� ��� ���� ��������� �� C���� �0�1 ���� �� �>����� ����������! ��� ��� ���� �� ��� ��( ��������� �� C���� �0�1 ������� ��� ����� ������ ,���>�������� �� ������� 5� ����� ��� ��� ������ ������� �� �������
2��� ������� ��� ���������� ������� ���� �� ��� M*����� @�����D �����������!����� ��������� ��� ������ ������� ��� ���� ������� � ����� ���� 5� ������ 2��������� ������ ������� ���� ������� ���� ���� ��� ������������ ������ �� ��� .-��� ����� �������� ,���! ����� ��� ����� ������ ��� ������� ������! ��� ����������� ������ �� ���� �� ��� .- �������
2��� � ������� ��� ��� ���� �6��� �� 0��<91 ���������! ����� ���������� �� ���� �� ������ ��� ������ 0,! A! -! ��� � ������> ���� ������1 �� ���M.�������D ������������ 2�� ��<9 ��������� �� �������� � ��� �6��� ��� �� ��������� �6��� �������� ������ ������� ��� �������� ������ 2�� ������� ������������� ���� ��<9 ��������� ���� ��� ������������ ������� 2��� �� ������ ���
�������� ��� ��������� ��� ��������� ������ ������������ �!�
)�*�� �� -�������� �� ���������� ������� ���� �� ��� M*����� @�����D������������ �� ���� ����! ��� ���� ���� ������� ��� ���� �� ������������ �� 5� �����! ��� ��� ���� ���� �� ��� ����������� ������� ����
2���� -��������� -����������� ������ .������ ,�������% &
.- A���� �$ ����Q � #�#$Q��( �; =5�55Q �= 5�55Q
����� A���� �; =5�55Q �= 5�55Q��( �� $5�55Q �$ ����Q
5�6
5�6
5�6
5.6
� ��� � � -����� ��������� ����� �� ��� �������� ����������� �� ���.- ������N 0�1 ��� ������������ ������ �� ��� ���� ���������! 01 ���������� �������� �� ��� ���� ���������! 0�1 ��� ������������ ������ ����� ��( ���������! ��� 0�1 ��� ������� �������� �� ��� ��( ����������
������������ ������ ������ ��������� �� �?���� ���� ������ �����! �� ����� �� C������ � ��� 5� �� ��������! ������ ��� ������������ ������ �� ���������� ��J������ ���( �����������! ��� ������� ������ ������ ���������� ��� ������ ��<9 ����������� ��� ���� ��� ��( ����������� ,���! ���� ���� �� ��� ��� ������� ������ ��� ��������������� ������! ��� .- ������ �������� ���� ������� ���� ��� ����� ������!����� ��� ����� ������ ��� ������� ������� C����� � ��� 5 ���� �>����� �������� ��� .- ������ ��� ��� ����� ������! ������������ 8� ��� ���� ��� ������� ������������� ��� ������� ������ ��� ������� ���� ��������� ���� ��� ������������������ �� ��� ���� ��� ��( �����������
�!� ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
)�*�� � -�������� �� ��<9 ���������� �� ��� ������� ������ ������ ������������ ������ % & �� ��� M.�������D �����������
2��� -�������� ,�������
<����
, A --�����>
,���������
������
.-
A����
-�����������;��$ ;�#$ ;�5 #� = ;�#
������.������
5�#; 5�"5 ��5; 5�"# 5�����������
��(
-�����������#� � $�� $� � =�;$ $�#�
������.������
"�� 5�== �� $ 5� 5 5�$$��������
�����
A����
-�����������;�$; ;�$� ;�= #��$ ;�=5
������.������
5�= 5�$ �� " "�5" 5�$���������
��(
-�����������=�$" $� � =� =�$ =�5
������.������
"��5 "��5 5�� "�=" "� 5��������
;��� ��"���$����$# ��"�# +��!� 2�� ������������� ������>��� �� ��� ������� ����������� ������ �� ��� ������ �� � ���� �� ����� �������� �� ������� �� 5� �����L� ����������� �������� ���������� -��������! ��� ������������ ������ �������� $ �����L�����! ����� �� �6���� ����� ������������ �� ��4�������� ������ �������� �(��� �������?�����
2���� ���������� ������ �������� ���� ��� ������� ������ ������� ���� ������ ���������� ���� ��� ������������ ������! ������ �6����� ���� ������������� ������>����
#� ����#������� 8� ������� �� ������ ��������� ��� ���������� ������ �� �������������������� �� ����� �������� 2�� ������� ������ ��� �������� ������ ���������� ���������� �� ������ ����������� � ��������� ��� ���(��� � ��(� ���� �� ��� ��������������� ���������� ��������� �� ��� ����� ���� ��� ������� ������ ��� ������ ������� ������������! ��������� ��� M.�������D! M-����D ��� M*����� @�����D� 2�� ������������� �� ������� �� ����� �������! ����� �� ��� ������� �������� ��������� ������� ��������� ���������� 6������� 2������! ��� ������� ��� ���������� ������ ��� �������������������� ��� ���������� ���������� ��� �4� ����� ��� �>��������� <��������������� ����������� ���� ��� ������� �������� ������� ���� ������ ������������� ��� ������������ ������ % &! ������ �6����� ���� ������������� ������>����
�'��,# �%" ��� 2��� ��( ��� �������� � ��� )������� ������� C��������� ��@��� 0)�C1 ���� ������ � ��� @��� ��������� 0�9<21 0)�� �� ��� �5 1! �������� � A���� <������ ������� .���� ������ ��� )������� ������� C��������� ��@��� 0)�C1 ������ � ��� ������� �� 9��������! <������ ��� 2��������� 0)�� �� ������ #1� 2�� ������ ���� ��������� ����( *������ A�������( ��� 2�� 3��� @�� ����� ����� 3������� �R� -����! E+ 9��������� �� ���� ��������� ���������
�������� ��� ��������� ��� ��������� ������ ������������ �!�
5�6
5�6
5�6
5.6
� ��� �!� -����� ��������� ���� �� ��� �������� ����������� �� �������� ������N 0�1 ��� ������������ ������ �� ��� ���� ���������! 01 ���������� �������� �� ��� ���� ���������! 0�1 ��� ������������ ������ ����� ��( ���������! ��� 0�1 ��� ������� �������� �� ��� ��( ����������
����������
7�8 ����������� 3������������� "���� #�������� ��� ����������� +������ ,-.-� 2���#�� � � +7�8 3+ ��9��� !+ 4�� ��. 3+ &'������0:��� 3�� $���� � ��� ��� �� ���� ��9���$ ��$������ �)))
�������� /������� ��� ������������ #+ ��� �+�� 99+)����� � �+7�8 ;+ 4+ 0���$ ��. <+ <+ 3���$�� & ���� .�#��� �$�� ��������� -��� � $��9�� ��$$�� .�$� �� �)))
������ �������� )�������� #+%�� �+�� 99+��%����%�� � �+7�8 �3"�3 �+�(�� ����������� �� 0������ 1������ ��� +����� �� ��������� ��� 2���� 0� ���� ����
��� 3� 4��� ��� /������ ������ �� � �������� 5������� � �+7%8 <+ �$���9�:�� 0+ 0��� ��. =+ ���'�� 0������ �� $9��'�����.�9��.��� #��� �$�� ��������� ��
���� .�#���$� &���� �� �))) ���++&� � (+7(8 �+ �������� ��. ;+ 0������������ 0�$�� ����� �$ �� ��9�� �������$�� &���� �� ��# +���� 4���
��������� +������� ��� ���������� � �+
�! ����� �� �� ������� ����� ��� �� � ������ ��� ����� ���
7)8 <+ ;�'���� 3���� 9������$ �� $�� $����� ���������$� &���� �� ��# +���� 4��� ���������
+������� ��� ���������� 99+�()��(�� ���(+7�8 <+ >��' ��. >+�<+ ?��� & $�@����������� ��� ����� �99��� $���� ������� �� �$�� ����������
�))) ������ �������� )�������� #+%�� �+�� 99+)���)�(� � �+7�8 �+ A/���$ ��. >+ !+ 1-� ���� .�������B & $��#��� �������� '����� ��� ����� 4�������������
#+��� �+�� 99+��(��)�� � �+7� 8 <+ >���. ��. <+ �+ 0�$�� & ��9�����#� �$$�$$���� � ����� �99�����$ � 9�C���#� �����
$'���.�������� &���� �� �))) ��&6� 99+� %(�� %�� � +7��8 3+ �+ ������� �+ D+ =������� � ��. D+ &+ �+ >����� 4��������� �#������ � $�� � ��. ����9��
2��$$��� �.�$ �� $'�� �� �.��� � &���� �� 7' 3��"���� +���� �������� /������� ��� �����
&���������� � �+7��8 4+ !�'������ �+ 0�'� �����$ ��. �+ >����'�$� & $��#�� � $'����� �.��� ��. .�������
����.$� &������ 6����������� #+� � �+�� 99+�� (������ � )+7��8 D+ ��������� �+ ;���$� ��. 4+ 0���� !�������$�. �/��� ����'�� � �))) ������ &������ ����
#���� ������ #+�%� �+%� 99+%(��%))� � �+7��8 �+ E��� &+ !�� �� ��. �+ ;��.� 3�� �� ����'�� �$�� �����$���� ��. ��� $��������� &���� �� �)))
��&6� � �+7�%8 0+ ;�$� ;���-�. ���������� -��� ������ 9���$� &���� �� ���� +���� 4��8������ ���������
+������� � �+7�(8 <+ A����'$��� 4+ ��� � ��. <+ A��''��� & #�$�����$�. �99���� �� ������ �$�� ���������$ �
���� .�#���$� &���� �� �))) �'&6� � %+7�)8 �+ &+ D��� ��. �+ 0+ &������ 0��� .������� �$ ���������� ������@�� �� ���$ F �99������$ �
���� .�#���$� &���� �� &�� ��� � #���� ����������� 0� ���� 9������� �� &�� ��� � ������������ %+
7��8 &+ >���� E+ ��9� � ��. 3+ ��9��� & ���� ����'�� � ����� �� �$�� ���������� �� ���� .�#���$�&���� �� ���� ����� �����9����� � �+
7��8 =+ 2�� �+ 0+ &���� � ��. <+ �+ D�#�$� & ���������$�. 9����� ��������� �� ���� .�#���$� &������ �))) ���&� � �+
7� 8 <+ 4+ 1�-�$� ��$� �����G�. ��$$���������� '����� ���������� 99+�� ����� ���%+7��8 D+�0+ 3$�� ��. �+�3+ 1��� ��$� �����G�. ��$$ �������� �� .����� .�������� &������ 6����������
1������� #+��� �+�%� 99+�(�%��(��� � �+7��8 �+�1+ <�� ��. �+��+ !��� ��� � ����������� �$�� $���. ��$� ��� $9���H����� ��. 4=�� 9$��
9���$$�� � &���� �� �))) ���&� 99+%�%�%��� � )+7��8 �+ ;+ ���������� ��. >+ !+ ?�� "$�� ���������$ �� ���� ������� �))) ��������� 99+�%��)� � (+7��8 ;+ �+ 2�G��G ��. ;+ �+ I.$� 0����� ����� &���������� ��. �.����� 4������� A�� � �+7�%8 D+ 2+ 1-�� =�/��� ��� ����� ��� �� $������#������ �������$� &���� �� �))) �'&6� 99+��% �
��%)� ����+7�(8 A+ >��� &+ �$$� 3+ 3�������$ ��. 1+ ��� 2� �";�B �9��.�. �9 ���$� �������$� �������� '�����
��� ����� 4������������� #+�� � �+�� 99+��(��%�� � �+7�)8 3+ !������ 3�� .�#�� ���� ��. >������������ .�$����� ���$���$ �� $� �� $������� �))) ������
����� ���������� #+�%� �+�� 99+%��( � ��()+7��8 0+ ������ ���� ���������� 3�� I������F3 �����$ �� ��� �� ������� ��. 3���� �� � )+7��8 �+ !�$�#��� D+ 0����$� ��. &+ ������� &� #��#��- � ���� �.J������ �. �.� �����9������
���� #�������� 0� ����� 5������ 1������� � �+