itransition talend open profiler - техническая записка

36
1} Talend 11 12 21

Upload: itransition-group-ltd

Post on 20-Jun-2015

297 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Itransition   talend open profiler - техническая записка

��������

���������� ��������������������������������������������������������������������������������1}

��������� � �� Talend

����������� ������

���������� ������������������������� �� � ������������������ ����������������� ��� ����� �� ����!��������� �"#$%&'�(#)#�*+#$,)-

��� ������������������������������������������������������������������ �������������� !"�#�$��%&��'$()

. � �� ���/������� � ������

*�������������������+��+������,-�������������-�����������������������-����+������������������� ��.,������� ����������-��,������������������-����������/��0����/����� ��.1���������������������������+��.2����/�������������3����1�����#�$ 3����2����������� ����������,�����������������,�������������������������������4�5���6��� ����7��������8��+ �����-����������9���������� �������-����:��������-���;��������������������� ����������<=��/����+-��+�>�������������������.�������/��������������9��������+-��+�>������-��:��+������������?��+>����+�����@&A BC'DEB�F#�������������GHA�E( �F#.I��������������-���9�������������� J$�K!��(D'D�����������������7�������������������������������-������������������������ ����LM#N0O�PQ0RPQ<9����������������/�������@E&!" J

0���������,� �������� ����+�����,�����������������������

�� �/�� 1� ���������"#$%&'�(#)#�*+#$,)-

2����/����������S�����TF��������������� ����������.1�����/����+�/���������������� ������������������>����+�����/��������8��������K!��(D'D�@&HH�B(������������������������+������������-����U&D$EH B2����/������VQKM��+-����������������������������������������������������7�����������������

2��!� �� �

W)�X)�

X)W�X)X�X)Y�X)Z�X)[�X)\�X)]�X)^�X)_�X)W`�X)WW�X)WX�X)WY�X)WZ�X)W[�X)W\�X)W]�X)W^�X)W_� �X)X`�X)XW�X)XX�X)XY�X)XZ�

Y)�Y)W)�Y)X

Z)�[)�

[)W�[)X)�[)Y)�[)Z)�[)[)�[)\�

\)�

X�Y�Z�Z[�\�]^^_W`1112WZWZW[W\W]W^W^W_X`21XYXZX[X\X\X^X_Y`Y`YWYXYYYZY[Y\�

Page 2: Itransition   talend open profiler - техническая записка

����������� ������

��������

���������� ��������������������������������������������������������������������������������2}

1�7�������������������� �����6�c���������������/����-����6���������-����6����������2�)�2���+-�����������e���>�5�������������/����������6� ���+�/����� ������7��-�����+-������������������f��g'!h�#�$��%&��'$(�$E�$i �G!$ BAB'D �$iBE&hi�#�$��jEC B!�!k l�1)���7��������������6�������������-�����������+7+-����� �������������)�m�����������/��������6��������������������������+������L^[n<��-�����������������������������L[Xn<)�:�����+7�����-�������������-�����-����)� ����� ������ �+���������o���/� ��� �7�� �����-����� L\_n<6� ������������� ���-����������������/�����LY_n<6���������6�����������+ ��LY[n<)�

9���������6��������6�������� �6����������S�������6����-+����� ������������)�2S����-��� ������ -��/� �����6� ����������6� ��7 ��6� ������������ � ��7����� ���� ����/������ ������������������)�

8���S�������� !"��#�$���%&��'$(�����������-���+�+������������������������)�m�������S�����-�����������������+������ +6��� ���������6������6��������1�������1� ������5���)�8�������-���� �������������+�/���������������� ��������������������������������+������������S����)���� !"��#�$���%&��'$(���-����������������+�����+���6��������������������+���-��)

p��q��+�/�«Data Profiling» ����������-��+��������-���6������������ ��������������������c��������������)

p��q��+�/�«Data Cleansing» ��������������������-��� ����������������������S����-�)�5���c��7������������������������������������������� �������+7��-���������)

8���S�������� !"�#�$��%&��'$(�������-��/����-�����������/����������6��-�6�������������/������7��������-���� �������� !"��F!$ hB�$'E!��@&'$ )�r����7��������/6���� !"��#�$���%&��'$(��������������������������o����������������������� ����������6���������������������������������)�=7��7���������� ��4��������-����������-������ ���������������������)

W�i$$A?00sss)'!tEBH�$'E!;H�!�h H !$)kEH0'DD& D0X``\`^`W0W`\`WX^;W)i$H�

Page 3: Itransition   talend open profiler - техническая записка

����������� ������

������ ���������

���������� ��������������������������������������������������������������������������������3}

u���/����������������-��������� ���������6� �� �����������������f������l)�9����������� �����-���?

� @�� D�N�k$� U&D$EH B� �'H �Et�#�(� MBE"&k$� v�B iE&D � @A "� GHA�E( � UEHA�!(

����������������:�+���W?

��-���6���+��������������@A "��������������������������o����������)�,������ ������W``````�������������������������������� �������������������� !"�#�$��%&��'$()

5������������������-������ ��������������� ������6� ��-��������������������-������+>�����-�)�m��?

� r��������������� 8���+>������ 6�������������� 8����������������/����� ���������� ��6����������������������/������ �� ������6���������������� ��� r�����/�����������+-������������������-��

:�+���W�;�wPQ�#�$�x�D �#'�hB�H

Page 4: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������4}

������� ������� ������� �����2��4�,�������������������������L������6���������<���������-���6����� ���������-��)5 �������� �/�����4�r��)������ 4� r������ �� ������ ������ ���� ���������������������������������/�-�����7����������������������)

1��������-�������-������?� y�H � z H�BgD� MB'H�B(��!"�NEB 'h!�{ (D

1����������-����������?� y�H � y&���x� � # t�&�$�|��& � @'}

2S������6� �������� ���+����+��6� ����������� �������������)�1��������6���������-�����������6�����������fz H�BgDl6��+������-+�+����������������)�m�������-����6� �������� ���->���� S������� �� �� ��������-���)� ~����6� ����-��� ������������ ����������3�����������) :�+���X�4�#�$��TBEsD B

�������������������������2��4�8��+ �/������� ���������6�������������-������-���������)5 �������� �/�����4�r��)������ 4� *��/���� �-�->��>�� ����� ���������� ������ ��������������-��/�����-���6��+�������-�-��6���-���6������+���������� ����)�)

m��� S+���� ���������� ��������/��� �� -����� ����6�������������o����������-�����-�������������-���/�7�����+�����)��,���������������-��+����/���-�� ����������6� ����� ���� ������ ���+����������;�-����� ��)

:�+���Y�4�U�$��Eh�K!��(D'D

Page 5: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������5}

���������������� �� ������������� ����������������!2��4�,-��+��/�����������/��+������S�������� �������������������-��������)5 �������� �/�����4�9��� �/�@'HA� �@$�$'D$'kD�F!"'k�$EB)������ 4�:�������� !"��#�$���%&��'$(������������/��������������� ��������������+��+�>���� �����������-������� ���-���������)� �r��-������-��/�������/��������������������������������� ��)�8+������� ���4������ ������-�+��������6�������/�������������+�����������-��/�������6�7����������������5�� /��S����)

���������� !"��#�$���%&��'$(�����o�������������������������������� ��6���������6�������>������o���� �������+������� ��)

m��������������/�+�������-���U'$(�L��-����U&D$EH B<?

:�+���Z�4�y&����!"�T��!g�jB�Ai'kD :�+���[�4�y&����!"�T��!g���x�

m������+������-������?� I�X[����+�����������+����+���7����)� r������������ ������+����+��)

:�+���\�4�y&����!"�T��!g

������ �� 6������ ���� � �� 7���-����9*:4��9�����/����������������-� +�� S������6� ���������������/����+��������-���+����-�7�� 7�����6� ���7�� ��/6� ��-����S+����f|' s��|��'"��zEsDl6����c����������������������+ +�)

9�-����c�+�S+���6�������� ������������� �������� ���������� @%Q6���c���+6� ������� ����� �������/� �����+�-��+�����)

Page 6: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������6}

����"�������������������� �2��4�2���������������������������������-��.5 �������� �/�����4����������������UE�&H!�K!��(D'D�)������ 4�r��-������+���������/��6� ��������������-�����������������)���������������+�fUE�&H!�K!��(D'Dl6� ��-������ ��-���/� f@ � k$� @'HA� � @$�$'D$'kD� F!"'k�$EBDl)� ���/��� �� ���� ��+ ��6� ��7��� ��� ������+���/����� ���-+���������/������ ����+����������>���6������� ���/���������������+ -������� ������ ��)

��������������-��������������>������ ��6�����������������+ ������� ������ ���������-���)

:�+���]�����������������+�v�B iE&D �'"�L��-����v�B iE&D <

:�+���]�4�#&A�'k�$ �|��& D

Page 7: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������7}

��������������������� ������#���$������#����������!2��4�*������������������������������-��������)5 �������� �/�����4�r��)������ 4� r��-������ +���������/��6� ��� ������ ��6������������������������MB'k 6��������-���+��� ���)� 9� c���� ������� ���� +������ ��������� ��� ���6������ ���/������������ ��/�������������/�����������������6���������6���)�)�� ����>/�� ������/�7�� �������6� 7�+-�������������-�����������6������������������������ ���� �� ��o� ����������+��� �����/��+��������)u���/�������������6������������������/��������/����� ��)

:�+���^�;�@&HH�B(�@$�$'D$'kD

:�+���_�4�@%Q�G"'$EB

�����4�8����� �������/�����������/����� ���6���-����������������������������+�/��������+����� ������-���/�|' s��zEsD)�8��c����������� ����������������@%Q���������6��������6�������� ����-+�����7����������-�������������)

��c��7�����������������������������6������������������������/����� ��)�~��-�������������-���/��������/��������/����� ������������������6�+��������/�@%Q�������)

5�������/��+����������������#�$���iB DiE�"6� ������6�����������������/�����0���� ��)�5���-����������/���S��������������q����76�:������Y)

#�$��Ui�!h �z AEB$D�����o�����S������6��������/�������������������)

Page 8: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������8}

%�������� ��������� �����!2��4�2����/�����/��������+)5 �������� �/�����4�r��)������ 4�r��-��������������������+�>����������������-��������?

� 9�������������������+�����/� 9����-����������������������� r�-����� ���������� ��>������� ��

2�������PE" �4���6� �����-������������������-���)�2������� PE" � �����������/�� ����������� �-����� ���������� ��>������ ����������������-��)r������6� ����/� K$EH'k� @A'k(�P'!$D� �-����� ��������-��������+��)������6�������������/6���7��������������-�����������+���������)

5��� c��7��+��� +������/�������������� �� ����������)�1�7���������������6������������������������+�������)

&� ��#���������������

:�+���W`�4�PE"

:�+���WW�4�QEs;NB �& !k(�@$�$'D$'kD

2��4�8��+ �/��������-��������-���� ���������������������/���-�)5 �������� �/�����4�������/������+�UE�&H!�K!��(D'D�������������-���~���6�������6���5���),����?�9�-�����������QEs;tB �& !k(�D$�$'D$'kD6��������������/��� �������6��������������- ��������������7�)���� ��� 4���������� ���������7������������c��������/����� ����������4�c��� ���6�����-���������������-�����������������������6�������c���+���������������c��������/����� ��)

��-����U&D$EH B���������������� �/���+��S������)� 9� ������� ����/�+����� �������U'$(�L��-����U&D$EH B<)

m������+�������������?

r�������������������������������7�����9�����������/������7�����+�������X[`����+���������������7��7��S ������������

Page 9: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������9}

'�����������()*+2��4�r����������-����� ��6�������������� ������ �>�����7�)5 �������� �/�����4�r��)������ 4���� !"� �#�$�� �%&��'$(� ��������+�������/������������+�����������7�����6���������������������� �� ��� �� ����-��6� �������� ����� ������ �>�� ���7�)� r������6� �� ������� #�$ ���� ����������L�6�������6�7���<���7����������-�������������+����)�:�+���WX�����������������+�#�$ �����-����v�B iE&D )

:�+���WX�4�NB �& !k(���x�

:�+���WY�4�QEs;NB �& !k(���x�

�����6���������+ �/���-��+����-���������������� ��>������ ��)���-��+6���������-+��������;�����/��� ��6� �����������������/������� �������������������)�:�+���WY��������������-�;�+������������ ��>������ ������������U&D$EH B)

Page 10: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������10}

'�������������������������������2��4�8��+ �/� �����+����-��+�����-���������������� �����������)5 �������� �/�����4�r��)������ 4�=��/����������/�������� �����+����-�������� �������������6�������������o����-���������� ��������������)��1��������6��������-��� �/�Y���������������-���@$EB �@�� �����-����@�� D�N�k$)

9����+�/������������������� �������� ���L���<�����������������)

:�+���WZ�4�NB �& !k(���x� �@ $$'!hD

:�+���W[�4�NB �& !k(���x� �LM BDE!��'} "<

Page 11: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������11}

� �������������������2��4�,�������/������S��������+������6�����������/�7���������������������+��������������>����������)5 �������� �/�����4�~������������6���������+6��������6����6�������)������ 4�*���������7�������������������/��������������-���������-��� ���������������)�r+�����������/�������+�����+�6���������������� �������������)������������-������������������6������������� +�������6���c���+6����������6����������>����������������������W���Y��-+���������/����+������+����+7�� �����)�=������������+ ���/6���-������+���������/��6� �����������������/�)

:�+���W\�4�TEJ�Ui�B$

��������i$$A?00 !)s'g'A "'�)EBh0s'g'0TEJ�A�E$�����-����������/���S�����)

:�+���W]�4�TEJ�Ui�B$�GJA��'! "

m������+�������������?8�����������+�>������+����6����������������������������+�W)Y\��X)]X),�������/������������ �����������/6���c����+>�������������������������7�����)

Page 12: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������12}

� �������������� �������������������,��� ���-�.��/�0������1��&����2��4�,-��+�����������S�����6�����������5���6�c����������� ��6������6���)�)5 �������� �/�����4�8���������/��������-���)9+;;#<-4�����-����-������/��+����������������/)���� !"�#�$��%&��'$(�����������������-�������������/������������� ��������)�5���������6�������������/?� m��������������6�FM6���-;������ r������������������� 5���?�F@V6�q����6�r������ ����S�?���36������6���������1����������6�������� 8� ����������

q������-�����/���7����-�����L��������<����������7�������/�������7������-��)�9�����+�>������������-������ +���������/��6� ��� ����� ���-��������� �� S������� F@V)� 5��� c��7�� �����o���� ������� UE�&H!�K!��(D'D����-���������F@V���-����������7������+�����+)

:�+���W^�4�F!C��'"�GH�'�D�LU&D$EH B<

Page 13: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������13}

:�+���W_�4�F!C��'"�GH�'�D�s'$i�#�$��GJA�EB B

:�+���X`�4�#�$ �M�$$ B!

:�+���W_������ ����������������������c�������������?

:�+���X`��������������������-����S+��6�������/�������������#�$ �L��-�����'H �Et�#�(<)�q����������/�����������+�>������������-���/�F@V���-�������)_\)_n��������������S�������F@V���S����������;PP;##�OO?PP?@@)�q������������/���+7���� ��)�5���c��7����-������������/�����������+�>+����-��+������ !"�F!$ hB�$'E!�@&'$ )

���� ��� 4q���������������/���-�����-��6� ��-����������7��������������������+������)�r������6���������;���5������S�������PP;##;����6���������������������/���7+�����������������+���������F@V���-����������������;PP;##�������+����)

�+����M�$$ B!�� D$�����7���������/������/���/��������������7+����7���������)

Page 14: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������14}

0���������"����������2��4�,�������/����+��+�+���������������-��)5 �������� �/�����4�r��)������ 4� 9�-���� ��-��� �������� ������6� ����� 7�+�������/� �� ��� �������������������)

������ f�l� �-��� ���� ��-��� ������� � � fKl��������������� ���� �-��� ��� ������7�� ���7����7������������f_l�+���������r3�,6� ���������������� ��������� ��)��:�+��� � XW� � ����������� �������+� ���������-���)2���+>����+�>����-������������������/��������-���� ��7+������ �������)� ,����������� ����>/� �� ��������� �����/-�����������������)�

:�+���XX�4�w!'�& ! DD�tEB�{ (D

�����������2���������� �2��4�,-��+��/�������� �����-���)�L2S�������������-��/�����/����������������������)<5 �������� �/�����4�r��)������ 4�5�����-�7����-���7������-������ !"��#�$���%&��'$(�������>������� ������+���/����� ��6� ������ ���6� ������ �������� ������+-��+����)�m���8������8�+����/���,���� �������������-��/�+�����/�+�����������������)

m��������������/�+��������������GH�'��LU&D$EH B<)

:�+���XW�4�M�$$ B!�NB �& !k(

m������������->���4���� �����-����U&D$EH B)

Page 15: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������15}

3���� ���������4 ������������0�����%������.����2��4�*���;��������+>����+������������������S���������������������/���������/;��������)5 �������� �/�����4����������������x� �K!��(D'D)������ 4���������������+���x� �K!��(D'D6����/�������/��-������-���/������������/����������� �;���������)�8�������� �����������4�c�����������@%Q6�7���������������/�����-��+������+������-������� �������+����)�,��������������+�������/6���������/��������������������-���)

��W___�;`W;WX�������4�X``_;`^;X`)

q���� ������/� ����� +�����6� �-������ �����/��� ��-��)� m��� �������� +���������/��6� ��� *����8�����������7����6��-���������7����������;������ ��������������������/�����-����)

:�+���XY�4�#�$��%&��'$(�z&�

9�c���������������/�+���������;���#�$ )

r��-������+����/��������+��6�������� ����� ���+�������6� ��������-�������7�����������������+�;�������+���+��������)

��� !"� #�$�� %&��'$(� ������ +����/�����������+�>�� �� ��6� � ����;���/�����������/���������/������� �)�

8�����6�����/�����������/?������

:�+���XZ�4�8������1� ������5�������-������

Page 16: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������16}

5��#�����������26������ ����������������!2��4�,�������/��� ���/�����������������>����������)5 �������� �/�����4��������������UEBB ��$'E!�K!��(D'D�L��-����U&D$EH B<)������ 4�m�������������������o���������������������-����������������)��5+-��+�>������������7���������������/����� ��)����� !"�#�$��%&��'$(�������>����+���/��6����+��/-������������>������ ��)������6����������������/����������������+�������+6���c����S��-��������������������������������������>��������� �)8���+>����������� �����������6� ����������������+������� !"��#�$���%&��'$(�������6�������-����������������/����������>���������6������������-���/���-���������������������/��7�������+����-��������)�5����/�c�������6����������S��������� !"��#�$��%&��'$(6������-����7�)

=��� ��-�������/� �� ��������� �� �� ��������>���� �����6� ����� ������/� ������������ ����6���������-+������+>�����o�����+����������-�����������-���)

9�������6�����+���X\6�+����������/���������>��������6������/����������/�������-���)�m����� �6� ��� �� -+���� � ���/� ���� ����� ��� ��6� ����� +� ����� ������� -+���� ��������� �� ��)��1����?���6�S����6�c��������������)

� WZW�����/�����+-������)� I�������/���X`Z�����6���������+����������������)

:�+���X[�4�#&A�'k�$ �zEsD

Page 17: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������17}

��������#��������������2��4�I���������/��������+���������������������������������/�����+��+������/���������������)5 �������� �/�����4�r��)������ 4���� !"��#�$���%&��'$(�������������������������6�7������+�������������/���� �������6������������7+�����/����� �������������������)��

9�c����������?I�����������6� ����� ��6�����/����������������-���6���������+����+�������-��������������/�����-����)9������������������

r��-������+���������/��6� ����� ������������UE&!$B(�����-����U&D$EH B6�������������������UE&!$B(�����-����v�B iE&D )�5���c��7����-������������/������+�z "&!"�!k(�K!��(D'D��+�����/������+�UE&!$B(�����������+7�����-���)

5�=�������/�� ������� ������������ �>�����? �����/���/ ��@A @B���E���7�����������������/�-� �� ��������� ����/�� ��� ����� �FGGB������������>�����? H�6�� ��� �� �������������������/�-��/!?� �������� �>�����? � ����������� ����/�� ��H

:�+���X\�4�UE�&H!�z "&!"�!k(

Page 18: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������18}

��������#� ������������������� �2��4�,-��+��/���������������+-���/�������������>������-���.5 �������� �/�����4�r��)������ 4�r��-�������������/��������������+���-�����������>/��������UEHA�B'DE!�K!��(D'D)�1���+�������+�+������������/�������������������������6���c���+6�� �/������������������������)

3��������������"�����7 �����8���6�����������9:;+<=>?@<�A(������������BC;D@E++�A(!FJ ��4�I���������/��6� ��������� ���@&A BC'DEB�F#�����-�����GHA�E( �����)5 �������� �/�����4�,-���������-������/��������-��/����������-����GHA�E( )������ 4�r��-�������������/��������������+����6� ��-�����������/����������7+�/�@&A BC'DEB�F#)I �����6� ����+����������������-��/�����-����GHA�E( 6���-�������������/��� ������������������+����6�7���@&A BC'DEB��F#����������L�)�)6���� ���������@&A BC'DEB��F#����-��+������������������ ���������GHA�E( �F#�������������������-���<)�q����������/���������� �����������������->/���������o�7���������?

!E$�D&A BC'DEB�'"�'!�LD � k$� HA�E( �'"�tBEH� HA�E( <�EB�D&A BC'DEB�'"�'D�!&��

8�����c��7�6���-������������/������+���x� �K!��(D'D����-���/�c������������ ����������)�q����+����/�F!C��'"�zEsD������+�/�����������)�5���c��7��+�������/�����+������+�������������+�>����������)�u����6�������/���+ +����������>/��-��+�������� !"��#�$���%&��'$(6������ !"��Ex)

:�+���X]�4�z k&BD'C �z ��$'E!Di'A�Ui�B$

:�+���X^�4�z k&BD'C �z ��$'E!Di'AD

Page 19: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������19}

G���������"��������� ��u��� �?�,������������)r��-�������+�����?�2����/������������UEHA�B'DE!�K!��(D'D),����?�9���+ ��6���7������������������������/�����+����������-����6���+����������+����/)

~��-�������/���������-�������+�� ��-��6���-������������/���+�������+�z "&!"�!k(�K!��(D'D����-����/�����+������+�������+)

:�+���Y`�4�UEHA�B'DE!�K!��(D'D�X

:�+���X_�4�UEHA�B'DE!�K!��(D'D

~��-�� �������/� �� �����/� ���� ������ �� ����� ��-���6� ��-������ ������/� ������� �� ����������)�L��������z k&BD'C �z ��$'E!Di'AD<)

9� c��������+�>���������� �������������7����������������si� � k'$(� � �s�B iE&D � k'$(� � �� ��-����v�B iE&D )

Page 20: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������20}

�� ���������������H+I*�JK)DE?>?2��4�,�������/����C�Bki�B)5 �������� �/�����4�r��)������ 4�5���������������6�-+���������������/���+�������������L����/��6�������6��������/��<)�1������+6����������+�6�����/�+�������������������������W`��������6���������������������������4�Z`��������6�����������������-��/��7����� �����������6��� o����������������)�q���-���M�$$ B!� �P�$ki B������������������S���+��� ���������-��6��������-�������-��+��������-�������������������+���-����� ��)

:�+����YW���������������7��������������7����������������7���������������-��������+��)

:�+���YW�4�����������3���

Page 21: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������21}

�������������� �����1������2��4�,-��+��/���������/�����+��������������)5 �������� �/�����4�9�-���/�����������+�>����������)������ 4�UEBB ��$'E!�K!��(D'D�������������������/�������� �����1������f3l�����+7������-��)��m�������������6������/�����/������������������+� �����������/����������)

9�c������������������������������������/�����+���������Kh ��U'$()

8�����������-������ ����������6�������� ������������ �/�������c�������)�5���+�����-���� ���������� ����+� �������� ����������/�� � ����-����� ������� �� �����6� ��-������������/� �������������������+�c�����+�����������)

:�+���YY�4�UEBB ��$'E!�@���B(0j !" B

:�+���YX�4�UEBB ��$'E!�U'$(0Kh

Page 22: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������22}

9�������6����/�����������+��������������-������+� �����>�)9���������-������-��/�����>6� ����+� )� L,-������������������� ����������� ������7����������+���YZ)<

q��������������/6� �����-������S����������+>���������>o��������������6��������������������������������+>��������������)�:��������������+�P�B'$���@$�$&D)

:�+���Y[�4�UEBB ��$'E!�s'$i�y&���@$�$&D

r����7���������������� �6����������������/��������)��� �6�������������������/���������������+7�+6�����������������6������������������o�������������+�)�q��������������/�c����������������/6��� ��+�c������������������/�����������)r��c������7������������6� ���-���������������)�8��������7�������������/���+��������6� ����+� -�� ���+ ���� -��/�+�� ����-��+�� ����+6� �����>�)� m��� �� ������� ���)� 8��������� S��������������/���+��6� �������������+� ������������/��� �����>��6�����������o�������������+�)�9������������6���������+� �����+ ����-��/��6� ����������+� �����>�)�5�����������������������7�����������7�6�������S�������-+����-������)�e� ������-����/����-������������6� ������� �����������������+������������������ ��6����������������������7+��7��������/���-� �������)�9������+�-+�+���������+����+�>���� ��)

:�+���YZ�4�UEBB ��$'E!�@���B(0j !" B0P�B'$���@$�$&D

Page 23: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������23}

������������� ����"���L������� �����2��4�,�����������������������������/�7������/�����)5 �������� �/�����4�������/�������/�@%Q�������)������ 4�9���� !"�#�$��%&��'$(�����������/�����������/�������/����� ��6��������/�����/��7����7�����)

8����� ����/������ c���� S+��?� ����� ���������� ����������� ���!��"��#� $��%&� ' ��$����$��%��( ���!����()���"���$)����*

1+r��-������������/������+�UE�&H!�K!��(D'D���������-���@���B()X)�8���@&HH�B(�@$�$'D$'kD���-���/�P�J'H&H)Y)�u��+���/)Z)�1��+�/�����������������������P�J'H&H����-����/�|' s�zEs)[)�2���������������?@GQGU������NzVP���$x'�)� HA�E( ���vOGzG���D���B(�����WYX)YX�?@GQGU��kE&!$L�<�NzVP��$x'�)� HA�E( ��vOGzG��D���B(LD � k$�H�JL�D���B(�<0`)][�tBEH�� HA�E( �<

�����/6������������/�c�������������@%Q�S���������P $�"�$�������/�����/��7������-��������6���7������������o����-�������/)

Page 24: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������24}

��������������7M(N$OHPQ$RPQF2��4��+������������� o���������������������������������)�,���������?

� 8�������������������������)� 5��+������6��������������������������7���+���������)

5 �������� �/�����4�r��-������������/������ !"��#�$���%&��'$(��-��+�����6�����������+������� �����������������/��������)������ 4�,�������� ���-+��������������/��������������)�9�������+�� �����-��������������������+����)

9��� o���������-��/������/��������)

:�+���Y\�4�j ! B�$ "�z AEB$

Page 25: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������25}

����������������� ��#��������9@:KS+I2��4�9��������������� ��������>/��@E&!" J������)5 �������� �/�����4�r��)������ 4�m�+����-���+����������� !"�VA !�@$&"'E��$N&}}(P�$ki)

=������/�������6��������������������������/����� �������P�B�xEBE&hi����P�B�xEBE�6���������/���������c������� ��������-������������6�����6��������������������������)���� !"�#�$��%&��'$(�����-�����������������������������>/����-����@E&!" J�tB �& !k(�$�x� �'!"'k�$EB����������7����������)�8�����c��7�������+����/�����/������+����+���������������������+ ���)

r��-������������/���� !"�#�$��%&��'$(��������/���-��+�������>/��$N&}}(P�$ki)�m������������������������ ���/��������������+�����+ ���������6���������S��� �������������������� ��

Page 26: Itransition   talend open profiler - техническая записка

����������� ������

T��������1

���������� ��������������������������������������������������������������������������������26}

0���������� 4� c����-������� ������/���� �� ��������������� �����)� �� ����>/�������7������������������/������������������������/�������6����������������-��/������7�������)�

������ ��%�������.����2��4�1�����/����������������������� �������������������)5 �������� �/�����4�8����������7+�������� o���)������ 4�,� �����-���������������������+������������7+������/�6���������������������-����-��������)

������>/���� �����-�������6����� ������������������������/�������/���-���������������)�5���c��7����+���-+�����������/��������������������+)�,� o�� ������� ���� �-������� �������� -���� ��� !"� #�$�� %&��'$(� � ���������� ���+����/� ��7+���+���� o����/6�������������6�����+�+ ���6������+�+����)�9���� !"�#�$��%&��'$(����/����������/�������������-�����������7�������� )�9���������������-�����7��������7��������������������6������/��������������)�

:�+���Y]�4��iB DiE�"�| B't'k�$'E!D

Page 27: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������27}

u���/���������7���+����/6� ���+�����6��-����������>���������������������+�������7��������- �6��������o�������)

����� !"�#�$��%&��'$(��������������/�����+�>������7?r+�����6�8���+-���������2���+��/��)�9�������������-+�+��+���/������7+������-���/�������7���������7�������� �6��-������������):������������-�����/6��������������/��6������������/������ ����������7������ ����L$iB DiE�"�x'!D<)�=���+��6� ��-�������������� ��-���������� �����6����c��������+�����/������������)5��� �+���+�>�� ��������6� ����� +�����/� ���+��/�� ����� �� ������� ����7������� ��������������7������������)

��+����������������� ��������������-�������� �����������������������7���������)�8�����������6������������������������ ��?� 9�����������/���W^����)� ,7�� ��������o��������������+�������� ,7�� �������������X[n;][n� ���������������/���������/����� ��

Page 28: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������28}

������������.���������������2��4�8�������������/��������������������/�������������)5 �������� �/�����4�r��)������ 4��+�����������������/�����������+>�������/�������/������ ��������������������)

:�+���Y^�4�UE!$BE��'!h�#�$��%&��'$(�x(��'H

Page 29: Itransition   talend open profiler - техническая записка

����������� ������

0���� ��������

���������� ��������������������������������������������������������������������������������29}

=����� �����������������������������6����������7�� ������7������� ���6������� !"�#�$��%&��'$(� � ���� ��������/� ����+�������)� �+���� ����� �������������/� �� ����>/�� ���������-���������������$Q�&!ki#%z AEB$D��7����������� ��������� !"�#�$��%&��'$()�u��-����������/���S���������-��>�����/������ !"�#�$��%&��'$(�wD B�j&'" )

Page 30: Itransition   talend open profiler - техническая записка

����������� ������

0�����H)D+KS�()*)�U:)D>*E

���������� ��������������������������������������������������������������������������������30}

2��4�1�����/�����������������������������������)5 �������� �/�����4�r��)������ 4��+�������������������������/��� �������������������)

=��/� ���������/� ������/� ��� !"� #�$�� %&��'$(� �� ����S������ -���;������ �����v x� ������)� �+�������������������������/�������������/������������+�/���������������� ������������� �� ������7����������)

&� ��#�������0��,�����VA������������������������!9���-���;����������6���������� ����� ���������6���c���+6���-��������+���6������������7��������������������7��������+�/����6���������6�������������/������/��������)

������>/��v x��������6���������-�������/�-����������������-������816����������7�������-���/��������+�/���������������� ����������)

3����������6����������������������������������������7�����+�/����������+����-�����;+������+��� ����������������������������)

Page 31: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������31}

%������#������#������������������������ ��� ���6�������������#���� ����

2���+�����/�������/�+�+ ������� ��������������������������7�������� ��6���������������-�������������6���������6��+�� �������������������������7������������)

:�+���Y^�4�UE!$BE��'!h�#�$��%&��'$(�x(��'H

Page 32: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������2}

0��������JK)DE?>?�9:CC)<E5����/�� �KG�������� ������ ������ �/����������������� ��������H

:�+���Z`�4�#�$��%&��'$(�MEB$���MEB$���K!��(D'D

9�������c���������������������� o�����M#N6�O�PQ6�U@|6��GJk �)�~�>�����7������������7����+�������������+�/��������������� ����������?

3������UE�&H!�K!��(D'D)�,������������ ������������������ !"�#�$��%&��'$(6������o�������������/�����������������)

8�����������m������������������������������� �������������������������-����m���������������������-����8�������� ����������m��������������� ����������

3������VC BC' s�K!��(D'D)����������� �����-�������������������������������UE!! k$'E!��!��(D'D6���->���� ���6�U�$��Eh��!��(D'D��@ki H���!��(D'D)

3������ z "&!"�!k(� K!��(D'D)� �����+��� �->�� �� ���6� �� ���� ��6� �� ���� �-� ������� ���� ������z "&!"�!k(�K!��(D'D6������������������������ !"�#�$��%&��'$()

Page 33: Itransition   talend open profiler - техническая записка

����������� ������

���������� ��������������������������������������������������������������������������������33}

������������ ������� ������������������������� ��W:?*@C+<8���/����+����������7�������������/���-������������������7�������� �)�1������+6���-���������������/��� ��������-����U&D$EH B6�����/�+�����c�����������������+�����?

y&���KHE&!$T��!g�GH�'�|��'"�$ �KkkE&!$�T�!g�F#|��'"�U�B"�#�$

:�+���ZW�4�F!C��'"�U&D$EH BD�#�DixE�B"

Page 34: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������34}

&� ��#�������XQJM������������������ � �������������������9���������1� �������������������������/���������VQKM6�������������� �������-��-���)�m���S+����� �/��������VQKM������6�������/�+�����������������������/���-������������������� �����-��� ����������������)�2������������+>����+������-����������?

� KC B�h �Q !h$i� @&H�z ���|��& �� @&H�F!$�|��& � P�J�zEs�UE&!$

:�+���ZX�4�#�$��%&��'$(�MEB$���VQKM�K!��(D'D

Page 35: Itransition   talend open profiler - техническая записка

����������� ������

���������� �������������������������������������������������������������������������������35}

��������� � �����������1��������������������9���������4�c�������>������������� �����������6������������������/��S��+������������������-���;S+��������������������+���������7�+�����������+������������)

9�����������+����%& B(�T(�GJ�HA� �������������������/���-������6�������������������)�@%Q� �������� ��7+�� -��/� ������6� ���� ������� ���6� �� ����>/�� #�$�� %&��'$(� MEB$��6� ���� � ���+����+������������/���������/���-��������������)

5�����������������������+�����������-+�������������/��������o�����7?

W)��9�-���/������+��������X)��5�-���/�+�����Y)��5�-���/���������Z)��5�-���/�7�+��������[)��������/��������/�������)

9����������������-�������������6��������/���-�������/�������������7������/����)

Page 36: Itransition   talend open profiler - техническая записка

����������� ������

��2�����

���������� ��������������������������������������������������������������������������������36}

������ � ������� ������ ��1��� ����� ��? ���������� �������� ���� ������ �������H� L���� ����� � M� =�� � �� 1� � � �� � �� �� ��� � ���� � � ������� ��� ���� � �/�/�� ��� ��N ��������� ��� ����� � ���� ��� ���������� � ���� ��H� 5� � �����O��Q� � �� � ��������� ��E���7������� ���� ������������ ��� ��������1�������� ������E���7�����1 �����O��������������������������� ���������/�������� ����� �������� �����/�� ������1 ��� ������������R���������� �/H

� � �� �� ��� � �� ���� ������ M� =��� ����O � � �� ����?�� �� ���������� �� � �� ���� ����������������������� ��S��� �������������� ������ �� ����� ���� ����1 ���������������!?��-��������H

"#$%&'�(#)#�*+#$,)-�M�=�������� ���� ��������7 ��� �� O �� �������� ��� 7������������ �� � ������ �������� �����1 �������� �� ������������������/��� ���H������1 �� ����������������������? �������� ���� ��������/!���/� �����H

L����������/����������� �� ������������/�����"#$%&'�TU%&�V<WX,$%<������������������� ���/������� � ��� ������� ������������=��Q�� ���� ���Q������ H����� �=���� ���1����/� ��������1����/1 ��������� ������������Y