a comparative analysis of r&d project evaluation methods
TRANSCRIPT
� ��������� ��� ��� �� ���������� �� ����� �������
���� ���� ���� ��� ��� � ��
���������� ��� ������ ��� ������� ������������ ������� ���������� ��������� �� ���� ����� ����������������� ��� !�
� ���� ���!�� �� ������� ���� ��� �������� ��� ��� ������ "���# ������� �� ����� ��� !������ ���� ��� �������� � ��� �������� ��� ��� ��� ��$ �������� � ���� � �� ��� �������� ������� ����� ��������� ��� ����� ��� ��������� ��������� �� $��� ��� �� ����� ������� ��� !����� %��� �� � �������� ��� !��� ��� �� ��� ����������� ��� ����! �� �� ��� �����&���� ������ � � ����������� ��� �����&���� '�� ����� �������� � ��������� ����� �� � ���!�� �� � ����� �� ��� �� ������������ !���� �� ��� ��� ��� (������� �������� �� ��) ��� ��� ����� ������� ��� ������������� ����� �� ����� ������� ���� ������ ���� ����! ��� � ������� ��� ��� $�� � �� ������ ��� ���������� ��� ����� ��������
*����������
+ ������� ��� ��������� ������� �� �������"# ���������� $�#�% ��� �"� ��&���
�������� �#� ��'��� ���� �����( � �" ���� ������ � � ����������� �#� ��'���� �"�� �"� ��������� ������)�( *"� ��� ��� �"��� ���� ����� � ����"��� ������ ��� ���� � �������� �"�� "��� ����������� � �"� � �����&����� ��� ���������� ����"����+&���� �����,����( �� �������� �#���'��� ���� ����� �� �������� �"��� � &� ���� ��-"��" ���� ���� ���"� � ��( .��� ���� �"�/ ����� �"� ��� ��� �� ��������� �� ��� � �"����������� �0������� �"� ������ & � ��� � �"����"� ���� ���� �����(
1��� �"� ���� �- �������� � ���� -��� ����� �#����� ���� ���"�� "��� &��� �������� ��� ��������� �"� ������� ��( �����"������ �����-� �"��� �#����� ���� ���"�� "��� &��� ��� ���� &� � ���$��23%� ������ $��3�% ��� 4��)�� $��35%( 6� "���&������ �"�� ����� ��� �"� ����� � �� ���� ��#� ���� ���� ���"�� � ��� � ������&��� �"����"������ �"� ���"��/ �� ��� � �����,��� �"����������"� ��� -��)������ &���� � �"� ��� �� �#���'����( .��� �- "��� � ��� � �0������� �"�
������ � -"��" �"� ���"��/ �� ���� �"� ��/ �������� �"� ���� ���� ������( * � )�-������ � �� ��"�� &��� ��� ���� � ������� ��� �����,� �"� ��������� � �������� ��������� � �"���� �"� ��� ����+������ ���"� �� ���� ������� ���"������������&��(
6"�� ������� -��" � ����+-��� ��&���� ��������� ���� �"� ���� �� ��&��� ��������� �"����������� ���� ���� ���"��/ �� � �#� ��������(� �� ������&�� ���"��/ � �� �"��� ��&��������� �� ������ �� �� ���������� � ���� -��� ���� ����( *���� �"�� ��&���� �� �� ��������� � ������ ������� ����� �� � � �������� � �"� �������� �"��#� ���� ���� ���"��/ � � � ������� �#� ���������&���( �� �"�� ������ -� ������� � ����-�) � �"����������� ���� ���� �#� ���� ���� ���"��(��� � ���� �� � "��� �#� ������� �������� ���������"� ��� �"� �������"� ��� -��)������ �"� ���� ���������� �#� ���� ���� ���"��(
*"�� ����� �� �����,�� �� ��-�7 �� �"� ��0�������� -� �����- �"� ������&�� �#� ���� �������"�� ��� � ����� � ������������ ��"��� � �"����"��( �� �"� �"��� ������� -� ������&� � �����������-�) � ���������� ���� ���� �#����� ���� ���"��( *"� ��� ��� �"� ���� ���� ���
��� �������� ,-� �� ���( � 8���)-��� 9 &���"��� :��� ���( 9 &���"�� &� 8���)-��� 9 &���"��� :��� !5��3 �-��� ���� 10�� 1;< �4=� �� ��� 5>� ?��� ������� ?������ ?@ � �<3� ��@(
��������� �� �"� ��" ������� -"��" �� ��-�� &� ������������ �������� � ������� �"� �������� �������� �� �"��������� �#� ���� ���� ���"��( �� �"� ����������� -� ���� �� &� ���� ����� � ������� ���� ����� �������� � � �� -�)(
���$ ��� � ��������� �� ��� �� ������������
?��"�� � �#� ���� ���� ��� &� &����� ������+��� ��� �- ���� ���������� ������ -���"���� ������)��� ���"�� ��� &�����+�����& ��� ���"��� ���"-� �� =�� �� �( 6���"���� ��� ���)��� ���"����� �� �������� -���"�� ��� ���) � ��� ��������'���� �� ���� ���������( *"� ��� ��������� -���"���� ��� ���)��� ���"�� ��� �"����������� ���"� $9�������� ��� 8�)��� ��2�A������ ��25A 1������ ��3!%� ������ ���"� $8���+& �� � ��(� ��25A 8������ ��35A ���-���� ��3<A 9������ ������� ��3�A 8����"����� ��� 8��)"� ���!%���� �"� @������� B������"� 9����� $@B9% $:�)��� ���(� ��3! ��� :�&������� ��32%(
�� �"� ���������� ���"�� � ��'��� �� �������-��" ���"�� ���"�� ��'��� � � ��� �������������'����( ?��"�������� ����� ��� ��� � �0����������� �� �"� ������ ����� ���" �"� ��'����������� � �"� ������������ �"� &��� ��'���( *"����������� ���"� �� ���� � �� ��� � �����"����& � �� ������ "������ � � &'������ ' ������� ��� "����� ������ ���-&��)�( =����� �"� ���� ����� ��� &������ ����&�� �� �"�� �"�� ��� �"���� -��" ����� ������� ����� ������� &� ������� ����� ��� ���������� ������&��( ������ �"����� �� �"� ��� ����������� ��'���� ��� ���� �"� ������ ����������� ���)��� ��� �"� ��'����( =������� ��� ������+���� ���"�� � �� ������� � ������ &'�������( *"������� ��� �"� ���� ����� ��������� -��" �"� ���������� �"� � ������ &'������� � �"� �������+��)���$1������ ��3!%(
*"� ������ ���"� ���� ���� ��'���� &� ���������" ��'��� � ���� ��������� "- -��� �� ����� �"�
������ &'������� � ��� ������( @ ������ ���� �� ����"�������� �� �� � ����&���� �0������� �"����� ��� � ���� � ���" ��'��� ���� �����������(*"� �� �� ���������� �"�� ����� &������� � &���������( ���" ���� �� -���"��� � ������ ������������ �������� � �"�� �����( 9�'���� ��� �"�����)�� �� ���� �"��� �����( *"� ������ ���"���� ��������� ��� )���� ���� �"�� ��� &� ������&����������� ��������� ��'����( ���-��� $��3<% ��������"�� �"� ������ ���"� �� �� ������� ���������� ��-"�� ���� ��/ �������� ��� �����0��� �����"��������� ������"�� ��� �� ' ������( *"� ������+��� �"������� �"� ������ ���"� �� �"�� �"���� �� ���� �"� ���"� �� � ���� �� -���+���������)��� �� ���� �� � ' ���� ��� �� $4��)��� ��35%(B-����� �� �" �� &� ���� �"�� �"�� ��&��� �� �� ������� �"� ������ ���"� �� ��������� & � ���������� � � ��� �������������(
*"� @B9 �� �������� &� ����� $��3�%� �� � ���"�� �������� � ��� ������������ � ������ �� ���������)��� �� � �����0 ����������( �� �� �� ��� �������� ���������� ���� ���"� � �� ������ ��������,��� �����0 ��������( *"� @B9 ��� �� ��� ������0 ��&��� ��� � "������"�( *"� �������� ��� �"��������� ����� ��� �������� "������"������ ����+������� � ��C� ������������ �"� ��� ����( *"�"������"���� ������ ��������� ������ �"� ������ ����� �"� �� �"� "������"�� ��-�� &� �"� �������������& ���� � �"� ���� � &+�������� $� ���%� ��������� �"� ������������ �� �"� �-��� �����( @ ������ ����-��� ��������� ��� ���� ���� -���"�� ���������� �� ���" ����� �"� "������"�( *"��� ����-���"�� ��� �"�� ��&���� ���� �� �������� ��� ����� � ��� �� � ��� ��&�� -���"�� � ���������� �"� ������������( @����������� ��� &� ���)�� � �"�&���� �"��� ��&�� -���"�� ��� ��� &� �"� @B9(
*"� &����� �����& ��� ���"� �� ��� � �0�������'���� � ��������� "- -��� �"�� ������ �"� &�����#� &'������� �� �����,����( ?��"�� ��������� ���� �"�� ������� ��� ������ �������� $��)���� ��(� ��2�A =������� ��3 A ������ ��3<A ������� ��33A=�"��� ��� ������� ����A D����� ��� ���� ���� ����%�
R&D EvaluationMethods
Scoringmethod
AHP Decision treeanalysis
Comparativemethod
Cost-benefitanalysis
Economicanalysis
Weighting & Ranking methods Benefit-contribution methods
=�� �� �( ������������ �#� 9�'��� ���� ���� ���"��(
� � ���� � � ��� ��� � ���
!< ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
����&����� �������� $@ ��� ��2>A � -�"��� ���*�)���� ����A :��)� ���5%� ��� ������� ���� ��������$D���� ��2<A *"���� ��3>A ?���� � ��(� ����A=� �)���� ���!%(
������ �������� �� &���� � ������� & ����������"��/ ��( *"� ��� ������ ��� �������������� ��� ��� ������� ��� �� ���&��) ������ ������� ��� �� � ����������( *"� �� �������������� �� �"���������� -��� ' ������ � �"� �������������� � -"��" �"� ����� ��� ����� ��� &��������� $1������ ��3!%( B-����� �� ��������� �"������& ���� �#� ��'���� ��� �������� ���� ��� ���� �� ��� �������� �� �"�� �"�� ����������(= ��"������ �� �� ��� ��������� � �������� �������������� &������ � ���" �-� ��'���� ��� � ������� �������� "��,�� ��� ��� ���� ��� � ������/ ���� &� �"� ���"�� �� ������� ����� ������� �� � ������ � ��������(
@��"�� ��&��� -��" ������ �������� �� �"���#� �������� ��� � ���� � ������ �������� � &'��+���� �������� �� ��� ��� & � ������ ���"��������� ��� � ������ ��������� ������ ��������� ��( �� "�� ��� &��� &������ �"�� � "���� ��������� ������ ��� �� ���� ��� ��� ���� � �� �&������� ����� ��� �� ��� ������ ������+���� ���� $:�&������� ��32%(
������ �������� � �" �� �"� ���������� ��� ���������� � ���"� ��� ���� � ���� �� �"� �������� ���� ���������� �������� ��0�&����� -"��� ���������&���#� ����������� ��� &� ������� -��" �� ������� � �"� ������� � ������( *"� ���� ������"� ���������� ���� ���� "�� &��� �������� ��������� ������ �"�� ��&��� $��0�� ��� 9�����)� ���<A*��������� ���!%(
����&����� �������� �� ���"�� ���"� ��/ ����� ��� � ��'��� ���� ���� ��� ������� & �������$9���� � ��(� ��3�%( �� �"�� ���"�� �"� ����/ ���� � ��'��� �� ������&�� �� ��� ��� &����� ���� ���(*"� ���� ��� � �"�� ���� �������� �� �"�� ����� ����� �� �0������ ����������� �"� ���� ���&������ ��'���� ��� ���&��� �"� ������������ �������� ����� �� �"� ���� ���� $1������ ��3!%( ������� �"������� �� �"�� �� ��/ ���� ������� &������� ���� ���� ��� �� �"� ���� ���( �� ��� ��� �����- �"� ������ �������� �"� ��'���� � -��"��� ������� ���� �� �������&�����( =������� �"�����"� ��� �� � ���� ���������� ��� ���&������ ��� � ������ ���� ��(
������� ���� �������� �� ��� �� ��� ����� �� -"��"�������+��)��� ��� � ��/ ���� ��������� ���&��-��� ���" �- � �������� ��������� �� ���� �"� ����� � ������� ���������� $?������ ���!%(������� ���� �������� "�� ��� ��� �� ��������������� �"��� $������� ��><% ��� �� � -��� ����&���"�����"���� � ������� �������� $B-��� ���?��"���� ���5A ������� ���!%( �� ������� �"���� �� ���� �"� ��&��� &� �� �������� ��� ����&������������� ��� ���� ����/ ������ ����� ���
������� �"� ��������� ��0�� � �0������ ������ ���������� �"� &��� ��'��� �����������(
*"� ���� �������" �������� ������� ���� ���������� �"�� �� �� ����&�� � ��������� ��� �����,� � ������ ��/ ������ �������� � &� ���� ��� ����� ��� �"�� ��� ���� ������� ��� �� �#� ��'��� ���� ����$4��)��� ��35%( B-����� �"� ����� ���� �"�������� ���� �� �� ��� ���� ��� ���� & � ��� ���&� �0������� ����� -"�� �"� ��&��� �� ����� ��������0 $����� ��!3%( ��� ���� �������� "��� &����������� �� �� ����������� � ������� ���� �� ��������������� $B-��� ��� ?��"���� ��3�%( ��� ������������ ��� ����"���� �������������� ���������&���� -"��� �"� ���� �� �"� �������� �����������"� ����� �"� �����&��� ������ ��� �"� ������������ ��������� �������� &��-��� �����&���( @� ��� +���� ������� �"����� ��-� �������� �� ��,� -��" �"�� �&�� �����&��� -"��� � ������� ���� ��-��0����������( @��"�� ��������� ��� ���� ���+���� ��� ������� ���� �� �"�� �"� ��&�&������������������ ���� )�� �����&��� ��� �0�������� �����+������ &� ���"�� �"� �������� � �&����� ����&��-��� �"� ����( �� � ������� ����� ��� �������������������� ��� ��� &� �������� �"� �" � ���������� ������ ��� ��������� �"� ��&�&�������(
@��"�� ��&��� -��" �"� �� ������� ����� ���#� ���� ���� �� �"�� ��)� ��� �������+�"���������"��� �"� �������+��)�� �� ��/ ���� � ��������&�&������� � �������� �����&��� ��� ���������� �����/ ������ �����( 9���"������ "��� �"-��"�� " ���� ��� &�� ��������� ��&�&�������$*����)� ��� ��"������ ��2<%( �������� ������"��� &��� �������� � ���������� ��&�&��������� ����� �0����� � ��������� �"�� ��&��� $?������� B������ ����%(
����$��) ��� �������� ��� �� ������������
6� ���� �"� @B9 �� � ����-�) � ������������������ �#� ���� ���� ���"��( ����� �������� ���� &� ����� $��3�%� �"� @B9 "�� &���������� �� � -��� ������� ��������� �������� � ���������0 ������� ��&����( 1�� ��� ��'� �������"��� ��� �&����� � ������ ��� ���) ������� ������������&���� � &�" / ��������� ��� / ���������� �����( @�� ��� ��� �"� @B9 "�� &��� ������� � �� �0�������-��� ����� ��&���� �� & ������� ������� "����"������������� � ������� ������ ��&���� �� ����+���,����� ��� ��� ��������� ���������� ������������) ��������� ������ ��������� ���( $����� ��� .��������3 � ���<%( @� �������� �� �"� ����� � ������� �"�@B9 "�� ��� &��� ������� � �#� ��'��� ���� ����(:�&������ $��32%� � �0������ "�� �������� �� @B9������� ����-�) � �#� ��'��� ��������( �� ������"������ � ���� &� D����� $��3�%� ��� �"���>� � &�������� -��� �� � "��� ��� @B9 �
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !>
���� ��� �����,� ��&���� �� �� ���� �� ���������� ���������� �����( @��� �"�� �������+����� �� -�� �� �"�� ������ ��� �"�� ����� -��"�"� ���)��� ������� ������������(
?��"������ � �������� ����������� �������� ���"� @B9 ��� -��� �������� ��� �������"��( 8�������"� �������� ����������� ��� ������� &� ����� �� "����-���� �0���� �"���� �"�� ���"������ ������������ �������� "��� &��� �������� � �"� @B9(*�������"�� ��� ����"�, $���2%� � �0������������ � ���"���� � �������� ������������������� � �"� -���"�� �"� ������� �������� ��� �"���������� ��� �� �"� ������������ �� ����� �"��������� � ������������� � ���+�������� �������+��)������"��( *"� ���"���� ��� &� ��� � ����������"� ��� �������� �������� �� �� @B9 ���� -"��" ����"�� -"��" ��/ ��� � ����� �"���� �� -���"� � �� �� ��-���" �� ���) �� � ��� ������������(
������� ��� �"� ���������� ��� �������"� ���������-��" �"� @B9� �� �� �� -��" � ��'� ����������( =������"� @B9 ��/ ���� � ����� � �&�� ����-��� �����+���� � &� ���� ��� �"�� ��)�� �� � ���� � ���"� � ��( �������� �"� @B9 � ��� �� �"� E���) ����������&���C $8���� ��� D���� ��3 % �� �"�� � ����������� ����������� �� ����� � �"� ��� ������������������� �"� �������� ���) ���� �"� ������������������� ��� �"���� ���� �" �" �"� �������+��)�� ��� �� �"���� �"� ������� �������� ���)����(������� �"������ "��� ��� �� �"�� � ���� �������� ������� ��)��� �" �� ������ �"�� �"�������+�����( B���� �� �� �������� � ��� �� �"�� �� �"� ����� ���@B9 �0������� �"� ���� �������� ����� �� ���������� ������ ��������� ����� ���� �"� ������� � ��" �� &� ���-�� �� ��������� ����( ���) �������� ���"� @B9 �� ������ � � �"� ������,���� -���"��� ���� �"� ����"���� ������( ����� $���<% ������ ��
����������� ��� ����� ��"��� ������ �"� E����� ���C-"��� �"� -���"� ������ ��� ������� &� ��� ������� ������� ���� ���) ��������( � �" � ���� "-����� ��� ���������� � ��� ����� � ���+�����& �� ������ ����(
1�"�� ��&���� -��" �"� @B9 ���� �� �"� ������� �"� ��������� ��������� ������� &� ��&����������������� ���� ��� � �����& ��� ����"�� -��" �"����"� � � �&����� -���"��� ��� �"� �� ������� ��&���� ������������ ���������� ����� �"��� ��� �������-��� ������� ����&�� &����� ��� � �"� �������+��)��C� ���������� $?���"��� ��� 1������ ���>%(
=�� �� �"-� �"� @B9 "������"� � � ��+�������� �������� �#� ���� ���� ���"��( 1 �&'������ �� � ����� � ���������� �� �� �"� ��0���"�� ��������� �� �"� ����� � ������( *"��� ��0����������� �#� ���� ���� ���"�� ��� �� ��������� :���� < �"� "������"� �� =�� �� ( @� �"� "��"�������� �"� "������"�� -� ������ �"� ��� -"��" �� �"������������� �"� ����� � &��� ���� ���� ���"�� �#� ���� ����( :���� �"� "������"� ���������� ��'� �������� � ����� �"�� ��� �������� ������������� �"� ����������� �#� ���� �������"��( *"� ����� �������� ��� �� ��-�7
�( �!����� �" ����� $#�%7 *"�� �������� ����� � �"��&����� �� �#� ���� ���� ���"� � ���� -��"� ������ &'�������( @ �������� � ���� "�� ����"�� �� &'������ �� �� ��"��� �#� ��'����(������� ��'��� ���� ���� ������������ ��������+��� �"� � ������ &'������� ��� �"� ���� ����������( ?��"�� �"�� ��� �&�� � "����� � ������&'������� �0�������� ��� �������� � �"�� �"�� ���(
( ���$ � !�������� $# %7 *"�� �������� ����� � �"��&����� �� �#� ���� ���� ���"� � �����+���� ���) ��� ���������� �� �"� ��������( @���� ���
Level 1Goal
1C 2C 3C 4C 5C 6C 7C
Level 2Criteria
Level 3Subcriteria
1A 2A 3A 4A 5A A6
Level 4Alternative
Ideal Evaluation Method
Multiple objective
Risk and uncertainty
Availability of data
Simplicity Nature of data
Adaptivity Cost
Expense Time
Scoring method
AHP Decision tree analysis
Economic analysis
Cost-benefit analysis
Comparative method
=�� �� ( B������"� � �"� ���������� �������� �#� ���� ���� ���"��(
� � ���� � � ��� ��� � ���
!! ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
����+-��� ��'��� ���� ���� ��&���� � �� ����-��" ���) ��� ����������( B���� ���� ���� ���"+�� -"��" ��� ���� �0�������� -��" �"� ���)� ��� ���������� ��'���� -��� &� ��� ������� ����"����� �������� � �"�� ���"�� �"�� � ��(
5( %������� $#5%7 *"�� �������� ����� � �"� ������+���� �"� �#� ���� ���� ���"�( @ �� �#����� ���� ���"� �" �� &� ���� � ������������ ������� ��� �"� ��� ��� �" �� ��� &� ���� ����������( B���� ���"�� �"�� ��� ������ � �� ������� � ��������� �" �� &� ��������(
<( ������"���� �� ��� $#<%7 *"�� �������� ����� � �"�������&����� ���� ��/ ���� &� �"� �#� ���� �������"�( @� �#� ���� ���� ���"� ��� ��/ ������� �"�� ��� �� ������&�� � ���� �� � &����(B���� ���"�� ��/ ����� ���� �"�� ��� ������������&�� �" �� &� �������� � �"�� �"�� � ��(
>( �������� $#>%7 *"�� �������� ����� � �"� �&����� �� �#� ���� ���� ���"� � ����� ��� �����+���� �0�������� ��� )�-����� ������� �������+��)���( @� �#� ������� �� ��������� � �� �������� ��/ ����� �0�������� ��� )�-����� ���� �0����� ��� �������+��)���( B����� ���"���"�� ��� "��"�� �������� �� ����������� ��������0������� ��� )�-����� ������� ������� �����������(
!( &�!�� �� ��� $#!%7 *"�� �������� ����� � �"���� �� ���� �"�� ��� ������ &� �"� �#����� ���� ���"� -"��" ��� &� ���"�� / ������+����� / ���������� � � ��&������ &�" �� ��� ��$8���& ��� ��25%( ��������� � �"� ��� �� ��+&���� ���"�� ��/ ����� �� �� ���� ��� &��������� � �"�� ��/ ����� �"�� ��� ����(
2( #�� �� ���������� $#2%7 *"�� �������� ����� ��"� ��� ������� ��� ������������ �� �#����� ���� ���"�( 6"�� �"���� �� ���� �������"�� �"� ������������� ��� �" �� &� ��+�������( *"�� �������� �� ��"�� ������� ��� �-� &+��������� E������� �0������C ��� E���� ��+/ ����C( ?��"�� �"�� ��� ���0������� ��� ��/ ���� �"�� ���� � ��������� ��� �������� � �"���"�� ��� �0������� � ��/ ��� � ��� ���� ����������(
+�������� �� ��� �� ����� �������
#�������� �� �� #������
6� �"��� ���� ������ �"� �������� $:���� % -��"������� � �"� ������ ��� $:���� �%( *"�� �� ��� &���������� �"� ��������� ���" �������� �� �������� �"� �"��� ���� ���� ���"��( =��-����"� @B9 ���"����� ����-��� ��������� ���������� &� �"� � �"�� � &���� �"� ����������������� �"� �����( *"� -���"�� ��� �� �"���� �� -���� -"������ ����&��� &���� � �"� ��� ���"������������ �"� ���"��( 1�"��-���� �"� � �"��������� �"��� &��� ' ������� &���� � �"��� �0����+����� �� ���� �"� ���"�� �� -��� �� -��" ��� ���� �� �0��������� ��'��� ��������( �� �" �� &����� �"�� �"� �0��� ��� ��� �"� �� �� � �� &�������� � �"� ����-��� ��������� -��� ���&� ������� ����� -��" ������� &��)�� ��� ����0���������(
*�&�� � �"-� �"� ����-��� �������� �����0 ��"� ����� :���� �������� -��" ������� � �"� ���( *"�������,�� -���"�� � �"� �������� ��� ����� �� �"� ������ �� *�&�� �( =�� �� 5 �"-� � ����"���� ��� �"� -���"�� �� � &�� �"���(
*"� ��� �� �"�� �������� ��������� �"�� �"� ��������E� ������ &'�������C "�� �"� "��"��� -���"� �(5�����-�� &� �"� �������� E���) ��� ����������C -"��""�� � -���"� �( ><( *"�� �������,���� �� ���������-��" �"� ���� ��� �� ����+-��� �#� ��������-"��" ��� � ���� � ������ &'������ ��� � &'��� � ���)��� ����������( =� �0������ �#� �������� ������� �� &'������� � �" �� ���� ��0���,����� ���)���"���� � ����� ����������� ��� � �� ���������� � ��- ��� ��( @��� ���) ��� ���������� �����"����� �� ����� ��� ����+-��� �#� �������� ��� ���� ��������� � ������� �"� ����&����� ��������&������� �� �"� � �� ��� � -���"� &�" ������ ��� ����� ��� ����� ������� �"��� ����&������� �� �+�����( B����� �� ���������� �#� ���� ���� ���"��" �� &� �� -"��" "�� �"� �&����� � "����� � ������&'������� �� -��� �� � �0�������� ������� �"� ���) ��� ���������� �������(
*�&�� �( 9���-��� �������� �������� -��" ������� � �"� ���(
�����������������
9���-��� ���������
9������? ������&'������
���) # ���������� ����������
����@�����&����� @���������
��� �� ���� ���
? ������ &'������ � � 5 5 < > ! �(5�����) # ����������� � 5 < ! �( ><���������� � � 5 < �(�<����� ������&����� � � �(���@��������� � 5 �(��<��� �� ���� � �(�!<��� � �(�5�
�(�( �(�
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !2
1 � �������� ������� �"�� �"� �- ����� ���������������� ��� E��� �� ����C ��� E��� ����������+���C -"��" "��� �������� -���"�� �(�!< ��� �(�5��������������( ������� -��" �"� "��" ��� � ���"��" ���)�� ������� �� �#� ��������� �"� ��� �������� ���� ���� ��� � ���� ����� ��� �� �������������� ���� �"� ������ ��� � �"� ������(
#��������� �� �� ����!���� ����� '�������� � ���� ��������
6� �- ������ �-� �"� "������"� ��� ���������-��� ��������� � �"� ����������� ���"�� -��"������� � ���" :����+ �������� �0���� �"� E��� �������������C -"��" "�� �- :����+5 � &+��������(*"� ������������ ��� ��� ��)�-��� ����-��� �������-��" ������� � �"� �- :����+5 ��������( *"� ���"�����-��� �������� �������� ��� �"-� �� *�&��� @��"� �" @3 �� �"� @������0(
*�&�� ������� � � ����� �"� ������,���������� -���"�� � �"� ��0 �#� ���� ���� ���"��-��" ������� � �"� ����� :����+ ��������( �� �"� ���� �-�� ��� �"� ���� ��&��� -� ��� ��������� �"� ������-���"�� � �"� ��0 �#� ���� ���� ���"�� ��� �"������)�� ������������( =�� �� 5 �"-� � ����"���� �����+��� �"� ������ -���"�� �� �"� �� � &�� �"���(
*"� �&�� �������� �"-� �"�� �"� ������ ���"�� �#� ���� ���� "�� �"� "��"��� -���"� �( <3���� �� �� ������ ��-�� &� �"� @B9 -��" � -���"� �( 3( �� �� ����������� � ��� �"�� &�" �"������"�� &���� � �"� -���"���� ��� ���)��� ������� ���"��( *"� ���� �"� �#� ���� ���� ���"���� ���������� ��������� ��� ������� ���� ��������$�(�!2%� ������ �������� $�(�<�%� ����&����� �����+��� $�(� 2%� ��� ���������� ���"� $�(��%(
�� �" �� &� ���� �"�� ���" �" �"� @B9 ���� �� ����� ������ �� "�� �"� "��"��� ���� -���"�� �� �"��� � �"� ����� ��������( 6� ��� ���� �"�� ���" �"������� ���� �������� ��� ������ �������� "������� ���������� �� ����� �"��� �"�������� ���+��� ��� �"��� -��� �������&����� � ��&���� �� ��������� ����������� � ��� ��� �"- �"�� �"�� ��� ��
���� �"� &��� ���"�� � �#� ���� ����( =�������-� &������ �"�� ����&����� ��� ���������� ���"+�� ��� �"� ����� � ���&�� � �#� �������+��)���(
.������ ��� ��� �� ��� $����� �� ���������
6� ������� � ����������� �������� � �"� -���"�� �"� �������� -��" �"� ��� ���������� �"� ��� ���������������� � �������� �#� ���� ���� ���"��( 6������� �"� ���"���� ������ &� *�������"��� ��� ����"�, $���2% ��� �"� ��� ��� �"� �������� ���� �����,�� �� *�&��� 5 ��� < -"��� �"� ���&�� ��
�"� �" �! ����� �"� ��0 �#� ���� ���� ���"�� ������������ ���� �"��� ��&�� -���"��� �(�( ���������"� $��%� @B9 $� %� ������� ���� �������� $�5%������� �������� $�<%� ���+&����� �������� $�>%� ������������� ���"� $�!%(
*�������"��� ��� ����"�, $���2% ������ �"� ����������� �������� �� �"� �� ��/ ����� �"� ���������"���� �� �"� ���������� ��� � ��� � ����� -���"� ��
*�&�� ( *"� ������ ��� ��� �"� ���������� �� ��(
?�*B1��
���*���@
9�������� ���)���
? ������&'������#�
�(5��
���) #�����������#
�( ><
����������#5
�(�<�
����@�����&�����#<
�(���
@���������#>
�(��<
��� �� ����#!
�(�!<
���#2
�(�5�
������ �� �(5�! �(�55 �(5�! �( 23 �( !! �( 2� �(�5< �( <3 �@B9 � �(5<> �(��! �(�>5 �( 23 �( > �(5�� �(� 5 �( 3 ������� *��� �5 �(� 5 �( 53 �( 5 �(�5! �(� > �(�2> �(�<5 �(�!2 5������ �< �(�<5 �(5�3 �(��! �(�<! �(�5� �(�5! �(5�< �(�<� <����8����� �> �(� ! �(�< �(�<< �(�35 �(�25 �(��< �( >5 �(� 2 >���������� �! �(�>! �(�35 �(�53 �(�2� �( <> �( �! �(�< �(��� !
�(�( �(�5
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
Mult
iobjec
tive
Risk &
Unc
er.
Simpli
city
Data a
vaila
bility
Adapt
ivity
Natur
e of
dat
aCos
t
=�� �� 5( :��� -���"�� � �"� ����� ��������(
� � ���� � � ��� ��� � ���
!3 ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
���� � �� �� � �-���" �"� &��� �����������( *�&�� 5�"-� �"� �"����� �� �&�� �� ��� � ���" ����������������� � �� �� �"� �������� ���)� ��� �> ����� �#� ���� ���� ���"��� -"��� *�&�� < �"-��"� �"����� �� ���������� ��� � � ����� -���"����������� � �� �� �"� �������� ���)�(
6� ���� �� �� *�&��� 5 ��� < �"�� ��������E����������C $#5% ��/ ���� �"� ����� � �&�� �� ������������� �"���� �� -���"� �(� 2 ��� 32(� F�������������� � �� �� �"� &��� ����������� ���������"� $��% � �-���" ���) -��" �"� ����� &�������������� @B9 $� %( B���� E����������C ������� � &��"� ��� �������� �������� � �"� �������� �"� &����#� ���� ���� ���"�( =�� *�&�� 5� -� ��� ����"�� �"����� �� -���"�� ���"�� �- ��������� ������E� ������ &'������C ��� E��� �� ����C� ��� ����� �� �"� ���) �������� ������ ���"� ��� @B9(
B-����� �"� �"����� �� -���"�� ��/ ���� �"��� �-�������� ��� � �" ������ ������� � �"�� � �"��������� E����������C( ?������ �� *�&�� <� -�&������ �"�� �"� �������� E� ������ &'������C ��/ ����� � �" ������� �"���� �� ���������� �� -���"��$��!>(�!F% ������� � �"�� ��/ ���� &� �"� ��������E��� �� ����C $�3��( >F%( B���� �"� ��������E� ������ &'������C ������� � &� �"� ��0� ��� ���������������� ���� E����������C(
=�� �� > �"-� "- �"� -���"�� � �"� ��0 �#����� ���� ���"�� ���� -"�� �"� -���"� � �"� ����������� �������� E����������C �� ������ �� � � �( 6�&������ �"�� �"� ����������� ������ ���"� ������������� ��� �"� �"�� ��� ���"�� � ����� �"������� ����� �0���� -"�� �"� -���"� � �"� ��������E����������C �� ���� �"�� �& � �(� ( 6� ��� &�������"�� �"� ������ -���"� � �"� ����� &��� �����������
*�&�� 5( @�� ����&�� �$� �� ��� �� $�&�� �� �"���� �� �������� -���"��%(
9��� @�����������
��������
#� # #5 #< #> #! #2
�� G� ��(>� 3 ��= /�-001 ��= ��= ��(>� 3 ��=�� G�5 ��= ��= ��= ��= ��= ��= ��=�� G�< ��= ��(!�2� ��= ��= ��= ��= ��(!5>5�� G�> ��= ��= ��= ��= ��= ��= ��=�� G�! ��= ��= ��= ��= ��= ��= ��=� G�5 �( 2<3 ��(< �! ��(22 ��= ��= ��= ��=� G�< �( ��< ��(<�>� ��= ��= ��= ��= ��(<3! � G�> ��= ��= ��= ��= ��= ��= ��(22!�� G�! ��= ��= ��= ��= ��= ��= ��=�5 G�< ��= ��(53>2 ��= ��= ��= ��= ��(�!22�5 G�> ��= ��= ��= ��= ��= ��= ��(5!5!�5 G�! ��= ��= ��= ��= ��(!<�2 ��(><!� ��=�< G�> ��(�>!! �(�235 ��(<!<5 ��= ��(53 < �( <� ��=�< G�! ��= ��( ��= ��= ��( < 2 ��( 223 ��=�> G�! ��= ��= ��= ��= ��( �>� ��(5�55 ��=
*�&�� <( @�� ����&�� �$� �� ��� �� $��� ���� �"���� �� �������� -���"��%(
9��� @�����������
��������
#�
�(5��#
�( ><#5
�(�<�#<
�(���#>
�(��<#!
�(�!<#2
�(�5�
�� G� ��!>(�! ��= 21�/0 ��= ��= �3��( > ��=�� G�5 ��= ��= ��= ��= ��= ��= ��=�� G�< ��= � < (�> ��= ��= ��= ��= ��! 3(�2�� G�> ��= ��= ��= ��= ��= ��= ��=�� G�! ��= ��= ��= ��= ��= ��= ��=� G�5 33(�5 ��!�(�5 �><2(!! ��= ��= ��= ��=� G�< �<(5� ��!5(<5 ��= ��= ��= ��= �� <!(!2� G�> ��= ��= ��= ��= ��= ��= ���� (�>� G�! ��= ��= ��= ��= ��= ��= ��=�5 G�< ��= ��>�(3> ��= ��= ��= ��= �<5�(���5 G�> ��= ��= ��= ��= ��= ��= ��5 (5��5 G�! ��= ��= ��= ��= �!3 (!! �3>5( 3 ��=�< G�> �>�(!3� ,/�203 �5 �( �� ��= �<�!(3� �5>�(�! ��=�< G�! ��= �32(<3 ��= ��= � >3(�� <5<(�! ��=�> G�! ��= ��= ��= ��= � 3(35 �<25(�� ��=
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !�
@B9 ���� �� �"� ������ �������� �� �"�� �"������� ���"�( B���� �"� "��"�� �"� -���"� -� ������ �"� �������� E����������C �"� ��"�� �� �"� ���������� -���"�� &��-��� �"� ������ ���"� ��� �"� @B9(=������� -� &������ �� =�� �� > �"�� ��� �"� ����������� -���" � �"� �������� E����������C� �"������������ ���������� ���"� �� ��-��� ���)�� ����(
=�� �� ! �"-� �"� ����������� �������� � �"� ����-"�� �"� -���"� � �"� ����� ��� �������� ��������
E� ������ &'������C �� ������ �� � � �( 6� &������"�� �"� &��� ����������� �-���"�� �� ������ ���"�� �"� ��0� &��� ����������� @B9 -"�� �"� -���"� ��"� �������� E� ������ &'������C �� ������� �"�� �& ��(>>( *"�� �� � � � �"� ��� �"�� @B9 �� �&�� � "������ ������ &'������� �� � &����� -�� ������� -��" �"������� ���"��( 6� ��� &������ �� =�� �� ! �"���"� ����������� ���������� ���"� "�� �"� -������������ � ����� �"� ������ ����� ��� � ��"� �������� E� ������ &'������C �0���� -"�� ��� -���"��0����� �(3>(
�� �"� ����������� �������� � ��� -� �0����� �"� ���)�������� �"� &��� ����������� -��" ���"�� �����������(@��"�� ���� �� ������ &� *�������"��� �������"�, $���2% � ��������C� ����������� �� �"� �� �� �"���� $�&�� �� ��� ����������% �� ��� � ����� -���"���������� � ���) ������� ��� �- ������������( 6���� �� *�&��� 5 ��� < �"�� �"� �������� E���) ��� ����������C $# % ��/ ���� ��� �� �������� �(�235$�&�� ��% � 5�(3 !F �� ��� -���"� �� ���� � �� �� ����) �������� &��-��� ���"�� ������ �������� $�<%��� ��� &����� �������� $�>%( �� �� ��� ����������� ���� �"�� �"� �������� E������&����� ����C $#<% ������� �� ��� ���) �������� � ��� �� �� �"���� ����� � �� ��� � ����� -���"�( B���� �"� ������� ������������� � �"�� ��������(
=�� �� 2 �"-� �"� ����������� �������� � �"� ����-"�� �"� -���"� � �"� ���������� ����� ��� ���������������� E���) ��� ����������C �� ������ �� � � �(6� &����� �"�� �"� &��� ����������� �-���"�� ��
0.00
0.05
0.10
0.15
0.20
0.25
0.30
Scorin
gAHP
Decisi
on tr
ee
Econo
mic
analy
sis
Cost/b
enef
it
Compa
rativ
e
=�� �� <( 1������ -���"�� � �"� ��0 �#� ���� ���� ���"��(
=�� �� >( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E����������C(
� � ���� � � ��� ��� � ���
2� ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
=�� �� !( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E� ������ &'������C(
=�� �� 2( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E���) ��� ����������C(
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 2�
������ ���"� � ������ �������� �� -"�� �"�-���"� � �"� �������� E���) ��� ����������C �� ��������"�� �& � �(><� ��� �"�� �"� ����������� @B9 �����&����� �"� &��� ������������ & � ��-��� ������ &��-�"� ������ -���"� � ������ ���"�( =������� -� ���&������ �"�� �"� ����������� E���������� ���"�C ������� ��-��� �������� &� ��� �"�� ������������(
�� � ������ �"� ����������� �"� ���� �"� ��������$��� �����������% �� ���������� ���� ��� E���) ��� ����������C� E� ������ &'������C� E����������C� E��� �� ����C� E��� �������������C� ��� E������&����� ����C(
�������� ��� ���� �����
�#� ��'��� ���� ���� �� �� �������� ���� �������,������ �#� �������+��)���( @��" �" �����#� ���� ���� ���"��/ �� "��� &��� ��������� ���""�� ��� -� �������"� ��� -��)������( @��������� ������� ���"��/ �� ��� ���� � ������� ���� ������� ��� ��� "���� ������� �#� ��������( 8��� �� �"� ����� � �&�� ���"��/ �� ������&��� �"� �"��� ���������� ���� ���� ���"�� - �� &� �� ���� ��#� �������+��)���(
8���� � �"� �������� ������ &� �"� � �"�� �� -����� �"� � &'������ ' ������� ���� &� �"��� �"������������ �� �� �"-� �"�� �"� ������ ���"� ���"� ��� ����&�� ���"� � �#� ��'��� ���� �+���( ��� �������"��� "��� ������ � �"�� �"��� ������ ������ ���"�� �� &��� �� �"����&����� � ���� -��" � ������ ��������� �#���&���� ��� �"��� ���������� �� �� ����� ��� ��(*"� ��� ��� � �� �� ����� � ����� �"� �&������ ���( *"� ��� ��� &������ �"- �"�� �"� ���������"� ��"����� �"� "��"��� ���� -���"�� �� �"������������ ������� E������&����� ����C� E����������C� ���E����������C� ������������( 6� "��� ��� �"-� �"��@B9� -"�� ��� �� �� �#� ���� ���� ���"�� �� ����� ����� � �"� ������ ���"�� ��� �"�� �� "�� �"�"��"��� ���� -���"�� �� �- ��������� ������� E� ������&'������C ��� E��� �� ����C( *"� @B9 �� ����&�� "������� � ������ &'������� � �#� ��'���� ������������ �"� ��&��� ��� � � �������� ��� �� �� �"������"�( ��� ���� ��/ ������� �� ������� ��� &�"/ ��������� ��� / ���������� ���� ��� &� ������������ ������� ��� ����� ��� �� �"� ����(
�� �" �� &� ���� �"�� ���" �" ������� ������������ ��� �� ��"���� �"� "��"��� ������ -���"�� ���� ����� � �� ��� ���"� � �#� ���� ����( �����'� �������" �� ��� �&����� � ���� -��" ���) ��� ����������( �� �� ��� ���� � �� ��� � ���������(1 � ��� ��� ��� �������� �"�� ���" �" �"� �������������� ���"� "�� �"� "��"��� -���"� �� �"� E���) ��� ����������C ��������� �� ������ &���� �� �"� ��������E� ������ &'������C� E����������C� ��� E��� �� ����C(*"�� ��)�� �� � ���"�� ��� ��� �#� ���� �������"�( ������� ���� ��� ��� &� ���-� � ����&����� �������� ��� ���������� ���"�(
*"�� ����� "�� ������� � ����-�) � �"����������� �� �� ��� �������� �#� ���� �������"��/ ��( @��" �" �"� ���������� �"� �������� -������ &� �"� � �"�� &���� � �"��� )�-����� ����0���������� �"� ��� ��� �"�� �� �� - �� &� ���������"����� � ��"�� ��� �� -��� &������ ������������� �#� ��������( �� � ������ � ��� ��������� �"�� �"� �� �- ���"�� ��� �"� ������ ���"���� �"� @B9( 6� "��� ��� ������� ������������������� � ��������� �"� ����������� ���" �������� ������� �"� �"���� �� �"� ��� � ��� -���"� � �� �����) �������� &��-��� ��� ���� ������������ ���&��-��� �"� &��� ��� ��� �"�� ������������(
=������� �� �" �� &� ���� �"�� -"��� � ������+���� ����-�) �� &���� � �"� ������� ��������� �0������ �#� ���� ���� ���"��� �� �� ����&��� ����� �"� ����-�) � � �� ��� ������� �#����� ���� ��&��� � ��������� �"� ��&���+��������#� ���� ���� ���"�( �� �������� �0������ �"� �� �� � ����� ���� ���� ���"�� �"�� ��'������� ���� �� ��� ����&��(
����������
@ ��� �(�( $��2>% @ ��- ������" � �#� ���� ����(())) *��������� �� )���������� ��������� 00� �� G��(
8�)��� �(�( ��� =�������� 4(�( $��2>% ������ �������� ��
�#� &����� ���� ������ ��� ��'��� �������� ���"��(�������� %������� 0-� !� ��!<G��2>(
8����"������ �( ��� 8��)"� �( $���!% @�� �#� ��'���
���������� ����� ��������HC �������� *��������� ���+������ ,4� �� 5�G5!(
8������ �( $��35% *���������� �#� ��'��� ������ ����(
�������� ��������� 03� <� 5 G5>(8���� .( ��� D���� *( 1� � �"��+����� �����C� ���"� �������� "������"���( ,���� --� 5� 3G 5�(
8,����� 8( ��� ?��)���� 4( $���5% )���!���� ���(����- ������ ��� �������( 8���7 �� -�� @�������9 &���"���(
8���& ��� =(�(� D�����"��� 6(?( ��� � �)����� �(6( $��25%
I ��������� ������� �"� ���� ���� ��� ����� �������" ��� ���������� ��'����( ��� ��������� ,� � <�G>2(
������� �(*( $���!% ��$��� .��� ���������- �� (����!����� �������� ��������( �� ������� ��������7 � 0& �� 9����(
��"���� ?(@( $��2�% ���������� ���� � �#� ��'���
���� ���� ��� ��������( ())) *���������� �� )�������+��� ��������� -2� 5� 3�G���(
������� �( $��35% %������� *���������/!��� ��������0)���!���� � �� %������� ��� ��� ��� �� ��������(
��?9� ���������� ��8��(��0��� @(�( ��� 9�����)� �(�( $���<% (������ !����
1��������( ��- 4�����7 9������� ���������� 9����(
������ @( $��25% #����2 ���������� ��������� (���������!����� ," ������( ��- J�)7 4"� 6���� ��� ���(
������ :(6( $��3<% .��-��� �#� ��'���� ����������(
�������� ��������� 1� � �G5<(=�"���� 9( ��� ������� ?( $����% @� ����������+�������� ��� � �#� ��'��� �������� ��� ���� ���� ���"��(
��� ��������� 0/� � �>>G�2�(
� � ���� � � ��� ��� � ���
2 ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
=� �)���� *(6( $���!% @���� E1����� *"��)���C � �#���� ����( �������� *��������� ��������� ,4� 5� >�G>!(
=������� �( $��3 % *�� )������� �� (��!����� (��������(:���7 =������ 9������(
D���� @(�( $��2<% @ �����- ��� ������ ����������� ��
����� �������� �� ������� �������" ��� ����������(())) *���������� �� )���������� ��������� 0-� 5����G� >(
D������ 8(� 6����� �(@( ��� B��)��� 9(*( $���% $��3�% *��������� .�������� �������- ����������� ��� %!����(8�����7 ��������+.�����(
D������ �(8( ��� ���� ���� 4(:( $����% ���� ����� ��������
�#� �����������( �������� *��������� ��������� ,5�<� 5 G5>(
B-���� �(@( ��� ?��"���� 4(�( $��3�% ��� ���� ���+
�����( �� �������� �� �� ���������� ��� ����������� ���������� ��������� ��( &� B-���� �(@( ��� ?��"����4(�(� 2��G2! � ��������7 ��D $��3<%(
������� 4( $��33% )���!���� ������� ��������- ������� ���3����( :���7 9����� 9 &���"���(
4��)��� 8( $��35% ������� ���"�� � ���� ����� �#�
��'����( �������� ��������� 3� <� �!G (���-���� =( $��3<% ���� ����� ��� ��������� �������" ��'����
&� ������( �������� ��������� 01� � �G >(� -�"���� J( ��� *�)���� J( $����% ?��������� ������"
� �������" ��� ���������� ���+����������� ���� ����(())) *��������� �� )���������� ��������� ,1� � �5<G�53(
:�&������� ?(4( $��32% @� �0������ �"� @�������B������"� 9����� � ��� ������ �#� ��'��� ����������� ��� ��� ��������( ())) *���������� �� )����������
��������� ,5� <� � G�3(:��)� @(�( $���5% ������ ��� ����!���� �� ��!�� �� ���(
�� )���!���� ��� (����- ������ ��� �������� ��( &�
8,����� 8( ��� 4( ?������( 8���7 �� -�� @�������9 &���"���(
:�)���� D(� B��"�������� 8( ��� J��� �� 9( $��3!%?������ � �������" ����� ���� @B97 � �� �
������� ������( ��� ��������� -3� � �>�G�!�(?���"���� �(*( # 1������ �(?( �������� ��$��� ���
����������( ?�D��- B���� ���>(
?������ 4(9( $���>% �������� ��� ��������� ��� ��%�������( ��- J�)7 4"� 6���� # ���(
?����� ?(D( ��� B������ ?( $����% 1��������- � 4!���
� ������� ��� 1�������� �� 5!������� ���$ ��� ��������������( ���&����� ���������� 9����(
?����� 9(@(� *���&���� �(1( ��� ��&�� @(:( $����% 6"��
�"���� �#� ��'����� � -��" ��� �"��( ��������*��������� ��������� ,5� �� 5>G<�(
1������ �( $��3!% �������� ��� %!������� ��� ��� ��
)���!����( *��"����� �������" ������ =������� ���(9��������� �(@( ��� 8�)��� �(�( $��2�% 9�'��� ��� �������������� �� �������" ��� ����������( ��� ���������
0� �� 5G�<(9���� 4(�( ��� ������� �(9( $��3�% �������� � ����� ����� ���#� ��'����( �������� *��������� ��������� ,0� ��5�G5>(
9����� @(�(� � ��( $��3�% � 4!���"��$ ��� *����������������� ��� (��� ��������( ��- J�)7 ���"+B�����(
����� B( $��!3% �������� ��������- (����!���� ���!��� ��#������ 1���� 1��������( ��- J�)7 ����� B ��(
������ *(:( $��3�% *�� ������� .�������� �������- ���������
�������� %���� ����!��� ���������( ��- J�)7?�D��-+B���(
������ *(:( $���<% �!�������� �� �������� ��$��� ���
������� *����� ��� �� ������� .�������� �������(9����& ��"7 �6� 9 &��������(
������ *(:( ��� .������ :(D( $��3 % *�� ����� �� ���������(8���7 �� -�� @������� 9 &���"���(
������ *(:( ��� .������ :(D( $���<% �������� ��$��� ��)������� ��������� %����� ��� *������������ )������������ *�� ������� .�������� �������( 9����& ��"7 �6�
9 &��������(������� :(4( $��><% *�� ��!������� �� %������( ��- J�)74"� 6����(
� ���� 6(�( $��23% ������ � ���� �#� ��'��� ���� �+��� ���"��( �������� ��������� 0-� <� �G52(
*"���� B( $��3>% ������� �������� ��� ��������� ������+
���� �������" ��� ����������( ��� ��������� -6��� 5G (
*��������� :( $���!% ���� ,�����- ���������� ���2�"���� ���%����� �� ����!��� ���������( ?�����" �����7 *"� ?�*
9����(*�������"��� � �( ��� ����"�,� @( $���2% @ ������������������� ������" � ��� ������������� � ���+��������
������� ��)��� ���"��( �������� %�������� 02� �� �>�G��<(*����)�� @( ��� ��"������ �( $��2<% 4 ������� ���� ����������7 "� ������� ��� &�����( %������� -26� �� <G��5�(
������7
*�&�� @�( 9���-��� �������� ���"�� -(�(�( �"� �������� E� ������ &'������C(
? ������&'������
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � ��2 ��! ��5 �� �(�>!������ ?��"� � � > 5 �(5�!@B9 � ! < 5 �(5<>������ @������� � ��< ��5 �(�<5����&����� @������� � � �(� !������� *��� � �(� 5
�(�( �(�
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 25
*�&�� @ ( 9���-��� �������� ���"�� -(�(�( �"� �������� E���) ��� ����������C(
���) ��� ����������
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � �� �� ��< � �� �(�35������ ?��"� � � ��5 �� ��5 �(�55@B9 � ��5 ��5 ��5 �(��!������ @������� � ��5 � �(5�3����&����� @������� � � �(�< ������� *��� � �( 53
�(�( �(�3
*�&�� @5( 9���-��� �������� ���"�� -(�(�( �"� �������� E����������C(
����������
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � ��! ��< ��< ��< ��> �(�53������ ?��"� � <> 5 � �(5�!@B9 � � �� �(�>5������ @������� � �� � �(��!����&����� @������� � �� �(�<<������� *��� � �( 5
�(�( �(�<
*�&�� @<( 9���-��� �������� ���"�� -(�(�( �"� �������� E������&����� ����C(
@�����&����� ����
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � �� �� ��5 �� �� �(�2������� ?��"� � � < 5 �( 23@B9 � < 5 �( 23������ @������� � �(�<!����&����� @������� � ��5 �(�35������� *��� � �(�5!
�(�( �(��
*�&�� @>( 9���-��� �������� ���"�� -(�(�( �"� �������� E����������C(
@���������
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � � � > < �( <>������ ?��"� � � > < 5 �( !!@B9 � ! < �( > ������ @������� � ��5 ��< �(�5�����&����� @������� � �� �(�25������� *��� � �(� >
�(�( �(�
� � ���� � � ��� ��� � ���
2< ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���
*�&�� @!( 9���-��� �������� ���"�� -(�(�( �"� �������� E��� �� ����C(
��� �� ����
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � � � < 5 �( �!������ ?��"� � � ! < < �( 2�@B9 � 3 > > �(5�������� @������� � ��5 ��< �(�5!����&����� @������� � �(��<������� *��� � �(�2>
�(�( �(�<
*�&�� @2( 9���-��� �������� ���"�� -(�(�( �"� � &�������� E�0������C(
�0�����
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � �� ��5 ��< ��< ��> �(�>5������ ?��"� � � �� ��5 �(�>5@B9 � ��5 �� � �(� ������� @������� � � � �( >�����&����� @������� � �( >>������� *��� � �(�!�
�(�( �(�<
*�&�� @3( 9���-��� �������� ���"�� -(�(�( �"� � &�������� E����C(
*���
9���-��� ���������
9����������������?��"�
������?��"� @B9
������@�������
����&�����@�������
�������*���
���������� ?��"� � ��! ��> ��! ��> ��> �(�5 ������ ?��"� � ��> ��5 �� �(��!@B9 � ��5 ��< �� �(��2������ @������� � 5 �(5>�����&����� @������� � �( > ������� *��� � �(� >
�(�( �(��
� ��������� �������� �� ��� ��� �� ����!���� �����
� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 2>