a comparative analysis of r&d project evaluation methods

13
A comparative analysis of R&D project evaluation methods K.L. Poh, B.W. Ang and F. Bai Department of Industrial and Systems Engineering, National University of Singapore, 10 Kent Ridge Crescent, Singapore 119260 A large number of methodologies for Research and Development R&D) project evaluation have been developed and reported in the literature over the last few decades. Almost all of this literature focused on the mechanisms and underlying theoretical foundation on which the evaluation methods are based. Very little attention has been paid to the effectiveness and suitability of the techniques, especially a comparison of the techniques. This paper presents a comparative study on a number of classes of R&D evaluation methods based on the Analytic Hierarchy Process. We look into the various factors and characteristics of R&D evaluation methods that affect their suitability. A sensitivity analysis was also carried out to determine the critical factors. Introduction C ompanies and corporations involved in research & development R&D) face the problem of performing R&D project evaluations. Such evaluations focus on alternative R&D projects that the company may undertake. The results of these evaluations usually have direct influence on decisions that have great impact on the survivability and development of a technology-based organization. In performing R&D project evaluation, an important choice to be made is which evaluation method to use. Very often, the quality of the results is dependent not only on the analytical expertise of the company but also on the method of evaluation itself. Over the last few decades, a very wide range of R&D evaluation methods have been developed and reported in the literature. Comprehensive reviews of these R&D evaluation methods have been conducted by Souder 1978), Danila 1980) and Jackson 1983). We have observed that almost all of the previous studies on R&D evaluation methods focused on describing the mechanisms of the techniques and on analyzing their strengths and weaknesses based on the nature of R&D projects. Very few have focused on examining the degree to which the techniques meet the requirements of the evaluation process. To our knowledge, no study has been conducted to identify and analyze the criteria or guidelines necessary for choosing the most appro- priate method from among different methodologies available. When confronted with a real-world problem, an analyst faces the difficult problem of selecting the appropriate evaluation techniques for R&D decisions. If an available technique is chosen arbitrarily, it may result in misleading or even wrong conclusions. To avoid this problem, it is necessary to develop some formal procedure or guidelines for the selection of the R&D evaluation technique for a specific R&D decision problem. In this paper, we present a framework for the comparative evaluation of R&D evaluation methods. Its purpose is to help R&D decision analysts gain insight into the strengths and weaknesses of the various categories of R&D evaluation methods. This paper is organized as follows: In the next section, we review the available R&D evaluation methods and suggest a classification scheme for the methods. In the third section, we describe a general framework for comparative evaluation of R&D evaluation methods. The results of the evaluation are R&D Management 31, 1, 2001. # Blackwell Publishers Ltd, 2001. Published by Blackwell Publishers Ltd, 63 108 Cowley Road, Oxford OX4 1JF, UK and 350 Main Street, Malden, MA 02148, USA.

Upload: kl-poh

Post on 14-Jul-2016

212 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: A comparative analysis of R&D project evaluation methods

� ��������� ��� ��� �� ���������� �� ����� �������

���� ���� ���� ��� ��� � ��

���������� ��� ������ ��� ������� ������������ ������� ���������� ��������� �� ���� ����� ����������������� ��� !�

� ���� ���!�� �� ������� ���� ��� �������� ��� ��� ������ "���# ������� �� ����� ��� !������ ���� ��� �������� � ��� �������� ��� ��� ��� ��$ �������� � ���� � �� ��� �������� ������� ����� ��������� ��� ����� ��� ��������� ��������� �� $��� ��� �� ����� ������� ��� !����� %��� �� � �������� ��� !��� ��� �� ��� ����������� ��� ����! �� �� ��� �����&���� ������ � � ����������� ��� �����&���� '�� ����� �������� � ��������� ����� �� � ���!�� �� � ����� �� ��� �� ������������ !���� �� ��� ��� ��� (������� �������� �� ��) ��� ��� ����� ������� ��� ������������� ����� �� ����� ������� ���� ������ ���� ����! ��� � ������� ��� ��� $�� � �� ������ ��� ���������� ��� ����� ��������

*����������

+ ������� ��� ��������� ������� �� �������"# ���������� $�#�% ��� �"� ��&���

�������� �#� ��'��� ���� �����( � �" ���� ������ � � ����������� �#� ��'���� �"�� �"� ��������� ������)�( *"� ��� ��� �"��� ���� ����� � ����"��� ������ ��� ���� � �������� �"�� "��� ����������� � �"� � �����&����� ��� ���������� ����"����+&���� �����,����( �� �������� �#���'��� ���� ����� �� �������� �"��� � &� ���� ��-"��" ���� ���� ���"� � ��( .��� ���� �"�/ ����� �"� ��� ��� �� ��������� �� ��� � �"����������� �0������� �"� ������ & � ��� � �"����"� ���� ���� �����(

1��� �"� ���� �- �������� � ���� -��� ����� �#����� ���� ���"�� "��� &��� �������� ��� ��������� �"� ������� ��( �����"������ �����-� �"��� �#����� ���� ���"�� "��� &��� ��� ���� &� � ���$��23%� ������ $��3�% ��� 4��)�� $��35%( 6� "���&������ �"�� ����� ��� �"� ����� � �� ���� ��#� ���� ���� ���"�� � ��� � ������&��� �"����"������ �"� ���"��/ �� ��� � �����,��� �"����������"� ��� -��)������ &���� � �"� ��� �� �#���'����( .��� �- "��� � ��� � �0������� �"�

������ � -"��" �"� ���"��/ �� ���� �"� ��/ �������� �"� ���� ���� ������( * � )�-������ � �� ��"�� &��� ��� ���� � ������� ��� �����,� �"� ��������� � �������� ��������� � �"���� �"� ��� ����+������ ���"� �� ���� ������� ���"������������&��(

6"�� ������� -��" � ����+-��� ��&���� ��������� ���� �"� ���� �� ��&��� ��������� �"����������� ���� ���� ���"��/ �� � �#� ��������(� �� ������&�� ���"��/ � �� �"��� ��&��������� �� ������ �� �� ���������� � ���� -��� ���� ����( *���� �"�� ��&���� �� �� ��������� � ������ ������� ����� �� � � �������� � �"� �������� �"��#� ���� ���� ���"��/ � � � ������� �#� ���������&���( �� �"�� ������ -� ������� � ����-�) � �"����������� ���� ���� �#� ���� ���� ���"��(��� � ���� �� � "��� �#� ������� �������� ���������"� ��� �"� �������"� ��� -��)������ �"� ���� ���������� �#� ���� ���� ���"��(

*"�� ����� �� �����,�� �� ��-�7 �� �"� ��0�������� -� �����- �"� ������&�� �#� ���� �������"�� ��� � ����� � ������������ ��"��� � �"����"��( �� �"� �"��� ������� -� ������&� � �����������-�) � ���������� ���� ���� �#����� ���� ���"��( *"� ��� ��� �"� ���� ���� ���

��� �������� ,-� �� ���( � 8���)-��� 9 &���"��� :��� ���( 9 &���"�� &� 8���)-��� 9 &���"��� :��� !5��3 �-��� ���� 10�� 1;< �4=� �� ��� 5>� ?��� ������� ?������ ?@ � �<3� ��@(

Page 2: A comparative analysis of R&D project evaluation methods

��������� �� �"� ��" ������� -"��" �� ��-�� &� ������������ �������� � ������� �"� �������� �������� �� �"��������� �#� ���� ���� ���"��( �� �"� ����������� -� ���� �� &� ���� ����� � ������� ���� ����� �������� � � �� -�)(

���$ ��� � ��������� �� ��� �� ������������

?��"�� � �#� ���� ���� ��� &� &����� ������+��� ��� �- ���� ���������� ������ -���"���� ������)��� ���"�� ��� &�����+�����& ��� ���"��� ���"-� �� =�� �� �( 6���"���� ��� ���)��� ���"����� �� �������� -���"�� ��� ���) � ��� ��������'���� �� ���� ���������( *"� ��� ��������� -���"���� ��� ���)��� ���"�� ��� �"����������� ���"� $9�������� ��� 8�)��� ��2�A������ ��25A 1������ ��3!%� ������ ���"� $8���+& �� � ��(� ��25A 8������ ��35A ���-���� ��3<A 9������ ������� ��3�A 8����"����� ��� 8��)"� ���!%���� �"� @������� B������"� 9����� $@B9% $:�)��� ���(� ��3! ��� :�&������� ��32%(

�� �"� ���������� ���"�� � ��'��� �� �������-��" ���"�� ���"�� ��'��� � � ��� �������������'����( ?��"�������� ����� ��� ��� � �0����������� �� �"� ������ ����� ���" �"� ��'����������� � �"� ������������ �"� &��� ��'���( *"����������� ���"� �� ���� � �� ��� � �����"����& � �� ������ "������ � � &'������ ' ������� ��� "����� ������ ���-&��)�( =����� �"� ���� ����� ��� &������ ����&�� �� �"�� �"�� ��� �"���� -��" ����� ������� ����� ������� &� ������� ����� ��� ���������� ������&��( ������ �"����� �� �"� ��� ����������� ��'���� ��� ���� �"� ������ ����������� ���)��� ��� �"� ��'����( =������� ��� ������+���� ���"�� � �� ������� � ������ &'�������( *"������� ��� �"� ���� ����� ��������� -��" �"� ���������� �"� � ������ &'������� � �"� �������+��)���$1������ ��3!%(

*"� ������ ���"� ���� ���� ��'���� &� ���������" ��'��� � ���� ��������� "- -��� �� ����� �"�

������ &'������� � ��� ������( @ ������ ���� �� ����"�������� �� �� � ����&���� �0������� �"����� ��� � ���� � ���" ��'��� ���� �����������(*"� �� �� ���������� �"�� ����� &������� � &���������( ���" ���� �� -���"��� � ������ ������������ �������� � �"�� �����( 9�'���� ��� �"�����)�� �� ���� �"��� �����( *"� ������ ���"���� ��������� ��� )���� ���� �"�� ��� &� ������&����������� ��������� ��'����( ���-��� $��3<% ��������"�� �"� ������ ���"� �� �� ������� ���������� ��-"�� ���� ��/ �������� ��� �����0��� �����"��������� ������"�� ��� �� ' ������( *"� ������+��� �"������� �"� ������ ���"� �� �"�� �"���� �� ���� �"� ���"� �� � ���� �� -���+���������)��� �� ���� �� � ' ���� ��� �� $4��)��� ��35%(B-����� �� �" �� &� ���� �"�� �"�� ��&��� �� �� ������� �"� ������ ���"� �� ��������� & � ���������� � � ��� �������������(

*"� @B9 �� �������� &� ����� $��3�%� �� � ���"�� �������� � ��� ������������ � ������ �� ���������)��� �� � �����0 ����������( �� �� �� ��� �������� ���������� ���� ���"� � �� ������ ��������,��� �����0 ��������( *"� @B9 ��� �� ��� ������0 ��&��� ��� � "������"�( *"� �������� ��� �"��������� ����� ��� �������� "������"������ ����+������� � ��C� ������������ �"� ��� ����( *"�"������"���� ������ ��������� ������ �"� ������ ����� �"� �� �"� "������"�� ��-�� &� �"� �������������& ���� � �"� ���� � &+�������� $� ���%� ��������� �"� ������������ �� �"� �-��� �����( @ ������ ����-��� ��������� ��� ���� ���� -���"�� ���������� �� ���" ����� �"� "������"�( *"��� ����-���"�� ��� �"�� ��&���� ���� �� �������� ��� ����� � ��� �� � ��� ��&�� -���"�� � ���������� �"� ������������( @����������� ��� &� ���)�� � �"�&���� �"��� ��&�� -���"�� ��� ��� &� �"� @B9(

*"� &����� �����& ��� ���"� �� ��� � �0�������'���� � ��������� "- -��� �"�� ������ �"� &�����#� &'������� �� �����,����( ?��"�� ��������� ���� �"�� ������� ��� ������ �������� $��)���� ��(� ��2�A =������� ��3 A ������ ��3<A ������� ��33A=�"��� ��� ������� ����A D����� ��� ���� ���� ����%�

R&D EvaluationMethods

Scoringmethod

AHP Decision treeanalysis

Comparativemethod

Cost-benefitanalysis

Economicanalysis

Weighting & Ranking methods Benefit-contribution methods

=�� �� �( ������������ �#� 9�'��� ���� ���� ���"��(

� � ���� � � ��� ��� � ���

!< ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 3: A comparative analysis of R&D project evaluation methods

����&����� �������� $@ ��� ��2>A � -�"��� ���*�)���� ����A :��)� ���5%� ��� ������� ���� ��������$D���� ��2<A *"���� ��3>A ?���� � ��(� ����A=� �)���� ���!%(

������ �������� �� &���� � ������� & ����������"��/ ��( *"� ��� ������ ��� �������������� ��� ��� ������� ��� �� ���&��) ������ ������� ��� �� � ����������( *"� �� �������������� �� �"���������� -��� ' ������ � �"� �������������� � -"��" �"� ����� ��� ����� ��� &��������� $1������ ��3!%( B-����� �� ��������� �"������& ���� �#� ��'���� ��� �������� ���� ��� ���� �� ��� �������� �� �"�� �"�� ����������(= ��"������ �� �� ��� ��������� � �������� �������������� &������ � ���" �-� ��'���� ��� � ������� �������� "��,�� ��� ��� ���� ��� � ������/ ���� &� �"� ���"�� �� ������� ����� ������� �� � ������ � ��������(

@��"�� ��&��� -��" ������ �������� �� �"���#� �������� ��� � ���� � ������ �������� � &'��+���� �������� �� ��� ��� & � ������ ���"��������� ��� � ������ ��������� ������ ��������� ��( �� "�� ��� &��� &������ �"�� � "���� ��������� ������ ��� �� ���� ��� ��� ���� � �� �&������� ����� ��� �� ��� ������ ������+���� ���� $:�&������� ��32%(

������ �������� � �" �� �"� ���������� ��� ���������� � ���"� ��� ���� � ���� �� �"� �������� ���� ���������� �������� ��0�&����� -"��� ���������&���#� ����������� ��� &� ������� -��" �� ������� � �"� ������� � ������( *"� ���� ������"� ���������� ���� ���� "�� &��� �������� ��������� ������ �"�� ��&��� $��0�� ��� 9�����)� ���<A*��������� ���!%(

����&����� �������� �� ���"�� ���"� ��/ ����� ��� � ��'��� ���� ���� ��� ������� & �������$9���� � ��(� ��3�%( �� �"�� ���"�� �"� ����/ ���� � ��'��� �� ������&�� �� ��� ��� &����� ���� ���(*"� ���� ��� � �"�� ���� �������� �� �"�� ����� ����� �� �0������ ����������� �"� ���� ���&������ ��'���� ��� ���&��� �"� ������������ �������� ����� �� �"� ���� ���� $1������ ��3!%( ������� �"������� �� �"�� �� ��/ ���� ������� &������� ���� ���� ��� �� �"� ���� ���( �� ��� ��� �����- �"� ������ �������� �"� ��'���� � -��"��� ������� ���� �� �������&�����( =������� �"�����"� ��� �� � ���� ���������� ��� ���&������ ��� � ������ ���� ��(

������� ���� �������� �� ��� �� ��� ����� �� -"��"�������+��)��� ��� � ��/ ���� ��������� ���&��-��� ���" �- � �������� ��������� �� ���� �"� ����� � ������� ���������� $?������ ���!%(������� ���� �������� "�� ��� ��� �� ��������������� �"��� $������� ��><% ��� �� � -��� ����&���"�����"���� � ������� �������� $B-��� ���?��"���� ���5A ������� ���!%( �� ������� �"���� �� ���� �"� ��&��� &� �� �������� ��� ����&������������� ��� ���� ����/ ������ ����� ���

������� �"� ��������� ��0�� � �0������ ������ ���������� �"� &��� ��'��� �����������(

*"� ���� �������" �������� ������� ���� ���������� �"�� �� �� ����&�� � ��������� ��� �����,� � ������ ��/ ������ �������� � &� ���� ��� ����� ��� �"�� ��� ���� ������� ��� �� �#� ��'��� ���� ����$4��)��� ��35%( B-����� �"� ����� ���� �"�������� ���� �� �� ��� ���� ��� ���� & � ��� ���&� �0������� ����� -"�� �"� ��&��� �� ����� ��������0 $����� ��!3%( ��� ���� �������� "��� &����������� �� �� ����������� � ������� ���� �� ��������������� $B-��� ��� ?��"���� ��3�%( ��� ������������ ��� ����"���� �������������� ���������&���� -"��� �"� ���� �� �"� �������� �����������"� ����� �"� �����&��� ������ ��� �"� ������������ ��������� �������� &��-��� �����&���( @� ��� +���� ������� �"����� ��-� �������� �� ��,� -��" �"�� �&�� �����&��� -"��� � ������� ���� ��-��0����������( @��"�� ��������� ��� ���� ���+���� ��� ������� ���� �� �"�� �"� ��&�&������������������ ���� )�� �����&��� ��� �0�������� �����+������ &� ���"�� �"� �������� � �&����� ����&��-��� �"� ����( �� � ������� ����� ��� �������������������� ��� ��� &� �������� �"� �" � ���������� ������ ��� ��������� �"� ��&�&�������(

@��"�� ��&��� -��" �"� �� ������� ����� ���#� ���� ���� �� �"�� ��)� ��� �������+�"���������"��� �"� �������+��)�� �� ��/ ���� � ��������&�&������� � �������� �����&��� ��� ���������� �����/ ������ �����( 9���"������ "��� �"-��"�� " ���� ��� &�� ��������� ��&�&�������$*����)� ��� ��"������ ��2<%( �������� ������"��� &��� �������� � ���������� ��&�&��������� ����� �0����� � ��������� �"�� ��&��� $?������� B������ ����%(

����$��) ��� �������� ��� �� ������������

6� ���� �"� @B9 �� � ����-�) � ������������������ �#� ���� ���� ���"��( ����� �������� ���� &� ����� $��3�%� �"� @B9 "�� &���������� �� � -��� ������� ��������� �������� � ���������0 ������� ��&����( 1�� ��� ��'� �������"��� ��� �&����� � ������ ��� ���) ������� ������������&���� � &�" / ��������� ��� / ���������� �����( @�� ��� ��� �"� @B9 "�� &��� ������� � �� �0�������-��� ����� ��&���� �� & ������� ������� "����"������������� � ������� ������ ��&���� �� ����+���,����� ��� ��� ��������� ���������� ������������) ��������� ������ ��������� ���( $����� ��� .��������3 � ���<%( @� �������� �� �"� ����� � ������� �"�@B9 "�� ��� &��� ������� � �#� ��'��� ���� ����(:�&������ $��32%� � �0������ "�� �������� �� @B9������� ����-�) � �#� ��'��� ��������( �� ������"������ � ���� &� D����� $��3�%� ��� �"���>� � &�������� -��� �� � "��� ��� @B9 �

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !>

Page 4: A comparative analysis of R&D project evaluation methods

���� ��� �����,� ��&���� �� �� ���� �� ���������� ���������� �����( @��� �"�� �������+����� �� -�� �� �"�� ������ ��� �"�� ����� -��"�"� ���)��� ������� ������������(

?��"������ � �������� ����������� �������� ���"� @B9 ��� -��� �������� ��� �������"��( 8�������"� �������� ����������� ��� ������� &� ����� �� "����-���� �0���� �"���� �"�� ���"������ ������������ �������� "��� &��� �������� � �"� @B9(*�������"�� ��� ����"�, $���2%� � �0������������ � ���"���� � �������� ������������������� � �"� -���"�� �"� ������� �������� ��� �"���������� ��� �� �"� ������������ �� ����� �"��������� � ������������� � ���+�������� �������+��)������"��( *"� ���"���� ��� &� ��� � ����������"� ��� �������� �������� �� �� @B9 ���� -"��" ����"�� -"��" ��/ ��� � ����� �"���� �� -���"� � �� �� ��-���" �� ���) �� � ��� ������������(

������� ��� �"� ���������� ��� �������"� ���������-��" �"� @B9� �� �� �� -��" � ��'� ����������( =������"� @B9 ��/ ���� � ����� � �&�� ����-��� �����+���� � &� ���� ��� �"�� ��)�� �� � ���� � ���"� � ��( �������� �"� @B9 � ��� �� �"� E���) ����������&���C $8���� ��� D���� ��3 % �� �"�� � ����������� ����������� �� ����� � �"� ��� ������������������� �"� �������� ���) ���� �"� ������������������� ��� �"���� ���� �" �" �"� �������+��)�� ��� �� �"���� �"� ������� �������� ���)����(������� �"������ "��� ��� �� �"�� � ���� �������� ������� ��)��� �" �� ������ �"�� �"�������+�����( B���� �� �� �������� � ��� �� �"�� �� �"� ����� ���@B9 �0������� �"� ���� �������� ����� �� ���������� ������ ��������� ����� ���� �"� ������� � ��" �� &� ���-�� �� ��������� ����( ���) �������� ���"� @B9 �� ������ � � �"� ������,���� -���"��� ���� �"� ����"���� ������( ����� $���<% ������ ��

����������� ��� ����� ��"��� ������ �"� E����� ���C-"��� �"� -���"� ������ ��� ������� &� ��� ������� ������� ���� ���) ��������( � �" � ���� "-����� ��� ���������� � ��� ����� � ���+�����& �� ������ ����(

1�"�� ��&���� -��" �"� @B9 ���� �� �"� ������� �"� ��������� ��������� ������� &� ��&����������������� ���� ��� � �����& ��� ����"�� -��" �"����"� � � �&����� -���"��� ��� �"� �� ������� ��&���� ������������ ���������� ����� �"��� ��� �������-��� ������� ����&�� &����� ��� � �"� �������+��)��C� ���������� $?���"��� ��� 1������ ���>%(

=�� �� �"-� �"� @B9 "������"� � � ��+�������� �������� �#� ���� ���� ���"��( 1 �&'������ �� � ����� � ���������� �� �� �"� ��0���"�� ��������� �� �"� ����� � ������( *"��� ��0����������� �#� ���� ���� ���"�� ��� �� ��������� :���� < �"� "������"� �� =�� �� ( @� �"� "��"�������� �"� "������"�� -� ������ �"� ��� -"��" �� �"������������� �"� ����� � &��� ���� ���� ���"�� �#� ���� ����( :���� �"� "������"� ���������� ��'� �������� � ����� �"�� ��� �������� ������������� �"� ����������� �#� ���� �������"��( *"� ����� �������� ��� �� ��-�7

�( �!����� �" ����� $#�%7 *"�� �������� ����� � �"��&����� �� �#� ���� ���� ���"� � ���� -��"� ������ &'�������( @ �������� � ���� "�� ����"�� �� &'������ �� �� ��"��� �#� ��'����(������� ��'��� ���� ���� ������������ ��������+��� �"� � ������ &'������� ��� �"� ���� ����������( ?��"�� �"�� ��� �&�� � "����� � ������&'������� �0�������� ��� �������� � �"�� �"�� ���(

( ���$ � !�������� $# %7 *"�� �������� ����� � �"��&����� �� �#� ���� ���� ���"� � �����+���� ���) ��� ���������� �� �"� ��������( @���� ���

Level 1Goal

1C 2C 3C 4C 5C 6C 7C

Level 2Criteria

Level 3Subcriteria

1A 2A 3A 4A 5A A6

Level 4Alternative

Ideal Evaluation Method

Multiple objective

Risk and uncertainty

Availability of data

Simplicity Nature of data

Adaptivity Cost

Expense Time

Scoring method

AHP Decision tree analysis

Economic analysis

Cost-benefit analysis

Comparative method

=�� �� ( B������"� � �"� ���������� �������� �#� ���� ���� ���"��(

� � ���� � � ��� ��� � ���

!! ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 5: A comparative analysis of R&D project evaluation methods

����+-��� ��'��� ���� ���� ��&���� � �� ����-��" ���) ��� ����������( B���� ���� ���� ���"+�� -"��" ��� ���� �0�������� -��" �"� ���)� ��� ���������� ��'���� -��� &� ��� ������� ����"����� �������� � �"�� ���"�� �"�� � ��(

5( %������� $#5%7 *"�� �������� ����� � �"� ������+���� �"� �#� ���� ���� ���"�( @ �� �#����� ���� ���"� �" �� &� ���� � ������������ ������� ��� �"� ��� ��� �" �� ��� &� ���� ����������( B���� ���"�� �"�� ��� ������ � �� ������� � ��������� �" �� &� ��������(

<( ������"���� �� ��� $#<%7 *"�� �������� ����� � �"�������&����� ���� ��/ ���� &� �"� �#� ���� �������"�( @� �#� ���� ���� ���"� ��� ��/ ������� �"�� ��� �� ������&�� � ���� �� � &����(B���� ���"�� ��/ ����� ���� �"�� ��� ������������&�� �" �� &� �������� � �"�� �"�� � ��(

>( �������� $#>%7 *"�� �������� ����� � �"� �&����� �� �#� ���� ���� ���"� � ����� ��� �����+���� �0�������� ��� )�-����� ������� �������+��)���( @� �#� ������� �� ��������� � �� �������� ��/ ����� �0�������� ��� )�-����� ���� �0����� ��� �������+��)���( B����� ���"���"�� ��� "��"�� �������� �� ����������� ��������0������� ��� )�-����� ������� ������� �����������(

!( &�!�� �� ��� $#!%7 *"�� �������� ����� � �"���� �� ���� �"�� ��� ������ &� �"� �#����� ���� ���"� -"��" ��� &� ���"�� / ������+����� / ���������� � � ��&������ &�" �� ��� ��$8���& ��� ��25%( ��������� � �"� ��� �� ��+&���� ���"�� ��/ ����� �� �� ���� ��� &��������� � �"�� ��/ ����� �"�� ��� ����(

2( #�� �� ���������� $#2%7 *"�� �������� ����� ��"� ��� ������� ��� ������������ �� �#����� ���� ���"�( 6"�� �"���� �� ���� �������"�� �"� ������������� ��� �" �� &� ��+�������( *"�� �������� �� ��"�� ������� ��� �-� &+��������� E������� �0������C ��� E���� ��+/ ����C( ?��"�� �"�� ��� ���0������� ��� ��/ ���� �"�� ���� � ��������� ��� �������� � �"���"�� ��� �0������� � ��/ ��� � ��� ���� ����������(

+�������� �� ��� �� ����� �������

#�������� �� �� #������

6� �"��� ���� ������ �"� �������� $:���� % -��"������� � �"� ������ ��� $:���� �%( *"�� �� ��� &���������� �"� ��������� ���" �������� �� �������� �"� �"��� ���� ���� ���"��( =��-����"� @B9 ���"����� ����-��� ��������� ���������� &� �"� � �"�� � &���� �"� ����������������� �"� �����( *"� -���"�� ��� �� �"���� �� -���� -"������ ����&��� &���� � �"� ��� ���"������������ �"� ���"��( 1�"��-���� �"� � �"��������� �"��� &��� ' ������� &���� � �"��� �0����+����� �� ���� �"� ���"�� �� -��� �� -��" ��� ���� �� �0��������� ��'��� ��������( �� �" �� &����� �"�� �"� �0��� ��� ��� �"� �� �� � �� &�������� � �"� ����-��� ��������� -��� ���&� ������� ����� -��" ������� &��)�� ��� ����0���������(

*�&�� � �"-� �"� ����-��� �������� �����0 ��"� ����� :���� �������� -��" ������� � �"� ���( *"�������,�� -���"�� � �"� �������� ��� ����� �� �"� ������ �� *�&�� �( =�� �� 5 �"-� � ����"���� ��� �"� -���"�� �� � &�� �"���(

*"� ��� �� �"�� �������� ��������� �"�� �"� ��������E� ������ &'�������C "�� �"� "��"��� -���"� �(5�����-�� &� �"� �������� E���) ��� ����������C -"��""�� � -���"� �( ><( *"�� �������,���� �� ���������-��" �"� ���� ��� �� ����+-��� �#� ��������-"��" ��� � ���� � ������ &'������ ��� � &'��� � ���)��� ����������( =� �0������ �#� �������� ������� �� &'������� � �" �� ���� ��0���,����� ���)���"���� � ����� ����������� ��� � �� ���������� � ��- ��� ��( @��� ���) ��� ���������� �����"����� �� ����� ��� ����+-��� �#� �������� ��� ���� ��������� � ������� �"� ����&����� ��������&������� �� �"� � �� ��� � -���"� &�" ������ ��� ����� ��� ����� ������� �"��� ����&������� �� �+�����( B����� �� ���������� �#� ���� ���� ���"��" �� &� �� -"��" "�� �"� �&����� � "����� � ������&'������� �� -��� �� � �0�������� ������� �"� ���) ��� ���������� �������(

*�&�� �( 9���-��� �������� �������� -��" ������� � �"� ���(

�����������������

9���-��� ���������

9������? ������&'������

���) # ���������� ����������

����@�����&����� @���������

��� �� ���� ���

? ������ &'������ � � 5 5 < > ! �(5�����) # ����������� � 5 < ! �( ><���������� � � 5 < �(�<����� ������&����� � � �(���@��������� � 5 �(��<��� �� ���� � �(�!<��� � �(�5�

�(�( �(�

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !2

Page 6: A comparative analysis of R&D project evaluation methods

1 � �������� ������� �"�� �"� �- ����� ���������������� ��� E��� �� ����C ��� E��� ����������+���C -"��" "��� �������� -���"�� �(�!< ��� �(�5��������������( ������� -��" �"� "��" ��� � ���"��" ���)�� ������� �� �#� ��������� �"� ��� �������� ���� ���� ��� � ���� ����� ��� �� �������������� ���� �"� ������ ��� � �"� ������(

#��������� �� �� ����!���� ����� '�������� � ���� ��������

6� �- ������ �-� �"� "������"� ��� ���������-��� ��������� � �"� ����������� ���"�� -��"������� � ���" :����+ �������� �0���� �"� E��� �������������C -"��" "�� �- :����+5 � &+��������(*"� ������������ ��� ��� ��)�-��� ����-��� �������-��" ������� � �"� �- :����+5 ��������( *"� ���"�����-��� �������� �������� ��� �"-� �� *�&��� @��"� �" @3 �� �"� @������0(

*�&�� ������� � � ����� �"� ������,���������� -���"�� � �"� ��0 �#� ���� ���� ���"��-��" ������� � �"� ����� :����+ ��������( �� �"� ���� �-�� ��� �"� ���� ��&��� -� ��� ��������� �"� ������-���"�� � �"� ��0 �#� ���� ���� ���"�� ��� �"������)�� ������������( =�� �� 5 �"-� � ����"���� �����+��� �"� ������ -���"�� �� �"� �� � &�� �"���(

*"� �&�� �������� �"-� �"�� �"� ������ ���"�� �#� ���� ���� "�� �"� "��"��� -���"� �( <3���� �� �� ������ ��-�� &� �"� @B9 -��" � -���"� �( 3( �� �� ����������� � ��� �"�� &�" �"������"�� &���� � �"� -���"���� ��� ���)��� ������� ���"��( *"� ���� �"� �#� ���� ���� ���"���� ���������� ��������� ��� ������� ���� ��������$�(�!2%� ������ �������� $�(�<�%� ����&����� �����+��� $�(� 2%� ��� ���������� ���"� $�(��%(

�� �" �� &� ���� �"�� ���" �" �"� @B9 ���� �� ����� ������ �� "�� �"� "��"��� ���� -���"�� �� �"��� � �"� ����� ��������( 6� ��� ���� �"�� ���" �"������� ���� �������� ��� ������ �������� "������� ���������� �� ����� �"��� �"�������� ���+��� ��� �"��� -��� �������&����� � ��&���� �� ��������� ����������� � ��� ��� �"- �"�� �"�� ��� ��

���� �"� &��� ���"�� � �#� ���� ����( =�������-� &������ �"�� ����&����� ��� ���������� ���"+�� ��� �"� ����� � ���&�� � �#� �������+��)���(

.������ ��� ��� �� ��� $����� �� ���������

6� ������� � ����������� �������� � �"� -���"�� �"� �������� -��" �"� ��� ���������� �"� ��� ���������������� � �������� �#� ���� ���� ���"��( 6������� �"� ���"���� ������ &� *�������"��� ��� ����"�, $���2% ��� �"� ��� ��� �"� �������� ���� �����,�� �� *�&��� 5 ��� < -"��� �"� ���&�� ��

�"� �" �! ����� �"� ��0 �#� ���� ���� ���"�� ������������ ���� �"��� ��&�� -���"��� �(�( ���������"� $��%� @B9 $� %� ������� ���� �������� $�5%������� �������� $�<%� ���+&����� �������� $�>%� ������������� ���"� $�!%(

*�������"��� ��� ����"�, $���2% ������ �"� ����������� �������� �� �"� �� ��/ ����� �"� ���������"���� �� �"� ���������� ��� � ��� � ����� -���"� ��

*�&�� ( *"� ������ ��� ��� �"� ���������� �� ��(

?�*B1��

���*���@

9�������� ���)���

? ������&'������#�

�(5��

���) #�����������#

�( ><

����������#5

�(�<�

����@�����&�����#<

�(���

@���������#>

�(��<

��� �� ����#!

�(�!<

���#2

�(�5�

������ �� �(5�! �(�55 �(5�! �( 23 �( !! �( 2� �(�5< �( <3 �@B9 � �(5<> �(��! �(�>5 �( 23 �( > �(5�� �(� 5 �( 3 ������� *��� �5 �(� 5 �( 53 �( 5 �(�5! �(� > �(�2> �(�<5 �(�!2 5������ �< �(�<5 �(5�3 �(��! �(�<! �(�5� �(�5! �(5�< �(�<� <����8����� �> �(� ! �(�< �(�<< �(�35 �(�25 �(��< �( >5 �(� 2 >���������� �! �(�>! �(�35 �(�53 �(�2� �( <> �( �! �(�< �(��� !

�(�( �(�5

0.00

0.05

0.10

0.15

0.20

0.25

0.30

0.35

Mult

iobjec

tive

Risk &

Unc

er.

Simpli

city

Data a

vaila

bility

Adapt

ivity

Natur

e of

dat

aCos

t

=�� �� 5( :��� -���"�� � �"� ����� ��������(

� � ���� � � ��� ��� � ���

!3 ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 7: A comparative analysis of R&D project evaluation methods

���� � �� �� � �-���" �"� &��� �����������( *�&�� 5�"-� �"� �"����� �� �&�� �� ��� � ���" ����������������� � �� �� �"� �������� ���)� ��� �> ����� �#� ���� ���� ���"��� -"��� *�&�� < �"-��"� �"����� �� ���������� ��� � � ����� -���"����������� � �� �� �"� �������� ���)�(

6� ���� �� �� *�&��� 5 ��� < �"�� ��������E����������C $#5% ��/ ���� �"� ����� � �&�� �� ������������� �"���� �� -���"� �(� 2 ��� 32(� F�������������� � �� �� �"� &��� ����������� ���������"� $��% � �-���" ���) -��" �"� ����� &�������������� @B9 $� %( B���� E����������C ������� � &��"� ��� �������� �������� � �"� �������� �"� &����#� ���� ���� ���"�( =�� *�&�� 5� -� ��� ����"�� �"����� �� -���"�� ���"�� �- ��������� ������E� ������ &'������C ��� E��� �� ����C� ��� ����� �� �"� ���) �������� ������ ���"� ��� @B9(

B-����� �"� �"����� �� -���"�� ��/ ���� �"��� �-�������� ��� � �" ������ ������� � �"�� � �"��������� E����������C( ?������ �� *�&�� <� -�&������ �"�� �"� �������� E� ������ &'������C ��/ ����� � �" ������� �"���� �� ���������� �� -���"��$��!>(�!F% ������� � �"�� ��/ ���� &� �"� ��������E��� �� ����C $�3��( >F%( B���� �"� ��������E� ������ &'������C ������� � &� �"� ��0� ��� ���������������� ���� E����������C(

=�� �� > �"-� "- �"� -���"�� � �"� ��0 �#����� ���� ���"�� ���� -"�� �"� -���"� � �"� ����������� �������� E����������C �� ������ �� � � �( 6�&������ �"�� �"� ����������� ������ ���"� ������������� ��� �"� �"�� ��� ���"�� � ����� �"������� ����� �0���� -"�� �"� -���"� � �"� ��������E����������C �� ���� �"�� �& � �(� ( 6� ��� &�������"�� �"� ������ -���"� � �"� ����� &��� �����������

*�&�� 5( @�� ����&�� �$� �� ��� �� $�&�� �� �"���� �� �������� -���"��%(

9��� @�����������

��������

#� # #5 #< #> #! #2

�� G� ��(>� 3 ��= /�-001 ��= ��= ��(>� 3 ��=�� G�5 ��= ��= ��= ��= ��= ��= ��=�� G�< ��= ��(!�2� ��= ��= ��= ��= ��(!5>5�� G�> ��= ��= ��= ��= ��= ��= ��=�� G�! ��= ��= ��= ��= ��= ��= ��=� G�5 �( 2<3 ��(< �! ��(22 ��= ��= ��= ��=� G�< �( ��< ��(<�>� ��= ��= ��= ��= ��(<3! � G�> ��= ��= ��= ��= ��= ��= ��(22!�� G�! ��= ��= ��= ��= ��= ��= ��=�5 G�< ��= ��(53>2 ��= ��= ��= ��= ��(�!22�5 G�> ��= ��= ��= ��= ��= ��= ��(5!5!�5 G�! ��= ��= ��= ��= ��(!<�2 ��(><!� ��=�< G�> ��(�>!! �(�235 ��(<!<5 ��= ��(53 < �( <� ��=�< G�! ��= ��( ��= ��= ��( < 2 ��( 223 ��=�> G�! ��= ��= ��= ��= ��( �>� ��(5�55 ��=

*�&�� <( @�� ����&�� �$� �� ��� �� $��� ���� �"���� �� �������� -���"��%(

9��� @�����������

��������

#�

�(5��#

�( ><#5

�(�<�#<

�(���#>

�(��<#!

�(�!<#2

�(�5�

�� G� ��!>(�! ��= 21�/0 ��= ��= �3��( > ��=�� G�5 ��= ��= ��= ��= ��= ��= ��=�� G�< ��= � < (�> ��= ��= ��= ��= ��! 3(�2�� G�> ��= ��= ��= ��= ��= ��= ��=�� G�! ��= ��= ��= ��= ��= ��= ��=� G�5 33(�5 ��!�(�5 �><2(!! ��= ��= ��= ��=� G�< �<(5� ��!5(<5 ��= ��= ��= ��= �� <!(!2� G�> ��= ��= ��= ��= ��= ��= ���� (�>� G�! ��= ��= ��= ��= ��= ��= ��=�5 G�< ��= ��>�(3> ��= ��= ��= ��= �<5�(���5 G�> ��= ��= ��= ��= ��= ��= ��5 (5��5 G�! ��= ��= ��= ��= �!3 (!! �3>5( 3 ��=�< G�> �>�(!3� ,/�203 �5 �( �� ��= �<�!(3� �5>�(�! ��=�< G�! ��= �32(<3 ��= ��= � >3(�� <5<(�! ��=�> G�! ��= ��= ��= ��= � 3(35 �<25(�� ��=

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� !�

Page 8: A comparative analysis of R&D project evaluation methods

@B9 ���� �� �"� ������ �������� �� �"�� �"������� ���"�( B���� �"� "��"�� �"� -���"� -� ������ �"� �������� E����������C �"� ��"�� �� �"� ���������� -���"�� &��-��� �"� ������ ���"� ��� �"� @B9(=������� -� &������ �� =�� �� > �"�� ��� �"� ����������� -���" � �"� �������� E����������C� �"������������ ���������� ���"� �� ��-��� ���)�� ����(

=�� �� ! �"-� �"� ����������� �������� � �"� ����-"�� �"� -���"� � �"� ����� ��� �������� ��������

E� ������ &'������C �� ������ �� � � �( 6� &������"�� �"� &��� ����������� �-���"�� �� ������ ���"�� �"� ��0� &��� ����������� @B9 -"�� �"� -���"� ��"� �������� E� ������ &'������C �� ������� �"�� �& ��(>>( *"�� �� � � � �"� ��� �"�� @B9 �� �&�� � "������ ������ &'������� �� � &����� -�� ������� -��" �"������� ���"��( 6� ��� &������ �� =�� �� ! �"���"� ����������� ���������� ���"� "�� �"� -������������ � ����� �"� ������ ����� ��� � ��"� �������� E� ������ &'������C �0���� -"�� ��� -���"��0����� �(3>(

�� �"� ����������� �������� � ��� -� �0����� �"� ���)�������� �"� &��� ����������� -��" ���"�� �����������(@��"�� ���� �� ������ &� *�������"��� �������"�, $���2% � ��������C� ����������� �� �"� �� �� �"���� $�&�� �� ��� ����������% �� ��� � ����� -���"���������� � ���) ������� ��� �- ������������( 6���� �� *�&��� 5 ��� < �"�� �"� �������� E���) ��� ����������C $# % ��/ ���� ��� �� �������� �(�235$�&�� ��% � 5�(3 !F �� ��� -���"� �� ���� � �� �� ����) �������� &��-��� ���"�� ������ �������� $�<%��� ��� &����� �������� $�>%( �� �� ��� ����������� ���� �"�� �"� �������� E������&����� ����C $#<% ������� �� ��� ���) �������� � ��� �� �� �"���� ����� � �� ��� � ����� -���"�( B���� �"� ������� ������������� � �"�� ��������(

=�� �� 2 �"-� �"� ����������� �������� � �"� ����-"�� �"� -���"� � �"� ���������� ����� ��� ���������������� E���) ��� ����������C �� ������ �� � � �(6� &����� �"�� �"� &��� ����������� �-���"�� ��

0.00

0.05

0.10

0.15

0.20

0.25

0.30

Scorin

gAHP

Decisi

on tr

ee

Econo

mic

analy

sis

Cost/b

enef

it

Compa

rativ

e

=�� �� <( 1������ -���"�� � �"� ��0 �#� ���� ���� ���"��(

=�� �� >( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E����������C(

� � ���� � � ��� ��� � ���

2� ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 9: A comparative analysis of R&D project evaluation methods

=�� �� !( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E� ������ &'������C(

=�� �� 2( ����������� �������� � �"� ���� ������� �"� -���"� � �"� �������� E���) ��� ����������C(

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 2�

Page 10: A comparative analysis of R&D project evaluation methods

������ ���"� � ������ �������� �� -"�� �"�-���"� � �"� �������� E���) ��� ����������C �� ��������"�� �& � �(><� ��� �"�� �"� ����������� @B9 �����&����� �"� &��� ������������ & � ��-��� ������ &��-�"� ������ -���"� � ������ ���"�( =������� -� ���&������ �"�� �"� ����������� E���������� ���"�C ������� ��-��� �������� &� ��� �"�� ������������(

�� � ������ �"� ����������� �"� ���� �"� ��������$��� �����������% �� ���������� ���� ��� E���) ��� ����������C� E� ������ &'������C� E����������C� E��� �� ����C� E��� �������������C� ��� E������&����� ����C(

�������� ��� ���� �����

�#� ��'��� ���� ���� �� �� �������� ���� �������,������ �#� �������+��)���( @��" �" �����#� ���� ���� ���"��/ �� "��� &��� ��������� ���""�� ��� -� �������"� ��� -��)������( @��������� ������� ���"��/ �� ��� ���� � ������� ���� ������� ��� ��� "���� ������� �#� ��������( 8��� �� �"� ����� � �&�� ���"��/ �� ������&��� �"� �"��� ���������� ���� ���� ���"�� - �� &� �� ���� ��#� �������+��)���(

8���� � �"� �������� ������ &� �"� � �"�� �� -����� �"� � &'������ ' ������� ���� &� �"��� �"������������ �� �� �"-� �"�� �"� ������ ���"� ���"� ��� ����&�� ���"� � �#� ��'��� ���� �+���( ��� �������"��� "��� ������ � �"�� �"��� ������ ������ ���"�� �� &��� �� �"����&����� � ���� -��" � ������ ��������� �#���&���� ��� �"��� ���������� �� �� ����� ��� ��(*"� ��� ��� � �� �� ����� � ����� �"� �&������ ���( *"� ��� ��� &������ �"- �"�� �"� ���������"� ��"����� �"� "��"��� ���� -���"�� �� �"������������ ������� E������&����� ����C� E����������C� ���E����������C� ������������( 6� "��� ��� �"-� �"��@B9� -"�� ��� �� �� �#� ���� ���� ���"�� �� ����� ����� � �"� ������ ���"�� ��� �"�� �� "�� �"�"��"��� ���� -���"�� �� �- ��������� ������� E� ������&'������C ��� E��� �� ����C( *"� @B9 �� ����&�� "������� � ������ &'������� � �#� ��'���� ������������ �"� ��&��� ��� � � �������� ��� �� �� �"������"�( ��� ���� ��/ ������� �� ������� ��� &�"/ ��������� ��� / ���������� ���� ��� &� ������������ ������� ��� ����� ��� �� �"� ����(

�� �" �� &� ���� �"�� ���" �" ������� ������������ ��� �� ��"���� �"� "��"��� ������ -���"�� ���� ����� � �� ��� ���"� � �#� ���� ����( �����'� �������" �� ��� �&����� � ���� -��" ���) ��� ����������( �� �� ��� ���� � �� ��� � ���������(1 � ��� ��� ��� �������� �"�� ���" �" �"� �������������� ���"� "�� �"� "��"��� -���"� �� �"� E���) ��� ����������C ��������� �� ������ &���� �� �"� ��������E� ������ &'������C� E����������C� ��� E��� �� ����C(*"�� ��)�� �� � ���"�� ��� ��� �#� ���� �������"�( ������� ���� ��� ��� &� ���-� � ����&����� �������� ��� ���������� ���"�(

*"�� ����� "�� ������� � ����-�) � �"����������� �� �� ��� �������� �#� ���� �������"��/ ��( @��" �" �"� ���������� �"� �������� -������ &� �"� � �"�� &���� � �"��� )�-����� ����0���������� �"� ��� ��� �"�� �� �� - �� &� ���������"����� � ��"�� ��� �� -��� &������ ������������� �#� ��������( �� � ������ � ��� ��������� �"�� �"� �� �- ���"�� ��� �"� ������ ���"���� �"� @B9( 6� "��� ��� ������� ������������������� � ��������� �"� ����������� ���" �������� ������� �"� �"���� �� �"� ��� � ��� -���"� � �� �����) �������� &��-��� ��� ���� ������������ ���&��-��� �"� &��� ��� ��� �"�� ������������(

=������� �� �" �� &� ���� �"�� -"��� � ������+���� ����-�) �� &���� � �"� ������� ��������� �0������ �#� ���� ���� ���"��� �� �� ����&��� ����� �"� ����-�) � � �� ��� ������� �#����� ���� ��&��� � ��������� �"� ��&���+��������#� ���� ���� ���"�( �� �������� �0������ �"� �� �� � ����� ���� ���� ���"�� �"�� ��'������� ���� �� ��� ����&��(

����������

@ ��� �(�( $��2>% @ ��- ������" � �#� ���� ����(())) *��������� �� )���������� ��������� 00� �� G��(

8�)��� �(�( ��� =�������� 4(�( $��2>% ������ �������� ��

�#� &����� ���� ������ ��� ��'��� �������� ���"��(�������� %������� 0-� !� ��!<G��2>(

8����"������ �( ��� 8��)"� �( $���!% @�� �#� ��'���

���������� ����� ��������HC �������� *��������� ���+������ ,4� �� 5�G5!(

8������ �( $��35% *���������� �#� ��'��� ������ ����(

�������� ��������� 03� <� 5 G5>(8���� .( ��� D���� *( 1� � �"��+����� �����C� ���"� �������� "������"���( ,���� --� 5� 3G 5�(

8,����� 8( ��� ?��)���� 4( $���5% )���!���� ���(����- ������ ��� �������( 8���7 �� -�� @�������9 &���"���(

8���& ��� =(�(� D�����"��� 6(?( ��� � �)����� �(6( $��25%

I ��������� ������� �"� ���� ���� ��� ����� �������" ��� ���������� ��'����( ��� ��������� ,� � <�G>2(

������� �(*( $���!% ��$��� .��� ���������- �� (����!����� �������� ��������( �� ������� ��������7 � 0& �� 9����(

��"���� ?(@( $��2�% ���������� ���� � �#� ��'���

���� ���� ��� ��������( ())) *���������� �� )�������+��� ��������� -2� 5� 3�G���(

������� �( $��35% %������� *���������/!��� ��������0)���!���� � �� %������� ��� ��� ��� �� ��������(

��?9� ���������� ��8��(��0��� @(�( ��� 9�����)� �(�( $���<% (������ !����

1��������( ��- 4�����7 9������� ���������� 9����(

������ @( $��25% #����2 ���������� ��������� (���������!����� ," ������( ��- J�)7 4"� 6���� ��� ���(

������ :(6( $��3<% .��-��� �#� ��'���� ����������(

�������� ��������� 1� � �G5<(=�"���� 9( ��� ������� ?( $����% @� ����������+�������� ��� � �#� ��'��� �������� ��� ���� ���� ���"��(

��� ��������� 0/� � �>>G�2�(

� � ���� � � ��� ��� � ���

2 ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 11: A comparative analysis of R&D project evaluation methods

=� �)���� *(6( $���!% @���� E1����� *"��)���C � �#���� ����( �������� *��������� ��������� ,4� 5� >�G>!(

=������� �( $��3 % *�� )������� �� (��!����� (��������(:���7 =������ 9������(

D���� @(�( $��2<% @ �����- ��� ������ ����������� ��

����� �������� �� ������� �������" ��� ����������(())) *���������� �� )���������� ��������� 0-� 5����G� >(

D������ 8(� 6����� �(@( ��� B��)��� 9(*( $���% $��3�% *��������� .�������� �������- ����������� ��� %!����(8�����7 ��������+.�����(

D������ �(8( ��� ���� ���� 4(:( $����% ���� ����� ��������

�#� �����������( �������� *��������� ��������� ,5�<� 5 G5>(

B-���� �(@( ��� ?��"���� 4(�( $��3�% ��� ���� ���+

�����( �� �������� �� �� ���������� ��� ����������� ���������� ��������� ��( &� B-���� �(@( ��� ?��"����4(�(� 2��G2! � ��������7 ��D $��3<%(

������� 4( $��33% )���!���� ������� ��������- ������� ���3����( :���7 9����� 9 &���"���(

4��)��� 8( $��35% ������� ���"�� � ���� ����� �#�

��'����( �������� ��������� 3� <� �!G (���-���� =( $��3<% ���� ����� ��� ��������� �������" ��'����

&� ������( �������� ��������� 01� � �G >(� -�"���� J( ��� *�)���� J( $����% ?��������� ������"

� �������" ��� ���������� ���+����������� ���� ����(())) *��������� �� )���������� ��������� ,1� � �5<G�53(

:�&������� ?(4( $��32% @� �0������ �"� @�������B������"� 9����� � ��� ������ �#� ��'��� ����������� ��� ��� ��������( ())) *���������� �� )����������

��������� ,5� <� � G�3(:��)� @(�( $���5% ������ ��� ����!���� �� ��!�� �� ���(

�� )���!���� ��� (����- ������ ��� �������� ��( &�

8,����� 8( ��� 4( ?������( 8���7 �� -�� @�������9 &���"���(

:�)���� D(� B��"�������� 8( ��� J��� �� 9( $��3!%?������ � �������" ����� ���� @B97 � �� �

������� ������( ��� ��������� -3� � �>�G�!�(?���"���� �(*( # 1������ �(?( �������� ��$��� ���

����������( ?�D��- B���� ���>(

?������ 4(9( $���>% �������� ��� ��������� ��� ��%�������( ��- J�)7 4"� 6���� # ���(

?����� ?(D( ��� B������ ?( $����% 1��������- � 4!���

� ������� ��� 1�������� �� 5!������� ���$ ��� ��������������( ���&����� ���������� 9����(

?����� 9(@(� *���&���� �(1( ��� ��&�� @(:( $����% 6"��

�"���� �#� ��'����� � -��" ��� �"��( ��������*��������� ��������� ,5� �� 5>G<�(

1������ �( $��3!% �������� ��� %!������� ��� ��� ��

)���!����( *��"����� �������" ������ =������� ���(9��������� �(@( ��� 8�)��� �(�( $��2�% 9�'��� ��� �������������� �� �������" ��� ����������( ��� ���������

0� �� 5G�<(9���� 4(�( ��� ������� �(9( $��3�% �������� � ����� ����� ���#� ��'����( �������� *��������� ��������� ,0� ��5�G5>(

9����� @(�(� � ��( $��3�% � 4!���"��$ ��� *����������������� ��� (��� ��������( ��- J�)7 ���"+B�����(

����� B( $��!3% �������� ��������- (����!���� ���!��� ��#������ 1���� 1��������( ��- J�)7 ����� B ��(

������ *(:( $��3�% *�� ������� .�������� �������- ���������

�������� %���� ����!��� ���������( ��- J�)7?�D��-+B���(

������ *(:( $���<% �!�������� �� �������� ��$��� ���

������� *����� ��� �� ������� .�������� �������(9����& ��"7 �6� 9 &��������(

������ *(:( ��� .������ :(D( $��3 % *�� ����� �� ���������(8���7 �� -�� @������� 9 &���"���(

������ *(:( ��� .������ :(D( $���<% �������� ��$��� ��)������� ��������� %����� ��� *������������ )������������ *�� ������� .�������� �������( 9����& ��"7 �6�

9 &��������(������� :(4( $��><% *�� ��!������� �� %������( ��- J�)74"� 6����(

� ���� 6(�( $��23% ������ � ���� �#� ��'��� ���� �+��� ���"��( �������� ��������� 0-� <� �G52(

*"���� B( $��3>% ������� �������� ��� ��������� ������+

���� �������" ��� ����������( ��� ��������� -6��� 5G (

*��������� :( $���!% ���� ,�����- ���������� ���2�"���� ���%����� �� ����!��� ���������( ?�����" �����7 *"� ?�*

9����(*�������"��� � �( ��� ����"�,� @( $���2% @ ������������������� ������" � ��� ������������� � ���+��������

������� ��)��� ���"��( �������� %�������� 02� �� �>�G��<(*����)�� @( ��� ��"������ �( $��2<% 4 ������� ���� ����������7 "� ������� ��� &�����( %������� -26� �� <G��5�(

������7

*�&�� @�( 9���-��� �������� ���"�� -(�(�( �"� �������� E� ������ &'������C(

? ������&'������

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � ��2 ��! ��5 �� �(�>!������ ?��"� � � > 5 �(5�!@B9 � ! < 5 �(5<>������ @������� � ��< ��5 �(�<5����&����� @������� � � �(� !������� *��� � �(� 5

�(�( �(�

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 25

Page 12: A comparative analysis of R&D project evaluation methods

*�&�� @ ( 9���-��� �������� ���"�� -(�(�( �"� �������� E���) ��� ����������C(

���) ��� ����������

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � �� �� ��< � �� �(�35������ ?��"� � � ��5 �� ��5 �(�55@B9 � ��5 ��5 ��5 �(��!������ @������� � ��5 � �(5�3����&����� @������� � � �(�< ������� *��� � �( 53

�(�( �(�3

*�&�� @5( 9���-��� �������� ���"�� -(�(�( �"� �������� E����������C(

����������

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � ��! ��< ��< ��< ��> �(�53������ ?��"� � <> 5 � �(5�!@B9 � � �� �(�>5������ @������� � �� � �(��!����&����� @������� � �� �(�<<������� *��� � �( 5

�(�( �(�<

*�&�� @<( 9���-��� �������� ���"�� -(�(�( �"� �������� E������&����� ����C(

@�����&����� ����

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � �� �� ��5 �� �� �(�2������� ?��"� � � < 5 �( 23@B9 � < 5 �( 23������ @������� � �(�<!����&����� @������� � ��5 �(�35������� *��� � �(�5!

�(�( �(��

*�&�� @>( 9���-��� �������� ���"�� -(�(�( �"� �������� E����������C(

@���������

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � � � > < �( <>������ ?��"� � � > < 5 �( !!@B9 � ! < �( > ������ @������� � ��5 ��< �(�5�����&����� @������� � �� �(�25������� *��� � �(� >

�(�( �(�

� � ���� � � ��� ��� � ���

2< ��� �������� ,-� �� ��� � 8���)-��� 9 &���"��� :�� ���

Page 13: A comparative analysis of R&D project evaluation methods

*�&�� @!( 9���-��� �������� ���"�� -(�(�( �"� �������� E��� �� ����C(

��� �� ����

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � � � < 5 �( �!������ ?��"� � � ! < < �( 2�@B9 � 3 > > �(5�������� @������� � ��5 ��< �(�5!����&����� @������� � �(��<������� *��� � �(�2>

�(�( �(�<

*�&�� @2( 9���-��� �������� ���"�� -(�(�( �"� � &�������� E�0������C(

�0�����

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � �� ��5 ��< ��< ��> �(�>5������ ?��"� � � �� ��5 �(�>5@B9 � ��5 �� � �(� ������� @������� � � � �( >�����&����� @������� � �( >>������� *��� � �(�!�

�(�( �(�<

*�&�� @3( 9���-��� �������� ���"�� -(�(�( �"� � &�������� E����C(

*���

9���-��� ���������

9����������������?��"�

������?��"� @B9

������@�������

����&�����@�������

�������*���

���������� ?��"� � ��! ��> ��! ��> ��> �(�5 ������ ?��"� � ��> ��5 �� �(��!@B9 � ��5 ��< �� �(��2������ @������� � 5 �(5>�����&����� @������� � �( > ������� *��� � �(� >

�(�( �(��

� ��������� �������� �� ��� ��� �� ����!���� �����

� 8���)-��� 9 &���"��� :�� ��� ��� �������� ,-� �� ��� 2>