evidence-based practice for mere mortals

7
JGIM PERSPECTIVES Evidence-based Practice for Mere Mortals The Role of Informatics and Health Services Research Ida Sim, MD, PhD, Gillian D. Sanders, PhD, Kathryn M. McDonald, MM The poor translation of evidence into practice is a well-known problem. Hopes are high that information technology can help make evidence-based practice feasible for mere mortal physi- cians. In this paper, we draw upon the methods and perspec- tives of clinical practice, medical informatics, and health services research to analyze the gap between evidence and action, and to argue that computing systems for bridging this gap should incorporate both informatics and health services research expertise. We discuss 2 illustrative systems Ð trial banks and a web-based system to develop and disseminate evidence-based guidelines (ALCHEMIST) Ð and conclude with a research and training agenda. KEY WORDS: medical informatics; evidence-based medicine; decision making; knowledge bases; guidelines. J GEN INTERN MED 2002;17:302±308. D espite the broad acceptance of evidence-based med- icine as the gold standard approach to clinical practice, patients often fail to receive the care that the scientific evidence dictates. For example, randomized clinical trials (RCTs) and other studies have consistently shown since the 1980s that b-blockers given at hospital discharge from an acute myocardial infarction (MI) reduce subsequent mortality, 1±3 yet in 1998, only 50% of eligible patients nationwide were prescribed b-blockers at hospital discharge. 2 What is required to ensure that patients receive evidence-based care during their encounters with the health care system? In recent years, computer-based approaches to man- aging the clinical literature have become widespread. With over 10,000 RCTs indexed in MEDLINE in 1999 alone, computers are no doubt a necessary, but not sufficient, technology for evidence-based practice. Broadly speaking, information technologies will be needed to 1) help the research community manage what is and is not known, 2) assist clinicians with applying the totality of the research evidence to individual patients, and 3) encourage, facilitate, and monitor practice change. Informatics systems that meet these objectives will have to be not only technically sophisticated but also grounded in an understanding of real-world clinical reasoning and practice. Furthermore, to affect point-of-care decision making, these systems must work within the complex organizational and policy envi- ronment of today's fractured health care system. Therefore, we believe that efforts to help physicians achieve evidence- based practice through technology need to draw from both medical informatics and health services research. In this paper, we first draw upon the methods and perspectives of clinical practice, medical informatics, and health services research to analyze the critical gaps between evidence and action. We then provide 2 illustra- tive examples of informatics solutions being developed for bridging this gap that are grounded in health services research: trial banks to capture the design and results of RCTs for systematic reviewing and computer-based reasoning, 4 and the alchemist system for creating and customizing decision-model±based guidelines. 5 These examples will emphasize the joint role of health services research and medical informatics as foundational disci- plines for informatics systems that will help methodolo- gists and practitioners translate evidence into practice more effectively and efficiently. We then suggest an agenda for future methodological work in informatics and health services research. FROM EVIDENCE TO ACTION Four major difficulties span the gap between evidence and action, the difficulties in 1) obtaining evidence that is relevant to the clinical action, 2) systematically reviewing this evidence, 3) applying this summary evidence within a specific decision context at the point of care, and Received from the Division of General Internal Medicine, Department of Medicine and the Graduate Group in Biological and Medical Informatics, University of California±San Francisco (IS), San Francisco, Calif; and the Center for Primary Care and Outcomes Research, Department of Medicine and Department of Health Research and Policy, Stanford University (GDS, KMM), Stanford, Calif. This work was presented at the Agency for Healthcare Research and Quality's Evidence-based Practice Center Conference, ``Methodological Challenges in the Production and Synthesis of Knowledge,'' Washington, DC, October 26± 27, 1999. Address correspondence and requests for reprints to Dr. Sim: Division of General Internal Medicine, Department of Medicine and the Graduate Group in Medical Information Science, University of California±San Francisco, 400 Parnas- sus Ave., Rm. A-405, San Francisco, CA 94143-0320 (e-mail: [email protected]). 302

Upload: ida-sim

Post on 06-Jul-2016

213 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Evidence-based practice for mere mortals

����

�������� ����

������������ � ����� �� �� � �� ������ ���� �� ���� ����� �� ����� �� ����� ���� ��

��� ���� �� �� �� ��� � �������� �� ������� �� ����� �� ��

��� ���� �������� � ������� ��� �������� � � ��������

�������� ���� ��� ���� ���� � ������� ��������� �� ����

���� ������������ �������� ������ �� ���� ������ �����

���� � ��� ������ �� ���� ��� ��� ������ �� �������

���� � ������� ��������� ������� � �������� �� ������

������ ������� �� ������ ��� ��� ������ ������� ��

������ �� �� ����� ���� �������� ���� �� ������� ���

��� ����� ���������� ���� � ������� �� ������ ������

������� ��������� �� ���� ����������� ���� ! �����

��� �� � �������� ���� �� ������� �� ��������

������������ �������� "#$%�&'�(�) ! �� ������� ���� �

������� �� ������ ������

��� ����� ������� � �������* ������������ �������*

������ �����* �������� ���* ���������

+ ,&- �-�&.- '&/ 00 *12340 5406�

� ������ ��� ��� ����� �� � ����� ������� ����

��� � � ��� ��� �� ��� ����� � ��� ���

�������� ���� �� ��� ��� � ������� ��� ��� ��� ���

���� ����� ����� �� �������� �� ������� � ������

��� ��� ����� ������ � ���� ������� ��� � ����� ���

�� �� �� ��� !"#$� ��� �����%��� ���� � �������������� ��� ���� ������� � ����� �&'� ������

�����(�� � ��������!)* ��� � !""#� �� +$, � ��������

���� �� �� ��� ��� ���������� �����%��� � ���������������- .�� �� ��(����� � � ���� ��� ���� �� �������

����� ������� ��� ���� � ����� � �� ���� ��� ���

����� ��� ������/

' ���� � ����� ������������ ������� � � �

�� � ��� ��� ��� ��������� ��� ����� ��������� .���

��� !$�$$$ ���� � ����� � &012'30 � !""" � ��

�������� �� ���� �������� ��� � �������� ��

���� ��� �� ����� ������� �������� 4���� ���%� ��

� ����� ���� ����� ��� �� ����� � !� ���� ���

������� ���� ��� � �� �� �� � �� � % �

-� ����� ��� ��� � ��� ����� � ��� ������ � ��� �������

����� �� � � ������� ���� ��� � *� � ������ ���������

� � ��� ������� �� ��� ' ������� ������� ���

���� ����� �5������� ��� ��� � �� � �� ���� �����

����������� ��� �� ��� ��� � � ����� �� � �

���� ��� ��� ��� ��� � � � �������� ����������� �

����� �� ������� ������ �%� �� ����� ������� ����

�% ���� ��� ������ �� ���� � � ����� � ���

� �� � � ���6� �������� ����� ��� ������� ���������

� ������� ��� ������ � ���� ������� � ������ ����� ���

���� ������� ������ ���� ��� ��� � �� ��� ���

������ � ������� � ����� �������� ��������

' ���� ����� � ����� �� �� ��� ������ �

������������ � ��� ��� �������� ������ � �������� �

����� �������� ������� � ���� ��� ������� ���

��� �� ����� �� � ��� � .� ��� ������ - ��������

���� ������� � � ������� ����� � ��� � �������� ��

������ � ���� �� ��� �� ��� ��� � ����� ��������

�������7 ���� � %� � ������ ��� ����� � �������

� ���� �� ��������� ����� � � � ������������

��� � ��8 � ��� �������� ������ �� ����� � �

�������� � ������ �����)���� ������� ���+ �����

������� ��� �������� ��� 5� � ��� � ����� ��������

������� � ������ � ������� � �� ��� � ������

��� �� �� � ������� ������� ��� ��� ���� �������

����� � ������� ��� �� ���� ����� �� � � �������

��� ����������� � ������� ���� .� ��� ������� �� �

�� ������ ���������� �% � � ������� � �����

�������� ��������

���� �������� �� �����

��� �5� ������������ �� ��� �� ��� �� ����� ��

� ��� � ��� ������������ � !� ��� � � ����� �� ��� ��

����� � � ��� ��� ��� ��� � -� ������������ ����� � �

���� ����� ��� *� ����� � ���� ������ ����� �� ����

�������� ������ � ���� � ��� �� � � ���� �

�������� �� ��� ������ � ������� �������� ���������

�������� � �������� ��� ��� �������� ���� �� ��������

��� ������� ���������� ���������� � ������������� ��������

��!� ��� ��������� �����" ��� ��� ������ �� #����� ���� ���

$����� ��������� �������� � �������� ��� �������� �

%����� �������� ��� #����� ������� ���������� � �� &��!�

�������� �����'

(��� )�* )�� ��������� �� ��� +����� �� %���������

�������� ��� ,������-� .�������/0���� #������� ������

���������� 11����������� ���������� �� ��� #�������

��� ��������� � &�)������-- 2��������� �� $��0�� 34�

35� 6777'

+������ ������������ ��� ��8����� �� �������� � �'

��9 ������ � ������� �������� ��������� �������� �

�������� ��� ��� �������� ���� �� ������� ��������

�������� ���������� � ������������� ��������� :;; #�����/

��� +��'� �' +/:;<� ��� ��������� �+ 7:6:=/;=3; �/���9

��>�������'����'���!'

!"#

Page 2: Evidence-based practice for mere mortals

8� ������� � � ������ � ��� ������� �� �� ���

����� � ��� ��� ����� � ���� ����� ��� .���� � ���

����� ������� � ������� ��� � ����� �������������

����� ������� � �� � � �� ��� ������� � ���� .�

������� � ��������� ��� ���� � � �������� �����

�������� �������� � ��� ����������� ��������� ������

������ ������� �� ����� � ��������� � ������ � ���

� ����� 8 ������ ����

������$ ������� ��������

0������� �� ��� �� ��� -$, � ��� ��� ��� ��

�������� �� ������� ����� ��� � � ������� ������ �

� ��� ������ � ������� ������ ��������� ��� ����� ��

�������� � ���� �������9 3� ����� �� � ���� ������

��� ��� �� ��� �� ����� �� ���� ��� ��� ���

������� ���� ���7 � � � % �� � % �:

�� �� ��� � �� ����� ��� ��� � � ����������# � ����

����� � ������� (����� � �� � ��� � � ��������� �

���" '� ��� ��� ��� ������� ���� ��� � ��� ��

����� ���� % ������ � � � ������� ������� �

�� �������� � % ��� ����� � ����� � ��� ���

�������/

��� ����� ���� �� � ����� ������� �� � ��� ���

������� �� ��� � ��� ���� � ���� ����� ��� �����

���� � �� ������ � ��� ��� ��� ������� ������

��� �� � � ������ ������� ���� ������ � ���

� �� � ������� ��5���� ��� �������� ���������

����� � � ��������� � ��� ���� ����������� ����

�������� � ����� ��%� ��!$)!- �� ����� ��� ������

����� ���������� �� ��� ����� �� � �� �����

� ����� �� ���� � � �������� � �� �������� �

������ � ����� ����� � ������� � � ������� ��

������ ����������� ������ � ����� ���������� � �

��� �� ������� ������ ��������� � �� ����

��������� � ���������� ������� ������� ; ���� �������

����� �������� �� ����� � ������� � ������ �

��� ��� ������� ��� ���� ��� ������ �� �� ���� �

����� �������� ������� ��������� � ����� �� ���������

����� �� � ������ � ������� ���� � �� �������

�����������

�%������� �����& �� ��������

<��� ����� � �% �� ��������� ��� �����

� �� � ������������ ����� � � ��� ��� ������� ��������

��� ���������� � �������� ����� ��� � ������� �

��������� ����� � ��� ��� ��������� ���� �����!*

��� ��� � ������� ������������ ��������� ����� � �

� ����� � 8 �� ��%�7 !� ��� ����� � � �������� �

������� �������� -� 5���� � ��� � ��� � � ����� �

������� � ��� �������� *� ������� � (�������� �=�

(� ������� �� ������ � �������� ���� ���

������� ���� � ��� �������� � 8� � �������� � ���

������ � ��� ����� �� � ��� ����� ����� ��� �

������ � ����� &�� ������� ������ �� ���������

����� � � ������ �� ��� (� ������� �� ������ ��%�

���� � ����� � �������� ��� �������� � ���� � �����

����� ������!8�!+ ��� �� � ��� � �������!9)!# �

�� ��������!"

' ����� ���� ����� � ������ ������ ����� 8

�� ��%� � ��������� ����� � � �� ��� ��� ������� ��

������ � ��������� ����� ���� ������ � ��� �

� ���� �������� ����� ����������� �� ��� ��� �������

������ ��� �� ����� �� � �� � ��� ��� ��� �������

������� � ��������� ���� ���� ����� � ���������

�������� �� ������� ������ �� ��������� ����� � ��

� ����� ���� ����������� ������� ������ ��� ��

���� �� ��� � ���� ����� ��������� �� �������� � �

� � ���� ��� ��� ������� � �������� � �� ��

������ �� �� � �� ��� ����� ' ����� � ����� ������

����� ��� �������� �� ����� � � ��� �����

������� � � ���� ��� ����� ���� � �������

�������� �� ������� ��� ��� 4 % �����-$ �����

����� � ����� � ������� ������� ��������� �����

��� ��� ����������� �����-! ����� �� ������� �������

� �� ���� � �� �� �������� .��� ���� � ������������

����� �� � ����� ������� ���� ����� - ������

�� ����� � ������ �������� ' ������� ���� �(��� �

% ����� ����� � � � �������� �� ���� �������

�� ������������ ������� � ������ ���������

����� � ��

''������� �� �������� �� �������������(��$ �����)�

��� �� � � ��� �� ���� ��� �������� ������� �

������� � ����� ������� ������ � ����� � ��� �����

� �� ����� ������������ �� ��%��� � � ����� � ' ��� ���

���� � ����� ����� ������ ����� ��� �� � � ���

��� � ��� ��� �� � ��� �������-- ������ � �������

�� ������� � ����� ������� ������ �%� � ����

���� ��� ������ �%�� ����� � ���� � ����� �

� ������� � ������������ �� � ������� � �

������� ����� ���

;� ����� �� ��� �5���� � ������������ �������

� �������� � ����� ������� ������� � ���� ��� �����

�� �� ������� �� � ��� (� ������ � ����� �

�� ���� � ����� � ������� ���� �� ������� ���

3�� � >������ � ����� �����-* � ������ ��� !�$$$

������� ��� ��� ���� ��� ������ ������� ��� ������

�� ���� � � � ��� ����� ����� � ������� ��� �� ���

� ���� ����� � ��� ����� ������� �� � ��������

���� �� � ������ �� ����������� � � ��������

���� ������� ������� �� � ����� ��� �� �

��������� ���� ������ ����� �� ������� �� ����

���� � ������� ����������� �� ������� ?� ��

� �������� ������ ������ � �� � ������

����� ������ ��� � �� �� �� ������� ����

������� � ����� � � �� � ��� ��� � ����� �� �

��� ��� ������� 5����� � � �������� �� ����

��������� ��� ���� ������� ��� � � �� �����

������ ��� ������ � ����� �� ��-8 1����� �����

������ ���� ����� ���� �% �� ������� �� � ���

���� ?��� 65� +���� 3;;3 !"!

Page 3: Evidence-based practice for mere mortals

����� ��� ������� � ������� ��� � ����� � ��� ���

������ � 4�� � ������� � ����� ���� ������

����� ���� �% �� � ��� ������ �� � �� ��������

����� � ��� ���� ������� ������� � ���� � ����

���� ��� � � ��� ����� ��� ���� ����� ������ � � ����

��� ������� � ������� ��+�-+)-# ' ��� 3�� � >������ �

����� ����� � ����� �� �� ���� � ��� ������� ��

������ �� ������ ����� �� ����� �������� ��

����� � �� �� ���� �� ������ �� � ��� � �

����� � ������ ������ ������� ��� �� ��� �%�� �

�� ������ � ������������ ������� ����� � �� �� �

���� ��� ���� � � ������� �������� �� ������ ��� ����

����� � ����� �� ���� �� ������ � ������ ������

������� � ��������� ����� ���� ���� @�� �� �

� ����� ������� ����� �� � ������ ������ ��������

����� ������ ��� � ����� �� ���� � ��������� ������

������ ������ ������� ���� �� ����� �� � ������� �

��� �%�� � ������� ��� � ����� � �� ��� ������ ��

���� ������� �� ������ � ���� ���

� ���� ����� � �� �� ����� ��� ��� � � ���� �����

�� �����7

.��� ���� ����� � ���� ������ �� ��� � ������

������ ������� ��� �� ������ ��� � �� ������

�� ���� ���� ���������� ������� �� � ������ ��

�� � �� ����� � �������� ��������� ����� �� � ������

�� �� ��� � ������� ���� � ������������� � ����� � ���

0&�� ��� ������ ��� ��� ���� ��� �� ��������� �

� ����� ��������� ���� � �� � ������� � ������� �

� ������� � ���� � � ���� ������� � ������� ���

������ ��� ��� �

A ���� ����� ��� ����� ���� ����� �� � ���

����� ������� ;� ����� �� �������� 0&� ������� �� �

� ��� �� '�1�" � �B��8 ��� �*$ C ����� ��

@3<&01� ��� ��� ���������� � ����� ��� ��� �����

��� ������*!�*- C � ��� ������ ��� �� ����� �

@3<&01 ��� '�1�" �� � ����� ���������� &��

�� ��� � ������� ���� � D2�: �� ����� ����� �

� ������ ��� � ����� ������� � �� ������ ����� ���

����� ��� � �������** ' ������� ��� �������� � �

������� ������ ������ ������� �� ���� � ��� ��� ���

����� ���� �5� � ������� � ����� �������� �������

��������*8 '� ���� � � �� ������� �� � ���� ����

������ � �%�� ��� ������ ������ ������ �������

��� ����� ������� ������� �������

������ �� ���* � � ����� ���$�

' ����� � ����� ��� � ���������� ���

�������� � �� ���� � ������� � � ������

������� �� ��� ;������ ����� �� �������� ��� ������

������ ���� ��� ������� �� ��������� � �� �� � �������

������� ���� ����� � ����������� ������ ������

������� ��� ��� ���� ������ ��*+)*: ' ����� ������� �

�� ����� �� ��� � ������ � � ������������

� ���������*#�*" � ��� ������ ������� � �� ������ �

� ����� ��� �� ������ ������ ����� � ��� ��� �

������� ��� ���� � ������� � ���� �� � ����

�������� ' ����� ������� � ���� ��� ���� �

�� ��� ������� � ������ ��� ��������� � �� ���

�� � � �� ����� ���������� ������� ��� ������

������� �� ���8$ �� �� �� ��� ��� �����8!�8- �

�� ���� � �� ��8* ������� �� ���� �������� �

����� � � ��������� ��� � �������� ������ ������

��������

�������� ��� ��� �� ��� ���������� � ������

� � �� � ������� � ������� �� ��� ��������� � �����

�� � � ���� �� ������� � ���� ���� ��������

������ �� ������ �� ������ ������ ' �����

� ��� ����� �������� ������� ������ ��(����� �� �����

������ � ������� ��������� � ����� � �� ���� ��

�� �%� �� � ������ �� �������� �� �� ����� � ��

� ������� � � ���� � ����� ������� �����������

��� ����� ����� � � ������� �� ����� � � ���

����� � ��% � ������� � ����� � ����� ������ �

��� ������ �� ���88

' �� 8 ������ ��� � ����� ������� ������� C

��� � �� ����� � �� � ����� � ����� ��� � ��� �

������� � ������� �� �� C ��� �������� �� � ��� � ���

����� � ����� �������� ������� �� ����E ��� �� ���

� ��������

�+����, ��� , �- �.� �/ ��+��

� �� � ������� ������ ������������ �������

� ����� 8 ������ ��� ����� ������� ������ � �������

� ����� � ������ �� ����� ������� ������� C ���

����� �� �� ���� � �� ������ � ������� ����� !�� .�

�������� - � ������� ������� ��� ������ ������

�� ��� ����� � � ��� � ������ � ��������

� ������ ���� ����� �� � � ���� ���������� ������� ���

� �� 0�( � �1���

&���� � � ����� �� ��� � ����� ��� �����

����������� � ����� ��� ����� ������� �� ������

� ��� ���� ����� ���� ��� �� � �� �������� ���

� ������� ���� ������� � ������ ���� � ��� �

� ��������� ����� ���� ��� ��� ������� ������� � ��������� ���E

� ������ �� ������ ������ �0&��� � ����

��� ��� ������� ��� ��� ���� �� �������

��� ��� �������� ����� @3<&01�-" � � ����

��� ������� � ������� ���� ��� � ����

�� �� � � ��� ��� ��� ������ E

� �� ������� � ������� � � ��� ��� �

������� � ���� � ������� � �������� ���

�� ���� � � �������� �������E

� � � ������������� �� ���� �����

������ ������ ���� ��� � ������� �����

����� � �%� �� ����� �� ������� � �

� ��� �� � � � ��� ������ �%��

������������

!"2 �� �� ��'� .�������/0���� #������� �� ���� ������ ����

Page 4: Evidence-based practice for mere mortals

�� ���� 4����� �������� � � ��� ��� ���� ����

�������� � �� %�� �������� ����� ������� �

� � ������ � �� ��� ������� �����

�������6 � ����� � � �� ��

� ������ ����� ������� ��� ��� ������ % ����

����� � ��5���8 �%� ����� � ��� ������ ��� ���

��� ������� � ������ ��� +����� � �������� �������� �

@+�+ � �������� ����� ����� �������� � � ����������

� �� ������� ������ �� % ����� ��� ����� ���

4 %� ; �� ���� ����� 4 %������ ��� ����� �����

� ����� ����� ����� ��� � � ������ ��� ��� ����� ���

��� A ����� &����� 2 ���� @�����8+ � � �����

�� ��� ���� ��� ����� � ��� �<3@<�� ���

������ � ������ ��89 4� ������ � ���� � ��� ����

� ������ �� ��� ������ % �������� � ������� ���

��� � � �������� ��� ����� � ������ � ���

����� � ������� � � ������� � ����� ; ��� ������ �

������� �������� � ����� � ��� ;2�D0&'@� ������

��������� ��� � � ��� ��� ����� � ��������

��� � ����� ����� ��� � � ����� � �� ��

����� ��� % ����� ����� ��������� ��������

��� � ������ % �������� � ��� �������� ��� �������

�� � � ��� ��� ������ ������ ������� ��� � ������

����� � ��� ����� �� � � ����� ��������� �� ; ������

����� ���� �� �� ���� �� �������� � ��� ��� �������

� ���� ����� ����� � � � ��������� ����� ����

% ����� ����� � ����� � ���� ������ � � ����

��� ����� �� �� � ������ � ��������

��� 4 %� �� � ���� ���� � % �� ������ % ��������

� �� ������ ��� ������ ��� � ��� ����� �� �� ��� �

��� � ���� �� ��� � ����� ��� ��������� ����� ��

��� ��� ��� ����� ��� ����� � ��(����� ����

� ����� ��� ������� ��� ���������� ��% �����

� ��������� ����� � ��8:�8# ������ % �������� � �����

� ���� �� ������ ��� ���� � ����� �������� ����� �����

�� �����(�� � ������� ����� �

'� ������ % �������� � ��� ����� ��������� �� ��

��%��� ��� ����� ��� �� � � ���� � %�� ��� ��������

��� 5�� �� � ����� ��� ���� �� �� ������ ������

B��&�� �� ���� � �������� ��� ���� � �������� ���

������� ���� ��� ������� � ����� � ���� �� �������

��� ����� �� �� ���� � %� ����� �� ��������� ������

� ���� �� ����� ������� � ���� �� �������

���� ����� ������ ������ ��� ��� � ����� �� !

��� � � ����� ���� �������� ���� � %�� @���

� ���� ������ C �� ����� �� ������� � ���

����� � � ������� �;B'�� C ��� �� ������� �� � ������ �

�� ��� ������� ��� ��� ������� ������ ����� �������

������� ����� !��

��� ������ % ��5��� ����������� ��� ����� ��

� ����� �� � ��� � ������� � ����� ��������

������� ������ � ��� �������� � � ������� �

������ ����� ������� �������� ���� � %�� � �����

�� ����� �� �������� � ���� ��� ���� � ����������

� ����� �%��� � �� � �������� � ���� ��� ����

� ��� ��� � � ���� ��� � ��� � ��� ����� �� � ���

�� � � ���� ���� ������� ��� ������ � ����� �

������ % �� �� ��(������

+������� � �1���

��� ����������� ������� �� �� � �� �� �� ����

��� � ���� ������� ����� �� � �� ������ �

������� ��� � �� ��������� ��� ��� ����� ' !"""

� �� 9"! ��� ����������� ������� �� ��� � ����� �

&012'30� ����%��� � ����� ��� 9+ ������� �� �

!""$� � �������� � ��� ����� � ��� ��� ������� �� ��

�� ��� � ������ � 5�������� ������� ����� � ������

����� ������� � � �� �����8")+8

<�������� ������� � �������� � � ����� ��� � ���

� ��� ��� ������� � ��� ����� � ���� � ��� � �������

� ���� ����� � ������ � ������������� ���

������++�+9 3�� � �� ���� � ��� � �� � �����

������ � ���� ������� � ������ FF����66 ������� �� ��

���� �� ��� ��� FF�����66 ��� ��� ������������� � ���

����� � ���� � @��� ������ � ������� �� ��� ������

�������� � ����� � ����� � ����� ����� ����� ���

���� � ��� �� � ����� ���� ���� � ��� � ������

� � ����� �� �������� ; ��� ������ ������ �� ���

��� ��� � ���� ������� �� �� ��(���� ��� ������� �

�������� �� ��� ������������� � ��� ��� ���� �

��,3�� 45 �� ���� �� ������� � ���������� �� ��������

�� ���� ���� ���� ������� �� �������� ��������� � ��� ���

������ ��� ������� ��� ��� ��� ���� �� �������� ����

������� ��������� �� ����� �� ���������� ���� ���

������ ��������� ���� �� ��� � ��� � � ��� �� ����������

� ���� ��������� ���������� �������� ���� ��� � ���

��� �������!�� ������ ����� ����� �"����� � ��� �

� � �� � ��� ��"� #��"��$ ��� ��%� �� �� ����� ����

������� �� �� ���� ������ &�� �"������ ��� ���������� ����

��������� ���� ��� ��� �"����� ������� ��������� ��

������� ������ ���� ������ ��� � �� �� �� ��� ����� �

���� ���' ��� ����� !�� ��� � ������ ����% � ���

� ������ ����% ��� ���� ���� ����� �������������� �

���� ���� �� � ��� �������� ������ �� ������ ����%

����� ��� ���� �� � ����� ����� !�� ��� ��� �� ����� �

%��� (�)�*��� ��� ���� ���� ��� � ����� � &������ � ���

��� � ��������� ���� ���� �� � ��� +������ , �����

��������� � ��� �� ������� �� ��������� ������ ������

�� �������� ������� ����������

���� ?��� 65� +���� 3;;3 !"6

Page 5: Evidence-based practice for mere mortals

������ � ������� ������ ��� ���� � ��� FF�����66

���� 4����� ��� ��� � ���������� ������� ��

��� ����� � ������ � �� ������������ ������ ���

������� � ��������� ��� ���� ������� � ������� ��

���� �� � �� �� � � �����(����� ����� �������

������� ���

� ������ ����� �������� ��� ;2�D0&'@� �������

������+�+: ������ ��� ����������� ������� �� �����

����� ��� ������ ������ �������� � �� � � ����

��� ���� �% ��� ������� �� ��� % ����� ����� ��

������� �� ��� % ����� � ���� � � ������ ����� �

���� � ������� ��� �� ����� - ������� ��� ��

A�� � ���� � ������ ���� �%� ;2�D0&'@� �����

������ ���� � ������� �� �� �� � ������ ���

������� ��� ��� ������ ���� � �� � ����� ��

���� ��� ��� ��� ������ ����� ;2�D0&'@� ���

������ ������� ����� ��� ���� ��������� (�������

��� ���� �� � ����% ���� � ������ ���� ����� �

% ����� ��� ��� ������ ����� �� ���� ;2�D0&'@�

���� �� ��� � ����� �������� ��� ��� ������

���� � ��� ������ ���� � ����� ������������

������� � �������� � ��� ���� ���� � ������ � ����

;2�D0&'@� ������� � � ������ �� ���� �� � � ���

����� ������ ��� ������� � ��� � ���������

� ����� ���� � ��� ������� �6� ������ ��� ��

������� ����� ��� ������ �� ������ ����� ����� �����

�� ��� �� ������ � ������ � �� ���� � �������

������ �� ;B' � ��� ���� � % ������ ���������

���� ;2�D0&'@� ��� �� � ����� �� %� � ��� ���

����� �� ���� �� %� ��� � ���� ������ ��� � �

���������� ������� � %��� ������� �� �� � ��� ���

��� ����� ���

< �� ���� ������� � �� ������ ��� ��� ���

������� � ��������� � ����� � ��� �� � ��� ���

���� � ������ �� ����� � ��� � ���� � ��� � ������ �

������ ����� '� ��� � ������ � ������ ���� �� ���

� ������ � � ������� �� �� ��� �� ������� �����

�� ��� ��� �� ������� ������ � � ����� ��� �

��� ������ ����� ;2�D0&'@� ������� � ����� �������

������� �� ��� ��(������ ��� � % ����� �� ��������

� � ������� �� � �������� ���� �� � ������ �� � ��

������ � ������� �� � ��� � ������ � ������ ���� �

����� �� ������ ��� �����

��� ;2�D0&'@� ������ ���� �� ��� ��������� �

��� ����� ���� ������ ������ ;������ ������ �����

������ � ����� �� �� ����� � ��� ��� ��������

����� �������� � ��(����� ����� ��� ���������� � ��

�� ���� ����� ' ����� � ��� ��� ��� �������� �������

���� ���� ��� � � ��(�� ��� ������ �� �� ��������� �

������� � ��� ������ ������

����3�����

��� ���� � % ������ ��� � ������ ���� �

��������� ����� ���� ���� � � ��� � �� ���

�� � ������� �� �������� �� ���� �� � ����� �� �

��� ����� ��� ��� ;2�D0&'@� ������ ��� � ������

�������� ����� �� ����� � ������� ��� � � ��������

��� ������� �� � �� ���� � ����� ������� �� � �

��� ��� �������� 4�� � ������� � ����� ��������

������� ������ ��� �� ��� � ��� ����� � �����

��5�����

D ����� ��� ���� � % � ;2�D0&'@� ������� ����

������ ��� ������������ ������ � ������ � ����&'

�����%�� ���������� ����/ ������ �� ��� �����%�� ����� ���� !":$� �� ��� ������ � ���� � %�� �� ����� ���

���� ��� ���� ��� ��� �����%��� ������ ����&'

�������� �� �� � ��� � ���� ���� �� � � ����

���� �������� � ����� �� �� ���������:� �� ���

����� � ��� 4����� �� � ��� ������ ������ ������� �����

�� ������ � ����&' �����%�� ���������� ����� � ������ � ��� ������ ������ � �� ����%� � � ������ ��

������% �� � ��� ��������� � ������� � �

FF�������� �������� ����� �� � ������ ������ ���

��������66+# ����� ��� ��� 0&� �� ������� ���� ���

�� �������� � ������ ������� � ������ �� �� �

������� � � � ����� ��� ���� � % � ��������

������� � ���� ������� ��������� ���� ���������� ����� ��

� ������� � ��! ��� ������� � ���� ������ ����� �� ��

����� � �������� � ���� �� ������ ����������- ��� ����

�� ������� � � ���� � %��* � ��� ������� �� ��

���� ������ ����� ����������� �� ����� �

���� � ��������� '� ����� * � ���� � ��� ���� ��

����&' �����%�� ���������� � ��� �������� ����

� ������ ��� ��� 0&� � �� ������ ����� � ������� �

� ��� �� � � ��� ��� ������ ��� � �������� �

���� � ����� ���� � �������� � ��� ������� ��

���� ������� � �� ������ � � ��������� �����%����+"

@��� ������� � ��������� ��� ���� � �� ��� ���

��� ����� � ��� ������� � ������ ��� � ��

� ���� � ���������8$ B������ � � ��� � ��� ���

FF�������� �������� ����� ��66 ���� � ������� � ����

��� ����� ���� � %� � �� ������ �������� � ���

��� ������� � ��� �� �� �������� ���� � ���������

��� ���� � % � ;2�D0&'@� ������� ���� ����

�� ��� � ����������� �� ��� �� � ��������� ����� ��

� ��� �� � � ���� ��� �� ���� � � �� ��� � �����

���� ����� ��� ����� ������� ������� ;� �� ���

����������� �� ��� �����%�� ���������� �������+#

� ����� ���� ����� �� �� ��� � ��� ����� �

������ � ����� ������� �������� <�� ���� � �

���� � ����� �� � �� �� ����� ��*8 0�� ��

���� ����� ��� �� ��� ������ ��� ���� � ���

� ������� � ����� �������� ������� ������ � ��

��� ��������� � ����� � ����� ������� ������� ��

���� ��� �� ��

����+3����

��� ���� ����� ����� �� ��� ������ ������� �� �

��� ��� ����� ���� ����� �� ��� ����� �� ��� � �����

FF�������������66 ��� ��� � ��� ��� ���� �� � ��� ����� ��

�������� �� ����� �� ������ �� � �� ������� � ������

��� �������� 0�� �� ����� � ����� �� �� ������� ���

!"7 �� �� ��'� .�������/0���� #������� �� ���� ������ ����

Page 6: Evidence-based practice for mere mortals

������������� � ��� ������������ � ����� ���

�������� � ����� � �%� �� ��������� �� ���� ����

������� � � �� �� ����� ������� ������� 0���� ���

���� ������� �� ����� ��� ��� ������ � � �������� '�

��� � ����� ��� �� � ��� �� �� ��� ������� � �

��������

.�� �� ��� ��(����� ��� ����� �� ��� ������

���� ���/ ;��� �� � �������� ���� �� ��� � ��� �

������ � ������ ���� ��� � ������ � �� �����

��� �� � ��� ���� ��� ������ � ������ � � �������

� ����� �������� �������� ����� ������ �����

� ����� ��� �� ������ � ��������� ��� ��� �� � ���

��� ������� ���� � ����� � � ����� � ������ �%���

��� ��� � ����� �������� �� ����� ������� � ���

���� �� � � �������� ��� ��� ������ ���� � �����

� �������� � �� ��� � ������ � � � ����� ��������

������� ������������ ������ � ������� �����������

� � � ������ ������� � � ���� � ����������� ���� ��

���� � ��� � � ������ ������� ���� �� ���� ��� ��

������ ������ � � ����� ��5����� ��� � ��� (�����

���� � (� ������� ������ ���� ���������

3 �� ������� � ������ � ���� �� ��� �����

�������� ������� � ������ � ������� ���� ����� �

5� ��� ����� � ����������� ���� �� � �����

�������� ������� ������ � � ������� ��� ������� 4�

�%� � ������� � � ���� � ��� �� ��� ������ ���

�� ���� � � �%� ��� ��� � �5� ����� ��� ��

������� � � ������� ������ � ������� ��� ������

����� ����� �� �� �� ����� � ������� � � ���������

�� ���� � ����� �� � � �������� ��� ������� �� �

���� � ������ � ���� ��� ����� ��� �� � �%�

����� ������� ������ � ��� ������ � ���� ��� ���

��� � � ��������

���� ���� ��� ��������� �� ���� �� �������� �� !�"!""#$ �� ���

%&�'!����(��� )*������!����� ������� &����� (��� ���

+,���� (�� -�� ������ .������� ��� /�� ���� .���*� �� ��

0��� ��� ���1� ��� 2�"3 4"!"# (��� ��� 5������ 2������ �(

�������� 0��1�

����������

!� 2� G� ; �� 0&� G��� ���@��� G� ?���� ��% 4� &������� ��

������� ��� ��������� ���� ����� � ���������� ����� ��

������� � ����� � 3 0 �� G &��� !""-E*-:7-8#)+8�

-� ?������ D&� ����� &G� . � H� ��� G� D��� ;� &��� �% �;�

3�� � ��� � ��������� ��� � �������%��� �� ��� ������ � �

������� ���� �� ���� ���� ������� � ����� � 3�� � ���

������ ���������� B�5���� G;&;� !""#E-#$79-*)"�

*� &��� �% �;� 0�������% 0�� ����� &G� �� �� '����� � ���

(����� � ��� �� &������ ���� �� ��� ���� �������

� ����� 7 ������� ��� ��� �������� ���������� B�5����

I��� ���� ��J� G;&;� !""#E-:"7!*+!):�

8� @�� '� < � � 1?� 2��� B.� �� ��� >1� 0����� �� ���� � %�7

������� ��� ����� �� ������ � � ������ ������ &�� 1����

&%� �� -$$$E-$788$)+$�

+� @ ���� >1� 3��� ��� < � � 1?� 1���� � ���� ������ �

������ � ������ ������������ ������������� ������� ������� ��

��� ������ ������ &�� 1���� &%� �� -$$$E-$7!8+)+"�

9� �� � K� ;� �� G;� &��������� � ������� ������ � ��� ���

�������� ������� �� ��� ��� -$$$� 0�� G ��� B������

-$$$E++7:#!)+�

:� ; �� 0� 2� G� ?���� ��% 4� &������� �� ������� �� ;

������ � ������� � ���� ����� � � ������ � ���

����� � ������ ��� � � ��� ��� �������� ������ �� ��

������� � ����� � G;&;� !""-E-9#7-8$)#�

#� 1��%���� ?� .�� �������� ��� ��� �����/)���������� � ��� ���

������ !""-E!*7!:$):�

"� 2� ����� >1� .� ���� G0� ; G;&; ����� ����� (����� �

���� ; � ����� � ��� � ��� � G;&;� !""#E-:#7!9!+)9�

!$� ������� ��� ��� ��� ����� ��������� ;������ �7 �

������� ������� ;������� ;����� !:� -$$$�

!!� 3�� � � ��� ' �������� � ���3��7 ��� ��� ����� @����� ;����

��� �7 ����7==� ��� ��� ��� �����=��������������� ;�������

;����� !:� -$$$�

!-� ;'1@ ��� ��� ���� ' ����� @������� ;������ �7����7==

��������=� ;������� &��� -"� -$$$�

!*� ������� '� ;��� 1� ���� @�������� ����� �� 2 � 7 4&G

B������� � >���E !""+�

!8� 1��%���� ?� @������ �� 2������� �� '�� ����� � ����� � ������� ��

��������� ����� �� 4&G� !""8E*$"7!-#9)"!�

!+� D���� .�� D��%� 1D� D ��� � ������� � ��� ������ ��

� ����� �������� �������/ ; ���� �% �� � �������� �

��������� ����� � I��� ���� ��J� G;&;� !""#E-#$7!*8:)+-�

!9� 1��@�� � �� ������� 2G� &�B��% 4� &������� �� ������ �

������ � ��� ��� ������ 3 0 �� G &��� !"#-E*$97!**-):�

!:� &�� ��� �2� � ��� @� D���� � ?� � �� � � ������ ��� ���

�����7 ������� ����� � � ������ ��� ������ !"#8E+7*-#)8:�

!#� &��� 1� 1������ �@� .���� >;� @�������� � ��� ����� ����� �

����� ������ � � � ������ � ������ ������ G;&;� !""8E-:-7

!--)8�

!"� ��� @� ���� � ������ � ����� >���� ; ����� �� ����������

������ ��� ������� ������������G;&;�!""8E-:-7!"-9)*!�

-$� @�� '� ��� B���� ���� ;������ �7 ���� %���������=� ;�������

3������ !9� -$$!�

-!� 3�� � ' �������� � D����� ��� ������������ ;������ �7

���� ������������ ;������� 3������ !9� -$$!�

--� �������� 0 � �� � ��� ' ��� �� �� D���� ;������� � 3���

3�� �%� � D����� B��������� � �� ��� ' ��� ��� .��� �� � 1�7

3�� � ;����� B����E -$$$�

-*� 3�� � >������ � ����� ������ ;������ �7 ����7== �

������� ����=� ;������� ;����� !:� -$$$�

-8� ?� �� ?&� ����� G� .�� ���� &�� >��� 2� 0����� � �� ��

������ � ����� ������ ��� � �� ����������� �� ��

������������������ � ����� �G;&;�!"""E-#-7--89)+!�

-+� <�� � 0L� @�� >� &���� 14� >��� 5����� �� ������

������ ��������������� 5����� ��7 �� ������� � ��� ��� � �

����� �/ I��������� ������ ����� � &�� 1���� &%� �� !""+�

G���@��E!+�*�7-*$J� &�� 1���� &%� �� !""8E!87!")-9�

-9� < � � 1?� 3��� �� G�� ; ������ ����� ���� �% ��

�������� � � ������� ������� �� �� �������� ��� ��� ������ ��

&�� 1���� &%� �� !"":E!:78$")-9�

-:� D� �� �@� .��� &�� �� �� @�� 4�� 04� >���� >� A����6

������ � ��� ������ ���������� M'''� D � ��� ��� ��� �������

������� ��� ;� ;�� ��� ������ ��� � ����/ ��� 0���� ���

4��� &����� � .�%� � >���� G;&;� !""+E-:87+:$)8�

-#� .��� &�� D� �� �@� �� �� @�� 4�� 04� >���� >� A����6

������ � ��� &����� 2��������� M'''� D � ��� ��� ��� �������

������� ��� 4� .�� �� ��� ������ ��� � � ��� ���� ����

�� � ��� � �� ��� ���� ��/ ��� 0���� ���4��� &����� �

.�%� � >���� G;&;� !""+E-:87!9*$)-�

-"� @3<&01 ' ��� �� �7 ��� @���������� 3�� ������ � &����

�� �� ;������ �7 ����7==� ������=� ;������� ;����� #� -$$$�

*$� ���� @� ?��� @� 0����� �� ������ ������7 ��� �B& �� ��

������� �� B��� & �� -$$!E#78+)+8�

*!� ����� �>� �� @B� ������� ?0� <����� 10� ������� G�� ���

� �� � ������ � ��� ��� ���������� �� �� ��� ��������4���

���� ?��� 65� +���� 3;;3 !"8

Page 7: Evidence-based practice for mere mortals

B��� � ����� ' �������6� .�% >��� ���� � @���������� G

;� &�� ' ��� ;���� !""9E*7--8)**�

*-� ������� G�� ���� ��� B� @ ������ �� �� @� ����� �>�

.��� G� B��� '' ������ � ��� ��� ��� � �������7

������� ���� �� ��� ���� �� ���� ��� �� � ������� �B�'

.�% >��� ���� � @���������� I��� ���� ��J� G ;� &��

' ��� ;���� !"":E87-*#)+!�

**� &�1 �� �G� ��� ������� � ������ �������� ����� ������� �

� � ������ ����� G ;� &�� ' ��� ;���� !"":E87-!*)-!�

*8� @�� '� >�� B� >��� �� �� �� �� ��� ��� ������ ������

������� �� ��� ������� � ����� ������� ������ �� G ;� &��

' ��� ;���� -$$!E#7+-:)*8�

*+� D� � 12� D� �� �4� D @0� @���� ?� 0������ � ��������

���� ��� ��� ������ ������ ������� ������� ������ ��

� ���� � ������7 ��������� ����� I��� ���� �J� G;&;�

!""#E-#$7!**")89�

*9� 4�� 2;� >����� �� >����� G&� D���� 0� <�� ;1� ����

&;� ���� � ��� �� ��� �� ������� � �������7 ������ �

��������� ����� � � � ����� �� � � ����� ��� ������� ���

� ������� �� �� ��� ��� ���� � 0�������� B������ � <�� ��

��� � ��� ����� >���� 4&G� !""#E*!:789+)#�

*:� 4�� 0;� ;���� @&� &������� G;� 0 ��� 4>� 4�� ?1� 4�

>1������� ��� ����� ����������� � ����� ���������; �����

� "# � ������ ��� ��� ������ ;��� ��&��� !""9E+7-:!)#�

*#� &��� �;� ' ������ � ������� ���� � ��� � �5� ������

������ �� ���7 '� '���� �� ���� � ������� � �������

;�� &��� !""*E9#7-$)+�

*"� ������ �B� ' ����� ���� ��� ��������� � ������

������ �� ����7 ��� � ��� ��������� ;�� &��� !"""E:87:"+)"�

8$� �� &1� � � �@� B � 3�� �� �� .�� � 6� ������� � ���

��� ��� ������� ������� ��/ ; ���� �% �� �������� �� G;&;�

!"""E-#-7!8+#)9+�

8!� 4��%�� �&� 4��� .;@� ���� ���� �� � D�� ��������

' ������ 7 ;&������������ �� ;������ 2� ;���� ����7 &�� �

?��� E !"#:�

8-� @� ������ 4� 1���� � � ��� A��� ' ������7 @�������� ��

0�������� D�� �������� ' ������ � ���� �� &��7 ;���� �

.����� B������� � ��E !"":�

8*� ?�� 4� ;������� � �� ���� � ������ � � ��� ������ �

������ �������� G ;� &�� ' ��� ;���� !"":E87"8)!$!�

88� .� � &?� ������ @@� ;����� @� ����� � 1@� 0� ��� 22�

@���� �������� � �� ������� � ��� ������� ����� ���

� ����� 7 ����� � �� � � �� ��� ������ I���� �

� 7 G >� ' ��� &��� -$$! ���E!97!*-)8J� G >� ' ��� &���

-$$!E!97!$$)!!�

8+� 3�� � 2����� � &����� �� A ����� &����� 2 ���� @������

;������ �7 ����7== � ��� �����=����=���������=�����

����� ;������� ;����� "� -$$$�

89� 4��� �� �� &� 0�� � @� �� �� '����� � ��� (����� � ������ �

� � ������ � ������ ������ ��� �<3@<�� ������ �� G;&;�

!""9E-:979*:)"�

8:� @�� '� ���� 4 %�7 ; ' ������� �� ��� �� 0���� �������

&����� � I1�������� J� @� ���� ����7 @� ��� A ��������E !"":�

8#� @�� '� �� ��� >� ��% ����� � ��������� ����� � �7 �������

�� � �� ������ �� ��� ������ �� ' 7 9�� ; �� ���� �

������� &���� �� 4������� &�� <����� --)-9� !""#�

4������� &�7 ���� � ������� E !""#�

8"� .�� @D� B������ ������� ��7 � ������ � ������ �� '� ���� �

�������� ��� ;��� ' ��� &��� !""$E!+$7!#!!)#�

+$� ����� &�� 4�% �D� B�% �0� �� �� M���� � � ��� ��� �

������ � ������� �������� �� ��� &������ ������ � 3 0 �� G

&��� !"#9E*!87-#+)"$�

+!� ��� � ;�� ?����� �4� .� ���� 10� B�� ��� � ��� ������� �

� ������ (����� �������� �� G� ��� G N�� '����� !""+E-!7

9!")-9�

+-� '��� 3;� >�� M� .� ?� ����� ��� >� D� �� 0G� 3��� �1�

M���� � ����� � ��� ������� � < ��� I��� ���� ��J�

�&;G� !""8E!+$7*8+)+-�

+*� ?����� �4� @��� 13� .� ���� G0� D ��� 1�� 1��� � ���

�������� ����� � � ��� ��� � �������� ��� ������� �� � ���

&� � &����� ;������� � �� ��� <�������� @���� >����

G 4 � G� � @��� ;�� !""$E:-7!-#9)"*�

+8� .���� .B� &����� &0� .���� D>� ������ 0@� .� ���� G0�

>������� ����� � ���� ������� �� ������� �6 �������� �

��� A ���� @���� I��� ���� ��J� 3 0 �� G &��� !""*E*-#7

9-!):�

++� ����� &G� 2�� ?3� ���� >������ �� �� ��� ��� B������7 ���

1������� � � A��� .��� �� � 1�7 ' ������� � &����� �E !""-�

+9� A�@� B���� ���� @������� ��% ����� >���� � ��� ��� B���� ����

D����@�������� 4�������&�7 ' ��� �� � B������� �� ' �E !""9�

+:� @ ���� >1� 3��� �� G�� < � � 1?� B������� � �������

������� �� ��� � � �������� ������ ������ G 0�� ��� B����

-$$!E:7!:+)#"�

+#� 4����� 0D� D���� 0@� &���� G;� ��� �� @;� ����� &G�

?������ D&� ; (�������� ����� � � ����� � �������%�� ���

���� ������� � ����� 7 .�� � ��� ������� �������/

G;&;� -$$!E-#+7-9$8)!!�

+"� >������ @@� &������ �G� M��� �;� 0����� � �������%��

������� � � ��������% � � ����% ���� �� ���� �������

� ����� � I��� ���� ��J� 3 0 �� G &��� !""#E**"78#")":�

!"9 �� �� ��'� .�������/0���� #������� �� ���� ������ ����