Projektbericht des "Coordination of Cancer Clinical Practice Guidelines"(CoCanCPG)-Projektes
CoCanCPG Version 1.0 Stand: 09.02.2010
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- i -
Dieser Projektbericht beinhaltet eine ausführliche Beschreibung der Aktivitäten des IQWiG die im Zeitraum von 2006 bis Dezember 2009 durchgeführt wurden.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- ii -
Inhaltsverzeichnis
Seite
Tabellenverzeichnis................................................................................................................. iv
Abbildungsverzeichnis ...........................................................................................................vii
Abkürzungsverzeichnis.........................................................................................................viii
1 Hintergrund ...................................................................................................................... 1
1.1 Projektzeitraum...................................................................................................... 1
2 Ziel des Projektes ............................................................................................................. 2
3 Aufbau und Struktur des Projektes ............................................................................... 3
3.1 Struktur................................................................................................................... 3 3.2 Der Projektmanagementprozess........................................................................... 3 3.3 Die einzelnen Arbeitspakete, ihre Arbeitsschritte und Produkte...................... 4
4 Finanzierung ..................................................................................................................... 8
5 Aktivitäten des IQWiG im Rahmen des Projektes ....................................................... 9
5.1 Aktivitäten in den Jahren 2006 bis 2007.............................................................. 9 5.2 Mitarbeit bei der Entwicklung und Validierung von methodischen
Arbeitswerkzeugen („Common Tools and Instruments“)................................ 10 5.3 Entwurf eines Fragebogens zu „Joint training activities“ (WP6; Task 6.5)... 10 5.4 Erstellung und Pilot Test des Manuals zur
Leitlinienadaptierung:„CoCanADAPTE Manual“ (WP7; Task 7.3) ............. 16 5.4.1 Befragung der Projektmitglieder zur formalen Gestaltung und zum
Verständnis des ADAPTE Manuals................................................................... 17 5.4.2 Treffen mit HAS zur Validierung der ersten Version des CoCanADAPTE
Manuals.............................................................................................................. 17 5.4.3 Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals .......... 17 5.4.4 Befragung zur formalen Gestaltung des CoCanADAPTE Manuals.................. 18 5.4.5 Pilot Testung der Anwendung des CoCanADAPTE Manuals........................... 18 5.4.6 Erstellung einer finalen Version des CoCanADAPTE Manuals ....................... 18
6 Ergebnisse ....................................................................................................................... 19
6.1 Analyse der Befragung zum ADAPTE Manual ................................................ 19 6.1.1 Ziel der Befragung ............................................................................................. 19
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- iii -
6.1.2 Deskriptive Analyse........................................................................................... 19 6.1.3 Bivariate Analyse............................................................................................... 44
6.2 Analyse der Befragung zur formalen Gestaltung der ersten Version des CoCanADAPTE Manuals ................................................................................... 49
6.2.1 Deskriptive Analyse........................................................................................... 49 6.2.2 Zusammenfassung der Ergebnisse ..................................................................... 61
6.3 Analyse der Befragung zum Pilot Test der ersten Version des CoCanADAPTE Manuals ................................................................................... 62
6.3.1 Deskriptive Analyse........................................................................................... 62 6.3.2 Zusammenfassung der Ergebnisse ..................................................................... 75
6.4 Die finale Version des CoCanADAPTE Manuals ............................................. 77 6.4.1 Ziel des Manuals ................................................................................................ 77 6.4.2 Aufbau und Struktur........................................................................................... 77 I. Die „Preliminary Phase“ (Vorbereitungsphase) ................................................ 79
7 Zusammenfassung.......................................................................................................... 93
8 Fazit ................................................................................................................................. 95
8.1 Bewertung des Projektverlaufs........................................................................... 95
9 Literatur.......................................................................................................................... 97
Anhang A: Projektvertrag (Contract 206070)..................................................................... 98
Anhang B: Validierte Tools und Formate.......................................................................... 117
Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen................................................................................................. 131
Anhang D: Fragebogen zum ADAPTE Manual................................................................ 133
Anhang E: Fragebogen zur formalen Gestaltung des CoCanADAPTE Manuals ......... 138
Anhang F: Fragebogen zum Pilot Test des CoCanADAPTE Manuals........................... 141
Anhang G: Methoden der Leitlinienentwicklung der Partnerorganisationen............... 147
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- iv -
Tabellenverzeichnis
Tabelle 1: Organisationen des CoCanCPG – Projektes ............................................................. 1
Tabelle 2: Arbeitspakete, -schritte und Produkte ....................................................................... 4
Tabelle 3: Expressed needs and offers in joint trainings.......................................................... 11
Tabelle 4: Interest in the ADAPTE process ............................................................................. 21
Tabelle 5: Number of CPGs produced by organisation during the last 5 years ....................... 25
Tabelle 6: Number of CPGs adapted by organisation during the last 5 years ......................... 26
Tabelle 7: Time data................................................................................................................. 28
Tabelle 8: Clarity and feasibility of the ADAPTE manual ...................................................... 29
Tabelle 9: Median for Clarity and feasibility of the ADAPTE manual ................................... 29
Tabelle 10: Expectation of effects from using ADAPTE in comparison with current CPG development ....................................................................................................... 30
Tabelle 11: Expected barriers in using ADAPTE .................................................................... 31
Tabelle 12: Added value of ADAPTE ..................................................................................... 32
Tabelle 13: Clarity and feasibility of ADAPTE....................................................................... 33
Tabelle 14: Clarity and feasbility of ADAPTE........................................................................ 33
Tabelle 15: Number of modules............................................................................................... 34
Tabelle 16: Number of steps .................................................................................................... 35
Tabelle 17: Overlap between modules/steps............................................................................ 36
Tabelle 18: Sequence of modules/steps ................................................................................... 36
Tabelle 19: Appraisal of Preparation Module .......................................................................... 38
Tabelle 20: Appraisal of Scope and Purpose Module .............................................................. 38
Tabelle 21: Appraisal of Search and Screen Module............................................................... 39
Tabelle 22: Appraisal of Assessment Module.......................................................................... 39
Tabelle 22 (Fortsetzung): Appraisal of Assessment Module ................................................... 40
Tabelle 23: Appraisal of Decision and Selection Module........................................................ 40
Tabelle 24: Appraisal of Customisation Module ..................................................................... 41
Tabelle 25: External Review and Acknowledgement Module................................................. 41
Tabelle 26: Aftercare Planning Module ................................................................................... 41
Tabelle 27: Further revision of ADAPTE................................................................................ 42
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- v -
Tabelle 28: Revision for CoCanCPG....................................................................................... 43
Tabelle 29: Revisionin own context and CoCanCPG community........................................... 43
Tabelle 30: Produced and adapted guidelines .......................................................................... 44
Tabelle 31: Interest in ADAPTE.............................................................................................. 45
Tabelle 32: Interest in ADAPTE and expected effect of ADAPTE......................................... 45
Tabelle 33: Correlations between the items ............................................................................. 46
Tabelle 34: Development ......................................................................................................... 47
Tabelle 35: Development ......................................................................................................... 47
Tabelle 36: Quality Assessment ............................................................................................... 47
Tabelle 37: Monitoring............................................................................................................. 47
Tabelle 38: Monitoring............................................................................................................. 48
Tabelle 39: Indicators............................................................................................................... 48
Tabelle 40: Indicators............................................................................................................... 48
Tabelle 41: Indicators............................................................................................................... 48
Tabelle 42: Clarity and Comprehension of the CoCanADAPTE-Manual............................... 49
Tabelle 43: Rating scale for each item ..................................................................................... 50
Tabelle 44: Median................................................................................................................... 50
Tabelle 45: Understandability/clarity and feasibility of the modules and steps ...................... 53
Tabelle 46: Understandability / clarity and feasbility of the tools ........................................... 57
Tabelle 47: Time planning and use of manual ......................................................................... 63
Tabelle 48: Plan to follow the CoCanADAPTE manual.......................................................... 63
Tabelle 49: Topics of the planned guideline ............................................................................ 63
Tabelle 50: Expert groups in the guideline adaptation panel ................................................... 64
Tabelle 51: Target users ........................................................................................................... 65
Tabelle 52: Context of guideline adaptation ............................................................................ 65
Tabelle 53: Overall assessment ................................................................................................ 66
Tabelle 54: Rating scale for each item ..................................................................................... 66
Tabelle 55: Median of overall assessment ............................................................................... 67
Tabelle 56: Requirement of further revision of the manual ..................................................... 68
Tabelle 57: Requirement of further revision of the tools ......................................................... 69
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- vi -
Tabelle 58: Rating scale for effects.......................................................................................... 69
Tabelle 59: Summary of the ratings ......................................................................................... 69
Tabelle 60: Barriers by using the CoCanADAPTE process .................................................... 70
Tabelle 61: Comments on barriers ........................................................................................... 70
Tabelle 62: Added value of CoCanADAPTE .......................................................................... 71
Tabelle 63: Following the steps ............................................................................................... 71
Tabelle 64: Retrieved, assessed, used guidelines..................................................................... 73
Tabelle 65: Update of the literature.......................................................................................... 73
Tabelle 66: Contextualising of the source recommendations .................................................. 73
Tabelle 67: General comments................................................................................................. 74
Tabelle 68: Zusammenfassung der Inhalte der Leitlinien........................................................ 81
Tabelle 69: Dokumentation der Leitlinienaktualität ................................................................ 83
Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz........................................................................................... 86
Tabelle 71: Empfehlungsmatrix ............................................................................................... 89
Tabelle 72: Übersicht der Ergebnisse des Bewertungsmoduls ................................................ 90
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- vii -
Abbildungsverzeichnis
Abbildung 1: Struktur des Projektes [www.cocancpg.eu] ......................................................... 3
Abbildung 2: Projektmanagement Prozess [www.cocancpg.eu] ............................................... 4
Abbildung 3: Pre-payments / reimbursements and reporting schedule...................................... 8
Abbildung 4: Role of primary contact of respondetns in CPG development........................... 20
Abbildung 5: Role of primary contact of respondents in CPG development by partners........ 20
Abbildung 6: Interest of all respondent in ADAPTE............................................................... 22
Abbildung 7: Combination of interest in ADAPTE by partners .............................................. 22
Abbildung 8: Combination of experiences in CPG development, implementation and adaptation by partners......................................................................................... 24
Abbildung 9: Number of CPGs produced by organisation during the last 5 years.................. 25
Abbildung 10: Anzahl der adaptierten Leitlinien innerhalb der letzten fünf Jahre.................. 26
Abbildung 11: Medians of Clarity and feasibility of ADAPTE............................................... 34
Abbildung 12: Darstellung der groben Struktur des CoCanADAPTE Manuals...................... 78
Abbildung 13: Evaluationsbogen zur Konsistenzprüfung Teil I.............................................. 84
Abbildung 14: Evaluationsbogen zur Konsistenzprüfung Teil II ............................................ 85
Abbildung 15: Bewertung der Konsistenz zwischen der Evidenz, deren Interpretation und der daraus resultierenden Empfehlungen ........................................................... 86
Abbildung 16: Bewertungsbogen für Akzeptanz und Anwendbarkeit .................................... 89
Projektbericht CoCanCPG
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
Version09.02.2010
- viii -
1.0
Abkürzungsverzeichnis
Abkürzung Bedeutung
AATRM Agència d` Avaluació de Tecnologia i Recerca Mèdiques
ACCC Vereniging van Integrale Kankercentra
AETSA Agencia de Evaluación de Tecnologias Sanitarias de Andalucía
AGREE Appraisal of Guidelines Research and Evaluation
CoCanCPG Coordination of Cancer Clinical Practice Guidelines
CSO-MOH Israeli Ministry of Health
DLCC Direction de Lutte Contre le Cancer
DSPP Lietuvos Respublikos Sveikatos Apsaugos Ministerija
EU Europäische Union
EUMIN Egeszsegugyi Ministerium
HAS Haute Autorité de la Santé
INCa Institut National du Cancer
IQWiG Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen
IOVU Vilniaus Universiteto Onkologijos Institutas
ISS Istituto Superiore di Sanita
KCE Federaal Kenniscentrum voor de Gezondheidzorg/Centre Fédéral d'Expertise des Soins de Santé
NICE National Institute for Health and Clinical Excellence
NSC Network Steering Committee
OOI Orszagos Onkologia Intézet
SIGN Scottish Intercollegiate Guidelines Network
WP Work package
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 1 -
1 Hintergrund
CoCanCPG (Coordination of Cancer Clinical Practice Guidelines) war eine Kooperation, bestehend aus aktuell 16 Organisationen (siehe Tabelle 1) aus 11 Ländern. Es wurde mit dem von der EU geförderten Projekt eine Kooperation für den Austausch von Erfahrungen, Wissen und Werkzeugen zum Management von relevanten Prioritäten der Entwicklung von Leitlinien zu schaffen beabsichtigt. Die Gründe für dieses Projekt sind, dass Krebs eines der häufigsten Gesundheitsprobleme mit starken Differenzen in den Überlebensraten innerhalb der EU ist. Weitere Gründe sind Diskrepanzen in der Entwicklung von Krebsleitlinien, wie doppelt vorhandene Leitlinien zu ein und demselben Thema (Duplikate) und unvollständige Leitlinien mit Evidenzlücken.
Tabelle 1: Organisationen des CoCanCPG-Projektes
Partner Nummer
Partner Name Land Namen der Teilnehmer
10 SIGN Schottland Dr. Safia Quereshi
7 ACCC Niederlande Dr. Renée Otter
18 DLCC Kanada Mrs. Louise Paquet
5 CSO-MOH Israel Dr. Benny Leshem
17 ISS Italien Dr. Cristina Morciano
2 KCE Belgien Prof. Dirk Ramaekers
8 AETSA Spanien Mrs. Belén Corbacho
3 HAS Frankreich Dr. Philippe Michel
14 (+6) IOVU (+DSPP)* Litauen Dr. Dainius Characiejus (Ms Gedmile Grinkeviciute)
15 IQWiG Deutschland Dr. Alric Rüther, Dr. Michael Kulig
4 EUMIN Ungarn
11 NICE Großbritannien Prof. Peter Littlejohns
1 InCa Frankreich Dr. Christine Bara
9 AATRM Spanien Dr. Emilia Sanchez
16 OOI Ungarn Dr. Erzsébet Podmaniczki
1.1 Projektzeitraum
Das Projekt startete im Jahr 2006 und wird nach dem Projektzeitplan am 31. Januar 2010 enden.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 2 -
2 Ziel des Projektes
Das primäre Ziel war der Aufbau und die Stärkung eines kooperativen Netzwerks, um der „Zerstückelung“ und den Duplikaten bei der Entwicklung von Krebsleitlinien entgegenzuwirken und qualitativ hochwertige Leitlinien mit hochwertiger Evidenz zu entwickeln.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 3 -
3 Aufbau und Struktur des Projektes
3.1 Struktur
Das Projekt wird koordiniert durch das französische Institut National Du Cancer (INCa). Das Network Steering Comnmittee (NSC) stellt dabei den wichtigsten Entscheidungsträger dar, der sich aus den Partnerorganisationen zusammensetzt, die eine direkte oder delegierte nationale Verantwortung für die Leitlinienforschungsprogramme besitzen. Das Projektkoordinationsteam ist für die Sicherstellung der Abgabe sowohl der täglichen Arbeiten des Projektmanagements als auch der übrigen Ergebnisse des Projektes verantwortlich (Abbildung 1).
Abbildung 1: Struktur des Projektes (www.cocancpg.eu)
3.2 Der Projektmanagementprozess
Das Koordinierungsteam des Projektes unterstützt die Koordinatoren und alle übrigen Partnerorganisationen, um eine erfolgreiche Implementierung des Arbeitsprogramms der gesamten CoCanCPG-Kooperation sicherzustellen. Das Projektkoordinationsteam arbeitet dabei eng mit dem „Network Steering Committee“ zusammen. Die Arbeit ist primär fokussiert auf die Bereitstellung von Anleitungen für die funktionelle und strategische Implementierung des Projektes und für die korrekte Nutzung von Projektergebnissen (Abbildung 2).
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 4 -
Abbildung 2: Projektmanagementprozess [www.cocancpg.eu]
3.3 Die einzelnen Arbeitspakete, ihre Arbeitsschritte und Produkte
Zum Aufbau des kooperativen Netzwerks und zur Erreichung der Zielstellung wurde das Projekt in spezifische Arbeitspakete (Work packages = WP) nterteilt. Die Arbeitspakete sind wiederum in einzelne Arbeitsschritte unterteilt. Die Produkte (Deliverables), die am Ende eines Arbeitspaketes abgeschlossen werden sollten sind unter den jeweiligen Arbeitspaketen bzw. -schritten zu finden.
Tabelle 2: Arbeitspakete, -schritte und Produkte
Arbeitspaket („Work package“ = WP) Arbeitsschritte (Task)
WP1: Project Management Task 1.1: Monitoring project advancement Task 1.2: Project management handbook Task 1.3: Administrative and financial
coordination Task 1.4: Monthly progress reports Task 1.5: Communication with the Commission Task 1.6: Procedures for conflict resolution
Deliverables: D 1.1: CoCanCPG project presentation D 1.2: Project management handbook D 1.3: Progress reports and audit certificates, wie in Task 1.5 beschrieben
(Fortsetzung)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 5 -
Tabelle 2 (Fortsetzung): Arbeitspakete, -schritte und Produkte
Arbeitspaket („Work package“ = WP) Arbeitsschritte (Task)
WP2: Support for preparation and organisation of project meetings and training
Task 2.1: Preparation and organisation of kick-off meeting
Task 2.2: Preparation and organisation of annual project meetings
Task 2.3: Preparation and organisation for teleconference for work package workgroups
Task 2.4: Preparation and organisation of work package meetings
Task 2.5: Planning and centralised logistic support for short-term exchange between programme management staff
Task 2.6: Specific training for project staff Task 2.7: Preparation and organisation of
meetings of Network Steering Committee Task 2.8: Preparation and organisation of
meetings of the External Project Advisory Committee
Task 2.9: Preparation and organisation of the project symposium
Deliverables: D 2.1: Report from kick-off meeting D 2.2: Reports from annual meetings D 2.3: Reports from the working meetings organised during the project D 2.4: Report from the project symposium
WP3: External communications Task 3.1: Development and diffusion of communication packages about the project and ist results
Task 3.2: Stakeholder management Task 3.3: Identification of potential new partners Task 3.4: Liaison with other projects and
initiatives
Deliverables: D 3.1: Report on external communication activities
(Fortsetzung)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 6 -
Tabelle 2 (Fortsetzung): Arbeitspakete, -schritte und Produkte
Arbeitspaket („Work package“ = WP) Arbeitsschritte (Task)
WP4: Implementation of exchange of information and best practices
Task 4.1: Benchmarking for best practices Task 4.2: Definition of information to be
exchanged Task 4.3: Definition of framework (processes and
tools) for communication and exchange of information
Task 4.4: Setting up and pilot testing of chosen communication tool for information exchange and best practices
Task 4.5: Workshop to present framework and tools to all participants
Task 4.6: Implementation and running of the communication process
Deliverables: D 4.1: Report on benchmarking of best practices, defining the standards for best practices D 4.2: Communication tool corresponding to the specifications
WP5: Definition of strategic activities for consolidating cooperation between research programmes
Task 5.1: Analysis of synergies and complementarities between programme
Task 5.2: Identification of barriers to future trans-national cooperation between research programmes and possible solutions for overcoming them
Task 5.3: Strategic workshop on barriers to sustainable cooperation and solutions to overcome them
Task 5.4: Identification of common and shared activities to be implemented
Task 5.5: Preparation of implementation of common strategic activities
Task 5.6: Improving the exploitation of results
Deliverables: D 5.1: Report on barriers and solutions to overcome them D 5.2: Position paper on joint strategic activities to be implemented D 5.3: Report on improving exploitation of results
(Fortsetzung)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 7 -
Tabelle 2 (Fortsetzung): Arbeitspakete, -schritte und Produkte
Arbeitspaket („Work package“ = WP) Arbeitsschritte (Task)
WP6: Implementation of joint activities Task 6.1: Development of common procedures for management of multinational calls for proposals
Task 6.2: Implementation of common databases and mutual access to databases
Task 6.3: Protocol for clustering of projects Task 6.4: Development of mechanisms for
tailoring trans-national research results to local conditions
Task 6.5: Joint training activities Task 6.6.: Forsight exercise between all the
partners and preparation of joint action plan
Deliverables: D 6.1: Description of common procedures D 6.2: Implementation of joint databases D 6.3: Manual of common procedures D 6.4: Report on joint training activities and plan for future joint training activities D 6.5: Position paper on foresight exercise and joint action plan
WP7: Implementation of trans-nationalen research activities
Task 7.1: Joint trans-national calls for proposals Task 7.2: Implementation of clustering of projects Task 7.3: Pilot testing of transnational
exploitation of results Task 7.4: Global analysis of joint and trans-
national activities undertaken Task 7.5: Processes for prospective joint strategic
planning Task 7.6: Definition of transnational structure for
sustainable cooperation Task 7.7: Implementation of the proposed
structure
Deliverables: D 7.1: Report on the implementation of project clustering D 7.2: Report on the proposed joint strategies and programmes D 7.3: Report on the analyses of the pilot testing of joint calls D 7.4: Proposition of structure of the future transnational structure to ensure a sustainable collaboration beyond the project duration, and plan for its implementation
WP8: Dissemination of results Task 8.1: Internal dissemination Task 8.2: External dissemination Task 8.3: Publication of the proceeding from the
CoCanCPG symposium
Deliverables: D 8.1: Report on using and disseminating knowledge D 8.2: Report on raising public participation and awareness
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 8 -
4 Finanzierung
Abbildung 3 bezieht sich auf die Bewilligung des Haushalts, der von der Europäischen Kommission aufgestellt wird.
Die Transfers der einzelnen Budgets für die einzelnen Partnerorganisationen werden von den Projektkoordinatoren alle 6 Monate durchgeführt. Die Transfers sind an die Erfüllung der einzelnen Arbeitspakete bzw. die Erstellung der Produkte (Deliverables, siehe Tabelle 2) gebunden. Zudem müssen regelmäßige Berichte zu den einzelnen Arbeitsschritten an die Projektkoordinatoren abgegeben werden, die ebenfalls eine Bedingung für die Transfers der Budgets sind.
Abbildung 3: Pre-payments / reimbursements and reporting schedule
Das Budget des gesamten Projektes beträgt, laut Vertrag, 2550416 Euro. Der finanzielle Beitrag sollte begrenzt werden auf eine maximale Rate einer Beteiligung bezogen auf die Aktivitäten, die in Anhang 2 Teil B des Projektvertrages (Anhang A) festgehalten sind.
Durch die Kalkulation und Abrechnung gegenüber dem Projektträger mit einem Gemeinkostenzuschlag von 20 % ergab sich für das IQWiG im Jahr 2009 (aktuellster Stand) ein Förderwert für den Personalaufwand von 109931,67 Euro. Die geförderte Gesamtobergrenze beträgt für das IQWiG im Jahr 2009 131918 Euro.
Die Förderungshöhe des gesamten Projektes steht erst im Januar 2010 bei Abschluss des Projektes fest. Aus diesem Grund kann diesbezüglich noch keine Aussage getroffen werden.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 9 -
5 Aktivitäten des IQWiG im Rahmen des Projektes
5.1 Aktivitäten in den Jahren 2006 bis 2007
In den Jahren 2006 bis 2007 erfolgten Vorbereitungen / Vorgespräche zur Aufnahme des IQWiG als vollwertiger Partner sowie Vor- und Nachbereitungen zum Interview und zur anschließenden Durchführung des Interviews des IQWiG. Zusätzliche wurden Vorbereitungen zu Meetings im Rahmen des Projektes und die Teilnahme an diesen geplant und durchgeführt.
Im Einzelnen wurden folgende Aktivitäten bzgl. der genannten Aspekte durchgeführt:
CoCanCPG Benchmarking individuelle Analyse / „Benchmarking for Best Practice“
Business Trip German Cancer Society (WP5)
Extern: Beratungsausschuss (Advisory Board) zur Koordination der gemeinsamen Aktivitäten (WP1)
Übernahme von Aufgaben / Verantwortlichkeiten für den Interviewfragebogen „methodologists“ und Organisation der Durchführung
Durchführung des Interviews mit Frau Ghizleni (WP5)
Validierung des Protokolls des Interviews (WP5)
Diskussion und Vorbereitung der Um- und Neustrukturierung der einzelnen Arbeitsschritte innerhalb der übergeordneten Arbeitspakete
Planung der einzelnen Arbeitspakete (WP6, WP7)
Planung und Koordinierung der einzelnen Arbeitsschritte innerhalb der Arbeitspakete
Koordinierung der Planung der Arbeitspakete und ihrer Arbeitsschritte
Kontaktaufnahme mit dem Management des Konsortiums und dem deutschen Gesundheitsministerium bezüglich der Betätigung der Umstrukturierung des gesamten Projektes
Vorbereitung der Pilotphase für die Arbeitsschritte der gemeinsamen Aktivitäten (WP5)
Review des CoCanCPG-Manuskripts „TUMORI“ (WP1)
Allgemeine administrative Planungen im Hinblick auf die anstehenden Meetings und Reisen
Projektbericht CoCanCPG
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
Version09.02.2010
- 10 -
1.0
Diese einzelnen Aktivitäten sind nicht nach Work packages geordnet, sondern möglichst nach zeitlicher Durchführung.
5.2 Mitarbeit bei der Entwicklung und Validierung von methodischen Arbeitswerkzeugen („Common Tools and Instruments“)
In den Jahren 2006 bis 2008 erfolgte eine Bestandsaufnahme der von den Partnern in der Leitlinienentwicklung verwendeten Instrumente und Werkzeuge.
Dabei handelt es sich insbesondere um (Anhang B)
Common tool PICO
Common checklists for critical appraisal
Common format for literature search
Common format for evidence table – intervention
Common format for searching literature and synthesizing the evidence
Diese Abstimmung der Partnerorganisationen erfolgte im Rahmen der Arbeitspakete WP 5. Verantwortlich dafür waren die niederländischen Partner der ACCC.
Das IQWiG hat die Partnerorganisationen in regelmäßigen Stellungnahmen zu bestimmten Instrumenten und Werkzeugen unterstützt. Da das IQWiG nicht selbst Leitlinien entwickelt, brachte es bestehende Erfahrungen nach den Allgemeinen Methoden des IQWiG ein:
Die Inhalte der konsentierten und aktuell empfohlenen Werkzeuge können auch der CoCanCPG-Website [www.cocancpg.eu] entnommen werden.
5.3 Entwurf eines Fragebogens zu „Joint training activities“ (WP6; Task 6.5)
Dieser Arbeitsschritt sollte dazu führen, dass eine Art „Schulungsnetzwerk“ (learning network) zwischen den einzelnen Organisationen entsteht, die sich gegenseitig mit ihrer Expertise unterstützen sollen. Zu diesem Zweck wurde eine Umfrage in allen Organisationen durchgeführt (Anhang C).
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 3: Expressed needs and offers in joint trainings
CoCanCPG Short Term Exchanges
Expressed needs Offers
Partner INCa ACCC SIGN IOVU OOI ISS IQWiG
Adaptation methodologies
needs of experience exchanges after the pilot testing of cocan adapte
We have already adapted guidelines that were developed elsewhere, but not via de ADAPTE approach. We think a training from experienced Adapte users would be necessary (or at least beneficial). Only studying the Adapte manual we believe would not provide us with enough 'gear' to convince our guideline development group members to start using Adapte, since the manual is quite large and not very easy to read (it would probably seem to them that it would take much more extra time to start using Adapte in comparison with the current guideline development handbook from ACCC). In addition, to be able to train guideline developers on Adapte, we would like to be trained first.
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 11 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 3 (Fortsetzung): Expressed needs and offers in joint trainings
Expressed needs Offers
Partner INCa ACCC SIGN IOVU OOI ISS IQWiG
Grading recommendations
exchange on gradation types exchange on formulating recommenda-tions
Ways to grade the quality of evidence and strength of recommendations (GRADE and/or other solutions).
implementation of guidelines
Overview of guideline programme of another partner
way to establish a programm perspective of a short or long terms program
Brief overview to learn about the scope of the partner's work
as SIGN: opportunity to compare/contrast the partner's and ISS's guidelines & discuss similarities/differences
Literature search strategies
Opportunity to meet with/job shadow information specialist to learn about how the partner develops search strategies, selects and tests filters, manages information retrieved, shares information with reviewers, documents strategies, updates searches
processes to involve patients in the development of guideline. Citizens versions of guideline. Media Involvement
offer of search strategies, documentation strategies
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 12 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 3 (Fortsetzung): Expressed needs and offers in joint trainings
Expressed needs Offers
Partner INCa ACCC SIGN IOVU OOI ISS IQWiG
Guideline implementation methodologies
procedures on how to translate gaps in knowledge into research recommendations,setting up a database of reseach recommendations
Innovations and new initiatives
Discussion with relevant manager to learn about any new developments that could be used in Scotland
Management of partnership working
Discussion with relevant manager to learn about the partner's work, how partnerships are developed, what partnerships have been successful and why
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 13 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 3 (Fortsetzung): Expressed needs and offers in joint trainings
Expressed needs Offers
Partner INCa ACCC SIGN IOVU OOI ISS IQWiG
Procedures on how to translate gaps in knowledge into research recommendations
For task 5.6 NICE will develop an international database of research recommendations. The participating organizations should be asked, once a guideline is finished, to transform the unresolved questions into research recommendations and put them into this international database. Training in this would be beneficial.
Guideline assessment and comparison
Opportunity to compare/contrast the partner's and SIGN's guidelines & discuss similarities/differences
Training of process managers on the guideline development process
By the ACCC, we don't have a specific training program for our process managers at this moment. To see what other partners offer to their process managers could help us in setting up a training program at the ACCC.
Opportunity to learn about, and if possible participate in, the training the partner provides to its project managers
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 14 -
Projektbericht CoCanCPG
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
Version 1.0 09.02.2010
- 15 -
Tabelle 3 (Fortsetzung): Expressed needs and offers in joint trainings
Expressed needs Offers
CPG group management techniques
Consensus techniques
Patient involvement in CPGs
Patient versions of guidelines
Making the most of the website and Online versions of CPGs
Grading level of evidence
exchange on gradation types of level of evidence gradation by study or by clinical question?
Exchange on formats for critical appraisal checklists
examples of pragmatic checklists on RCT and meta analyses
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 16 -
Auf Basis der Ergebnisse der Umfrage (Tabelle 3) wurde eine Organisation identifiziert (IOVU), die im Hinblick auf die systematische Literatursuche und systematische Dokumentation einen Schulungsbedarf aufwies. Da das IQWiG in der Umfrage seine Expertise im Hinblick der systematische Literatursuche und systematische Dokumentation angegeben hatte, wurde vonseiten der Projektleiter des IQWiG ein Fragebogen (Anhang C) konzipiert, der im Detail den genauen Umfang der vom IOVU benötigten Schulungs-maßnahmen ermitteln sollte. Dieser Fragebogen wurde an die betreffende Organisation versandt mit der Bitte, diesen auszufüllen, um mögliche Schulungsmaßnahmen planen und durchführen zu können. Dies wurde vor dem Hintergrund einer vorherigen Absprache mit der Recherchegruppe des IQWiG durchgeführt. Trotz mehrmaligem Reminder an das IOVU erfolgte keine Rücksendung des Fragebogens. Aus diesem Grund liegen für die Befragung keine Ergebnisse vor.
5.4 Erstellung und Pilot Test des Manuals zur Leitlinienadaptierung:„CoCanADAPTE Manual“ (WP7; Task 7.3)
Die Entwicklung von evidenzbasierten Leitlinien ist ein umfangreicher Prozess der sowohl viel Zeit als auch personelle Ressourcen in Anspruch nimmt. Die Anwendung der klassischen Methoden der Entwicklung evidenzbasierter Leitlinien führt dazu, dass Institutionen ähnliche Leitlinien entwickeln. Dies wiederum führt zur Erstellung von Duplikaten von Leitlinien. Der Adaptierungsprozess soll diesem entgegenwirken, denn er wird als Alternative zur Ent-wicklung von de novo Leitlinien gesehen. Die Leitlinienadaptierung bietet die Möglichkeit Leitlinien eines bestimmten Settings in den eigenen spezifischen Kontext zu übernehmen. Diese Art der Leitlinienentwicklung fokussiert sich nicht nur auf Anforderungen spezifischer Nutzer einer Leitlinie, sondern auch auf Anwender mit limitierten Resourcen und einem Interesse an der Leitlinienentwicklung und -implementierung. Es wird davon ausgegangen, dass durch das schrittweise Vorgehen innerhalb des Adaptierungsprozesses die Qualität einer Leitlinie, sowohl methodisch als auch inhaltlich, gesteigert und gleichzeitig damit auch eine hohe inhaltliche Validität der Leitlinien gesichert wird.
Alle Partnerorganisationen innerhalb dieses Projektes haben ein Interesse an der Adaptierung von Leitlinien gezeigt, primär natürlich die Organisationen, die Leitlinien entwickeln und/oder bereits Erfahrungen in der Adaptierung von Leitlinien haben. Um eben die oben genannten Aspekte zu erreichen und um ein Instrument spezifisch für die Anforderungen der in dem Projekt beteiligten Organisationen zu erstellen, wird das CoCanADAPTE Manual entwickelt. Denn die organisatorischen Anforderungen innerhalb des Projektes umfassen nicht nur Leitlinienentwickler, sondern auch Leitlinien implementierende Organisationen, Leitlinienbewerter etc. Gleichzeitig lässt sich der im Manual beschriebene Prozess durchaus auch auf andere Krankheitsthemen übertragen und ist nicht ausschließlich auf Krebsleitlinien fokussiert.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 17 -
Für die Erstellung des CoCanADAPTE Manuals müssen folgende Schritte durchlaufen werden:
1. Befragung der Projektmitglieder zur formalen Gestaltung und zum Verständnis des ADAPTE-Manuals (Juli / August 2008) (Abschnitt 5.4.1)
2. Treffen mit HAS zur Validierung der ersten Version des Manuals im Februar 2009 (Abschnitt 5.4.2)
3. Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals im März 2009 (Abschnitt 5.4.3)
4. Befragung zur formalen Gestaltung und zum Verständnis des CoCanADAPTE Manuals im Zeitraum von Mai bis August 2009 (Abschnitt 5.4.4)
5. Auswertung der ersten Befragung (September 2009) (Abschnitt 6.2)
6. Pilot Testphase für die Anwendung des CoCanADAPTE Manuals durch interessierte Projektmitglieder im Rahmen einer zweiten Befragung von Mai bis September 2009
7. Auswertung des Pilot Testings im September/Oktober 2009 (Abschnitt 6.3)
8. Erstellung einer finalen Version des CoCanADAPTE Manuals aufgrund der Ergebnisse der ersten Befragung und des Pilot Tests (November/Dezember 2009) (Abschnitt 6).
5.4.1 Befragung der Projektmitglieder zur formalen Gestaltung und zum Verständnis des ADAPTE Manuals
Basis für die Erstellung des CoCanADAPTE Manuals war die im September 2008 durchgeführte Befragung zum ADAPTE-Manual (Anhang D). Auf Basis der Resultate wurde das ADAPTE-Manual an die organisatorischen Bedingungen des CoCanCPG Projektes angepasst und abgeändert (Ergebnisse in Abschnitt 6.1).
5.4.2 Treffen mit HAS zur Validierung der ersten Version des CoCanADAPTE Manuals
Der Erstellung der ersten Version des CoCanADAPTE Manuals ging ein Treffen mit der HAS im Februar 2009 voraus, auf dem die erste Version des Manuals validiert wurde.
5.4.3 Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals
Im Mai 2009 wurde eine erste Version des CoCanADAPTE Manuals erarbeitet und wird von einigen Partnerorganisationen (INCa, ISS, SIGN, KCE, IOVU) anhand einer zu adaptierenden Leitlinie getestet. Die Ergebnisse der Erarbeitung einer ersten Version wurden auf dem
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 18 -
jährlichen Treffen der Projektmitglieder in Vilnius vorgestellt und Interessenten für die Pilot Phase gewonnen.
5.4.4 Befragung zur formalen Gestaltung des CoCanADAPTE Manuals
Die Befragung (Anhang E) zur formalen Gestaltung und zum Verständnis des CoCanADAPTE Manuals wurde Mitte Mai 2009 gestartet. Alle Projektmitglieder werden in diese Befragung einbezogen unabhängig von ihrem Wissen hinsichtlich der Adaptierung von Leitlinien. Die Antworten wurden gesammelt und für die Analyse in SPSS eingegeben (Ergebnisse in Abschnitt 6.2).
5.4.5 Pilot Testung der Anwendung des CoCanADAPTE Manuals
Die Pilot Testphase wurde ebenfalls parallel zur ersten Befragung gestartet. 4 Organisationen (INCa, ISS, KCE, SIGN) nahmen an diesem Pilot Test teil. Für die Pilot Testphase wurde ein zweiter Fragebogen (Anhang F) mit dem CoCanADAPTE Manual (Version 1.0, Mai 2009) an die Teilnehmer versandt. Die Befragung diente als Dokumentation der Ergebnisse der Pilot Testung (Ergebnisse in Abschnitt 6.3).
5.4.6 Erstellung einer finalen Version des CoCanADAPTE Manuals
Nach Auswertung der Ergebnisse der ersten (formale Gestaltung) und der zweiten Befragung (Pilot Testung) zum CoCanADAPTE Manual wurden Kommentare und Ergebnisse der Partnerorganisationen verwendet, um eine finale Version des CoCanADAPTE Manuals zu erstellen.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 19 -
6 Ergebnisse
6.1 Analyse der Befragung zum ADAPTE Manual
6.1.1 Ziel der Befragung
Das Ziel der Befragung zum ADAPTE Manual [1] war es Informationen zur formalen Gestaltung und Anwendung des Manuals und seiner Instrumente zu erhalten. Diese Ergebnisse sollen als Basis für die Entwicklung einer modifizierten Fassung des ADAPTE Manual genutzt werden, um ein Instrument zu entwickeln, das an die Anforderungen der einzelnen Partnerorganisationen des CoCanCPG Projektes optimal angepasst ist.
6.1.2 Deskriptive Analyse
Der Fragebogen wurde im Zeitraum Juni/Juli 2008 durchgeführt. Von den insgesamt 18 Partnerorganisationen wurden 16 Antworten erwartet (4 Partner gaben ihre Antwort jeweils als Team ab) und 14 Antworten wurden letztendlich abgegeben.
Funktion im Rahmen des Kontakts mit Leitlinienentwicklungsgruppen
Es wurden insgesamt 9 Personengruppen aufgelistet, die als Antwortoptionen angekreuzt werden konnten:
Methodologist 8 Epidemiologist 4 Health Service Researcher 3 Non Medical Staff 2 General Practitioner 2 Pharmacist 1 Allied Professional 0 Nurse 0 Total: 20
Ergänzende Antworten, die von einer Partnerorganisation zusätzlich zu den oben aufgelisteten Anwortoptionen angegeben wurden sind
Associate director, research and development
HTA professional
Medical doctor (CoCanCPG project coordinator)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 20 -
Abbildung 4: Role of primary contact of respondents in CPG development
Abbildung 5: Role of primary contact of respondents in CPG development by partners
General Practitioner
Epidemiologist
Methodologist
Non Medical Staff
Health Service Researcher
Pharmacist
General Practitioner
Epidemiologist
Pharmacist
Nurse
Allied Professional
Methodologist
Health Service Researcher
Non Medical Staff
Other
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 21 -
“What is your interest in the ADAPTE process?“
Einige der Partnerorganisationen (n=8) sind daran interessiert, ADAPTE bei der Leitlinienentwicklung und -implementierung einzusetzen. 6 Partnerorganisationen wollen ADAPTE nicht für die Entwicklung und / oder Implementierung von Leitlinien einsetzen (Tabelle 4, Abbildung 6)
Tabelle 4: Interest in the ADAPTE process
Item N
Development only 4
Implementation only 2
Development and implementation 2
Exploring for possible use
Missing 6
Development only 6
Implementation only 0
Development and implementation 2
Planning to use
Missing 6
General interest only 2
Personal interest only 2
Research interest only 2
Missing 10
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 22 -
Abbildung 6: Interest of all respondents in ADAPTE
Die folgende Abbildung zeigt das Interesse an ADAPTE von allen Partnerorganisationen. 2 Organisationen haben ausschließlich ein allgemeines Interesse am ADAPTE Prozess (die Farbzuordnung in dieser Abbildung erfolgt in Anlehnung an Abbildung 6).
Abbildung 7: Combination of interest in ADAPTE by partners
Possible use – interest development
Possible use – interest implementation
Planning to use - development
Planning to use implementation
General interest only
Personal interest only
Reseatch interest only
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 23 -
„Guideline development, implementation and / or adaptation experience (Experience of organisation)“
Die Mehrheit (n = 10) der Partnerorganisationen gab Erfahrungen in der Leitlinien-entwicklung, die Hälfte in der Adaptierung von Leitlinien und eine Organisation gab keine Erfahrungen in allen folgenden Gebieten an:
CPG development 10 CPG implementation 8 CPG quality assessment 8 Adapting from existing CPGs 7 CPG monitoring 5 Indicator 4 None of these 1
Die Erfahrungen in den angegebenen Fachgebieten variieren zwischen den Partnern. 3 Organisationen weisen in den gleichen Fachgebieten Erfahrungen auf (Abbildung 8).
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 24 -
Abbildung 8: Combination of experiences in CPG development, implementation and adaptation by partners
„Number of CPGs produced by organisation during the last 5 years”
8 Organisationen gaben an, mehr als 10 Leitlinien innerhalb der letzten 5 Jahre entwickelt zu haben, wobei 4 Organisationen angaben keine Leitlinien in diesem Zeitraum entwickelt zu haben (Tabelle 5, Abbildung 9).
CPG development
Adapting from existing CPGs
CPG quality assessment
CPG monitoring
CPG implementation
Indicator
None of these
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 1.0 09.02.2010
- 25 -
sion 09.02.2010
- 25 -
Tabelle 5: Number of CPGs produced by organisation during the last 5 years Tabelle 5: Number of CPGs produced by organisation during the last 5 years
CPGs produced during last 5 years
Number % Cumulative % Partner Name
0 4 28,6 28,6 AETSA, CSO-MOH, IOVU (and DSSP), IQWiG
1-5 0 0 28,6 -
6-10 2 14,3 42,9 -
>10 8 57,1 100,0 AATRM, Instituto Superiore
Number
Total 14 100,0 ACCC, DLCC, EUMIN, HAS, KCE, NICE, SIGN, InCa (and FNCLCC)
Abbildung 9: Number of CPGs produced by organisation during the last 5 years
AETSA, CSO-MOH, IOVU (and DSSP), AATRM,
Instituto
ACCC, DLCC, EUMIN, HAS, KCE, NICE, SIGN, InCa (and FNCLCC)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 1.0 09.02.2010
- 26 -
sion 09.02.2010
- 26 -
“Number of CPGs adapted by organisation during the last 5 years” “Number of CPGs adapted by organisation during the last 5 years”
Einige der Partnerorganisationen (n = 11) adaptierten weniger als 6 Leitlinien innerhalb der letzten fünf Jahre. Ausschließlich 1 Organisation adaptierte mehr als 10 Leitlinien innerhalb des angegebenen Zeitraums (Tabelle 6).
Einige der Partnerorganisationen (n = 11) adaptierten weniger als 6 Leitlinien innerhalb der letzten fünf Jahre. Ausschließlich 1 Organisation adaptierte mehr als 10 Leitlinien innerhalb des angegebenen Zeitraums (
Tabelle 6: Number of CPGs adapted by organisation during the last 5 years Tabelle 6: Number of CPGs adapted by organisation during the last 5 years
Tabelle 6).
CPGs adapted during last 5 years
Number % Cumulative % Partner Name
Number 0 6 42,9 42,9 AETSA, DLCC, IQWiG, IOVU (and DSPP), NICE, SIGN
1-5 5 35,7 78,6 ACCC, HAS, InCa (and FNCLCC), Instituto Superiore, KCE
6-10 2 14,3 92,9 AATRM, CSO-MOH
> 10 1 7,1 100,0 EUMIN
Total 14 100,0
Abbildung 10: Number of CPG adapted by organisation during the last 5 years
AETSA, DLCC, IQWiG, IOVU (and DSPP),
ACCC, HAS, InCa (and FNCLCC), Institut
AATRM, CSO-MOH EUMIN
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 27 -
„Understand the purpose of the guidelines adaptation described in the manual”
Alle Partnerorganisationen fanden die Beschreibung der Zielstellung der Leitlinien-adaptierung im Manual verständlich.
Kommentare, die zu dieser Frage abgegeben wurden, waren:
aim is to reduce costs of GL development by using existing high quality GL in new context
for a new reader or beginner, it would be interesting to introduce some information on "de novo" elaboration/update/adaptation process
“Agree with the purpose of the guidelines adaptation described in the manual”
Es stimmten alle Organisationen der Beschreibung der Zielstellung der Leitlinienadaptierung im Manual zu.
Ein Kommentar, der zu dieser Frage abgegeben wurde, war:
in some steps the information for developers/adaptors is not enough. it seems as if the current manual was a short version of a complete document.
“Planning to use it”
Die Hälfte der Partnerorganisationen (n = 7) plant, den ADAPTE Prozess zu nutzen. Während einige der Organisationen ADAPTE bereits schon nutzen, sind sich andere noch unschlüssig und geben unterschiedliche Begründungen dafür an:
however we are applying a similar process
in fact, the first step in the CAHTA CPG development process is to select and appraise previous CPG on the topic of interest
piloting with development of obesity guideline
the NICE Board made a corporate decision that we were not going to adapt guidelines from other organizations
we have already adapted guidelines that were developed elsewhere, but not via ADAPTE approach. during CoCanCPG we are certainly interested in learning more about it and start using it
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 28 -
we have already customised the process and used it!
will use ADAPTE CoCanCPG
“If planning to use - when”
6 Partnerorganisationen gaben Zeiträume an (Tabelle 7), in denen sie ADAPTE nutzen wollten. Die übrigen 8 Organisationen machten keine Zeitangaben oder gaben ausschließlich Kommentare zu der Fragestellung an.
Tabelle 7: Time data
Number %
valid within next 3 months 2 14,3
within next 3 to 6 months 3 21,4
after 6 months 1 7,1
have no plans to use it 1 7,1
I do not know 4 21,4
Total 10 71,4
Missing 4 28,6
Total 14 100,0
Folgende Kommentare wurden von den Organisationen abgegeben, die keine klaren zeitlichen Angaben zur Nutzung des ADAPTE Prozesses machten:
already used it but does not know when will use it again!
depending on our annual program, training facilities etc.
depends upon the policy of the ministry of health
probably beginning of 2009
see above (the NICE Board made a corporate decision that we were not going to adapt guidelines from other organizations)
use currently ongoing
we are already using it
will just use it for development of new methodology
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 29 -
“Clarity and feasibility of the ADAPTE manual”
Insgesamt wurde das ADAPTE Manual als “gut” für die vorgegebenen Kriterien bewertet.
Tabelle 8: Clarity and feasibility of the ADAPTE manual
Items Missing N for each score
N very poor
2 3 4 5 excellent
Clarity of the ADAPTE process 0 0 0 2 4 3 5
Clarity of the ADAPTE Manual 0 0 0 3 3 5 3
Usefulness of the Manual 0 0 1 2 3 5 3
Comprehension of the ADPATE process 0 0 0 3 2 8 1
Comprehensiveness of the ADAPTE process 0 0 0 2 3 8 1
Confidence that the ADPATE process is feasible 0 0 0 4 7 2 1
Das Kriterium „Clarity of the ADAPTE process“ wurde als bestes bewertet. Das Kriterium “confidence that the ADAPTE process is feasible” wurde am schlechtesten bewertet.
Tabelle 9: Median for Clarity and feasibility of the ADAPTE manual
Items Minimum Maximum Median
Clarity of adapte-process 3 6 5
Clarity of ADAPTE manual 3 6 5
Usefulness of the manual 2 6 5
Comprehension of the adapte process 3 6 5
Comprehensiveness of the adapte process 3 6 5
Confidence that the adapte process is feasible 3 6 4
Zusätzlich zu den obigen Angaben wurden von 6 Partnerorganisationen folgende Kommentare abgegeben:
[shorted comment] manual read, not used; training of experienced ADAPTE user would be necessary,
clarity should be improved. the current version is useful only for people who already know the CPG development process in deep,
I have trouble with the preparation module. i would not prepare for the ADAPTE process before topic selection and even before defining precise health questions. when reading
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 30 -
the manual, it can be understood as if you defined the need of a CPG according to the possibility of doing ADAPTE,
like many methodologies/processes without having had experience of using it myself it is difficult to see how well the process and methods work and what are the issues
some of these domains still to be assessed properly by SIGN,
too many steps, too many matrices.
“Expectation of effects from using ADAPTE in comparison with current CPG development”
Es wird aus Tabelle 10 ersichtlich, dass die Organisationen keine wesentliche Veränderung in der Qualität der Leitlinien durch die Anwendung von ADAPTE erwarten. Allerdings sehen sie eine Reduktion des Zeitaufwands und des Einsatzes von Ressourcen für die Leitlinienentwicklung mit ADAPTE.
Tabelle 10: Expectation of effects from using ADAPTE in comparison with current CPG development
Items Decreased --
- no change
+ Increased ++
Missing
Quality of guidelines 0 1 8 2 3 0
Timeframe to develop guidelines 0 7 2 3 1 1
Resource to develop guidelines 0 9 1 3 1 0
„Expected barriers in using ADAPTE“
Bei dieser Frage war mehr als 1 Antwort möglich. Somit wurden insgesamt 38 Antworten abgegeben (Tabelle 11).
Die hauptsächlichen Barrieren, die bei der Anwendung von ADAPTE gesehen wurden, waren folgende:
„limited acceptance of ADAPTE process by CPG panel (n=9)”
“difficulties to adapt source CPGs to context of use”
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 31 -
Tabelle 11: Expected barriers in using ADAPTE
Items Number %
Limited acceptance of adapte process by guideline panel 9 64,3
Lack of appropriate source CPGs 7 50,0
Difficulties to select among large number of source CPG 1 7,1
Low quality of available CPGs 6 42,9
Difficulties to adapt source CPGs to context of use 9 64,3
Complexity of ADAPTE process 5 35,7
Other 1 7,1
Für die Antwortoption “other” wurden 3 Antworten abgegeben:
Priority of questions in different settings
No clear methodology to assess the applicability of CPGs for new contexts
The acceptability of the results. Also whether the individuals doing the CPGs adaptation have a thorough understanding of what the cultural differences were. Also in many cases the rationale for the CPGs decisions is not clear
Weitere Kommentare waren:
Amount of appropriate CPGs depends on the chosen topic
Steps 13 and 14 are very important. Even GL with a high score on rigour of development can miss/exclude important original evidence (…) as stated in the manual, these phases are time-consuming. It is therefore unsure if the ADAPTE process will be less time-consuming. Our guess is that it will be less time- and resource-consuming, but we’ll never know for sure
Hard to say since we haven’t used ADAPTE yet. Moreover, for most guidelines, we ousource the literature search and critical appraisal aspects and therefore our third parties should also be questioned
Possible difficulty in merging evidence tables with those from source organisation.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 32 -
“Expectation of added value of ADAPTE to current CPG development”
8 Organisationen sehen einen zusätzlichen Nutzen in der Anwendung des ADAPTE Manuals. 5 Organisationen waren sich dagegen nicht sicher und 1 Organisation gab keine Antwort ab (Tabelle 12).
Tabelle 12: Added value of ADAPTE
Added value of ADAPTE Number %
no 0 0
yes 8 57,1
unsure 5 35,7
Missing 1 7,1
Total 14 100,0
Zusätzlich wurden folgende 4 Kommentare abgegeben:
Ensure a best understanding of the current processes and aware about the great importance of the quality and transparency of the process
Its use will provide systematization to the adaptation process
Not applicable as we are not planning it
Since we never have used it, we do not have any experience and we cannot have a judgement.
“Clarity and feasibility of ADAPTE”
Insgesamt wurde die Klarheit, der Umfang und die Realisierbarkeit des ADAPTE Prozesses von angemessen („fair“) bis ausgezeichnet („excellent“) bewertet. Die Klarheit des ADAPTE Prozesses wurde allgemein besser bewertet als dessen Realisierbarkeit (Tabelle 13, Tabelle 14, Abbildung 11).
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 33 -
Tabelle 13: Clarity and feasibility of ADAPTE
Items Missing N for each score
N very poor
2 3 4 5 excel-lent
Clarity of the ADAPTE process 0 0 0 2 4 3 5
Clarity of the ADAPTE Manual 0 0 0 3 3 5 3
Usefulness of the Manual 0 0 1 2 3 5 3
Comprehension of the ADPATE process 0 0 0 3 2 8 1
Comprehensiveness of the ADAPTE process 0 0 0 2 3 8 1
Confidence that the ADPATE process is feasible 0 0 0 4 7 2 1
Ein Kommentar wurde zu den angegebenen Antwortoptionen abgegeben:
In the assessment module we miss how the quality assessment…should be performed. AGREE doesn’t tell you much about the guideline content… which or how many items should be strongly agree to provide a trustworthy source guideline? How are the rigour scores calculated?… recommendation matrix is no check on quality.
Tabelle 14: Clarity and feasbility of ADAPTE
Items Minimum Maximum Median
Clarity of adapte-process 3 6 5
Clarity of ADAPTE manual 3 6 5
Usefulness of the manual 2 6 5
Comprehension of the adapte process 3 6 5
Comprehensiveness of the adapte process 3 6 5
Confidence that the adapte process is feasible 3 6 4
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 34 -
Abbildung 11: Medians of Clarity and feasibility of ADAPTE
“Construction of ADAPTE (Number of modules/steps)”
Tabelle 15: Number of modules
Number % Cum %
[1] too few 1 7,1 7,1
[2] 1 7,1 14,3
[3] right 8 57,1 71,4
[4] 3 21,4 92,9
[5] too many 1 7,1 100,0
Total 14 100,0
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 35 -
Tabelle 16: Number of steps
Number % Cum %
[1] too few 0 0 0
[2] 2 14,3 14,3
[3] right 6 42,9 57,1
[4] 5 35,7 92,9
[5] too many 1 7,1 100,0
Total 14 100,0
Die Anzahl der Module wird von den Organisationen als angemessen bezeichnet. Die Anzahl der Arbeitsschritte in den Modulen wird dagegen als zu umfangreich angesehen (Tabelle 15, Tabelle 16).
Zu diesem Abschnitt wurden 8 Kommentare von den Organisationen abgegeben:
manual contains too many modules. each guideline development organisation should use their on guideline manual. ADAPTE should only cover the modules search and screen, assessment and decision and selection
for a manual, the detailed presentation of the process and a clear description of the steps is important. sometimes one would like to find more information in the item description or an answer to the most frequent questions
it may be useful to focus on the specific modules and steps for the ADAPTION only! de novo CPGs also starts with a preparation phase and a definition of the clinical question and it ends with draft CPG and finalisation phase
maybe it should be stated or made clear which modules/steps are specific for guideline adaptation. De novo CPG development also starts with a preparation phase and a definition of the clinical questions (...)
modules that could be combined: 2.3 and 2.4 / 3.2 and 3.3
number of the modules and steps seem right. i still have trouble with the preparation module
step 17 may be considered as the core step of the process but it is not so clear. it is the same for module 2.5
we would need more advice about, how is the best to adapt recommendations to the national environment. Which viewpoints are most important to investigate applicability?
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 36 -
“Construction of ADAPTE (Overlap between modules/steps)”
Die Überschneidungen zwischen den Modulen und Arbeitsschritten wurden als angemessen bezeichnet. Dabei fehlten 2 Antworten bei jeder der Antwortoptionen (Tabelle 17).
Tabelle 17: Overlap between modules/steps
Item Number within each category
1 = very inappropriate
2 3 4 5 6 = very appropriate
Overlap between modules (n=12) 0 0 2 6 4 0
Overlap between steps (n=12) 0 0 2 6 4 0
Zusätzlich wurden noch 3 Kommentare abgegeben:
correct overlap for most parts. as i said, "preparation module" and "scope and purpose module" seem to overlap as i understand what is written,
difficult to evaluate for all 8 modules,
don't know.
“Construction of ADAPTE (Sequence of modules/steps)”
Tabelle 18: Sequence of modules/steps
Number within each category
1 = very inappropriate
2 3 4 5 6 = very appropriate
Sequence of modules 0 0 2 5 6 1
Sequence of steps 0 0 4 4 5 1
Zu diesem Punkt wurden 6 Kommentare angegeben.
[shorted comment] overall sequence seems logical. unclear why looking for possibilities to adapted before key questions. last steps are common in guideline development and therefore should be kept out of ADAPTE,
for example for the "preparation module": the first step would be "topic selection" then check whether the adaption is feasible, third identify skills and ressources. Then establish the organizing committee that should include people from different disciplines dealing with concerned clinical situation,
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 37 -
in general, we agree with the sequence. However, for some of the modules and steps the users will need more details in order to proceed, otherwise they will not be able to do so. the availability of a handbook (i.e. SIGN) may be helpful as well as some recommended reading before starting,
seems clear,
sequence of the modules and steps is well organized but some of them need to be worked out more,
step 12 can be included in step 8 by using the publication date or search data as a selection criteria.
“Appraisal of modules and steps in the ADAPTE manual”
Die Analyse beinhaltet Aspekte zur Relevanz, der Realisierbarkeit und Abgabe von Kommentaren zu den einzelnen Modulen und ihren Arbeitsschritten.
Die Module und ihre Arbeitsschritte in dem ADAPTE Manual wurden allgemein als relevant und realisierbar von der Mehrheit der Organisationen bezeichnet. Die Kommentare der Partnerorganisationen zeigen, dass Probleme primär bei dem ersten und letzten Teil und dem „Assessment Modul“ des ADAPTE Manuals auftreten. Aus diesem Grund wird grunsätzlich diskutiert, ob sich das manual ausschließlich auf adaptierungsspezifische Module und Arbeitsschritte fokussieren soll.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 38 -
Tabelle 19: Appraisal of Preparation Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Establish an organizing meeting
9 3 2 11 1 2 ... the next step is where ADAPTE should start ... only once the questions have been formulated you start looking for evidence all of the steps within the module seem relevant and feasible. since expertise in SIGN is around primary development of guidelines the relevance of each step to our organisation is under test i would change the sequence of some of the following items. i don't think it is relevant at an early stage before selecting the topic for instance in some organizations, it is possible to do this for each CPG separately it is not specific to adaptation the implementation of these steps depend on the policy of the ministry of health
Select a guideline topic 10 2 2 11 1 2 it is not specific to adaptation some organizations have specific procedures for topic selection
Check whether adaptation is feasible
12 1 1 13 0 1 it is not specific to adaptation
Identify necessary resources and skills
10 1 3 11 1 2 it is not specific to adaptation we are uncertain about the content of this step
Complete tasks for the set-up phase
11 1 2 11 1 2 it is not specific to adaptation
Write adaptation plan 12 1 1 12 1 1
m = missing answer
Tabelle 20: Appraisal of Scope and Purpose Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Determine the health questions
12 1 1 12 0 2 before defining the clinical question? it is not specific to adaptation
m = missing answer
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 39 -
Tabelle 21: Appraisal of Search and Screen Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Search for guidelines and other relevant documents
13 0 1 13 0 1
Screen retrieved guidelines 14 0 0 13 0 1
Reduce a large number of retrieved guidelines
13 0 1 13 0 1 explicit prestated criteria are required as to how this is done. should be done on either quality or relevance basis and needs to be done after or in conjunction with the assessment module is not often necessary rarely necessary. language barrier reduces already big amount!
m = missing answer
Tabelle 22: Appraisal of Assessment Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Assess guideline quality 13 0 1 11 2 1 need clear quality criteria
Assess guideline currency 11 2 1 11 2 1 It’s not the currency if the GL that is important - its the currency of the information in it publication or search date should already be included as a selection criterion in the search for source GL very important as publication date is very different than the literature search end date!
(Fortsetzung)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 40 -
Tabelle 22 (Fortsetzung): Appraisal of Assessment Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Assess guideline content 12 0 2 11 2 1 time-consuming! unclear, how this differs from quality and the scope of the GL? information in the manual is unclear
Assess guideline consistency 14 0 0 12 1 1 again this would depend on how you selected the GL at the screening stage. should be done earlier? time-consuming! time-consuming!++++
Assess applicability and applicability of the recommendations
13 0 1 12 0 1 how should it be done ideally? items for applicability are not explicit this step seems difficult to us, training needed very difficult to do. No standard is available!
m = missing answer
Tabelle 23: Appraisal of Decision and Selection Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Review assessments 13 0 1 12 0 2 could be integrated in assessment module
no experience of the tools - so cannot comment
Select between guidelines and recommendations to create an adapted guideline
14 0 0 13 0 1 could be integrated in module 1 or 2 (it should be known at an early stage of recommendation or GL
yes - need to explicitly state rational
m = missing answer
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 41 -
Tabelle 24: Appraisal of Customisation Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Prepare draft adapted guideline
12 1 1 12 0 2 for this step, all guideline organisations follow their own procedures. ADAPTE ... should only cover search and screen, assessment and decision and selection it is not specific to adaptation
m = missing answer
Tabelle 25: External Review and Acknowledgement Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
External review – target audience of the guideline
13 1 0 13 0 1 could be used as an optional module it is not specific to adaptation is not specific to adaptation
Consult with endorsement bodies
10 2 2 10 1 3 it is not specific to adaptation is not specific to adaptation unclear who this might be!
Consult with source guideline developers
12 1 1 12 1 1 is it necessary in every case? surely should just be on any changes to the guidelines or queries. could get very complex
Acknowledge source documents
10 1 3 10 0 4 it is not specific to adaptation
m = missing answer
Tabelle 26: Aftercare Planning Module
Steps relevant (n) feasible/ could be planned for use (n)
comments
yes no m yes no m
Plan for aftercare of the adapted guideline
13 1 0 12 1 1 it is not specific to adaptation
m = missing answer
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 42 -
“Further revision of ADAPTE needed (for its use in own context)”
Die Hälfte der Partnerorganisationen sieht eine Notwendigkeit darin, das ADAPTE Manual zu überarbeiten, um es an die jeweiligen organisatorischen Bedingungen der Partnerorganisationen anzupassen.
Tabelle 27: Further revision of ADAPTE
Number %
no 3 21,4
yes 7 50,0
Missing 4 28,6
Total 14 100,0
Zu den in Tabelle 27 aufgelisteten Antworten wurden zusätzlich 6 Kommentare von den Partnerorganisationen abgegeben:
according to the organisation existing rules either in scientific or administrative issues,
I could not answer without skill in the process,
just to clarify the first phase,
NICE is not planning to use ADAPTE,
see previous,
SIGN need to be look at which parts of the ADAPTE methodology are most useful in the context of our primary activities and are piloting this at present,
training courses, for instance. overall CoCanCPG partners know the ADAPTE process, problems arise when trying to implement it in a real situation.
“Further revision of ADAPTE needed (for its use in CoCanCPG community)”
Ein Drittel der Befragten sieht eine Notwendigkeit in der Überarbeitung des ADAPTE Prozesses, um diesen Prozess innerhalb der Kollaboration des CoCanCPG Projektes anwendbar zu machen. Ausschließlich 3 der 14 Befragten waren diesbezüglich unsicher.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 43 -
Tabelle 28: Revision for CoCanCPG
Revision in CoCanCPG
Number %
no 7 50,0
yes 4 28,6
Missing 3 21,4
Total 14 100,0
Zusätzlich wurden noch 2 Kommentare abgegeben:
according to the organisation existing rules either in scientific or administrative issues,
as it stands i think the process is good for CoCan to use, but some clarification in the manual may be helpful.
“Further revision of ADAPTE needed (for its use in own context and CoCanCPG community)”
Ein Drittel der 14 Befragten sieht eine Notwendigkeit in der Überarbeitung des ADAPTE Prozesses, um diesen Prozess innerhalb der Kollaboration des CoCanCPG Projektes und seines jeweiligen organisatorischen Kontextes anwendbar zu machen.
Tabelle 29: Revision in own context and CoCanCPG community
Revision in own Context and CoCanCPG
Number %
no 5 35,7
yes 4 28,6
Missing 5 35,7
Total 14 100,0
Folgender Kommentar wurde dazu abgegeben:
not sure,
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 44 -
6.1.3 Bivariate Analyse
„Amount of produced and adapted CPGs”
Es besteht kein Zusammenhang zwischen der Anzahl der entwickelten und die der adaptierten Leitlinien. Leitlinienentwickler müssen nicht unbedingt auch Leitlinien adaptieren.
Tabelle 30: Produced and adapted guidelines
CPGs produced during last 5 years * CPGs adapted during last 5 years
CPGs adapted during last 5 years
0 1-5 6-10 > 10 Total
CPGs produced during last 0 3 0 1 0 4
5 years 6-10 0 1 1 0 2
> 10 3 4 0 1 8
Total 6 5 2 1 14
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 45 -
„Interest in ADAPTE and expected effects of ADAPTE“
Nachfolgend werden relevante Wechselbeziehungen dargestellt (statistische Tests können bei dieser Auswertung aufgrund der geringen Zahl [n = 14] der antwortenden Organisationen nicht angewendet werden):
Wenn ein Interesse an der Nutzung des ADAPTE für die Implementierung von Leitlinien gezeigt wird, dann ist der erwartete Effekt von ADAPTE bzgl. der Qualität der Leitlinien höher als dann, wenn kein Interesse in der Implementierung von Leitlinien gezeigt wird (Tabelle 31).
Tabelle 31: Interest in ADAPTE
expectation: quality of the guidelines
-1 no change 1 2 Gesamt
possible use - interest: 0 1 7 1 1 10
implementation 1 0 1 1 2 4
Gesamt 1 8 2 3 14
Wenn die Planung der Nutzung sich auf die Implementierung von ADAPTE bezieht, dann ist der erwartete Effekt von ADAPTE eine höhere Qualität, als in einer Situation, in der dieses Interesse an der Planung für eine Implementierung nicht bestünde (Tabelle 32).
Tabelle 32: Interest in ADAPTE and expected effect of ADAPTE
expectation: quality of the guidelines
-1 no change 1 2 Gesamt
possible use - interest: 0 1 7 1 1 10
implementation 1 0 1 1 2 4
Gesamt 1 8 2 3 14
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 46 -
„Interrelations between items for clarity and feasibility of the ADAPTE process“
Zwischen den folgenden 4 Punkten bestehen mittelstarke bis starke Korrelationen. Der Punkt „Confidence that the ADAPTE process is feasible“ korreliert weniger mit den anderen 3 Punkten (Tabelle 33).
Tabelle 33: Correlations between the items
Clarity of the ADAPTE process overall
Clarity of the modules
Comprehensiveness of the ADAPTE process
Confidence that the ADAPTE process is feasible
1,000 ,863** ,848** ,561* Clarity of the ADAPTE process overall ,000 ,000 ,037
,863** 1,000 ,775** ,507 Clarity of the modules
,000 ,001 ,064
,848** ,775** 1,000 ,602* Comprehensiveness of the ADAPTE process ,000 ,001 ,023
,561* ,507 ,602* 1,000 Confidence that the ADAPTE process is feasible
,037 ,064 ,023
Persons r, p; 2-sided test
„Experience with guideline development/implementation/adaptation and expectation of ADAPTE effects“
Die folgenden Relationen bestehen unabhängig von der Randomisierung (statistische Tests können bei dieser Auswertung aufgrund der geringen Zahl [n = 14] der antwortenden Organisationen nicht angewendet werden) (Tabelle 34 bis Tabelle 40):
Tendenziell sind die Partnerorganisationen, die Erfahrungen in der Leitlienentwicklung, -implementierung und -adaptierung haben, skeptischer gegenüber der Möglichkeit durch die Anwendung von ADAPTE die Nutzung von Ressourcen und die Leitlinienqualität zu verbessern.
Besonders Partnerorganisationen, die Erfahrungen in der Leitlinienentwickung und Indikatoren haben, sind skeptischer als die übrigen Organisationen.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 47 -
Tabelle 34: Development
CPG development * expectation: timeframe to develop guidelines
expectation: timeframe to develop guidelines
-1 no change 1 2 Missing Sum
CPG development 0 1 0 2 1 0 4
1 6 2 1 0 1 10
Sum 7 2 3 1 1 14
Tabelle 35: Development
CPG development * expectation: resource use to develop guidelines
expectation: resource use to develop guidelines
-1 no change 1 2 Sum
CPG development 0 1 0 2 1 4
1 8 1 1 0 10
Sum 9 1 3 1 14
Tabelle 36: Quality Assessment
CPG quality assessment * expectation: resource use to develop guidelines
expectation: resource use to develop guidelines
-1 no change 1 2 Sum
CPG quality assessment 0 3 1 1 1 6
1 6 0 2 0 8
Sum 9 1 3 1 14
Tabelle 37: Monitoring
CPG monitoring * expectation: timeframe to develop guidelines
expectation: timeframe to develop guidelines
-1 no change 1 2 9 Sum
CPG monitoring 0 3 1 3 1 1 9
1 4 1 0 0 0 5
Sum 7 2 3 1 1 14
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 48 -
Tabelle 38: Monitoring
CPG monitoring * expectation: resource use to develop guidelines
expectation: resource use to develop guidelines
-1 no change 1 2 Sum
CPG monitoring 0 4 1 3 1 9
1 5 0 0 0 5
Sum 9 1 3 1 14
Tabelle 39: Indicators
Indicator * expectation: quality of the guidelines
expectation: quality of the guidelines
-1 no change 1 2 Sum
Indicator 0 1 4 2 3 10
1 0 4 0 0 4
Sum 1 8 2 3 14
Tabelle 40: Indicators
Indicator * expectation: timeframe to develop guidelines
expectation: timeframe to develop guidelines
-1 no change 1 2 9 Sum
Indicator 0 4 1 3 1 1 10
1 3 1 0 0 0 4
Sum 7 2 3 1 1 14
Tabelle 41: Indicators
Indicator * expectation: resource use to develop guidelines
expectation: resource use to develop guidelines
-1 no change 1 2 Sum
Indicator 0 5 1 3 1 10
1 4 0 0 0 4
Sum 9 1 3 1 14
Projektbericht CoCanCPG
Version 1.0 09.02.2010
6.2 Analyse der Befragung zur formalen Gestaltung der ersten Version des CoCanADAPTE Manuals
Diese Befragung wurde durchgeführt, um Informationen zur formalen Gestaltung und zum Verständnis sowie zur Realisierbarkeit des CoCanADAPTE Manuals in seiner ersten Version (Mai 2009) zu erhalten.
Nachfolgend wird die Positionierung der ersten Befragung innerhalb des Projektes zum CoCanADAPTE Manual dargestellt.
Position of the survey within the future project steps:
1. Survey of the perception of the original ADAPTE-Manual by the partners
2. Development of the 1st draft of the CoCan-ADAPTE-Manual
3. Survey (“Perception Form”) of the recognition of the CoCan-ADAPTE-Manual by all partners
4. Pilot testing of the CoCan-ADAPTE-Manual by interested partners
5. Development of the 2nd draft of the CoCan-ADAPTE-Manual
6.2.1 Deskriptive Analyse
Von den insgesamt 16 Partnerorganisationen (aktuelle Anzahl zu diesem Zeitpunkt) wurden 15 Antworten erwartet und 10 tatsächliche Antworten (2 Partner gaben ihre Antwort im Team ab) erhalten.
„Clarity and Comprehension of the CoCanADAPTE-Manual“
“For each item, please provide a score on the 6-point scale 1 indicating the worst score (very poor) and 6 indicating the best score (excellent).”
Tabelle 42: Clarity and Comprehension of the CoCanADAPTE-Manual
Item Missing N for each score
N Very poor
2 3 4 5 Excellent
Clarity for the background chapter 0 0 1 2 0 3 4
Clarity of the CoCanADAPTE Manual chapter
0 0 1 0 1 4 4
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 49 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 42 (Fortsetzung): Clarity and Comprehension of the CoCanADAPTE-Manual
Item Missing N for each score
N Very poor
2 3 4 5 Excellent
Clarity of the CoCanADAPTE process chapter
0 1 1 1 2 2 3
Comprehension of the CoCanADAPTE Manual
0 1 1 1 2 4 1
Tabelle 43 fasst die Bewertungsskale der Tabelle 42 in 2 Bereichen zusammen (Zone A, Zone B). Der erste Bereich umfasst die Antworten bei den Punkten 1 bis 3. Der zweite Bereich umfasst die Antworten bei den Punkten 4 bis 6. Dabei gilt: 1 = „very poor“ und 6 = „excellent“.
Tabelle 43: Rating scale for each item
Item Zone A: answers at score 1, 2 and 3
Zone B: answers at score 4, 5 and 6
Clarity of the background chapter 3 7
Clarity of the CoCanADAPTE manual chapter
1 9
Clarity of the CoCanADAPTE process chapter
3 7
Comprehension of the CoCanADAPTE manual
3 7
Tabelle 44: Median
Item Minimum Maximum Median
Clarity for the background chapter 2 6 5
Clarity of the CoCanADAPTE Manual chapter 2 6 5
Clarity of the CoCanADAPTE process chapter 1 6 4
Comprehension of the CoCanADAPTE Manual
1 6 4
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 50 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Zusätzlich wurden folgende 6 Kommentare abgegeben:
Comment 1:
Paragraph 1.1 can be deleted
process chapter contains too many text fields
3.2.1 can be structured in a table like in questionnaire 1. Shortening the manual by using bullets
checklists and a more comprehensible structure
English language needs to be improved
Comment 2:
suggest introduction chapter with background, justification, objectives and methods
to avoid redundant information
links to describe additional information: CoCanCPG, ADAPTE, previous survey etc.
Comment 3:
the explanation in P7 Paragraph 1.
is not clear are we saying that there was negative feedback on the last part of the manual (which step? and on the Assessment module. Do we need 3.2.1. as it is repeated again in the table and in detail in 3.2.1.1 - can we not just make this "chapter 4" and start numbering as the numbers are confusing?
Comment 4:
while I appreciate that there is sufficient detail for steps 1-5, there appears to be over-repetition or each section doesn´t flow.
an overview of the steps is first indicated on pages 11-12.
a summary is provided on page 13, which is then followed by the objectives, method(s)/tool(s), decision and deliverables for each step (pages 14-20). I would suggest re-ordering them, as per steps 6-7: summary table first, followed by the description of the step (which I note are not available for steps 6-7) and then the details (objectives, method[s]/tool[s])
Comment 5:
in the paragraph 2.2 the description of the (..) definition "preliminary phase" and "second part specific adaption parts" does not math with those included in the scheme 1 "the set up phase" and "adaptation phase".
Probably "the scheme 1: summary of the adaptation process" needs to be changed.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 51 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Step 1 A special table will support (...)
It is not mentioned the Tool 3, the same for step 3, 4.1 and 4.2.
Comment 6:
The text should really be corrected by a native English person. There are a lot of incorrect sentences and wrong spelling
the discussion on the first questionnaire should not be included in the Manual, but rather in a background document
“For the different modules of the CoCanADAPTE process listed below; please indicate which steps feel to you understandable / clear and feasible”
Die Mehrheit der Partnerorganisationen bezeichnete das CoCanADAPTE Manual als verständlich und klar beschrieben. Ebenso wurden die einzelnen Module und ihre Arbeitsschritte als durchführbar bewertet.
Insgesamt fehlten bei dieser Fragestellung 17 Antworten bezüglich der Durchführbarkeit der einzelnen Module und Arbeitsschritte („Feasibility of the modules and steps“) (Tabelle 45). Einige Organisationen gaben Gründe dafür an, warum sie keine Antwort bezüglich der Durchführbarkeit einzelner Module und Arbeitsschritte abgaben. Ein wesentlicher Grund dafür war fehlende Erfahrung in der Adaptierung von Leitlinien. Andere Organisationen gaben wiederum keine Begründung für fehlende Antworten an.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 52 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 45: Understandability/clarity and feasibility of the modules and steps
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 1: Assess guideline content
8 2 0 8 1 1 More widely, relating to the order of the steps into the assessment module, I think it could make more sense to develop another methodological algorithm as follows: Assess quality We have no experience with these tasks See our comment in the manual p-11 to add further clarity “... each defined health questions (developed in the preliminary phase)...” “...special table...” - is this a reference to a tool? do not use the term 'source guideline' here. Source guidelines are only those that are ultimately used as a source
Assessment Module
Step 2: Assess guideline quality
9 0 1 8 1 1 Assess currency (to know and to do an update or not of the selected sources guidelines) Step 1 and 2 should be integrated, both makes reference to the same objective. AGREE instrument is valid for assessing both content and quality of the guideline
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 53 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 45 (Fortsetzung): Understandability/clarity and feasibility of the modules and steps
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 3: Assess guideline currency
10 0 0 7 2 1 Assess consistency (between literature data, conclusions and recommendations) p.11is a helpful instrument - is this a reference to a tool, or the step?
Step 4: Assess guideline consistency
7 3 0 6 2 2 Assess content based on an elaboration of a matrix (as proposed in original Adapte) who take approximately the same time than the content table proposed in refined manual Do you mean in this step to check whether the recommendation is well based on the evidence? very difficult to read
Step 4.1: Evaluate search strategy and selection of evidence
7 3 0 6 3 1 It is clear if and how to do an updated search in this step Criteria are not indicated to evaluate search strategies (comprehensiveness for example) Feasibility: organizations not always make available search strategies and inclusion exclusion criteria do we need checklists for any step? I doubt the use of all these tools. This is also partly checked in step 2, so is rather step 2.1?
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 54 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 45 (Fortsetzung): Understandability/clarity and feasibility of the modules and steps
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendation
7 3 0 5 3 2 Why using besides the Tool number 7 also using a table and a list of 8 questions in the text? Unclear - may be a language issue - please check the changes as I may have changed the meaning Same remark. This is also a rather subjective step (but necessary to some extent). I would focus the assessment module on the evidence (+interpretation), and not on the recommendations, which are local and not necessarily the same in every guideline. On the other hand, the evidence should be the same.
Step 5: Assess acceptability and applicability of the recommendations
8 2 0 4 4 2 Assess applicability based on the recommendations matrix. Clinicians can easier assess this dimension with this presentations Is it useful to add the recommendation matrix in this step? P 19_ I would use the same definitions of acceptability and acceptability as in the Glossary as it is not clear in this objective I would first decide on which guidelines to select, and afterwards (in a separate step/module) evaluate if the recommendations are applicable, or should be updated/adapted
(Fortseztung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 55 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 45 (Fortsetzung): Understandability/clarity and feasibility of the modules and steps
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 6: Review assessments
8 2 0 6 2 2 Table 5 is unclear. The numbers are not corresponding to the tools. Why not using the sequence of the tools in table 2 for this step? The deliverable could be clearer
Decision and Selection Module
Step 7: Select between guidelines and recommendations to create an adapted guideline
7 3 0 5 3 2 This steps order could facilitate too the step 7 "Select between guidelines and recommendations to create an adapted guideline", because it permits at the end of the process to have all recommendations classified by health clinical questions and in a single table. That is a comment for discussion Instead of adopting and adapting recommendations, we believe it is better to adopt and adapt only the evidence tables and to formulate recommendations ourselves. We think the adapte process should concentrate on step3: accept the evidence summary Objective - 1st paragraph unclear? Where does the customization module fit in? Again confusion with numbering Difficult to read some parts It can be done, but the level of complexity will vary depending on the context to be adapted
Customization Module
Step 8: Prepare draft adapted guideline**
9 0 1 6 1 3 This is not an adaptation specific module. It should be part of the finalization phase Uses in-house I think this is good for Adaptation
** For this step each organization should use its own In-house procedures. *m = number of missing answers
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 56 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“For different tools of the CoCanADAPTE listed below; please indicate which tools fell to you understandable / clear and feasible.”
Die Mehrheit der befragten Partnerorganisationen antwortete, dass die genannten Instrumente im CoCanADAPTE Manual verständlich, klar formuliert und durchführbar sind.
Insgesamt fehlten 11 Antworten bei dem Punkt „Feasibility“ und 2 Antworten bei dem Punkt „understandable / clear“ (Tabelle 46).
Tabelle 46: Understandability / clarity and feasibility of the tools
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Assessment Module
Step 1: Assess guideline content Tool 3
6 4 0 6 2 2 Check in the table: PIPOH questions are written but PICO tool is presented in tool 1 We have no experience with these tasks I don`t understand why the description of population is considered, etc. when this information is already included in the Questionnaire I´m not convinced when the health questions are developed- is it during the preliminary phase or before this? It`s not very clear. The tool needs to indicate the step to which it is associated (this would apply to all tools). Also nowhere does it state if there is a minimum or maximum number of clinical practice guidelines that can be reviewed (or make it clear that this will be as many as are found PICO is mixed with PIPOH Step 1 and 2 should be integrated, both makes reference to the same objective. AGREE instrument is valid for assessing both content and quality of the guideline
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 57 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 46 (Fortsetzung): Understandability / clarity and feasibility of the tools
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 2: Assess guideline quality Tool 4
9 1 0 7 1 2 It is the standard instrument, but I think its uses can be redundant (maybe partially) with tools 6 and 7
Step 3: Assess guideline currency Tool 5
9 1 0 6 3 1 The ideal situation could be the combination with tool 3. The important thing is which Q need an update? As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found) Is it necessary to have a tool for this?
Assessment Module
Step 4.1: Evaluate search strategy and selection of evidence Tool 6
8 2 0 5 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability There are too details. It will be very difficult to complete. Maybe for each CPG is OK, but for each Q not. CPG don`t describe so much details. The high Q CPG neither. As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found). Source? Validated?
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 58 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 46 (Fortsetzung): Understandability / clarity and feasibility of the tools
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendation Tool 7
8 2 0 6 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found). Source? Validated?
Assessment Module
Step 5: Assess acceptability and applicability of the recommendations Tool 8
8 2 0 6 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability Same notes tools 6 & 7 As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewd (or make it clear that this will be as many as are found). Source? Validated?
(Forsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 59 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 46 (Fortsetzung): Understandability / clarity and feasibility of the tools
Module Step Understandable / clear
Feasible Comments
yes no m* yes no m*
Step 6: Review assessments Table 5
8 2 0 5 3 2 It will be difficult to integrate in one table the results of the previous tools. Feels too complex to me; It can be done, but the level of complexity will vary depending on the context to be adapted
Decision and Selection Module
Step 7: Select between guidelines and recommendations to create an adapted guideline Five decision making processes
8 1 1 6 2 2 We think the adapte process should concentrate on step 3: accept the evidence summary. Use a similar structure Sometimes, the users reject one CPG in previous steps Is this a tool?
Customization Module
Step 8: Prepare draft adapted guideline**(no tool available)
8 1 1 6 2 2 This should be part of the finalization phase Under step 8, state again that this is based on in-house procedures. no tool
** For this step each organization should use its own In-house procedures. *m = number of missing answers
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 60 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
6.2.2 Zusammenfassung der Ergebnisse
Insgesamt bezeichneten die Partnerorganisationen die Beschreibung des Inhalts des Manuals als gut. Ein Kommentar wurde hinsichtlich der Verständlichkeit des CoCanADAPTE Manuals, der Anordnung der Arbeitsschritte und der Instrumente abgegeben.
Die Kommentare der Partnerorganisationen sind sehr heterogen und zeigen einen allgemeinen Überarbeitungsbedarf der ersten Version des CoCanADAPTE Manuals. Allgemein wurde von allen Befragten angedeutet, dass der Adaptierungsprozess durchaus durchführbar ist.
Abgesehen von der Heterogenität der Kommentare wird sich die weitere Überarbeitung des CoCanADAPTE Manuals auf folgende Punkte beziehen:
Kürzung des Manuals
Einfügen der „Recommendation Matrix“ als ein wichtiges Instrument für den Adaptierungsprozess
Überprüfung der unterschiedlichen Instrumente und ihrer Darstellung / Beschreibung
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 61 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
6.3 Analyse der Befragung zum Pilot Test der ersten Version des CoCanADAPTE Manuals
Die zweite Befragung zum CoCanADAPTE Manual wurde durchgeführt, um Informationen zur Anwendung der ersten Version (Mai 2009) CoCanADAPTE Manuals zu erhalten. Es handelt sich hierbei um eine Pilot Testung. Die Partnerorganisationen INCa, ISS, KCE und SIGN erklärten sich bereit die Pilot Testung mit bestimmten Leitlinien durchzuführen. Dabei wählten sie unterschiedliche Vorgehensweisen. Das INCa und das SIGN lieferten Ergebnisse von aktuell laufenden Projekten. Das ISS lieferte retrospektive und KCE prospektive Daten.
Nachfolgend wird die Positionierung der Pilot Testung zum CoCanADAPTE Manual dargestellt.
Position of the survey within the future project steps:
1. Survey of the perception of the original ADAPTE manual by the partners
2. Development of the 1st draft of the CoCanADAPTE manual
3. Survey (“Perception Form”) of the recognition of the CoCanADAPTE manual by all partners
4. Pilot testing of the CoCanADAPTE manual by INCa, ISS, KCE, SIGN
5. Development of the final draft of the CoCanADAPTE manual
6.3.1 Deskriptive Analyse
“Time planning and use of the manual”
Die folgende Tabelle zeigt die von den 4 Organisationen angegeben Zeiträume für die Pilot Testung:
Organisation Process start on
INCa January 2009
ISS February 2008
KCE No date / month / year (prospective)
SIGN September 2009
Die Tabelle 47 zeigt die Dauer der „Preliminary Phase“, der „Specific Adaptation Parts“, die „Finalization Phase“ und die Dauer des gesamten Adaptierungsprozesses. ISS hat keine
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 62 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
detaillierte zeitlichen Angaben für die „Finalization Phase“ im Rahmen der Pilot Testung angegeben. Der Grund dafür ist, das die Partnerorganisation noch aktuell die „Finalization Phase“ austestet und damit noch keine weiteren Daten zur Verfügung stehen. Auch die Organisationen SIGN und INCa gaben keine genauen Zeitangaben zu den „Specific Adaptation Parts“, der „Finalisation Phase“ und dem gesamten Adaptierungsprozess an, da sich die Projekte noch in Arbeit befinden und keine weiteren Daten zur Verfügung gestellt werden konnten.
Tabelle 47: Time planning and use of manual
Organisation Preliminary Phase*
Adaptation phase*
Final phase* Whole adaptation process*
INCa 0 month 0 month 0 month 0 month
ISS 1 month 14 month 0 month 0 month
KCE 1 month 7 month 1 month 9 month
SIGN 3 month 0 month 0 month 0 month
* in months
„Do you plan to follow the proposed CoCanADAPTE manual?“
Tabelle 48: Plan to follow the CoCanADAPTE manual
Organisation Plan to follow the proposed manual (if No )
skip specific steps or modules
To use another approach
INCa Yes
ISS Yes
KCE No Yes Yes
SIGN No* Yes Yes
*SIGN inserts a comment at that point: “Probably not in its entirety. Main problem is lack of suitable guidelines”; and “Will use or adapt specific modules and tools”.
“What are the topics and questions of the planned guideline?”
Tabelle 49: Topics of the planned guideline
Organisation Topic Questions
INCa Prostate cancer
ISS Women’s health- pregnancy
Antenatal care in healthy women
KCE - -
SIGN Breast cancer Combination therapy, timing and duration of bisphosponates, endocrine therapy, anti-tumour antibiotics.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 63 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“Who participate in the guideline adaptation panel?”
Tabelle 50 gibt die Expertengruppen an, die in der Leitlinienentwicklungsgruppe für die Adaptierung von Leitlinien einbezogen werden. SIGN hat als einzige Organisation keine spezifischen Expertengruppen benannt, sondern ausschließlich folgenden Kommentar abgegeben:
“Not currently formulated, but all SIGN groups are multidisciplinary”
Für die Antwortoption “other” hat das ISS eine weitere Personengruppe („midwifes“) angegeben, die bei der Adaptierung ihrer Leitlinien in der Aufstellung der Leitliniengruppe berücksichtigt wurde. Alle 4 Organisationen gaben an, dass sie die Angabe von Interessenkonflikten von den Personengruppen, die am Adaptierungsprozess beteiligt werden, verlangen (nicht in der Tabelle berücksichtigt).
Tabelle 50: Expert groups in the guideline adaptation panel
Expert groups INCa ISS KCE SIGN
Medical specialists X X X
General practitioner X
Epidemiologists/Public Health Physicians
X X
Pharmacists
Nurses
Professionals allied to medicine
Methodologists X X X
Health services research expert
Non medical staff X
Patient representatives X
Lay representatives from the general public
X
Other* X
*specification midwifes
“Who are the target users”
Tabelle 51 beinhaltet unterschiedliche Anwenderzielgruppen der adaptierten Leitlinien, die von den 4 Partnerorganisationen angekreuzt werden konnten. Als weitere
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 64 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Anwenderzielgruppen nennt das KCE „all professionals involved in the care for the population addressed“.
Tabelle 51: Target users
Expert groups INCa ISS KCE SIGN
Medical specialists X X
General practitioner
Epidemiologists/Public Health Physicians
X X
Pharmacists
Nurses
Professionals allied to medicine
Methodologists X X X
Health services research expert
Non medical staff
Patient representatives
Lay representatives from the general public
Other* X X
*specification Medical staff and a documentalist
Information specialists/documentaries
„What is the context of guideline adaptation?“
Tabelle 52: Context of guideline adaptation
Organisation Answer
INCa Adaptation as an alternative to de novo guideline development
ISS Adaptation as an alternative to de novo guideline development
KCE Adaptation + update of source guidelines; de novo if for a question no source guideline is available
SIGN Adaptation as alternative or supplement to full guideline review/update
“Are guideline implementation plans included in the adaptation?”
Alle vier Organisationen beantworten diese Frage mit nein. Das SIGN gibt zusätzlich an, dass die Implementierung von Leitlinien als ein separater Prozess in seinen Methoden gekennzeichnet ist.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 65 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
„Overall assessment of the CoCanADAPTE process, technical guide and tools“
Die allgemeine Bewertung des CoCanADAPTE Prozesses, des Handbuchs und der Instrumente erfolgte anhand der in der Befragung vorgegebenen Bewertungsskala. Dabei bedeutet der Wert 1 “worst score“ und der Wert 6 “best score“ (Tabelle 53).
Tabelle 53: Overall assessment
Item Missing N for each score
N Worst score
2 3 4 5 Best score
Overall satisfaction with the CoCanADAPTE manual 1 0 0 1 1 1 0
Clarity of the CoCanADAPTE process 1 0 0 0 1 2 0
Clarity of the manual in general 1 0 0 1 1 1 0
Clarity of the tools 1 0 0 0 1 2 0
Feasibility of the manual 1 0 0 1 2 0 0
Feasibility of the tools 1 0 0 1 1 1 0
Confidence in the quality of the adapted guideline 1 0 0 0 1 2 0
Confidence that the CoCanADAPTE process saves time compared with de novo guideline development
1 1 0 0 2 0 0
Confidence that the CoCanADAPTE process saves resources compared with de novo guideline development
1 1 0 0 2 0 0
Tabelle 54 fasst die Bewertungsskala aus Tabelle 53 in 2 Bereiche zusammen („Zone A, Zone B“). Der erste Bereich besteht aus den Bewertungspunkten 1 bis 3 und der zweite Bereich aus den Punkten 4 bis 6.
Tabelle 54: Rating scale for each item
Item Zone A: answers at score 1, 2 and 3
Zone B: answers at score 4, 5 and 6
Overall satisfaction with the CoCanADAPTE manual 1 2
Clarity of the CoCanADAPTE process 0 3
Clarity of the manual in general 1 2
Clarity of the tools 0 3
Feasibility of the manual 1 2
Feasibility of the tools 1 2
Confidence in the quality of the adapted guideline 1 2
Confidence that the CoCanADAPTE process saves time compared with de novo guideline development
1 2
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 66 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 55: Median of overall assessment
Item Minimum Maximum Median
Overall satisfaction with the CoCanADAPTE manual 3 5 4
Clarity of the CoCanADAPTE process 3 5 5
Clarity of the manual in general 3 5 4
Clarity of the tools 3 5 5
Feasibility of the manual 3 4 4
Feasibility of the tools 3 5 4
Confidence in the quality of the adapted guideline 3 5 5
Confidence that the CoCanADAPTE process saves time compared with de novo guideline development
1 4 4
Confidence that the CoCanADAPTE process saves resources compared with de novo guideline development
1 4 4
Aus den Tabellen 52 und 53 wird ersichtlich, dass die Antwortoptionen „Confidence that the CoCanADAPTE process saves time compared with de novo guideline development“ und „Confidence that the CoCanADAPTE process saves resources compared with de noco guideline development“ jeweils am schlechtesten mit nur 1 Bewertungspunkt bewertet wurden.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 67 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
„In your opinion, does the CoCanADAPTE manual require further revision?“
Tabelle 56: Requirement of further revision of the manual
Respondent Yes No Comments
INCa - - -
ISS X Scheme 1 need to be amended since there is no correspondence between phases in the text and in the scheme. For example: preliminary phase (in the text) is named set up phase in the scheme, step 3 and 4 of the preliminary phase (define health questions, search and screen guidelines) are included in the adaptation phase. This could be little confusing. Maybe a flow chart could be included separately. Furthermore, since I consider that the scheme could be very useful in order to orient manual users in the ADAPTE process at least at the beginning, I think that the part related to the adaptation phase could expanded, including the scheme of the Specific Adaptation Part that is one of the most complicated phase. The preliminary phase could be divided in modules in order to maintain homogeneity in the organisation of the phases. The steps 6 and 7 (Review assessment and select between guideline ...) are included in the Decision and Selection Module. Then, why are these steps numbered as 6 and 7? It is confusing because they seem to be included in the assessment module. The step 5: assess acceptability and applicability of the recommendations I think is one of the most crucial and difficult part of the adaptation process. I think that should be separated from the assessment module, and included in a separated module. In fact it is a process really different from the assessment of internal validity of the source guideline.
KCE X Leave room for the possibility that update of source guidelines is very often necessary.
SIGN X Manual is wordy, reflecting a somewhat academic approach. Think about end-users – put tools up front preceded by simple algorithm (diagram of process). Those requiring lengthy explanation or interested in justifications/reasons can look up that information (ideally in an electronic document by clicking in an information icon to get a pop-up box). Manual requires some editing for grammar and idiomatic expression
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 68 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“In your opinion, do the CoCanADAPTE tools require further revision?”
Tabelle 57: Requirement of further revision of the tools
Respondent Missing N
Yes No Comments
INCa X
ISS X
KCE X The evaluation sheets are to extensive
SIGN X Not much, as the tools are very useful. Tool 3: probably want to map key questions rather than “actual content”. PIPOH doesn’t make sense appearing below numbered list of key questions (how would one fill this out?). Tool 5- search dates may need to be mapped against key questions so that you can see update required more easily. Tool 6-snowball methods probably not needed as criterion; “local experts/societies were asked for recommendations” is not usually considered a means of searching for evidence if I understand this criterion correctly. “Bias in selection of articles” (tool 6) is particularly good.
“In your opinion which effect (benefits, limitations) did you encounter when developing a guideline using the CoCanADAPTE process?”
Tabelle 58: Rating scale for effects
Item Missing N for each score
N Decreased (--)
- No change
+ Increased (++)
Quality of developed guideline 3 0 0 0 1 0
Timeframe to develop guideline 2 0 2 0 0 0
Resource use to develop guideline 2 0 2 0 0 0
Tabelle 59: Summary of the ratings
Item Zone A: answers at score -- / -
Zone B: answers at score + / ++
Quality of developed guideline 0 1
Timeframe to develop guideline 2 0
Resource use to develop guideline 2 0
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 69 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“In your opinion, what were the barriers encountered using the CoCanADAPTE process?”
Tabelle 60: Barriers by using the CoCanADAPTE process
Barriers INCa ISS KCE SIGN
Limited acceptance of CoCanADAPTE process by guideline panel
X X
Lack of appropriate guidelines available for selected topic
X X
Difficulties to select among a large number of guideline available
X
Low quality of available guidelines
X X
Difficulties to adapt source guidelines to context of use
Complexity of the CoCanADAPTE process
X X
Other
Tabelle 60 zeigt die möglichen Probleme, die bei einer Nutzung des CoCanADAPTE Manuals auftreten können. Zusätzlich haben KCE und SIGN Kommentare zur Begründung, warum Barrieren bei einer Nutzung des CoCanADAPTE Manuals auftreten können, abgegeben.
Tabelle 61: Comments on barriers
Respondent Comments
KCE In some cases, adaptation is impossible, and de novo development is necessary. In that case, time is lost. Of course, you cannot know this beforehand…
SIGN Most identified guidelines fell at early hurdles and were clearly not worth full appraisal
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 70 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“Do you think that using the CoCanADAPTE process improved or provided added value to your de novo guideline development process?”
Tabelle 62: Added value of CoCanADAPTE
Respondent Answer
INCa -
ISS Yes
KCE No
SIGN The eight tools are very useful and it is helpful to have them all together in a single document when evaluating the source guideline. Most guidelines identified were not recent enough, clearly not evidence-based, or clearly did not provide enough detail in methods and/or description o supporting evidence to make full appraisal
“For the three modules of the CoCanADAPTE process listed below, please indicate what steps were followed. Please provide comments for steps not fully completed or skipped and provide comments on why, and what was done instead.”
Tabelle 63: Following the steps
Module Step Answer Comments
Yes Yes, but not completely
No m
Step 1: Assess guideline content
3 1 In our experience found more useful/wise to assess first the quality of the guidelines retrieved than the guideline content and currency. In this way we were able to make a first selection of the best available evidence and we did not waste our time in the screening of the health questions low quality guideline. Sometimes, it is useful to have an idea about existing guidelines covering questions other than addressed in the guideline. This can lead to new questions. In progress
Step 2: Assess guideline quality
4
Step 3:Assess guideline currency
4 If a guideline is out-of-date, we don’t do a guideline quality appraisal. So, this step comes first.
Assessment Module
Step 4:Assess guideline consistency
1 2 This is part of step 2 Is a step separate from 4.1 and 4.2 (not clear)?
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 71 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 63 (Fortsetzung): Following the steps
Module Step Answer Comments
Yes Yes, but not completely
No m
Step 4.1: Evaluate search strategy and selection of evidence
3 This was a difficult step, because search strategies were not published in the NICE website. Anyway we send via email a request to NICE specific office and the information specialist kindly send us the appropriate file. It tooks long also evaluate the NICE strategies. This is combined with an assessment of the evidence coming from the update
Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendations
1 2 This is done taking all available evidence into account. Effort required was out of proportion to benefit given conclusions from other steps.
Step 5:Assess acceptability and applicability of the recommendations
1 2 Acceptability limited-would likely want to examine evidence base first hand
Step 6: Review assessments
2 1 The update step should be placed here after Beyond scope of pilot
Decision and Selection Module
Step 7: Select between guidelines and recommendations to create an adapted guideline
2 1 Beyond scope of pilot
Customization Module
Step 8: Prepare draft adapted guideline
2 1 Step still in progress
“How many source guidelines were retrieved?”
“How many source guidelines were assessed (assessment module)?”
“How many source guidelines were actually used to formulate the adapted guideline?”
Die Ergebnisse zu den oben aufgeführten 3 Fragestellungen werden in der nachfolgenden (Tabelle 64) zusammen dargestellt.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 72 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 64: Retrieved, assessed, used guidelines
Respondent CPG retrieved (N) CPG assessed (N) CPG used (N)
INCa 9 7 -
ISS 3 1 1
KCE - - -
SIGN 8 1 1
„Did you update the literature review of the source guideline(s)?”
Tabelle 65: Update of the literature
Respondent Yes No Comments
INCa X A literature monitoring process is ongoing.
ISS X
KCE X
SIGN X Pilot only, would update literature review if doing full process
“Did you require contextualising the source recommendations to your own local setting?”
Tabelle 66: Contextualising of the source recommendations
Respondent Missing N
Yes No Comments
INCa X
ISS X
KCE X
SIGN X Guideline from same country of origin
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 73 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
“General comments on the experience using the CoCanADAPTE process”
Das SIGN war die einzige Organisation, die diesbezüglich einen Kommentar abgegeben hat (Tabelle 67).
Tabelle 67: General comments
Respondent Comments
INCa -
ISS -
KCE -
SIGN Please see accompanying email. It was surprising that, upon scrutiny, the source guideline (although high quality) did not offer significant information in our key questions of interest and did not provide sufficient information to support decision making, crucially in details of the evidence base supporting the recommendations. Although the topics were the same, it was also surprising how little overlap there was in the two sets of key questions (source guideline and SIGN). Many tools are very useful and I stress again that it is helpful to have them in one document. An algorithm describing the sequence of their use and decision-making tree would be more useful than a lengthy verbal description. A initial "screening" step might be considered in which basic criteria of quality are used to screen out guidelines identified in the search that clearly will fail at later stages & to allow documentation of these decisions.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 74 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
6.3.2 Zusammenfassung der Ergebnisse
Diese Befragung wurde durchgeführt, um Informationen zur Anwendbarkeit des CoCanADAPTE Manuals (Version 1.0 Mai 2009) zu erhalten. Die Befragung wurde in Form einer Pilot Testung durchgeführt. 4 Organisationen (INCa, ISS, KCE, SIGN) erklärten sich dazu bereit, an dieser Pilot Testung teilzunehmen.
Die Testung erfolgte nach unterschiedlichen organisatorischen Gegebenheiten und auf unterschiedlicher Datenlage:
Das INCa und das SIGN testeten das Manual auf Basis aktuell laufender Projekte und gaben daher spezifisch Daten über die „Preliminary Phase“ des CoCanADAPTE Manuals.
Das ISS testete auf retrospektiver Basis und lieferte primär Daten zur „Preliminary Phase“, „Specific Adaptation Parts“. Da die Projektarbeit ausschließlich in diesen Phasen in 2008 abgeschlossen wurden, konnte ISS noch keine Daten liefern zur „Finalization Phase“ die aktuell noch in Bearbeitung ist.
Das KCE testete das Manual auf prospektiver Basis und lieferte daher für alle 3 Teile des Manuals Daten.
Das KCE und das SIGN erklärten bestimmte Module und / oder Arbeitsschritte aus dem CoCanADAPTE Manual entweder komplett zu übernehmen oder zu adaptieren.
Hinsichtlich der Beteiligung von spezifischen Personengruppen an der Entwicklung einer adaptierten Leitlinie nannten alle vier Organisationen „Medical Specialists“ als eine wesentliche zu beteiligende Gruppe. Die übrigen angekreuzten Personengruppen variierten zwischen den 4 Partnerorganisationen.
Das INCa und das ISS sehen den Kontext der Leitlinienadaptierung als eine Alternative zur Entwicklung von de novo Leitlinien. Das KCE und das SIGN sehen die Adaptierung eher in einem anderen Kontext, der nicht näher benannt wurde.
Die allgemeine Bewertung des CoCanADAPTE Manuals fiel positiv aus. Die meisten Bewertungen befinden sich auf der Punkteskala zwischen 3 und 6 (Tabelle 54). Die beiden Antwortoptionen „Confidence that the CoCanADAPTE process saves time compared with de novo guideline development“ und „Confidence that the CoCanADAPTE process saves resources compared with de novo guideline developement“ wurden am schlechtesten bewertet (1 = very poor).
Alle 4 Partnerorganisationen sahen einen Bedarf darin die erste Version des CoCanADAPTE Manuals weiter zu verbessern, gaben aber sehr heterogene Kommentare und Begründungen dazu ab. Des Weiteren machen die Angaben zum Nutzen und den Problemen bei der Anwendung von CoCanADAPTE deutlich, dass die meisten Probleme im zeitlichen Aufwand
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 75 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
und dem Aufwand an Resourcen gesehen werden. Detaillierte Barrieren, die von 3 der 4 Organisationen gesehen werden sind:
“Lack of appropriate guidelines available for selected topic“
“Low quality of available guidelines”
“Complexity of the CoCanADAPTE process”
Das ISS war die einzige Organisation, die einen Zugewinn in der Anwendung des CoCanADAPTE Manuals sieht.
Zusätzlich gaben ISS und das SIGN an, dass mangelhafte Quellleitlinien, die zur Adaptierung herangezogen wurden, ein wesentliche Barriere für den Adaptierungsprozess darstellen.
Abschließend ist es demnach notwendig weitere Bewertungen zur Anwendung des Manuals durchzuführen, um weitere Aussagen über die Realisierbarkeit und die Verständlichkeit des Manuals zu erhalten.
Allgemein kann aber geschlossen werden, dass einige der Module, Arbeitsschritte und Instrumente des CoCanADAPTE Manuals den organisatorischen und auch methodischen Anforderungen der Partnerorganisationen entsprechen und von diesen übernommen werden.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 76 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
6.4 Die finale Version des CoCanADAPTE Manuals
6.4.1 Ziel des Manuals
Das primäre Ziel des CoCanADAPTE Manuals ist es, Duplikate und die Fragmentierung bei der Entwicklung von Leitlinien zum Themengebiet Krebs zu minimieren bzw. zu vermeiden. Das Manual ist ein praktischer Leitfaden zur Adaptierung von Krebsleitlinien. Der Leitfaden ist daher für Leitlinienentwickler (besonders -adaptierer), Leitliniennutzer und -implementierer, wie z. B. lokale Gesundheitsorganisationen, Leitlinien entwickelnde Organisationen und internationale Organisationen der Gesundheitsversorgung hilfreich. Das Manual ist allerdings kein Leitfaden für die Entwicklung von de novo Leitlinien und beinhaltet keine detaillierten Informationen für die Disseminierung und Implementierung von Leitlinien.
6.4.2 Aufbau und Struktur
Das Manual besteht zum größten Teil aus Modulen und einzelnen Arbeitsschritten sowie speziellen Tools zu den einzelnen Modulen / Arbeitsschritten. Die Module setzen sich aus den genannten Arbeitsschritten zusammen. Im Wesentlichen besteht das Manual aus 3 großen Teilen (Abbildung 12):
1. Der Vorbereitungsphase („Preliminary Phase“)
2. Den adaptierungsspezifischen Teilen („Specific Adaptation Parts“)
3. Der Finalisierungsphase („Finalization Phase“)
Für den ersten und dritten Teil (Vorbereitungs- und Finalisierungsphase) werden kurz die wichtigsten Schritte aufgezählt, da die beiden Teile sich auf die Vorbereitung bzw. auf den Abschluss der adaptierungsspezifischen Teile beziehen.
Der zweite Teil mit den adaptierungsspezifischen Modulen beinhaltet jeweils für jedes Modul eine Darlegung der Ziele und eine detaillierte Beschreibung des Moduls und seiner Arbeitsschritte. Zusätzlich werden auch noch die Tools, die für einige der Arbeitsschritte erforderlich sind, genannt und im Anhang beschrieben. Abschließend werden am Ende jedes Arbeitsschrittes Entscheidungsprozesse zusammenfassend dargestellt.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 77 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Abbildung 12: Darstellung der groben Struktur des CoCanADAPTE Manuals
Der Adaptierungsprozess ist sehr umfangreich und komplex. Zusätzlich haben die Partnerorganisationen des CoCanCPG-Projektes ein unterschiedliches Verständnis von der Adaptierung von Leitlinien aufgrund ihrer unterschiedlichen organisatorischen Gegebenheiten.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 78 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Aus diesem Grund ist dieses Manual auf der Basis der unterschiedlichen Anforderungen der Partnerorganisationen konzipiert worden, um flexibel als eine Hilfe für den Adaptierungsprozess von Leitlinien eingesetzt werden zu können.
Das Manual wurde in Anlehnung an das ADAPTE Manual der ADAPTE-Kollaboration entwickelt.
I. Die „Preliminary Phase“ (Vorbereitungsphase)
Die Vorbereitungsphase beinhaltet wichtige Arbeitsschritte, die vor der Durchführung der adaptierungsspezifischen Prozesse abgeschlossen sein müssen. Diese Schritte sind auch mit denen der Entwicklung einer de novo Leitlinie vergleichbar.
1. Themenfindung mithilfe von folgenden optionalen Kriterien:
Intervention
Diagnosestellung
Prävalenz der Erkrankung
Qualitätssicherung
Ökonomische Betrachtungen z. B. der Interventionen
2. Einbeziehung professioneller Expertise
Experten auf dem Gebiet des ausgewählten Themas
Mit Erfahrung auf dem Gebiet des ausgewählten Themas
Mit methodischer Expertise
Mit Expertise in der Suche nach notwendigen Informationen
Mit Expertise auf dem Gebiet der Implementierung
3. Abdeckung des Anwendungsgebietes und der klinischen Fragestellungen durch Verwendung des PICO-Schemas
Beschreibung der Population
Beschreibung der Intervention
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 79 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Vergleich („Comparison“) z. B. alternative Therapien
Outcome-Messungen
Auf Basis des PICO-Schemas wird anschließend die klinische Fragestellung formuliert.
4. Überprüfung, ob eine Adaptierung möglich ist durch eine Recherche nach Leitlinien, die relevant sind für das ausgewählte Thema.
Entwicklung einer Recherchestrategie anhand der formulierten klinischen Fragestellungen
Ist eine Adaptierung nicht möglich, da nicht ausreichend methodisch und inhaltlich hochwertige Leitlinien identifiziert werden, dann fällt die Entscheidung zugunsten der Entwicklung einer de novo Leitlinie.
5. Wenn eine Adaptierung möglich ist erfolgt die systematische Recherche nach existierenden Leitlinien
Entwicklung einer Recherchestrategie basierend auf den formulierten klinischen Fragestellungen
Die Recherche sollte ausschließlich Leitlinien berücksichtigen, die nicht älter als 3 bis 5 Jahre sind
Ein Update der Recherche sollte nach 5 Jahren erfolgen im Rahmen einer Qualitätssicherung
Screening der Leitlinie
Das Ergebnis der Recherche und des Screenings ist ein Pool von Leitlinien.
Für die Anzahl der potenziell relevanten Leitlinien in diesem Pool gibt es keine festgelegte Begrenzung. Diese Leitinien werden in den weiteren Prozess der Adaptierung eingeschlossen. Bei der Durchführung der Vorbereitungsphase kann jede Organisation ihre eigenen Methoden nutzen. Die unterschiedlichen Methoden der Leitlinien entwickelnden Organisationen in diesem Projekt befinden sich in Anhang F.
II. Die „Specific Adaptation Parts“ (adaptierungsspezifische Abschnitte)
Die adaptierungsspezifischen Teile des Manuals bestehen aus dem Bewertungsmodul („Assessment Module“), dem Entscheidungs- und Selektionsmodul („Decision and Selection Module“) und dem Anpassungsmodul („Customization Module“).
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 80 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Das Bewertungsmodul („Assessment Module“):
Dieses Modul wird auch als Schlüsselmodul im gesamten Adaptierungsprozess bezeichnet, da es sowohl die inhaltliche als auch die methodische Bewertung der Leitlinien aus dem identifizierten Pool beinhaltet.
Die Bewertung der Leitlinien erfolgt in fünf Arbeitsschritten, die im Folgenden näher erläutert werden.
1. Bewertung des Inhalts der Leitlinie
Bei der Bewertung des Inhalts der Leitlinie wird zunächst die in den identifzierten Leitlinien enthaltenen klinischen Fragestellungen mit der(den) eigenen formulierten Fragestellung(en) (siehe Vorbereitungsphase) abgeglichen. Können die klinischen Fragestellungen der Leitlinien nicht auf die eigenen formulierten Fragestellungen übertragen werden, dann wird (werden) die Leitlinie(n) von dem weiteren Prozess ausgeschlossen. Dabei wird der Inhalt der Leitlinien parallel zur Überprüfung in einer Tabelle (Tabelle 68) dokumentiert. Die Tabelle muss für jede der relevanten klinischen Fragestellungen ausgefüllt werden. Auf Basis dieser Ergebnisse, die in der Tabelle festgehalten werden, werden anschließen Entscheidungen getroffen. Die Entscheidugnsoptionen, die dabei zur Verfügung stehen sind:
Die Leitlinie wird von dem weiteren Prozess komplett ausgeschlossen, da sie auf keine der in der Vorbereitungsphase formulierten klinischen Fragestellungen zutrifft.
Wenn eine der klinischen Fragestellungen von der Leitlinie nicht abgedeckt wird, dann muss abgewogen werden, ob:
o Die klinische Fragestellung ausgeschlossen wird, oder
o ob die klinische Fragestellung von einem de novo Kapitel oder durch eine weitere zu identifizierende Leitlinie abgedeckt werden soll.
Tabelle 68: Zusammenfassung der Inhalte der Leitlinien
Actual content of guidelines (CPG) (indicate with if included in guideline)
CPG 1 CPG 2 CPG 3 CPG 3
Health question 1
Health question 2
Health question 3
Health question 4
Population Insert definition here
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 81 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 68 (Fortsetzung): Zusammenfassung der Inhalte der Leitlinien
Actual content of guidelines (CPG) (indicate with if included in guideline)
CPG 1 CPG 2 CPG 3 CPG 3
Intervention(s) Insert definition here
Comparison Insert definition here
Outcome Insert definition here
Target user Insert definition here
Healthcare setting
Insert definition here
2. Bewertung der methodischen Leitlinienqualität
Die methodische Bewertung der Leitlinien, die nach dem ersten Arbeitsschritt nicht ausgeschlossen wurden erfolgt nach der Methodik des AGREE-Instruments. Das Ergebnis der methodischen Bewertung sind Leitlinien mit einer hohen methodischen Qualität. Das bedeutet jedoch nicht, dass ein niedriger AGREE-Score den Ausschluss einer Leitlinie begründet. Das Instrument soll im Rahmen dieses Prozesses ausschließlich als Entscheidungshilfe angesehen werden.
3. Bewertung der Leitlinienaktualität
Die Bewertung der Leitlinienaktualität ist auch gleichzeitig ein Schritt zur Bewertung der internen Validität einer Leitlinie. Weiterhin wird mit diesem Arbeitsschritt überprüft, ob ein Update der Literaturrecherche der eingeschlossenen Leitlinien notwendig ist.
Um die Aktualität einer Leitlinie überprüfen zu können, muss sowohl das Publikationsdatum der Leitlinie als auch der Zeitraum der Literaturrecherche, der von der Leitlinie abgedeckt wird, überprüft werden. Das Ergebnis der Überprüfung der genannten Aspekte gibt Aufschluss darüber, ob ein Update der Leitlinie notwendig ist. Ist der Zeitraum der Literaturrecherche nicht aktuell, dann kann die Leitlinie von dem weiteren Prozess ausgeschlossen werden. Für die Dokumentation der Bewertung wird Tabelle 69 verwendet.
Anhand der dokumentierten Ergebnisse kann dann eine teilweise neu Literatursuche für spezifische klinische Fragestellungen der Leitlinie durchgeführt oder eine komplett neue Literatursuche gestartet werden. Für das Erfordernis eines Updates der Literaturrecherche können die von den Partnerorganisationen des CoCanCPG Projektes validierten Werkzeuge für die Literaturrecherche und Synthese der Evidenz (Anhang A) verwendet werden.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 82 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 69: Dokumentation der Leitlinienaktualität
Guideline currency Guideline # 1 Guideline # 2
Literature search dates Start date: MM/YYYY End date: MM/YYYY
Start date: MM/YYYY End date: MM/YYYY
An update of the literature is required? If Yes, when? Which questions are concerned?
Yes No If Yes, From : MM/YYYY Concerned questions: …………………………… …………………………... ……………………………
Yes No If Yes, From : MM/YYYY Concerned questions: …………………………… …………………………... ……………………………
4. Konsistenzprüfung der Leitlinien
Arbeitsschritt 4 ist aufgeteilt in 2 Unterpunkte:
a. Bewertung der Recherchestrategie und der Selektion der Evidenz
b. Bewertung der Konsistenz zwischen der selektierten Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen
Dieser Arbeitsschritt unterstützt die Identifikation der besten verfügbaren Evidenz. Die Konsistenzprüfung ist ebenfalls ein Schritt zur Prüfung der internen Validität einer Leitlinie. Im Rahmen dieser Bewertung sind 4 Punkte von wesentlicher Bedeutung:
die Recherchestrategie,
die Selektion der Evidenz,
die Bewertung der Konsistenz der eingeschlossenen Evidenz und
die Konsistenz zwischen der Evidenz, ihrer Interpretation von Seiten des Leitlinienentwicklers und den daraus resultierenden Empfehlungen.
Die identifizierte Evidenz, auf der die Leitlinie basiert, variiert in ihrer Qualität und ihrer Art (Studientyp). Das hängt von den definierten klinischen Fragestellungen ab, die von einer Leitlinie abgedeckt werden und dem Zeitraum sowie der Methodik der Literaturrecherche. Einer der Gründe, warum starke qualitative Schwankungen in der Qualität der Evidenz vorliegen, kann sowohl die Festlegung der Ein-/Ausschlusskriterien als auch sprachliche Barrieren sein.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 83 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Die Bewertung der Recherchestrategie und der Selektion der Evidenz sollte die Bewertung der Relevanz der Recherche in spezifischen Datenbanken, die detaillierte Recherchestrategie (Angabe von Schlüsselwörtern, Zeitraum der Recherche und Sprache), die Referenzangabe (Methoden und Kriterien) und die Dokumentation der ein-/ausgeschlossenen Referenzen bei der Suche in spezifischen Datenbanken berücksichtigen.
Die Ergebnisse der Konsistenzprüfung der Leitlinien werden in dem Evaluationsbogen (Abbildung 13, Abbildung 14) festgehalten. Diese geben Aufschluss, ob mangelhafte Evidenz vorliegt und damit eine ergänzende systematische Literaturrecherche und / oder eine Überarbeitung der Ein-/Ausschlusskriterien notwendig ist. Dabei ist zu berücksichtigen, dass nicht alle Leitlinienautoren ihre Recherchestrategie und die Ein-/Ausschlusskriterien nachvollziehbar dokumentieren. Daher sollten Leitlinienautoren angeschrieben werden, wenn keine ausreichenden Informationen zu ihrer Methodik vorliegen.
Abbildung 13: Evaluationsbogen zur Konsistenzprüfung Teil I
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 84 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Abbildung 14: Evaluationsbogen zur Konsistenzprüfung Teil II
Der zweite Unterpunkt der Konsistenzprüfung ist die Überprüfung der Konsistenz zwischen der selektierten Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen. Es wird überprüft, inwieweit die Empfehlung als subjektive Interpretation des Leitlinienautors auf die der Empfehlung zugrunde liegende Evidenz zurückgeführt werden kann.
Die Konsistenzprüfung wird auf Basis des systematischen Reviews der Evidenz, deren Interpretation innerhalb eines spezifischen Settings, der Expertise des Leitlinienautors und der Empfehlungen für den lokalen Kontext der identifzierten Leitlinien durchgeführt. Die Ergebnisse der Literaturbewertung aus den vorherigen Schritten werden in einem für die Adaptierung genutzten Evidenzreport als ein Zwischenprodukt des Manuals festgehalten. Sie dienen zusätzlich als Basis dieser Konsistenzprüfung. Tabelle 70 verdeutlicht den schrittweisen Ablauf, der in der Leitlinie zu finden sein sollte. Als erster Punkt sollten die Resultate der Literaturrecherche und Bewertung der Leitlinie zu entnehmen und in Evidenztabellen dargestellt sein. Auf dieser Grundlage sollte die Selektion der besten verfügbaren Evidenz erfolgen und die Empfehlungen daraus formuliert werden.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 85 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 86 -
Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz
sion 1.0 09.02.2010
- 86 -
Defined health questions
Results of the literature search and assessment
Producing an evidence report
Selection of the most efficient evidence
Developing de novo recommendations
Health question 1
Health question 2
……
……
Im Rahmen dieser Bewertung wird sowohl die Quantiät als auch die Qualität der selektierten Evidenz aus dem Evidenzreport berücksichtigt. Es wird dabei überprüft inwieweit die Empfehlungen mit der Evidenz, auf der sie basieren übereinstimmen. Wichtig für diese Arbeit sind die Evidenztabellen der Leitlinien. Da einige Leitlinienautoren die Evidenztabellen nicht in ihren Leitlinien aufführen, sollten die Autoren kontaktiert werden, um die notwendigen Informationen zu erhalten.
Für den zweiten Schritt der Konsistenzprüfung sollte das Tool zur Bewertung der Validität von Leitlinien (Abbildung 15) verwendet werden.
Abbildung 15: Bewertung der Konsistenz zwischen der Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Zusätzlich zu Abbildung 13 bis Abbildung 15 sollten folgende Fragestellungen in die Bewertung einbezogen werden:
Werden die Beschaffenheit und die klinische Relevanz der Ergebnisse der Primärstudien dargestellt oder diskutiert?
Wird die klinische und methodische Heterogenität der Studien dargestellt oder diskutiert?
Werden die Empfehlungen der Leitlinie von den Ergebnissen der Evaluation der Studien gestützt? Wenn nicht, werden dafür Gründe benannt?
Ist die Methodik der Vergabe von Evidenzleveln adäquat beschrieben?
Wird die Methodik der Vergabe der Evidenzlevel korrekt angewandt (z. B. begründet der Evidenzlevel die Empfehlung?)
Sind die Patienten und Interventionen in den analysierten Studien mit denen der Patienten und Interventionen der Empfehlungen vergleichbar?
Wurden Nutzen-und Risikoabwägungen in die Betrachtung mit einbezogen?
Wurde ein formaler Prozess angewandt, um die Empfehlungen zu formulieren (z. B. formaler Konsensprozess)?
Zusammenfassend sollte gelten, dass die Evidenz, auf der die Leitlinie basiert, eindeutig und nachvollziehbar vom Leitlinienautor dargestellt wird. Wenn die identifizierten Leitlinien die Evidenzbasis ihrer Empfehlungen nicht darstellen und auch über die Leitlinienautoren direkt keine Informationen erhältlich sind, dann muss die Leitlinie von dem weiteren Prozess ausgeschlossen werden.
5. Bewertung der Akzeptanz und Anwendbarkeit der Empfehlungen
Die Akzeptanz und die Anwendbarkeit sind 2 Wege, um Empfehlungen von Leitlinien in die klinische Praxis umzusetzen.
Die Akzeptanz ist die Möglichkeit der Realisierung einer Empfehlung in der klinischen Praxis.
Die Anwendbarkeit ist die Möglichkeit einer bestimmten Organisation, die Empfehlung in die klinische Praxis umzusetzen.
Die Akzeptanz und Anwendbarkeit sollten für jede klinische Fragestellung und jede Empfehlung einer Leitlinie durchgeführt werden. Die Anwenbarkeit von Empfehlungen in der Praxis hängt dabei von spezifischen kulturellen und organisatorischen Gegebenheiten ab. Das schließt folgende Faktoren ein:
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 87 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Gesundheitsversorgung
Expertise
Ressourcen
Eigenschaften der Population
Werturteile
Vorstellungen, Meinungen
Der weiteren Bewertung der Akzeptanz und Anwendbarkeit dienen folgende Fragestellungen:
Stimmt die beschriebene Population mit der Population, auf die die Empfehlung abzielt, im lokalen Setting überein? (Akzeptanz)
Berücksichtigt die angegebene Intervention Patientenpräferenzen hinsichtlich des Gebrauchs? (Akzeptanz)
Ist die Empfehlung kompatibel mit den kulturellen Gegebenheiten des Settings, in dem sie angewendet werden soll? (Akzeptanz)
Macht der Nutzen, der durch die Implementierung der Empfehlung erreicht werden soll, diese schwer implementierbar? (Akzeptanz)
Sind die Interventionen und / oder die Geräte im klinischen Alltag verfügbar? (Anwendbarkeit)
Ist die notwendige Expertise (Wissen und Fachkenntnis) im klinischen Alltag verfügbar? (Anwendbarkeit)
Bestehen Bedingungen, organisatorische Barrieren, Gesetze, Grundsätze und / oder Ressourcen in der Gesundheitsversorgung, die die Implementierung einer Empfehlung behindern? (Anwendbarkeit)
Ist die Empfehlung kompatibel mit der Kultur und den Werten im Setting, in dem sie angewendet werden soll? (Anwendbarkeit)
Als ein wesentliches Tool sollte hier die Empfehlungsmatrix (Tabelle 71) angewendet werden, um einen Überblick über die relevanten zu bewertenden Empfehlungen zu haben. In die Empfehlungsmatrix werden dann z. B. alle Empfehlungen zum Brustkrebsscreening, die aus den identifzierten Leitlinien extrahiert werden, eingefügt. Zusätzlich werden die Evidenzlevel, die in den Leitlinien den jeweiligen Empfehlungen zugeordnet sind, eingefügt.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 88 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Tabelle 71: Empfehlungsmatrix
Guideline Guideline 1 (e.g. SIGN2006)
Guideline 2 (e.g. NICE2009
Guideline 3
AGREE score e. g. 67,62
Overall quality assessment e. g. strongly recommended (4 raters)
Recommendation:
1 Level II
2 Level III
Ein weiteres Tool zur Bewertung der Akzeptanz und Anwendbarkeit ist in folgender Abbildung dargestellt.
Abbildung 16: Bewertungsbogen für Akzeptanz und Anwendbarkeit
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 89 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Das „Decision and Selection Modul“ (Entscheidungs- und Selektionsmodul)
Das Entscheidungs- und Selektionsmodul fasst die gesamten Ergebnisse, die im Bewertungsmodul erzielt wurden, noch einmal zusammen. Dafür wird eine Übersicht der Ergebnisse erstellt (Tabelle 72). Dieses Modul besteht insgesamt aus 2 Arbeitsschritten, von denen der erste Schritt die Ergebnisszusammenfassung des Bewertungsmoduls ist. Dies dient als Basis für den zweiten Schritt der Entscheidungsfindung.
Tabelle 72: Übersicht der Ergebnisse des Bewertungsmoduls
Assessment related to quality (Tool 4) Possible use
Overall AGREE assessment Starting point for elimination of those guidelines that are not recommended
Raw AGREE scores For the assessment rather then agreement and ensure that the panelists’ scores are reliable
Summary AGREE dimension graphs Shows how one guideline rates on each of the six AGREE domains or how all of the guidelines compare on each of the various AGREE domains.
Assessment related to currency (Tool 5, 6, 7) Possible use
Results of the currency assessment Results of an updated literature search
For the elimination of any guidelines that are out of date or that will soon undergo a major revision. Can also be used to define where updates are needed. If guidelines are not current, an updated literature search has to be undertaken
Assessment related to the recommendations Possible use
Summary of the guidelines’ content (Tool 1) For the comparison of the recommendations from all of the source guidelines with respect to the content and wording and level of evidence, if included
Assessments related to source evidence and guidelines (Tool 6, 7)
Possible use
Results of the evaluation of the search strategy and selection of evidence
Provides an indication for each guideline of the comprehensiveness of the search strategy and the evidence selected.
Results of the evaluation of consistency between evidence and its interpretation and between the interpretation and recommendation
Provides an indication of whether there are inconsistencies with the guideline developers’ interpretation of the evidence and its translation into recommendations within a guideline or between guidelines.
Assessment related to acceptability/applicability (Tool 8)
Possible use
Results of the acceptability/applicability evaluation (results of the questions)
For deciding if the recommendations are applicable, can be implemented in the user’s context, and are worth implementing
Der zweite Arbeitsschritt dieses Moduls ist ein Entscheidungsprozess, der sich aus 5 wesentlichen Fragestellungen herleitet:
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 90 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
1. Ausschluss der gesamten Leitlinie: Nach dem Review der Ergebnisse des Bewertungsmoduls erfolgt der Ausschluss der gesamten Leitlinie. Die Entscheidung sollte auf der Gewichtung der zusammengefassten Ergebnisse beruhen (z. B. die Leitlinie ist nicht aktuell, die Empfehlungen lassen sich nicht auf ein spezifisches Setting anwenden)
2. Übernahme einer Leitlinie mit allen Empfehlungen
3. Übernahme der Evidenztabelle der Leitlinie: Nach dem Review der Ergebnisse des Bewertungsmoduls wird die Darstellung der Evidenz übernommen aber die Interpretation und die Empfehlungen ausgeschlossen.
4. Übernahme spezifischer Empfehlungen: Nach dem Review der Ergebnisse des Bewertungsmoduls werden einzelne Empfehlungen übernommen und einige ausgeschlossen. Diese können aus einer einzigen Leitlinie oder mehreren Leitlinien stammen.
5. Modifizierung von Empfehlungen: Einzelne Empfehlungen werden übernommen, weisen aber einen Überarbeitungsbedarf auf.
Nach diesem Entscheidungsprozess stehen detaillierte Leitlinie und / oder Empfehlungen für die Erstellung der ersten Version einer adaptierten Leitlinie zur Verfügung.
Das „Customization Modul“ (Anpassungsmodul)
Das Modul besteht aus nur einem wesentlichen Arbeitsschritt, der Erstellung eines Entwurfs einer adaptierten Leitlinie. Zu diesem Modul gibt es keine spezifischen Tools oder Vorgaben, da die Erstellung und Herausgabe der adaptierten Leitlinie von den jeweiligen organisatorischen Gegebenheiten abhängig sind. Jede Organisation nutzt demnach ihre eigene Methodik und ihre eigenen Tools zur Erstellung einer adaptierten Leitlinie.
III. Die „Finalization Phase“ (Finalisierungsphase)
Diese Phase dient der Erstellung einer finalen Version der adaptierten Leitinie. 3 Arbeitsschritte sind dazu notwendig:
1. Externes Review
Dazu wird der Entwurf der adaptierten Leitlinie an von der Leitlinie betroffene Personenkreise versendet. Es gilt Fragen zu Stärken, Schwächen und eine erforderliche Überarbeitung der Leitlinie zu klären.
2. Aktualisierung der Leitlinie
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 91 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Die Aktualisierung der Leitlinie macht eine Überarbeitung auf Basis aktuellster Evidenz notwendig.
3. Entwicklung einer finalen Version der adaptierten Leitlinie
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 92 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
7 Zusammenfassung
Das CoCanCPG-Projekt zur koordinierten Entwicklung von Krebsleitlinien wurde durchgeführt, um u. a. Diskrepanzen in der Entwicklung von Krebsleitlinien wie doppelt vorhandene Leitlinien zu ein und demselben Thema (Duplikate) und unvollständige Leitlinien mit Evidenzlücken zu verhindern.
Zu diesem Zweck wurden innerhalb des Aufgabenbereichs bzw. der Arbeitsschritte der einzelnen Arbeitspakete (Abschnitt 3.3) Dokumente und Arbeitsinstrumente (z. B. „Common Tools and Formats“, CoCanADAPTE Manual) entwickelt und validiert. Die Erarbeitung erfolgte in Kooperation mit anderen CoCanCPG-Partnerorganisationen.
Für das IQWiG ergaben sich hinsichtlich der Erarbeitung der unterschiedlichen Instrumente und Dokumente vielfältige Aufgabenbereiche. In regelmäßigen Stellungnahmen unterstützten die beteiligten Mitarbeiter des IQWiG die Partnerorganisationen bei der Erstellung der Dokumente und Instrumente wie der „Common tools and formats“.
In enger Zusammenarbeit mit der Partnerorganisation HAS erstellte das IQWiG das CoCanADAPTE Manual. Basis dieser Erstellung war zum einen die Befragung zum ADAPTE Manual der ADAPTE-Kollaboration, die ein generelles Interesse aller Partnerorganisationen an dem Prozess der Adaptierung von Leitlinien erkennen ließ. Gleichzeitig wurde im Rahmen dieser Befragung aber auch festgestellt, dass das ADAPTE Manual in seiner bestehenden Version nicht für die Rahmenbedingungen des CoCanCPG Projektes übernommen werden konnte und einer Überarbeitung bedurfte.
Die Überarbeitung des ADAPTE Manuals zielte nicht nur auf eine bessere Verständlichkeit, sondern auch auf eine deutliche Abgrenzung der für die Adaptierung spezifischen („Assessment Module“, „Decision and Selection Module“ und „Customization Module“) und nicht spezifischen Module („Preliminary Phase“ und „Finalization Phase“) bzw. Arbeitsschritte ab. Zusätzlich wurden auch einige der validierten „Common formats and tools“ in dieses neu erstellte Manual integriert.
Die Ergebnisse der Befragung zur formalen Gestaltung und zum Verständnis der ersten Version des CoCanADAPTE Manuals ergaben eine generelle Zufriedenheit mit dem beschriebenen Inhalt. Allerdings wurde ein weiterer Überarbeitungsbedarf hinsichtlich der Struktur und Anordnung einiger Arbeitsschritte und derer Instrumente erkennbar. Die 4 Organisationen machen deutlich, dass eine große Barriere in der Anwendung des Manuals bzw. generell des Adaptierungsprozesses in dem hohen zeitlichen Aufwand und dem Aufwand an weiteren Resourcen (u. a. personell) besteht. Weitere wichtige genannte Barrieren im Rahmen der Adaptierung von Leitlinien sind mangelhafte Leitlinien, die zu einem festgelegten Themengebiet für die Adaptierung zur Verfügung stehen.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 93 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Die vorliegenden Ergebnisse der einzelnen Befragungen wurden abschließend verwendet, um eine finale Version des CoCanADAPTE Manuals zu entwickeln und den Partnerorganisationen für ihre Arbeit zur Verfügung zu stellen mit entsprechendem Support der Entwickler.
Zusätzlich zu den einzelnen Validierungsmaßnahmen (Befragungen und Versendung der Dokumente) fanden jährliche Projekttreffen statt, um über die aktuellen Aktivitäten und über den aktuellen Projektstand aufzuklären.
Im Rahmen des Abschlusssymposiums im November 2009 in Paris wurden die einzelnen erarbeiteten Produkte, wie das CoCanADAPTE Manual, den Teilnehmern, u. a. der EU-Kommissarin und nicht im CoCanCPG Projekt involvierten Teilnehmern vorgestellt und diskutiert.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 94 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
8 Fazit
8.1 Bewertung des Projektverlaufs
Das Projekt ist durch eine Vielzahl von Partnern und einer hohen Zahl von Aufgaben/ Aktivitäten, die größtenteils auch untereinander vernetzt sind, gekennzeichnet. Die Partner kannten sich zum Teil bereits aufgrund von Arbeits- oder persönlichen Kontakten zu Projektbeginn; auf dem Gebiet der Leitlinienerstellung hat der überwiegende Teil der Partner noch nicht kooperiert. Der Charakter der Mitgliedsorganisationen ist heterogen (Leitlinienerstellung speziell im Bereich Krebs, nationale HTA-Organisationen, Ministerien). Auch variierte der Arbeitsanteil der Partner an CoCanCPG signifikant.
Das Projekt ist durch ein umfangreiches Aufgabenspektrum und eine starke Heterogenität der Partner gekennzeichnet. Die Zahl der Partner variierte leicht während der Projektlaufzeit. So sind von den ehemals 18 Organisationen zurzeit noch 16 im Projekt vertreten. Die Gründe hierfür sind unterschiedlich (Veränderungen der Zuständigkeiten bei den Partnern, Austritt aus dem Verbund).
Auch die Projektleitung wechselte im Jahr 2009 aufgrund von Veränderungen der Zuständigkeiten der französischen Partner (bis Mitte / Ende 2008 Beatrice Fervers).
Die Zusammenarbeit zwischen dem IQWiG und der HAS zur Erarbeitung des CoCanADAPTE Manuals gestaltete sich konstruktiv. Auch die Kooperation der anderen Partner hinsichtlich der Erstellung dieses Manuals war sehr effektiv, zumal sich einige Partner bereit erklärt haben, die Pilot Phase mit dem Manual durchzuführen.
Aus diesem Grund würden sich auch bei einer eventuellen Fortführung des Projektes weitere Kooperationsmöglichkeiten ergeben, die in der folgenden Grafik dargestellt werden.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 95 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 96 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
9 Literatur
1. ADAPTE Collaboration. Resource toolkit for guideline adaptation: version 1.0 [online]. [Zugriff: 18.12.2008]. URL: www.adapte.org.
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 97 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Anhang A: Projektvertrag (Contract 206070)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 98 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 99 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 100 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 101 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 102 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 103 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 104 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 105 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 106 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 107 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 108 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 109 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 110 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 111 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 112 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 113 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 114 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 115 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 116 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Anhang B: Validierte Tools und Formate
Das PICO-Tool
PICO is an acronym for:
P Patient population
I Intervention (therapy or diagnostic test under investigation; presence of etiological or prognostic factor)
C Comparison (alternative therapy; index or reference test; absence of etiological or prognostic factor)
O Outcome measures
The PICO method:
The circles with the letters P, I C and O should be seen as the collection of searched literature. By combining these collections, the correct literature (shaded area in the figure) can be extracted. Combinations can be made with Boolean’s.
(source: CBO evidence based guideline development protocol)
PICO Worksheet
1. Define your question using PICO
Population:
Intervention:
Comparison:
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 117 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Outcome:
2. Write out your question
Examples
Prognostic question
PICO
Population: patients with cervical cancer
Intervention: presence histological parameters
Comparison: absence of histological parameters
Outcome: survival
Question:
Which histological parameters predict survival in patients with cervical cancer?
Diagnostic question
PICO
Population: patients with cervical cancer
Intervention: MRI
Comparison: CT
Outcome: detecting relapsed or recurrent disease
Question:
In patients with cervical cancer, is MRI better in detecting relapsed or recurrent disease than CT?
Therapeutic question
PICO
Population: patients with rectal cancer
Intervention: abdominoperineal resection
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 118 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Comparison: low anterior resection
Outcome: mortality and quality of life
Question:
What is the difference in mortality and quality of life by patients with rectal cancer treated with abdominoperineal resection in comparison with low anterior resection?
Checkliste zur Bewertung der Evidenz
Systematic reviews, meta-analyses
Internal validity The study addresses an appropriate and clearly focused question A description of the methodology used is included The literature search is sufficiently rigorous to identify all the relevant studies Study quality is assessed and taken into account There are enough similarities between the studies selected to make combining them
reasonable Data extraction is clearly described The most important characteristics from the original research is described Is clinical and statistic heterogeneity adequately taken into account? Is statistic pooling correctly performed? Is meta-analysis correctly performed? Can the results be extrapolated to a different situation?
Overall assessment of the study
How well was the study done to minimise bias? Code ++, + or – If coded as + or – what is the likely direction ion which bias might affect the study
results? Are the results of the systematic review valid and applicable?
Description of the study
What types of study are included in the review? How does this review help to answer your key question?
Checklist Randomised Controlled Trials
Internal validity The study addresses an appropriate and clearly focused question The assignment of subjects to treatment groups is randomized
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 119 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
An adequate concealment method is used Subjects and investigators are kept blind about treatment allocation The treatment and control groups are similar at the start of the trial The only difference between groups is the treatment under investigation All relevant outcomes are measured in a standard, valid and reliable way What percentage of the individuals or clusters recruited into each treatment arm of the
study dropped out before the study was completed? All the subjects are analyzed in the groups to which they were randomly allocated
(intention to treat) Where the study is carried out at more than one site, results are comparable for all site
Overall assessment of the study
How well was the study done to minimize the risk of bias or confounding, and to establish a causal relationship between exposure and effect? Code ++, +, or −
If coded as +, or − what is the likely direction in which bias might affect the study results?
Taking into account clinical considerations, your evaluation of the methodology used, and the statistical power of the study, are you certain that the overall effect is due to the study intervention?
Checklist COHORT studies
Internal validity The study addresses an appropriate and clearly focused question The two groups being studied are selected from source populations that are
comparable in all respects other than the factor under investigation The likelihood that some eligible subjects might have the outcome at the time of
enrolment is assessed and taken into account in the analysis What percentage of individuals or clusters recruited into each arm of study dropped
out before the study was completed Comparison is made between full participants and those lost to follow up, by exposure
status The outcomes are clearly defined The assessment of outcome is made blind to exposure status Where blinding was not possible, there is some recognition that knowledge of
exposure status could have influenced the assessment of outcome The measure of assessment of exposure is reliable Exposure level prognostic factor is assessed more than once The main potential confounders are identified and taken into account in the design and
analysis Confidence intervals are provided
Overall assessment of the study
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 120 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
How well was the study done to minimize the risk of bias or confounding, and to establish a causal relationship between exposure and effect? Code ++, +, or −
Taking into account clinical considerations, your evaluation of the methodology used, and the statistical power of the study, are you certain that the overall effect is due to the exposure being investigated?
Are the results of this study directly applicable to the patient group targeted in this guideline?
Checklist Case Control studies
Internal validity The study addresses an appropriate and clearly focused question The cases and controls are taken from comparable populations The same exclusion criteria are used for both cases and controls What percentage of each group (cases and controls) participated in the study? Comparison is made between participants an non-participants to establish their
similarities of differences Cases are clearly defined and differentiated from controls It is clearly established that controls are non-cases. Measures will have been taken to prevent knowledge of primary exposure
influencing case ascertainment Exposure status is measured in a standard, valid and reliable way The main potential confounders are identified and taken into account in the design
and analysis Confidence intervals are provided Where the study is carried out at more than one site, results are comparable for all
sites
Overall assessment of the study How well was the study done to minimize the risk of bias or confounding, and to
establish a causal relationship between exposure and effect? Code ++, +, or ? Taking into account clinical considerations, your evaluation of the methodology
used, and the statistical power of the study, are you certain that the overall effect is due to the exposure being investigated?
Are the results of this study directly applicable to the patient group targeted in this guideline?
Checklist of Diagnostic Accuracy
Internal validity The nature of the test being studied is clearly specified The nature is compared with an appropriate gold standard Where no gold standard exists, a validated reference standard is used as comparator Patients for testing are selected either as a consecutive series or randomly, from a
clearly defined study population
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 121 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
The test and gold standard are measured independently (blind) of each other The test and gold standard are applied as close together in time as possible Results are reported for all patients that are entered into the study A pre-test diagnosis is made and reported Were selection criteria clearly described? Is the reference standard likely to correctly classify the target condition Did patients receive the same reference standard regardless of the index test result? Was the reference standard independent of the index test (i.e. the index test did not
form part of the reference standard?) Was the execution of the index test described in sufficient detail to permit replication
of the test? Was the execution of the reference standard described in sufficient detail to permit
its replication? Were the same clinical data available when test results were interpreted as would be
available when the test is used in practice? Were withdrawals form the study explained? Was the selection of patients valid? Can the results be extrapolated to a different situation?
Overall assessment of the study
How reliable are the conclusions of this study? Code ++, +, or − Is the spectrum of patients assessed in this study comparable with the patient group
targeted by this guideline in terms of the proportion with the disease, or the proportion with severe versus mild disease?
Description of the study
What is the prevalence (proportion of people with the disease being tested for) in the population from which patients were selected?
What environmental or prognostic factor is being investigated in this study? What test is being evaluated in this study? What is the reference standard with which the test being evaluated is compared? Indicate whether a gold standard, or if not how this standard was validated What is the estimated sensitivity of the test being evaluated? What is the estimated specificity of the test being evaluated What is the positive predictive value of the test being evaluated? What is the negative predictive value of the test being evaluated? What are the likelihood ratios for the test being evaluated? How was this study funded? Are there any specific issues raised by this study?
Economic Evaluations
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 122 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Internal validity There is a defined and answerable study question The economic importance of the question is clear The choice of study design is justified All costs that are relevant from the viewpoint of the study are included and are
measured and valued appropriately The outcome measures used to answer the study question are relevant to that purpose
and are measured and valued appropriately If discounting of future costs and outcomes is necessary, if should been performed
correctly Assumptions are made explicit and a sensitivity analysis is performed The decision rule is made explicit and comparisons are made on the basis of
incremental costs and outcomes The results provide information of relevance to policy makers Is there comprehensive description of alternatives Has clinical effectiveness been established? Are costs and outcomes adjusted for differential timing? Did the study examine both costs and effects of the service(s) or programme(s)? Was a viewpoint for the analysis stated and was the study placed in any particular
decision-making context? Was the effectiveness of the programmes or services established? Was a comprehensive description of the competing alternatives given (that is, can you
tell who? did what? to whom? where? and how often?)? Were any important alternatives omitted? Was (should) a do-nothing alternative (be) considered? Was the effectiveness of the programmes or services established? Was this done through a randomised, controlled clinical trial? If so, did the trial
protocol reflect what would happen in regular practice? Were observational data or assumptions used to established effectiveness? If so, what
are the potential biases in results? Were all the important and relevant costs and consequences for each alternative
identified? Was the range wide enough for the research question at hand? Did it cover all relevant viewpoints? (Possible viewpoints include the community or
social viewpoint, and those of patients and third-party payers.) Were capital costs, as well as operating costs, included? Were costs and consequences measured accurately in appropriate physical units (for
example, hours of nursing time, number of physician visits, lost work-days, gained life-years)?
Were any of the identified items omitted from measurement? If so, does this mean that they carried no weight in the subsequent analysis?
Were there any special circumstances (for example, joint use of resources) that made
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 123 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
measurement difficult? Were these circumstances handled appropriately? Were the sources of all values clearly identified? (Possible sources include market
values, patient or client preferences and views, policy-makers' views and health professionals' judgements.)
Were market values employed for changes involving resources gained or depleted? Where market values were absent (for example, volunteer labour), or did not reflect
actual values (for example, clinic space donated at reduced rate), were adjustments made to approximate market values?
Was the valuation of consequences appropriate for the question posed (that is, has the appropriate type or types of analysis - cost-effectiveness, cost-benefit, cost-utility - been selected)?
Were costs and consequences which occur in the future 'discounted' to their present values?
Was any justification given for the discount rate used? Was an incremental analysis of costs and consequences of alternatives performed? Were the additional (incremental) costs generated by one alternative over another
compared to the additional effects, benefits or utilities generated? Was allowance made for uncertainty in the estimates of costs and consequences? If data on costs or consequences were stochastic, were appropriate statistical analyses
performed? Were study results sensitive to changes in the values (within the assumed range for
sensitivity analysis, or within the confidence interval around the ratio of costs to consequences)?
Did the presentation and discussion of study results include all issues of concern to users?
Were the conclusions of the analysis based on some overall index or ratio of costs to consequences (for example, cost-effectiveness ratio)? If so, was the index interpreted intelligently or in a mechanistic fashion?
Were the results compared with those of others who have investigated the same question? If so, were allowances made for potential differences in study methodology?
Did the study discuss the generalisability of the results to other settings and patient/client groups?
Did the study allude to, or take account of, other important factors in the choice or decision under consideration (for example, distribution of costs and consequences, or relevant ethical issues)?
Did the study discuss issues of implementation, such as the feasibility of adopting the 'preferred' programme given existing financial or other constraints, and whether any freed resources could be redeployed to programmes?
Overall assessment of the study
Is this study an economic evaluation, or a cost analysis How well was the study conducted? Code ++, + or –
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 124 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Are the results of this study directly applicable to the patient group targeted by this guideline?
Description of the study
What interventions are evaluated in this study? What type of study is it (cost-benefit analysis, cost utility study, etc)? How many patients participated in the study? What was the scale of the incremental cost/benefit? Is any statistical measure of uncertainty given? What are the characteristics of the study population? How many groups/sites are there in the study? How was this study funded? Does this study help to answer your key question?other worthwhile
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 125 -
Projektbericht CoCanCPG
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
Version 1.0 09.02.2010
- 126 -
Format für Evidenztabellen - Intervention
Headings Description 1. Study (trial) ID Reference, number ISCTRN
2. Study type
Specify the type of study: RCT, CCT, case control, case series.
3. Source of funding/conflicts of interest Specify the source of funding: public research funds, government, not governmental organization, healthcare industry or other (give name of organization or corporation) presence of declaration of interest.
4. Setting Numbers of centers, countries involved, healthcare setting, urban/rural/mixed.
5. Hypotheses Specify the objective, hypotheses of the study.
6. Eligibility criteria State the inclusion and exclusion criteria for population (patients and pathology).
7. Sample size Lost to follow up
Give the calculated number in each group and the actual number of patients in each group. Give the number of dropouts/withdrawals in each group.
8. Duration of the Study Start date and end date of the study, inclusion and follow up periods. Duration in months. Planned and actual periods.
9. Randomization method Describe the randomization method and the blinding method is relevant (glossary)
10. Patient characteristics and group comparability
Specify a priori characteristics (age, tumor, stage). p for group comparability.
11. Interventions and compliance Precise details of the interventions for each group (including dose, length, regimen and timing if relevant). Distinguish between planned and delivered.
12. Control/comparator (including duration, dose)
Placebo, other treatment
13. Primary Outcome Measure(s) Secondary Outcome Measure(s)
State primary measure(s), usually used for sample calculation. Brief description of secondary outcome measure(s).
14. Effect size - Primary outcome Effect size – Secondary outcome(s)
Summary of the primary outcome in each and between groups: effect size and its precision (p value, CI) Including efficacy: Absolute risk reduction, relative risk (reduction), odds ratios, confidence intervals Brief description of secondary outcome(s) and p values.
15. All other outcomes, endpoints All other outcomes, endpoints, including adverse effects, toxicity, quality of life
16. Critical appraisal of study quality Appraise internal validity: sample size (alpha and beta used for calculation), randomization and blinding, use of inappropriate statistical analysis, group comparability at baseline.
17. Level of evidence Classification of intervention studies (definition of level of evidence needed).
Projektbericht CoCanCPG
Version 1.0 09.02.2010
(Fortsetzung)
tudy (trial) ID (1)
Study type (2)
Source of funding/ conflicts of interest (3)
Setting (4)
Hypotheses (5)
Eligibility criteria (6)
Sample size/ Lost to follow up (7)
Duration of the Study (8)
Randomization method (9)
Patient characteristics and group comparability(10)
Interventions and compliance (11)
Control/ Comparator (including duration, dose) (12)
Primary Outcome Measure (s) Secondary Outcome Measure (s) (13)
Effect size - Primary outcome(s) Effect size – Secondary outcome (s) (14)
All other outcomes, endpoints (15)
Critical appraisal of study quality (16)
Level of evidence (17)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 127 -
Projektbericht CoCanCPG
Version 1.0 09.02.2010
Format für Literatursuche und Synthese der Evidenz
1 Formulating the key clinical questions
Perform a multidisciplinary problem analysis .
Formulate structured key clinical questions using the PICO format Benchmark: Structured key questions are formulated using e.g. the PICO format.
Formulate these structured key clinical questions with input from clinical experts. ‘ Benchmark: Structured key clinical questions are formulated with input from clinical experts.
Document the key clinical question in the guideline and identify the excluded key questions (if present).
2 Searching studies Define selection criteria (e.g. study design, language and date) for studies a priori for each key clinical question. Benchmark: Selection criteria are defined priori for each clinical question.
Develop a search strategy for each key clinical question. Benchmark: Formulated in a step, not in a standard: Develop a search strategy for each key question
Include the selection of bibliographic databases (at least 2 databases including Medline) and websites to be searched in the search strategy. Benchmark: Combination of step and standard: Step: Select bibliographic databases and web sites to be searched. Standard: A range of bibliographic sources/databases are used (at least 2 databases including Medline) to reduce bias (e.g. covering literature from different countries, fields and study types)
Focus the search on the best available evidence to address each key clinical question, and aim for high coverage of studies at the top of the hierarchy of study types. Include the methodological filter in the search strategy.
Carry out the search strategy by qualified information specialists or experts trained in literature search. Methodological and clinical input is highly recommended. Benchmark: The search strategy is carried out by qualified information specialists.
Document the search strategy including search terms in a reproducible way. Benchmark: Search strategies are documented in a reproducible way.
Document bibliographic sources/databases. Benchmark: Bibliographic sources used are documented.
Decide on a trade-off between conducting an exhaustive search that will need additional recourses and undertaking a more modest search that may miss some small studies that would not alter the overall findings (sensitivity and specificity).
(Fortsetzung)
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 128 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 129 -
(Fortsetzung)
3 Selecting the evidence Make a first selection of the abstracts by sifting literature that meets the key clinical question (preferably by 2 independent members of the guideline development group)
Make a second selection of literature on full text of selected papers.
Use previously defined selection criteria to select studies. Benchmark: Previously defined selection criteria are used to select studies.
Validate the papers to be included and their classification according to clinical questions. Benchmark: The list of papers to be included is reviewed by clinical experts
Perform a double sifting of a random selection of abstracts periodically, because there is always an element of bias in selecting the evidence.
Document the study selection process, detailing reasons for inclusion or exclusion.
Document the results of the selection process. Benchmark: Results of the selection process are documented.
Consider, using consensus, to identify current best practice if no evidence was found to answer the clinical question.
4 Critical appraisal of the evidence: Methodological quality of selected studies evaluated
Base critical appraisal on full text of selected papers. Benchmark: Critical appraisal is based on full text of selected papers.
Assess the quality of studies using a pre-defined documented appraisal criteria specific to the study. Benchmark: Pre-defined documented appraisal criteria, specific to the study type, are used.
Appraise each study preferably by 2 members of the guideline development group independently. Benchmark: Each study is appraised by a minimum of two.
Discuss any differences in assessment. Where differences cannot be resolved, an independent reviewer or an experienced member of the staff will arbitrate to reach an agreed quality assessment. Document the results of the critical appraisal explicitly. Benchmark: Results of appraisal are explicitly documented.
(Fortsetzung)
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 130 -
(Fortsetzung)
5 Synthesising the evidence Data extraction, tables of evidence, level of evidence
Extract data from appraised studies.
Summarize all studies identified from the systematic literature review relating to each key search question into evidence tables.
Use pre-defined documented levels of evidence. Benchmark: Pre-defined documented levels of evidence are used.
Involve all those reviewing the evidence in relation to each specific question on the assignment of a level of evidence.
Use an appropriate clinical expert input into summarising the evidence tables and in defining the levels of evidence. Benchmark: There is appropriate clinical expert input into summarising the evidence-base and in defining levels of evidence.
Increase or lower the level of evidence depending on the quality of the study, where the study design is the major determinant for the level of evidence.
Increase or lower the level of evidence depending on the quality of the study, where the study design is the major determinant for the level of evidence.
Document evidence summary and levels of evidence. Benchmark: Evidence summary is documented. Benchmark: Levels of evidence are documented.
6 Analysing and interpreting the evidence Form guideline recommendations based on the evidence summary. Rate the strength of the recommendation to differentiate between recommendations based on strong evidence and weaker evidence. Where the GDG is unable to agree on a unanimous recommendation, formally record the difference of opinion and note the reasons for dissent.
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 1.0 09.02.2010
- 131 -
rsion 09.02.2010
- 131 -
Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen
Short term exchanges: expressed needsOOI
Training of process managers on the guideline development process
Guideline assessment and comparison
Procedures on how to translate gaps in knowledge into research recommendations
Sharing of own knowledge
Management of partnership working
Innovations and new initiatives
Guideline implementation methodologies
Literature search strategies
Overview of guideline programme of another partner
Grading recommendations
Adaptation methodologies
ISSACCCSIGNIOVU*
INCaPartnerTraining needs *IOVU
Declared that:
“Guidelinedevelopmentactivity, is a new subjectfor us.Therefore allknowledgewould beessential.
If it could be possible I could start from gaining knowledgeson literature search”
Short term exchanges: expressed offersIQWIG
Training of process managers on the guideline development process
Technology to facilitate guideline development
Guideline assessment and comparison
Procedures on how to translate gaps in knowledge into research recommendations
Sharing of own knowledge
Management of partnership working
Innovations and new initiatives
Guideline implementation methodologies
Literature search strategies
Overview of guideline programme of another partner
Grading recommendations
Adaptation methodologies
SIGNINCaISSACCCHASPartnerTraining needs
Please answer the following questions in detail, if possible!
Questions:
1. What are your detailed needs of a joint training in literature ?
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 132 -
2. What terms and conditions do you have when receiving a literature search by IQWiG?
3. What experiences do you have about literature search in general?
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 133 -
Anhang D: Fragebogen zum ADAPTE Manual
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 134 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 135 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 136 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 137 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 138 -
Anhang E: Fragebogen zur formalen Gestaltung des CoCanADAPTE Manuals
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 139 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 140 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 141 -
Anhang F: Fragebogen zum Pilot Test des CoCanADAPTE Manuals
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 142 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 143 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 144 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 145 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 146 -
Projektbericht CoCanCPG
Version
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
1.0 09.02.2010
- 147 -
Anhang G: Methoden der Leitlinienentwicklung der Partnerorganisationen
Name der Organization (partner number)
Land Leitlinienaktivitäten und Links zu Leitlinienhandbüchern
SIGN (10) Scotland SIGN is involved in clinical practice guideline (CPG) development and implementation strategies. In the past, SIGN worked on the AGREE tool and is currently involved in research into literature review methods, grading systems for recommendations, patient involvement and consensus techniques. SIGN delops its own CPGs. http://www.sign.ac.uk/pdf/sign50.pdf
ACCC (7) Netherlands CPG development, adaptation, implementation, evaluation, research and research into reasons of following guidelines or not in practice; research on the translation of CPG into indicators. ACCC develops its own CPGs. http://www ikcnet.nl/page.php?id=226&nav id=97#
DLCC (18) Canada DLCC’s activities are: CPG development and adaptation. DLCC develops its own CPGs.
CSO-MOH (5) Israel CPG development, CPG adaptation, CPG implementation. NCO develops its own CPGs.
IstitutoSuperiore di Sanità (17)
Italy The Clinical Epidemiology and Guidelines Unit of the CNESPS acts as a co-ordinator centre for five other collaborative centres, which are: the Documentation Service of ISS, the Livorno Local Health Authority, Zadig Publishing Agency, Laziosanità Public Health Agency of Lazio Region, Centre for Evaluation of Effectiveness of Health Care, Modena Local Health Authority
KCE (2) Belgium CPG development, adaptation, implementation, research and updating. KCE develops its own guidelines.
AETSA (8) Spain Evaluation and research of integrated care procedures (ICP), which include CPG as assistance tools. The ICP incorporates the search and assessment of the scientific evidence that exists for each care procedure, selecting the most relevant parameters and quality rules.
HAS (3) France CPG development, CPG adaptation, CPG implementation, CPG evaluation and CPG research. HAS develops its own CPGs on cancer, although, few are undertaken in HAS and some are done elsewhere with HAS endorsement. http://www has-sante.fr/portail/upload/docs/application/pdf/general m
Projektbericht CoCanCPG
Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)
Version09.02.2010
- 148 -
1.0
ethod eval techno.pdf
IOVU (14) Lithuania IO- Lith’s CPG activities are: CPG adaptation, implementation and planning to start research into CPG development methodologies.
IQWiG (15) Germany IQWiG’s activities are: CPG evaluation, research, and development of evidence reports (guidance). IQWiG does not develop its own CPGs.
NICE (11) Great Britain NICE’s CPG activities are: CPG development, implementation and research. NICE develops its own CPGs. http://www.nice.org.uk/nicemedia/pdf/guidelinecontribute how to CG.pdf
InCa (1) France CPG development, adaptation, implementation, evaluation, and research into CPG development methodologies. INCa will develop its own CPGs of which, the majority of CPG development will be externalized. Very specific topics will be undertaken within the organization i.e. guidelines focused on proper use of pharmaceutical specialities.
AATRM (9) Spain CPG development, evaluation, research and teaching activities regarding CPG development. CAHTA develops its own CPGs. http://www.gencat.cat/salut/depsan/units/aatrm/html/ca/dir252/doc7841 html
EUMIN (4) Hungary CPG development, CPG adaptation and CPG implementation.