trafność, rzetelność, dokładność, precyzja
TRANSCRIPT
TRAFNOŚĆ I RZETELNOŚĆDOKŁADNOŚĆ vs PRECYZJA
● BŁYSKAWICZNA OCENA KRYTYCZNA 4● TRAFNOŚĆ 8● ZMIENNE 9● RZETELNOŚĆ 20● DOKŁADNOŚĆ A PRECYZJA 22
Artur Sołtysiak, październik 2014
SPOSÓB CYTOWANIA:Artur Sołtysiak “Trafność, rzetelność, dokładność, precyzja. Istotne właściwości każdej pracy badawczej”.v1, prezentacja, pażdziernik 2014
Treść licencji: http://creativecommons.org/licenses/by-nc-nd/3.0/pl/legalcode
… CZYLI JAK UNIKAĆ SKAŁ I DOPŁYNĄĆ SZCZĘŚLIWIE DO CELU PRACY BADAWCZEJ!
BŁYSKAWICZNA OCENA KRYTYCZNA(RAPID CRITICAL APPRAISAL)
Dotyczy każdej pracy badawczej
CEL: OKREŚLIĆ KTÓRE ZE ZNALEZIONYCH PRAC SĄ:
➔ TRAFNE (valid)
➔ RZETELNE (reliable)
➔ DAJĄ SIĘ ZASTOSOWAĆ LOKALNIE W PRAKTYCE (applicable)
BŁYSKAWICZNA OCENA KRYTYCZNA
Trzy pytania:
1. Czy rezultaty badania są trafne? (metody badania są wystarczająco dokładne by uchwycić możliwie najbliższe prawdzie wnioski)
2. Jakie są rezultaty i czy są rzetelne? - badania interwencyjne (interwencja "działa", ma wpływ na punkty końcowe, duże prawdopodobieństwo uzyskania podobnych rezultatów w codziennych warunkach klinicznych)
BŁYSKAWICZNA OCENA KRYTYCZNA
Trzy pytania (ciąg dalszy):
2. Jakie są rezultaty i czy są rzetelne? - badania jakościowe (podejście badawcze jest właściwie dopasowane do celu badania, rezultaty/wyniki mogą być potwierdzone)
3. Czy wyniki pomogą mi w opiece nad moimi pacjentami? (pomiędzy badanymi a pacjentami jest podobieństwo, korzyści przeważają ryzyko, wykonalne i opłacalne, w zgodzie z wartościami i preferencjami pacjenta)
TRAFNOŚĆ (VALIDITY)
TRAFNOŚĆ: jak bardzo coś jest dla czegoś odpowiednie (właściwe)
TRAFNOŚĆ PROCEDURY: do jakiego stopnia dana procedura faktycznie mierzy to co chcemy zmierzyć
TRAFNOŚĆ WNIOSKU: do jakiego stopnia wniosek z badania da się wyprowadzić wprost z danych przedstawionych w badaniu
TRAFNOŚĆ PRÓBY: czy sposób w jaki tworzymy, łączymy naszą próbę, pozwala nam formować twierdzenia dotyczące populacji
Czy sposób operacjonalizacji zmiennymi na prawdę mierzy to co ma mierzyć?(dobra kontrola zmiennych zewnętrznych)
Czy zebrane dane pozwalają odpowiedzieć na zadane pytanie?(trafność wewnętrzna)
ZMIENNE (variables):MIERZALNE JAKOŚCI LUB CECHY CHARAKTERYSTYCZNE OSÓB,
RZECZY LUB SYTUACJI KTÓRE MOGĄ PODLEGAĆ ZMIANIE, ZRÓŻNICOWANIU LUB PRZYPADKOWYM ODCHYLENIOM
TO PODSTAWA BADAŃ ILOŚCIOWYCH:STANOWIĄ PRZEDMIOT BADAŃ W DANEJ POPULACJI
ZMIENNA NIEZALEŻNA (independent variable):➢ jest w badaniu od samego początku➢ badacz nią manipuluje➢ ma wpływ na inną zmienną (zależną)
PRZYKŁADY:➢ LEK I JEGO POSZCZEGÓLNE DAWKI➢ DANY SPOSÓB PIELĘGNACJI
(np: zmiana ułożenia pacjenta nieprzytomnego w łóżku)➢ CZĘSTOTLIWOŚĆ, CZAS TRWANIA EKSPOZYCJI LUB INTERWENCJI➢ OBECNOŚĆ LUB NIEOBECNOŚĆ CZYNNIKA, OSÓB
(np: obecność rodziców przy dzieciach w trakcie bolesnych zabiegów)
ZMIENNA ZALEŻNA (dependent variable):➢ pojawia się w przebiegu badania jako skutek➢ nie podlega manipulacji lecz obserwacji i pomiarom➢ jej wartość/wielkość zależy od wartości/wielkości
zmiennej niezależnej
PRZYKŁADY:➢ ODPOWIEDŻ NA LEK I JEGO POSZCZEGÓLNE DAWKI➢ EFEKT DANEGO SPOSOBU PIELĘGNACJI
(np: pobudzenie procesów naprawczych skóry, zachowanie integracji tkanki skórnej)➢ POJAWIENIE SIĘ FENOMENU (np: zmniejszony lęk, zwiększone zaufanie, sprawniejsza
komunikacja, lepsza współpraca z pacjentem, zwiększenie liczby osób biorących udział w badaniach przesiewowych dla danej populacji)
ZMIENNA ZEWNĘTRZNA (extraneous variable):➢ niechciana “zmienna niezależna”➢ ma wpływ na efekt badania choć nie jest zmienną
niezależną wprowadzoną przez badacza➢ zagraża trafności wyników badania
(validity of study results)
PRZYKŁADY:➢ ALERGIA / UZALEŻNIENIE / INNE LEKI WCHODZĄCE W INTERAKCJE
A ODPOWIEDŹ NA DANY LEK I JEGO POSZCZEGÓLNE DAWKI➢ CHOROBY WSPÓŁISTNIEJĄCE U PACJENTA A EFEKT DANEGO SPOSOBU
PIELĘGNACJI (np: niski poziom białka a pobudzenie procesów naprawczych skóry)➢ WIEK I ZDOLNOŚCI POZNAWCZE A POJAWIENIE SIĘ FENOMENU
(np: lęk, zwiększone zaufanie, sprawniejsza komunikacja, lepsza współpraca z pacjentem, zwiększenie liczby osób biorących udział w badaniach przesiewowych dla danej populacji)
ZMIENNE ZEWNĘTRZNE:
➢ należy je rozpoznać i jeśli to możliwe wyeliminować we stępnej fazie projektu badania
➢ jeśli nie można ich wyeliminować - należy zastosować środki by je maksymalnie zmniejszyć lub wprowadzić kontrolę zmiennych zewnętrznych w badaniu
JEŚLI NIE MAMY KONTROLI NAD ZNANĄ ZMIENNĄ ZEWNĘTRZNĄ STAJE SIĘ ONA ZMIENNĄ UWIKŁANĄ (confounding variable)
WYNIKI BADANIA SĄ NIETRAFNE (invalid): wyjaśnienie nie odzwierciedla zjawiska do którego się odwołuje.
BADACZ MOŻE KONTROLOWAĆ / ANALIZOWAĆZMIENNE ZEWNĘTRZNE JEŚLI SĄ ZNANE I MIERZALNE.
STRATEGIE REDUKCJI UWIKŁAŃ (confounding):➢ randomizacja (randomisation) cel: losowa dystrybucja zmiennych uwikłanych
(confounding variables) w grupach➢ restrykcja (restriction): ograniczenie “wejścia” do badań osobom z czynnikami
uwikłanymi (confounding factors) - samo w sobie wiąże się z ryzykim tendencyjności
➢ dopasowanie (matching) osób lub grup by zapewnić równomierną dystrybucję uwikłań
➢ stratyfikacja (stratification): uwikłania są równo rozdzielone wewnątrz każdej warstwy (subpopulacji badania)
➢ dostosowanie (adjustment) - zazwyczaj zniekształcone przez wybór standardu➢ analiza wieloczynnikowa (multivariate analysis) ma sens tylko wtedy gdy można
rozpoznać i zmierzyć uwikłania
TRZY GŁÓWNE ZAGROŻENIADLA TRAFNOŚCI BADANIA
1: TENDENCYJNOŚĆ (bias): błąd systematyczny (systematic error) w sposobie dobrania pacjentów, pomiarze punktów końcowych lub sposobie analizowania danych:➢ brak lub defekt randomizacji (nierówne grupy)➢ słabe zaślepienie (prowadzi do tendencyjnych wniosków)➢ utrata znaczącej liczby uczestników badania, brak lub zbyt krótkie śledzenie
postępów (follow-up)
TENDENCYJNOŚĆ PUBLIKACJI (publication bias):autor nie zawarł w pracy przeglądowej wszystkich istotnych dla pytania klinicznego badań (nie chciał lub słaba strategia wyszukiwania); charakterystyczne dla meta-analiz, rzadko w przeglądach systematycznych.
2: PRZYPADKOWOŚĆ (chance): wyniki są dziełem przypadku a nie rezultatem terapii, leczenia, pielęgnacji lub ekspozycji; szczególnie próby małej wielkości są narażone na przypadkowość
3: UWIKŁANIE (confounding): błąd w interpretacji co może być trafnym wyznacznikiem, miarą dla punktu końcowego;
Czynniki uwikłane (confounding factors): czynniki mogące wywołać punkt końcowy lub jemu zapobiec choć nie podlegają danemu badaniu, nie są zmiennymi pośrednimi i nie są przedmiotem badania.
TRZY GŁÓWNE ZAGROŻENIADLA TRAFNOŚCI BADANIA
(ciąg dalszy)
ANALIZA INTENTION-TO-TREAT (ITT)czyli w przyrodzie nic nie ginie
analiza ITT ma miejsce kiedy wszyscy losowani uczestnicy byli zgłoszeni i analizowani w grupach do których byli przydzieleni przez najważniejszy moment pomiaru punktu końcowego, bez względu na niezgodnosć (non-compliance) i współ-interwencje (co-interventions).
Analiza dotyczy badań z grupą kontrolną (RCTs meta-analizy, przeglądy systematyczne) gdzie badana jest skuteczność interwencji (nie dotyczy jeśli badany jest tylko efekt).
Założenie: aby wynik badania był wiarygodny, wszyscy uczestnicy badania są brani pod uwagę jako całość w końcowym etapie badania, nawet jeśli niektórzy go nie ukończyli.
ANALIZA INTENTION-TO-TREAT (ITT) - OCENA
A - TAK: wyraźnie podane przez autorów, że analiza ITT została przeprowadzona co zostało potwierdzone w trakcie oceny badania; lub nie podane ale jasno wynika z oceny badania że została ona przeprowadzona
B - NIEJASNE: opisano jako analiza ITT jednak ocena badania tego nie potwierdza, lub nie opisano i ocena badania nie jest w stanie potwierdzić
C - NIE: brak analizy ITT potwiedzony w trakcie oceny badaniaPrzykład: pacjenci którzy byli losowo przydzieleni do grup nie zostali ujęci w analizie ITT ponieważ nie otrzymali przewidzianej w badaniu interwencji, lub wycofali się z badania lub nie byli włączeni ze względu na naruszenie protokołu badania niezależnie od tego czy ITT zgłoszono czy też nie
RODZAJ BRAKUJĄCYCH DANYCH MOŻLIWE POWODY
BRAKUJĄCE BADANIA➢ TENDENCYJNOŚĆ PUBLIKACJI➢ NIEDOSTATECZNE WYSZUKANIE
BRAKUJĄCE PUNKTY KOŃCOWE➢ PUNKT KOŃCOWY NIE ZMIERZONY➢ WYBIÓRCZA TENDENCYJNOŚĆ
SPRAWOZDAWCZOŚCI
BRAKUJĄCE DANE PODSUMOWANIA➢ WYBIÓRCZA TENDENCYJNOŚĆ
SPRAWOZDAWCZOŚCI➢ NIEKOMPLETNA SPRAWOZDAWCZOŚĆ
BRAKUJĄCY UCZESTNICY BADANIA
➢ BRAK ANALIZY ITT➢ “WYKRUSZANIE SIĘ” UCZESTNIKÓW➢ WYBIÓRCZA TENDENCYJNOŚĆ
SPRAWOZDAWCZOŚCI
BRAKUJĄCE WŁAŚCIWOŚCI POZIOMU BADANIA(dla analizy podgrup lub meta-regresji)
➢ WŁAŚCIWOŚĆ NIE ZMIERZONA➢ NIEPEŁNA SPRAWOZDAWCZOŚĆ
NA PODSTAWIE: Types of missing data in a meta-analysis, w: Cochrane Handbook (http://handbook.cochrane.org/)
RZETELNOŚĆ (RELIABILITY)
STATYSTYCZNA POWTARZALNOŚĆ POMIARÓW (RÓWNIEŻ W KONTEKŚCIE KLINICZNYM), WŁĄCZAJĄC TAKŻE TESTOWANIE NARZĘDZI BADAWCZYCH LUB TECHNIK SŁUŻĄCYCH DO UZYSKANIA POWTARZALNYCH REZULTATÓW(Definicja: The National Center for Biotechnology Information http://goo.gl/31unHy tłumaczenie własne)
● DOBÓR ODPOWIEDNICH INSTRUMENTÓW POMIAROWYCH
● NALEŻY OKREŚLIĆ ICH DOKŁADNOŚĆ DLA NASZYCH POMIARÓW
● NIE MA CAŁKOWICIE RZETELNYCH PROCEDUR, TECHNIK I INSTRUMENTÓW BADAWCZYCH
RZETELNOŚĆ (RELIABILITY) c.d.
KIEDY MIERZYMY PUNKTY KOŃCOWE, CHCEMY BYĆ PEWNI ŻE OTRZYMANE REZULTATY (PUNKTY KOŃCOWE) SĄ RZETELNE.
1) CZY POWTARZAJĄC POMIAR PUNKTÓW KOŃCOWYCH OTRZYMAMY TE SAME REZULTATY?
2) JEŚLI WEŹMIEMY POD UWAGĘ ZMIENNOŚĆ (VARIABILITY) REZULTATÓW Z POWTARZANYCH POMIARÓW: CZY PODJĘLIBYŚMY TAKĄ SAMĄ DECYZJĘ ZARÓWNO W OPARCIU O MOŻLIWIE NAJLEPSZY WYNIK JAK I W PRZYPADKU NAJGORSZEGO WYNIKU?
DOKŁADNOŚĆ (ACCURACY)PRECYZJA (PRECISION)
★ W JĘZYKU POTOCZNYM WYRAZY TE UŻYWANE SĄ ZAMIENNIE
★ W BADANIACH EKSPERYMENTALNYCH:
- DOKŁADNOŚĆ: JAK DANY POMIAR JEST BLISKO AKCEPTOWANEGO LUB WŁAŚCIWEGO POMIARU
- PRECYZJA: JAK POWTÓRZONE POMIARY SĄ BLISKO WZGLĘDEM SIEBIE
WYSOKA DOKŁADNOŚĆNISKA PRECYZJA
WYSOKA PRECYZJANISKA DOKŁADNOŚĆ
DOKŁADNE? TAK / NIE
PRECYZYJNE? TAK / NIE
DOKŁADNE? TAK / NIE
PRECYZYJNE? TAK / NIE
DOKŁADNE? TAK / NIE
PRECYZYJNE? TAK / NIE