Hur skriver man statistikavsnittet i en ansökan?Val av metod och stickprovsdimensionering

Registercentrum Norrhttp://www.registercentrumnorr.vll.se/

statistik.rcnorr@vll.se

11 Oktober, 2018

1 / 52

Det här är vi

Gabriel Henrik

Per Simon

2 / 52

Upplägg

1 Teori2 Gemensam diskussion3 Individuella frågor

Efter detta pass hoppas jag att:att ni ska veta vad man ska tänka påvilka verktyg som finnsvilket stöd som finns

3 / 52

Varför är statistik viktigt?

Planer

ing

Datainsamling  Analys  

Publicering

 

Statistik

Frågeställning

4 / 52

Varför bry sig om statistik i planeringen?

Riskerar att dra felaktiga slutsatserRiskerar att inte kunna dra några slutsatserEj publicerbartMissade anslag

5 / 52

Enligt vetenskapsrådet

"Valet av statistisk analys (hypotesprövning) och/eller modellering,kvalitetssäkring eller dylikt ska redovisas tydligt. Kriterier för eventuellainterimsanalyser skall anges. Det är inte tillräckligt att angeallmänna begrepp såsom parametrisk, ickeparametrisk metod,deskriptiv statistik eller standardmetoder för analys. Observera,att normalfördelningen kan vara en möjlig sannolikhetsfördelning försymmetriska kvantitativa data men aldrig för data från bedömningar ifrågeformulär. Hur hanteras beroende data från upprepade mätningar,till exempel inom grupp eller mellan grupper? Vilka statistiska metoderplaneras för komplexa data från frågeformulär och andra subjektivabedömningar, som genererar ordnade kategoridata? Hur hanteraslongitudinella data och bortfall?"

6 / 52

Val av statistisk metod

Vilken studiedesign?Vilket är mitt utfall ?Hur kommer mitt data se ut?Val av statistisk metod

7 / 52

Design

Experiment Observationsstudie

Studieupplägg

Randomiserad kliniskstudie Tvärsnittsstudie 

Kohortstudie Fall-kontroll-studie

Longitudinell studie

8 / 52

Utfall

SkillnaderRiskerAntalet händelserTid till händelse

9 / 52

Datakvalitet

Vilket bortfall bör vi räkna med?Mätfel

SlumpmässigaSystematiska

Hur många patienter kan vi få in?

10 / 52

Primary Outcome

Särskilt viktigt i kliniska prövningarDet vi är mest intresserade av att undersökaStudien dimensioneras för dessa utfallSka hållas nere i antalKan behöva överväga justering för multipla jämförelserGärna kontinuerlig (om möjligt)

11 / 52

Analysplanen

Strukturera syftet i frågeställningar. Vad ska studeras och påvilka?StudiedesignVariabler och mätningDimensioneringStatistisk analysplanReplikerbar

12 / 52

Statistiska metoder

Det är lätta köra fast i gamla hjulspår när det gäller val av statistiskmetod.

Metod utifrån frågeställning och data.

13 / 52

Repetition och terminologi

I de flesta situationer vi ställs inför har vi inte tillgång till helapopulationen vi vill undersöka. Vi tar då ett stickprov från denpopulation vi önskar undersöka.

GenomsnittProportion

Standardavvikelse

MedelvärdeProportion

Standardavvikelse

Skattning av det sanna värdet

Det sanna värdet

Populationen Stickprov

14 / 52

Lägesmått

Vi skattar exempelvis det medelvärdet värdet för populationen medmedelvärdet i stickprovet.

Har vi en skev fördelning av mätvärden exempelvis operationstid så ärdet bättre att använda medianen som lägesmått.

15 / 52

Spridningsmått

Standardavvikelsen är ett mått på hur stor spridningen mellanobservationerna i stickprovet är.

Standard error är ett mått på osäkerheten i en punktskattning. Angerprecisionen i vår skattning.

Med hjälp av standard error kan vi beräkna bland annatkonfidensintervall.

Om vi upprepar ett försök tillräckligt många gånger kommer ett 95%konfidensintervall att täcka det sanna medelvärdet 95% av gångerna.

16 / 52

Konfidensintervall

170 180 190

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

170 180 190

17 / 52

Precision

●

●

●

●

●

10

20

40

80

120

162 165 168 171 174

18 / 52

Varför är power viktigt?

För lite dataMissar intressanta resultatKostnad

För mycket dataKostnadEj etiskt

OBS! Endast relevant före en studie är genomförd!

19 / 52

Vägen dit

Vilken typ studiedesign?Vilket är mitt utfall ?Hur kommer mitt data se ut?Val av statistisk metod

Stickprovsdimensionering

20 / 52

Vad är power?

BakgrundKonceptet med power bygger på hypotesprövning. En nollhypotes somska vara falsifierbar och ha en mothypotes.

Nollhypotesen: Det finns ingen skillnad mellan gruppernaH0 : µ1 − µ2 = 0

Mothypotesen: Det finns en skillnad mellan gruppernaH1 : µ1 − µ2 6= 0

Vad är power?Sannolikheten att korrekt förkasta en falsk nollhypotes (när denalternativa hypotesen är sann)

21 / 52

Hypotesprövning

2.5%2.5%

22 / 52

Typ ll-fel

Korrekt

Verkligheten 

Slutsats utifrån test

Ej förkasta nollhypotesen   Förkasta nollhypotesen

Nollhypotesen sann

Nollhypotesen falsk

Typ l-fel

Korrekt

Power = 1- sannolikheten för typ ll-fel

23 / 52

Typ-l Typ-ll

24 / 52

Typ-l fel

Typ-l felets storlek är lätt att kontrollera genom signifikansnivån.

En signifikansnivå på 5% innebär att vid tillräckligt mångaupprepningar av ett försök kommer att upptäcka en signifikant skillnadsom i verkligheten inte exsisterar i 5% av fallen. Dvs vi förkastarnollhypotesen.

25 / 52

Exempel

Antag att vi utför ett experiment där vi undersöker omtuggummituggande är associerat med matstrupscancer. Från våratexperiment drar vi slutsatsen att tuggummituggande ger en högre riskför matstrupscancer. Om det inte stämmer med verkligheten har vigjort oss skyldiga till ett typ-l fel.

Typ ll-fel

Korrekt

Verkligheten 

Slutsats utifrån test

Ej förkasta nollhypotesen   Förkasta nollhypotesen

Nollhypotesen sann

Nollhypotesen falsk

Typ l-fel

Korrekt

26 / 52

Exempel

Antag att vi istället drar slusatsen att tuggummituggande inte ger enhögre risk för matstrupscancer. Om det stämmer med verkligheten harvi inte gjort oss skyldiga till något fel.

Typ ll-fel

Korrekt

Verkligheten 

Slutsats utifrån test

Ej förkasta nollhypotesen   Förkasta nollhypotesen

Nollhypotesen sann

Nollhypotesen falsk

Typ l-fel

Korrekt

27 / 52

Tyvärr är det betydligt svårare att kontrollera typ II-felet. Typ II-feletberor på flera variabler:

Storlek på den skillnad vi önskar mätaSpridningen i materialet (standardavvikelsen)SignifikansnivånAntalet patienter

Oftast är det mer intressant att beräkna hur många patienter sombehövs för att uppnå en viss power.

28 / 52

Exempel

Antag att vi utför ett experiment där vi undersöker om rökning ärassocierat med matstrupscancer. Från vårat experiment drar vislutsatsen att rökning inte ger en högre risk för matstrupscancer. Omdet inte stämmer med verkligheten har vi gjort oss skyldiga till ett typ-llfel.

Typ ll-fel

Korrekt

Verkligheten 

Slutsats utifrån test

Ej förkasta nollhypotesen   Förkasta nollhypotesen

Nollhypotesen sann

Nollhypotesen falsk

Typ l-fel

Korrekt

29 / 52

Exempel

Antag att vi istället drar slusatsen att rökning ger en högre risk förmatstrupscancer. Om det stämmer med verkligheten har vi inte gjortoss skyldiga till något fel.

Typ ll-fel

Korrekt

Verkligheten 

Slutsats utifrån test

Ej förkasta nollhypotesen   Förkasta nollhypotesen

Nollhypotesen sann

Nollhypotesen falsk

Typ l-fel

Korrekt

30 / 52

Storlek på skillnaden

Spridning

Power

Signifikansnivå

Effektstorlek

Stickprovsstorlek (n)

31 / 52

Storlek på skillnaden

Definiera gränsen för intressanta skillnader!

Ofta har vi en tidigare studie att luta oss mot då vi uppskattar denförväntade skillnaden.

En fråga vi måste ställa oss är -Hur stor måste skillnaden vara för att den ska vara kliniskt relevant?

Det kan vara så att vi är intresserade av att hitta mindre skillnader änvad som uppmäts i pilotstudien.

32 / 52

Spridningen

Om det finns en tidigare studie kan vi hämta standardavvikelsen fråndenna studie.

Finns ingen sådan får vi uppskatta standardavvikelsen. Ett alternativär att arbeta med olika scenarion och undersöka hurstickprovsstorleken förändras med standardavvikelsen.

33 / 52

Effektstorlek

Beroende på vilken statistisk metod man valt så beräknaseffektstorleken på olika sätt olika. Ett exempel är Cohen’s d men detfinns väldigt många olika mått.

Gemensamt är att de är beroende av storleken på skillnaden och påspridningen. Överskattas spridningen så underskattar vi inte antaletsom behövs.

34 / 52

Exempel

Antag att vi vill testa hur effektiv en behandling är på att sänka detdiastoliskt blodtryck i en grupp patienter.

Är skillnaden mindre än 5mmHG mellan före och efter behandlingbedöms skillnaden som irrelevant. Vi har dock ingen aning om hur storspridningen är.

Vi beräknar hur många patienter som krävs för att nå upp till 80%power på 5% signifikansnivå.

35 / 52

Exempel

5 10 15 20

5010

015

0

Standardavvikelse

Ant

al Givet en skillnad på 5mmHg

36 / 52

En varning!

Effect size d

Small 0.20

Medium 0.50

Large 0.80

37 / 52

Övriga komponenter

MothypotesenKan vara enkelsidig eller dubbelsidig. Vad vi väljer här beror på om vitestar olikhet eller om vi redan på förhand vet vilken grupp somkommer ha högre mätvärden. Är vi osäkra ska vi alltid väljadubbelsidigt. För samma power kräver ett dubbelsidigt test flerpatienter.

SignifikansnivåSannolikheten för typ-I fel. Vanligtvis 0.05. Lägre signifikansnivå kräverfler patienter för att uppnå samma power.

PowerVanligtvis dimensioneras stickprovet för att uppnå en power på 80%men 90% förekommer också.

38 / 52

Sammanfattning

Hur stor stickprovstorlek som behövs beror på flera saker1 Power2 Signifikansnivån3 Effect size4 Metod

Power sätts oftast till 80% och stickprovet dimensioneras utifråndet.Stickprovet dimensioneras för ett fixt värde på signifikansnivå, enlägre signifikansnivå kräver en större stickprovsstorleken.Desto mindre skillnader vi vill kunna upptäcka, desto störrebehöver stickprovet vara.Vissa metoder ger högre power än andra.

39 / 52

Exempel

Antag att vi vill testa hur effektiv en ny behandling är på att sänka detdiastoliskt blodtryck. Vi planerar ge en grupp placebobehandling ochen grupp aktiv behandling. Innan behandlingen är blodtrycket är100mmHg i båda grupperna. Vi vet från en tidigare studie att vi kanförvänta oss en standardavvikelse på 25mmHG. Nu vill vi veta hurmånga patienter vi behöver inkludera för att upptäcka en skillnad på5mmHg. Med andra ord om blodtrycket i gruppen som får behandlingär 95mmHg eller mindre vill vi upptäcka det med en power på 80 %.

Vi vill testa

Nollhypotesen: Ingen skillnadMothypotesen: Blodtrycket är lägre efter behandling

40 / 52

Vi är bara intresserad av fallet mindre än 95mmHg. Således är det ettensidigt test.Om vi använder signifikansnivån 5% behövs 310 patienter i varderagrupp för uppnå en power på 80 %.

41 / 52

Fortsättning

Om blodtrycket efter behandling är 90mmHG? I detta fall behöver viendast 78 patienter i vardera grupp för uppnå en power på 80 %.

42 / 52

Ett annat sätt att beräkna stickprovsstorleken

Ett annat alternativ för att beräkna stickprovsstorleken är utifrån vilkenprecision vi behöver ha.

●

●

●

●

●

Önskad precision

10

20

40

80

120

162 165 168 171 174

43 / 52

Hur går det till rent praktiskt?

För enklare fall:G*Powerhttp://powerandsamplesize.com/https://www.sealedenvelope.com

För svårare fall...

44 / 52

Exempel G*Power

45 / 52

powerandsamplesize

46 / 52

sealedenvelope

47 / 52

Hur beskriver man det i text?

1 Beskriv vilken metod ni valt och varför den passar.2 Baserat på vilken metod ni valt beskriv vilken information som

ligger till grund för era beräkningar och vad ni kommit fram till.

48 / 52

Exempel metod

Resultatet från behandlingen av det diastoliska blodtrycket kommeranalyseras med ett parat t-test. Detta är lämpligt då vi mäter sammaindivider före och efter behandling (matchade par) och variabeln vimäter är kontinuerlig.

49 / 52

Exempel power

Stickprovsstorleken beräknades med ett dubbelsidigt parat t-test på en5% signifikansnivå.

I en tidigare studie har vi hittat en genomsnittlig skillnad på 10mmHGmellan för och efter mätningar och en standardavvikelse på 15mmHG.Eftersom att vi är intresserade av att hitta mindre skillnader än10mmHG så kommer vi räkna med en skillnad på 5mmHG (vilket vibedömer vara den minsta skillnaden av kliniskt intresse). Dennaskillnad tillsammans med den observerade standardavvikelsen på15mmHG användes för att beräkna stickprovsstorlek . Enstickprovsstorlek på 144 patienter behövs för att uppnå en power på80%.

50 / 52

Sammanfattning

Detta måste ingå i en ansökan:

FrågeställningPrimary outcomeStudiedesignStatistisk analysplanStickprovsdimensionering

Planer

ing

Datainsamling  Analys  

Publicering

 

Statistik

Frågeställning

51 / 52

Om ni vill ha hjälp med en ansökan?

Genom ALF-finansiering har vi möjlighet att hjälpa er.

Alla kliniska forskare som planerar en klinisk studie, och avser att sökaforskningsanslag från forskningsråd och andra större nationellafinansiärer omfattas.

http://www.registercentrumnorr.vll.se/statistik.rcnorr@vll.se

52 / 52