患者報告式アウトカム尺度の測定誤差と解釈可能性の評価入門

2014-08-02

患者報告式アウトカム尺度の測定誤差と解釈可能性の評価入門吉田和樹ハーバード公衆衛生大学院薬剤疫学博士課程 (9月より)

1http://www.mycutegraphics.com/graphics/school/supplies/green-cartoon-ruler.html

http://www.lisperati.com/logo.html

✤ De Vet et al. Measurement in Medicine!

✤ 奥村2012 明日から使える臨床的有意性の指標!

✤ 竹林2012 内容的妥当性，構造的妥当性と仮説検定の評価!

✤ 国里2013 反応性と解釈可能性の評価!

✤ 福原2008 リサーチクエスチョンの作り方

2

参考資料

http://www.slideshare.net/yoshitaket/cosmin-takebayashi-21816803

http://researchmap.jp/mup8ksmkp-51087/?action=multidatabase_action_main_filedownload&download_flag=1&upload_id=35024&metadata_id=29089

http://www.slideshare.net/YoshihikoKunisato/ss-37480140

4

COnsensus-based Standards for the selection of health

Measurement INstruments

http://www.cosmin.nl

5

健康関連の測定尺度の選択を改善するためのとりくみ

http://www.cosmin.nl

6http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx

構成概念

測定尺度

(測定したい概念)

(測定に使う方法)

construct

measurement instrument

7


http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx

構成概念

測定尺度


そもそもしっかり測定できていないと量的研究が成立しない!

8http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx

構成概念

測定尺度



妥当性(validity)信頼性(reliability)

解釈可能性(interpretability)反応性(responsiveness)

測定尺度の評価方法の標準化が必要

9

妥当性(validity)

信頼性(reliability)

解釈可能性(interpretability)

反応性(responsiveness)

患者報告式アウトカムの評価軸

そこで、、

9

10

妥当性(validity)




的はずれでなく測りたいものを測れているかどうか

測定をくりかえしたときに再現性があるか

測定誤差

測定対象が変化した時に変化するか

患者報告式アウトカムの評価軸

数字に意味をもたせられるかどうか

そこで、、

10

http://www.slideshare.net/yoshitaket/cosmin-takebayashi-21816803今回はふれません。こちらを参考に→

11

妥当性(validity)




的はずれでなく測りたいものを測れているかどうか

測定をくりかえしたときに再現性があるか

測定対象が変化した時に変化するか

数字に意味をもたせられるかどうか

測定尺度の質の指標

質の指標ではないが有用性に影響する

測定誤差

11

観察された変化

12

70 50∆= -20

(今回は主に”変化”について)

観察された変化

13

70 50∆= -20

解釈可能か?

観察された変化: 具体的な測定尺度

14

70 50∆= -20

減量介入前体重減量介入後体重

kg kg

kg

の場合

観察された変化: 具体的な測定尺度

15

70 50∆= -20

減量介入前体重減量介入後体重

kg kg

kg

単独の値も

変化の値も!意味がわかる

の場合

観察された変化: 患者報告式アウトカム

16

70 50∆= -20

治療介入前治療介入後

Fibromyalgia Impact Questionnaire (FIQ)

の場合

17http://www.fibromyalgi.dk/upload/FIQ_Engelsk_udgave.pdf


これを集計して0-100の生活への影響度スコアにまとめる

観察された変化: 患者報告式アウトカム

18

70 50∆= -20

治療介入前治療介入後

Fibromyalgia Impact Questionnaire (FIQ)単独の値も

変化の値も意味が!よくわからない

の場合

患者報告式アウトカム尺度

patient-reported outcome (PRO) measures

19


✤ “A PRO is any report of the status of a patient’s health condition that comes directly from the patient, without interpretation of the patient’s response by a clinician or anyone else.”!

✤ “Use of a PRO instrument is advised when measuring a concept best known by the patient or best measured from the patient perspective.”

20


✤ “A PRO is any report of the status of a patient’s health condition that comes directly from the patient, without interpretation of the patient’s response by a clinician or anyone else.”!

✤ “Use of a PRO instrument is advised when measuring a concept best known by the patient or best measured from the patient perspective.”

21

患者の生の声患者が一番わかっているものを測るとき有用

なぜFDAがPROを気にするか

✤ 患者にとって意味のある測定尺度で新規治療の評価を行うことにつながる。!

✤ 検査値を良くする治療ではなく患者の生活をより良いものにする治療が望ましい治療。!

✤ ただし、使うからには解釈可能な良い測定尺度であることが求められる。FDAでは治験の結果に加えて、治験で使われたPROの作成手順の評価も行なっている。

22

なぜFDAがPROを気にするか

✤ 患者にとって意味のある測定尺度で新規治療の評価を行うことにつながる。!

✤ 検査値を良くする治療ではなく患者の生活をより良いものにする治療が望ましい治療。!

✤ ただし、使うからには解釈可能な良い測定尺度であることが求められる。FDAでは治験の結果に加えて、治験で使われたPROの作成手順の評価も行なっている。

23

患者にとって意味が乏しい不適切な尺度をでっちあげて治験で”有効性”を示されるのを防ぎたい?




解釈の難しさが問題

測定尺度の測定誤差measurement error of measurement instrument

25

測定誤差に関する評価項目

26


✤ 同一の測定対象に独立して2回以上測定されたか!

✤ 測定の時間的間隔が述べられたか!

✤ その間は患者の状態(構成概念)は安定していたか!

✤ 同じように測定されたか!

✤ Smallest Detectable Changeとして表わされたか27


✤ 同一の測定対象に独立して2回以上測定されたか!

✤ 測定の時間的間隔が述べられたか!

✤ その間は患者の状態(構成概念)は安定していたか!

✤ 同じように測定されたか!

✤ Smallest Detectable Changeとして表わされたか28測定誤差をサマライズする方法の一種と考えられる

ほぼ同じ条件(患者の状態および測定のしかた)で二回以上測定しているかどうか

測定誤差が小さい

29

体高を一日ごとに3回測定

100.0cm 100.9cm 99.3cm

安定状態と考えられかつ、測定値のばらつきが小さい1年後120cmだったら成長しているといえるか?

測定誤差が大きい

30

体高を一日ごとに3回測定

100cm

171cm

23cm

安定状態と考えられるが、測定値のばらつきが大きい1年後120cmだったら成長しているといえるか?

測定誤差を示すには

✤ Standard error of measurement!

✤ 3つの計算方法がある。測定のばらつきを定量化。!

✤ Smallest detectable change!

✤ Standard error of measurementより計算。測定のばらつきが解釈に与える影響を定量化。

31

Standard error of measurement計算法

✤ 方法1: Intra-class correlation (ICC)を用いる!

✤ 方法2: 二時点間の変化の標準偏差を用いる!

✤ 方法3: (推奨されない)

32

Standard error of measurement計算法2

33

SD(change) = √2 × SE(single measurement)

2つの観測点が変化の計算に必要なので二倍になる

Var(change) = 2 × Var(single measurement)

2つの観測点の個人内の差の分散

両辺の平方根をとる

SD(change) / √2 = SE(single measurement)

SE(single measurement) = SD(change) / √2

単一の観測点の分散(ばらつき)

Smallest detectable change

✤ 測定された変化は本物かどうか?!

✤ 測定誤差を上まわると考えられる最小の変化がSDC!

✤ 測定尺度の統計学的特徴(臨床的意味と完全に別個)!

✤ 分布から統計学的手法を用いて決定される

34

Smallest detectable change計算方法

✤ SDC = Weight × (Standard error of measurement)!

✤ (Standard error of measurement)におさまる範囲よりWeight倍大きければ本当の変化があったとみなす!

✤ Weightは状況により、1、1.96、2.77(=1.96×√2)など。1.96×√2はBland-AltmanのLimit of Agreementに同じ

35Turner D et al. J Clin Epidemiol. 2010 Jan;63(1):28-36.

Smallest detectable change

36

d ± 1.96 × SD(change)−

0 ± 1.96 × SD(change)

系統的誤差

系統的誤差がない場合

p242

変化していないはずの構成概念の測定値の差の95%程度がこの範囲に収まる!→この範囲に収まるサイズの変化は偶然の誤差でも説明が付いてしまう

Limits of Agreementと呼ぶ!これをSDCとして扱う

d ± 1.96 ×√2 × Standard error of measurement−

SD(change) = √2 × SE(single measurement) より

Limits of Agreement 2.77(=1.96×√2) をWeightにした場合

(正規分布を仮定すると)

実例: Bland & Altman血圧データ

37Bland and Altman. Measuring agreement in method comparison studies. Stat Methods Med Res 1999 8: 135.

収縮期血圧の二回の測定を使用

一回目の測定二回目の測定

MethCompパッケージのsbpデータセット


38

Bland-Altman plot

Y軸は二測定の差

X軸は二測定の平均

MethCompパッケージのBlandAltman()関数で描画

http://rpubs.com/kaz_yos/ba-plot


39

d = -2.5mmHg−

+20mmHg

-25mmHg

Bland-Altman plot

d + 1.96 × SD(change)−

d −

d - 1.96 × SD(change)−

完全一致=0

系統的誤差

MethCompパッケージのBlandAltman()関数で描画

1.96×√2×SEM = 1.96×SD(change) = 1.96×11.41 mmHg = 22.4 mmHg

+22.4 mmHg

-22.4 mmHg

Y軸は二測定の差 X軸は二測定の平均


40Y軸は二測定の差 X軸は二測定の平均

d ± 1.96 × SD(change)−この範囲内の差は誤差(本当の差はない)とみなす

d = -2.5mmHg−

+20mmHg

-25mmHg

+22.4 mmHg

-22.4 mmHg


41Y軸は二測定の差 X軸は二測定の平均

偶然でこの外側に出てくる確率は誤差の正規分布を仮定すると5%

d = -2.5mmHg−

+20mmHg

-25mmHg

+22.4 mmHg

-22.4 mmHg

血圧が個人内で±22.4 mmHgより大きな変化があれば前後で変化があったと考えてよさそう。これをsmallest

detectable changeとする(Limit of Agreement法)

測定誤差に関するまとめ

✤ 血圧のような具体的な測定尺度でも問題になる!

✤ 同一の測定対象に独立して2回以上測定して、Smallest

detectable changeとして表すと理解しやすい

42

測定尺度の解釈可能性interpretability of measurement instrument

43

解釈可能性に関する評価項目

44

解釈可能性に関する評価項目

✤ 測定値の分布はどのようか!

✤ 床(floor)/天井(ceiling)効果があるか!

✤ 特定の患者グループでの値や変化値があるか!

✤ Minimal important changeが知られているか

45

Minimal Important Change (MIC)

✤ 測定された変化は患者にとって意味があるか?!

✤ 臨床的な概念であり、統計学の話ではない!

✤ 臨床試験では、統計学的に有意かだけでなく、臨床的に意味があるかが重要!

✤ 解釈しやすい外的な基準(anchor)を用いて決められる46

相互の関係

47

Smallest Detectable Change

Minimal Important Change

測定誤差

解釈可能性治療効果に臨床的に意味があるか測定誤差とは概念的に別個

測定誤差によってきまる測定誤差を表す指標の一種と考えられる

48

変化なし smallest!detectable!

change

minimal!important!

change

測定誤差を超えて検出できる範囲

臨床的に意味のある変化

臨床的に意味のある変化はすべて検出可能な理想シナリオ

変化なし minimal!important!

change

smallest!detectable!

change

測定誤差を超えて検出できる範囲臨床的に意味のある変化

臨床的に意味のある変化の一部は測定誤差で検出不能なシナリオ

Anchor-based method

✤ 解釈しにくい測定尺度のMinimal important changeを設定するため、より解釈しやすい他の測定尺度(anchor)を使用して目印をつける!

✤ Mean change method!

✤ ROC method

49

線維筋痛症fibromyalgia

50

具体例の方がわかりやすいので

線維筋痛症(Fibromyalgia)

✤ 広い範囲の慢性的な痛みを特徴とする。!

✤ heightened pain response(軽い刺激に対して過剰な痛みが起る)!

✤ 末梢に痛みが生じるが末梢の客観的な検査は正常!

✤ 疾患の活動性を評価するのは患者自身の評価による他ない

51

どうやって評価するか

✤ 日常臨床で使われている確立したものはない。!

✤ Tender point count!

✤ Fibromyalgia Impact Questionnaire*!

52*Bennet et al. J Rheumatol 2009;36:6.

Wikipedia

Bennett et al.の研究

54

Changeのこと RQ: 治療前後でどれくらいFIQが改善したら患者の生活にとって本当に意味のある改善と言えるのかを知りたい。!!FIQはすでに多くの研究で使われていたが、この点は2009年時点で十分検討されていなかった様子

Bennet et al. J Rheumatol 2009;36:6.

Bennett et al.の研究：方法

✤ 既存の3つの薬剤臨床試験のデータを使用!

✤ すべての試験で治療前後のFIQが測定されていた!

✤ 解釈しやすい状態変化のanchorとしてはPatient

Global Impression of Change (PGIC)が試験終了時に測定されていた

55

Patient Global Impression of Change

✤ “very much improved”, “much improved”, ”minimally improved”, ”no change”, ”minimally worse”, ”much worse”, ”very much worse”の7段階で患者に評価してもらう!

✤ 患者自身が痛みやその他の症状、また、治療の副作用などをひっくるめて全体的にどう感じているのかの全体的指標として用いられてきた

56

Bennett et al.の研究：結果

57

だいたいFIQが20%改善(低下)していれば患者も少しは改善したと感じている

7つの改善度カテゴリごとにFIQのpercentage変化の平均を出している

→FIQの20%改善をFIQのMinimal important

changeとみなす(mean change method)

ROC method

✤ Anchorで改善した群とそうでない群に分類して”binary gold standard”とする!

✤ Minimal important changeを求めたい測定尺度を”検査値”として扱う!

✤ ROCカーブを描いて、至適カットオフを求める58

人工データでROC法のデモ

59http://rpubs.com/kaz_yos/mic-roc-method

Patient Global Impression of Change (PGIC)風

変化のスコア

ggplot2パッケージで”boxplot”を描画



臨床的悪化群はデータから落す

不変群

改善群



不変群

改善群

この二群を分ける至適カットオフをROCで探る

??

??臨床的悪化群は

データから落す



スコアの-42.3の改善をMinimally

important changeとすると特異度77%

感度85%で患者にとって意義のある改善を見つけられる。

pROCパッケージroc()関数でROC作成、plot()関数でグラフ描画

まとめ

✤ 治療法の評価に患者の生の声を反映するのは重要!!

✤ 生の数字が直接意味を持たない患者報告式アウトカムの変化の数字の解釈には!

✤ Smallest detectable changeで表現される測定尺度の測定誤差と!

✤ Minimal important changeで表現される患者にとっての意義の!

✤ 両方の考慮が必要である。63

まとめ

✤ Smallest detectable changeを超えない個人内の変化は、そもそも本当の変化では可能性がある。!

✤ Minimal important changeを超えない変化は患者にとって意義深くない可能性がある。

64

65

questions?

患者報告式アウトカム尺度の測定誤差と解釈可能性の評価入門

Education