숙련도 시험 (Proficiency Test) 및 평가방법

2008년 12월 11일

울진환경감시센터 워크숍

이 완 로

petor@kaeri.re.kr, 042-868-2324

2/63

순서

1. 숙련도 시험

2. 숙련도 시험 평가방법: 사례

3. 숙련도시험용 RM(기준물질) 제작및특성평가

4. 감마방출핵종측정시불확도산출방법

3/63

숙련도(Proficiency testing) 시험

1. 숙련도 시험 (proficiency testing):시험소 (Lab)간 시험 비교 방법을 통하여 시험소의 시험 수행도를 판정하는 것으로 ISO/IEC guide 43-1, 2에 정의 됨.

개별 시험소의 능력을 평가, 지속적인 모니터링

문제점을 파악, 초기에 개선

새로운 시험 및 측정방법의 유효성 등 검증

고객에게 신뢰를 줌

시험소간 차이점 도출

2. 숙련도 시험의 주관기관

기준물질(RM) ( 자체제작:전처리, 특성평가, 분배)

데이터 분석, 보고 및 평가 방법 (통계 전문가 자문)

4/63

숙련도 시험 형태

1. 측정비교법: (Measurement comparison Schemes)

특성값을 알고 있는 기준시료를 이용하여 해당기관의 시험, 측정 능력을 평가

2. 시험기관간 비교(Inter-laboratory testing scheme)

둘 또는 그 이상의 시험기관이 미리 설정된 조건에 따라 같거나 유사한 시험물에 대하여 시험을 구성 및 수행하고 평가

5/63

용어정리

1. 표준 물질 (Reference Material:RM)- ISO 30

측정기기의 교정, 측정 방법의 평가 또는 물질의 값을 결정하는데사용

특성치가 충분히 확정된 (확보된) 균질한 소재 또는 물질

2. 인증 표준 물질 (Certified Reference Material: CRM)-ISO 30

소급성(Traceability)이 확보된 방법에 따라서 특성치를 인증한 인증서가 첨부되어 있는 표준물질 (RM), 주어진 신뢰수준의 불확도를 갖고 있는 표준물질

3. 기준시험소: 시험품에 기준값을 부여하는 시험소: 예, KRISS

4. 설정값: 특정량에 귀속된 값으로, 주어진 목적에 적절한 정도의 불확도를 가진 값

6/63

용어정리

1. 소급성

명시된 불확도를 끊어지지 않는 비교사슬을 통하여, 통상 국가 또는 국제표준으로 규정한 표준과 연관되어질 수 있게 하는 측정결과 또는 표준값의 특성

2. 반복성: 반복하여 측정하는 결과 사이의 일치성(같은 시험소)

3. 재현성: 재현성 조건하에서 시험결과들의 일치성, 여기서 재현성 조건이란 다른 시험소에서 동일한 재료에 대해서 동일한 시험방법으로 시험결과들이 얻어지는 조건

7/63

숙련도 운영기관 자격

1. RM 제공 및 데이터 분석, 평가방법 능력 확보

RM

: 값+불확도

합리적인

평가 방법

기준/기본

8/63

평가 방법

일반적인 평가방법

1. 변동의 척도

1. 변동계수 (Coefficient of variation :CV)

100×=평균

불확도CV

2. 상대표준불학도(relative standard uncertainty: RSU

설정값

UncRSU =

9/63

평가 방법

일반적인 평가방법

2. 변환정도

1. 차이 백분률(percent difference)

100×−

=m

mxPD

2. z-score 방법 (주어진 값, outlier 제외한 IC 참가한 결과들의 불확도)

σmxZscore

−=

3. U-test

22analystmean

testUncUnc

mxu

+

−=

10/63

평가 방법

예)

BA C

Assigned value

Assigned uncertainty

어떤 값이 좋은 결과를 얻을까? KINS평가방법: C>B>A

여러분의 판단은?

11/63

평가 방법

IAEA 평가 방법 I

1. z-score 방법 (참여국가간의 결과 값들의 표준편차, 평균만 평가)

σmeananalyst

score

ValueValueZ

−=

2. U-test (평균+불확도 고려)

3. 정확도와 정밀도 (평균+ 불확도)

22analystmean

analystmeantest

UncUnc

ValueValueu

+

−=

%10022

×⎟⎟⎠

⎞⎜⎜⎝

⎛+⎟⎟

⎠

⎞⎜⎜⎝

⎛

analyst

analyst

mean

mean

ValueUnc

ValueUnc

12/63

평가 방법

IAEA 평가 방법 II

1. z-score 방법 (참여국가간의 결과 값들의 불확도, 평균과의 차이만 평가)

σmeananalyst

score

ValueValueZ

−=

• Performance was considered to be acceptable if this difference was less than or equal to two (⏐Z⏐≤ 2.58)

• The target values for the standard deviation (σ) have been assigned on the basis of the reproducibility standard deviation (the standard deviation of the consensus mean after outlier rejection which expresses inter-laboratory precision)

13/63

평가 방법

IAEA 평가 방법 III

σmeananalyst

score

ValueValueZ

−= ,⏐Z⏐≤ 2.58

m m+σ

물리적 의미: 참여기관들의 각각의 불확도는 고려하지 않고 단지제시된 평균값과 참여기관의 평균의 차이만을 고려.

참여기관들의 불확도 분포의 편

차는 고려 (σ)

analystValue

정확도

14/63

평가 방법

IAEA 평가 방법 IV

m m+σ analystValue

물리적 의미: 참여기관들의 각각의 불확도 고려하여 제시된 평균값과 참여기관의 평균의 차이를고려.

참여기관들의 불확도 분포의 편

차는 고려 (σ)

정확도

2258.2

analystmeananalystmean UncUncValueValue +×≤−

B

A

15/63

평가 방법

IAEA 평가 방법 V

σ2%10022

≤×⎟⎟⎠

⎞⎜⎜⎝

⎛+⎟⎟

⎠

⎞⎜⎜⎝

⎛

analyst

analyst

mean

mean

ValueUnc

ValueUnc

정밀도를 의미

참여기관, 주관기관의 평균 및 불확도 비

정밀도: A 정밀도: B

16/63

평가 방법

IAEA 평가 방법 VI

정확도 정밀도 평가

A A OK

A B W

B A W

B B N

17/63

평가 방법

NPL (영국 표준기관)

18/63

평가 방법

NPL (영국 표준기관)

Typical example 4.85, 6.18, 6.28, 6.49, 6.69.Can we reject observation 4.85 as an outlier at a 95% confidence level?

Answer: The corresponding Qexp value is: Qexp = (6.18 − 4.85) / (6.69 − 4.85) = 0.722. Qexp is greater than Qcrit value (=0.710, at CL:95% for N=5).

19/63

평가 방법

NPL (영국 표준기관)

20/63

평가 방법

NPL (영국 표준기관)

21/63

평가 방법

KINS

교차분석대상핵종

시료번호

농도 범위(Bq/kg,L,필터, Total) A W N 기타

B-1 0.1～10 < ±10% ±10% ～ ±30% > ±30%

B-2 1～100 < ±15% ±15% ～ ±40% > ±40%

G-1 K-40Cs-137

< ±15%< ±10%

±15% ～ ±20%±10% ～ ±15%

> ±20%> ±15%

G-21)ABC

< ±10%< ±20%< ±30%

±10% ～ ±15%±20% ～ ±30%±30% ～ ±50%

> ±15%> ±30%> ±50%

G-42) A < ±10% ±10% ～ ±15% > ±15% ND, FP

H-3 T-1 10～1000 < ±15% ±15% ～ ±30% > ±30%

S-1 2～200 < ±20% ±20% ～ ±50% > ±50%

S-2 1～100 < ±20% ±20% ～ ±50% > ±50%Sr-90

감마핵종

전베타 방사능

100×−

=m

mxPD

방사능분석비교숙련도시험용기준물질제조및특성평가

23/63

기준물질 제조 ( 벨기에, IRMM)

IRMM: Institute for Reference Materials and Measurements

24/63

기준물질 제조 (material collection)

Poland Mushroom, 100 kg

RM candidate

25/63

기준물질 제조 (processing, milling)

10 kg dry

26/63

기준물질 제조 (material collection)

1. Optimization of milling-process

optimized using an experimental design with three main parameters

A. Time 4 ~ 16 min

B. Number of ball, n=6 ~10

C. Quantity to be milled, 60 ~ 100 g

D. Evaluation criterion, yield of particle < 125 µm (85 %)

27/63

기준물질 제조 (material collection)

Particle analysis, by laser scattering, sievingyield of particle < 125 µm (85 %), < 255 µm (99.6)

28/63

기준물질 제조 (Bottling and storage)

10 g per bottle

29/63

균질성 테스트 (Homogeneity)

병내 균질성

병간 균성I

IIIII

30/63

균질성 테스트 (Homogeneity)

ANOVA test: 세 개 이상의 그룹간의 테스트, 분산분석, Analysis of variance

자료: 한남대학교, 통계학 강의자료

31/63

균질성 테스트 (Homogeneity)

자료: 한남대학교, 통계학 강의자료

32/63

균질성 테스트 (Homogeneity)

ANOVA test 예

F<Fcrit, homogeneity

33/63

균질성 테스트 (Homogeneity)

34/63

균질성 테스트 (Homogeneity)

Uncertainty from bottle average (ubb)

35/63

Stability I

Short-term stability

Two measurements for 1,2,4 week-point, 6 measurements at time 0

Slope not significant

Long-term stability

0, 3, 6,12, 24, and 36 months

Reference temperature=18 °C

36/63

Stability II

Standard deviation of the slope= 0.082 %/months

ults for months (=5 years)=4.9 %

37/63

Characterization

38/63

Value assignment for RM

Combined uncertainty ( see GUM)

Uc,RM

=10.2 %, (k=2)Value assignment

39/63

2008년도 교차분석 중 쌀 시료

•토양및물에 STD 소스혼합 (KAERI)-> Cs-137 불확도: 3 %•쌀수확: KAERI-> KRISS 제공• KRISS 일반쌀과혼합해서 RM 제작•각종테스트및측정 : 4 ~ 7 %

40/63

시료량이 적은 경우

1. 일반 시료와 혼합하면 문제점 발생

감마핵종 분석시 측정불확도 산정

42/63

1993년 이전:오차 (계통오차: System error)

a

a= (계통오차): 무한측정의 평균값-참값

43/63

1993년 이전:오차 (우연오차: Random error)

오차=a+b=

계통오차+우연오차= 유한 측정의 결과-참값

b=우연오차: 유한 측정의결과-무한측정의 평균값

a=계통오차: 무한측정의 평균값-참값

a

b

44/63

1993년 이후: 불확도

45/63

오차와 불확도

46/63

오차와 불확도

참값

(보정전) 측정값유한측정

계통효과에 의한불확도

보정값

측정값

우연오차계통오차

우연효과에 의한불확도

무한측정 평균

출처: 측정클럽, 이경범, KRISS

47/63

불확도 모델링

수식 세우기

불확도 요소

표준불확도 uiA 형 B형

합성표준불확도 uc

확장불확도 U

비통계적통계적

신뢰수준, 유효자유도

감도계수 Ci

xxm ∆+=

u(x), u(∆x)

)()()( 22

21c xucxucmu ∆+=

)(2 c muU ×=

48/63

유효자유도

49/63

자유도

n번 실험하여 “A형 평가”하여 구할 때 자유도는 n-1

• 이유: n번 측정하여 평균을 구하면 n-1번째만 알면 자동으로 n번째 값은 고정

• 자유도는 n-1임.

nxnxxm +++

=.....21

50/63

자유도

k+1=3 : 자유도 0x+y=3 : 자유도 1

x + y + z =3x + 2y + 3z= 63x+y+z=5

변수는 사례수 방정식수는 제한조건(만족시켜야 할 제한조건) 자유도 = 사례수 - 제한조건 = 3 -3 =0

x + y + z =3x + 2y + 3z= 6

x+y=3자유도 = 사례수(변수수) - 제한조건(방정식수) = 2 -1 =1

.

51/63

포함인자

포함인자 : k = 2 (유효자유도>30 )

= student t 값cukU ×=

52/63

A형 평가

• 반복하여 구한 결과를 통계적으로 처리

B형 평가 • 통계적이 아닌 방법– 다른 실험

– 기기사양, 설명서

– 표준물질의 사용

– 경험적 판단

53/63

- 감마검출기 이용 방사능 분석

1. 측정모델링 설정

2. 각 표준불확도 산출

3. 합성 불확도 (불확도 전파원리)

4. 확장 불확도 산출 (유효자유도 이용)

5. 측정값과 불확도 산출

54/63

측정모델링 구함

55/63

불확도 전파원리

56/63

표준불확도

불확도 전파원리 적용

샘플전처리에 의한 불확도

측정단계에 의한 불확도

핵 자료에 의한 불확도

57/63

표준불확도

58/63

표준불확도

59/63

표준불확도

60/63

표준불확도

61/63

표준불확도

62/63

표준불확도

63/63

요약