1 / 30

Evaluation of Methods

Evaluation of Methods. 2006. 1. 25. GMC LM S.J. Yoo. 새로운 검사의 도입. Need ?. Method Selection. Quality Goal. Method Evaluation. Method Development. Implement?. Maintenance. Submission of Specimen. Routine analysis. Quality Control Process. Result Report. 분석 수행능의 지표.

amos-navarro
Télécharger la présentation

Evaluation of Methods

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Evaluation of Methods 2006. 1. 25. GMC LM S.J. Yoo

  2. 새로운 검사의 도입 Need ? Method Selection Quality Goal Method Evaluation Method Development Implement? Maintenance Submission of Specimen Routine analysis Quality Control Process Result Report

  3. 분석 수행능의 지표 • Precision민감도 (within-run, within-day, between-day) • Accuracy 정확도 • Analytical sensitivity 검출민감도 • Analytical specificity 검출특이도 • Sample interaction (carry-over) • Precision민감도 (within-run, within-day, between-day) • Accuracy 정확도 • Definitive or Reference method와 비교: 이상적 • Comparison study 비교평가: Correlation Study상관성 평가 • Recovery회수율 • Analytical sensitivity 검출민감도 • Analytical measurable range (AMR) 분석가능범위 • 상한값: Reportable Range보고가능범위 • 하한값: Limit of Detection검출한계 (Blank measurement) • Linearity직선성 평가 • Analytical specificity 검출특이도 • Interference간섭 • Sample interaction (carry-over)

  4. NCCLS Evaluation Protocol • Precision (EP05-A) • Method Comparison (EP09-A2) • Reportable range • Limit of Detection (EP17-A) • Linearity (EP06-P2) • Interference (EP07-A)

  5. Step-by-Step Outline of a Method Evaluation Study 1단계 - Preliminary period 검사숙련기간 (장비, 장비유지, 검사수기, QC, calibration) 2단계 - Within-run precision - AMR: Reportable Range, Limit of Detection, Linearity 3단계 - Recovery - Interference 4. Between-day precision: 적어도 20일 이상 • Medical Decision Level ? • Observed error < defined allowable error -> acceptable, implemented for routine service • 모든 과정의 기록, 2년~기기를 사용하는 기간 내내

  6. Precision 정밀도 • 정의: 동일 검체로 반복하여 항상 같은 결과를 얻는 능력 • 표준편차(SD)와 변이계수(CV)로 계산 • 20회 이상: Within-run, Within-day, Between-day • Reagent & QC materials: Same lot • 검체: 2농도 이상 (Range, 임상적 중요), stable frozen pool, matrix effect 고려 (patient specimens, no known interference) • QC in each run, 10개 이상의 환자 검체, random sequence • Data exclusion • Documented errors, mistakes • Statistical outliers: 5.5*SD • Imprecision의 원인: Dispensing, Mixing, Signal의 측정

  7. Precision: Preliminary test -within-run precision: 20회 연속검사 * 허용오차범위

  8. Between-Day Precision D1 D5 D10 D15 D20 Within-run Precision Between-run Precision Total Precision

  9.   2hr Run Run D1 D5 D10 D15 D20 Day Total Precision Total 80 measurements per level • Within-day precision • 2 aliquots / run • run-run: 2시간 이상 간격 • Total precision • 적어도 20일 이상 • 2 aliquots * 2 runs * 20 days

  10. Precision test with EP_suite EP 5

  11. Analytical (Measurement) Range (AMR)분석(가능)범위 • 검체의 modification 없이 양을 측정할 수 있는 범위 • Upper - Reportable Range보고가능범위 • Lower LimitofDetection 검출한계 • Linearity직선성 평가

  12. Analytical measurement range • (Upper) Reportable Range보고가능범위 • 표준 물질 • 시약 공급자가 제시한 한계값과 유사한 농도 • 5회 반복 측정한 평균값 -> 2배 희석 -> 5회 측정 -> 평균값 *2 • Reportable range 보다 큰 값 • “> Reportable Range”로 보고 • Pre-dilution (TAT 연장, Comment)

  13. Analytical measurement range • (Lower) Limit of Detection 검출한계값 • 공급자가 제시한 값이 “0”인 경우: Limit of Blank • Reagent blank: 희석액이나 완충액을 10회 반복 측정 • Detection Limit = Mean + 3  SD • 공급자가 제시한 값이 0이 아닌 경우 • 환자 혈청을 희석하여 한계값과 유사하게 만듬 • 5회 측정한 평균이 계산된 농도의 10% 이내에서 일치하는지 검증 • 검출한계보다 낮은 결과의 보고: “<검출한계”로 보고

  14. Linearity • 농도를 알고 있는 물질의 값과 화학장비에서 측정된 값이 직선을 이루는 정도 • AMR의 전 구간이 포함되도록 다섯 농도의 검체 준비 • 제조사에서 제공하는 물질 • 정도관리물질 및 환자검체를 희석, 농축, 배합해 제조 • 각 농도 당 4회의 검사 • Outlier test • ‘Lack of fit’ test • Linearity 판정 NCCLS Guideline EP-06A EP_Suite 6

  15. Outliers: NCCSL EP-06A

  16. Lack of Fit test : NCCSL EP-06A

  17. Linearity test: EP_Suite 6.0

  18. Linearity 판정 • Linear 1 • 통계적으로 직선성 • Linear 2 • 임상적으로 만족스러운 수준의 직선성 • Nonlinear • 임상적으로 유의한 비직선성 • Too imprecise • 직선성 평가가 곤란한 data

  19. Linearity 판정

  20. Correlation Study 상관성 평가 • 검사방법 간 검사결과의 상관성 Comparison Study • 환자 검체를 이용한 비교 • 비교 기준 방법 • Test 받는 방법보다 우수해야 한다. • 상관성평가 • Outlier 검증 • 회귀방정식, 상관계수 (r) • 상관계수 r > 0.975: linear regression (NCCLS) 정확도를 대변하지 못함, association 지표 • 계통적 오차: 기울기, Y-절편 • 무작위적 오차: 상관계수

  21. Correlation Study • NCCLS guideline EP-09A • AMR 내에서 전범위가 포함되도록 검체 준비 • 환자 혈청 pooling -20도 보관, 검사 직전 녹여서 4 시간 이내 측정 • 검체 수 40 • 이중 검사 • 각 장비간 검사 시간 간격 : 2시간 이내 • 하루 8 검체 이내 • 판정 기준 : Correlation coefficient, r  0.975

  22. 검체 준비

  23. Correlation study : EP_Suite 9.0

  24. 검출 특이도 analytical Specificity • 정의: 측정하고자 하는 물질만을 검출해내는 능력 • 특이도의 평가: Interference 간섭, Recovery 회수율 • Interference 평가 • 검체에 간섭물질 첨가: baseline과의 차이 비교 • 간섭현상이 없는 검사방법과의 비교 • 모든 간섭물질에 대한 평가는 불가능 • NCCLS: 약물에 의한 간섭에 대한 목록 및 기전

  25. 2s2 (Xtest-Xcontrol) ± 1.96 n 간섭의 측정 및 평가 (I) • Screening Test • Control and test 15 pairs 측정 • Control specimens: CLIA88, 간섭물질 없는 검체 • Test specimens: Bilirubin (30 mg/dL) 용혈 적혈구 (500mg/dL), Intralipid™ (500mg/dL) • Paired-difference test • 95% 신뢰구간 • 신뢰구간에 0이 포함: 유의한 간섭효과 없음 • 신뢰구간에 0이 포함 안됨: 간섭효과 유의함 • Dose-response method로 추가 검사

  26. 간섭의 측정 및 평가 (II) • Dose-response test • 측정 검체 • Test specimen과 control specimen 희석 • 4:0 / 3:1 / 2:2 / 1:3 / 0:4  Five level • 10회 반복 측정

  27. 정확도 평가 –회수율 Recovery • Definition: 실제 검체에 양을 알고있는 analyte를 첨가하였을 때 그 양을 정확히 측정하는 능력 • BUN, Cr, Glucose, Uric acid 등 • 측정방법 • 기저 농도 측정: 건강인 신선 pooled serum, 3회 평균 • Test samples 제조: 양을 아는 순수물질(건조분말) 또는 고농도 환자혈청 (Spiking) • Test samples의 농도 3회 측정 평균 • (실측치/기대치)*100 (%) • 장단점 • 임상적으로 중요한 농도에서 오차의 양을 확인 • 경쟁적 간섭물질 (competitive interferences)의 평가 • Poor performance 및 부정확한 계산에 의한 오류 • in vitro 상태가 in vivo 상태와 완전히 같지 않다.

  28. 검체 간 상호 오염(Carry-Over) • Low1 High  Low2 % carry-over = {(Low2-Low1)/High} * 100 • H1  H2  H3  H4  L1  L2  L3  L4 (L3–L4) % carry-over = L1- 2 * 100 (H2+H3)(L3+L4) 2 2

  29. 추가적인 고려 사항 • 참고치 설정 • 기존 방법과 동일 -> 불필요 • 새로운 항목 또는 방법의 개선 -> 재설정 • 임상과 의료진을 위한 자료 • 임상적 유용성 및 참고치 • 검체 채취, 검사일 및 접수시간, TAT • 공고 -> 검사 시행 -> Feedback • 지속적이고 세심한 수행능에 대한 monitoring

More Related