METODOLOGIA CERCETARII evaluarea performantelor unui testCarmen Vulpoi
Probabilities can make nonstatisticians nervous. But this approach really just boils down to knowing your patient, gathering a little data and establishing an opinion of the likelihood of a given outcomeDonald R. Woolever, The art and science of clinical decision making, Family Practice Woolever, making, Management, 2009
Arta deciziei clinice1. 2. 3.
Determina probabilitatea
care sunt sansele ca pacientul sa aiba boala? Istoric, ex clinic
Colecteaza datele pentru evaluarea ulterioara
Acutalizeaza posibilitatea inclusiv probabilitatea pre-test pre
Apoi colecteaza si interpreteaza cu atentie datele
4.
Considera o interventie daca pacientul se include in criterii
daca o face, tine cont de contextul pacientului daca nu ai suficiente informatii ia in consideratie si alte optiuni
Date noi Rabdare!Donald R. Woolever, The art and science of clinical decision making, Family Practice Management, 2009 Woolever, making,
Adresabilitate
Cercetarea stiintifica implica o populatie heterogena:
producatorulCercetatorul Designerul studiului
consumatorulTeoreticianul Practicianul
publicul
Pacientul
Cercetarea bibliografica
Faza pregatitoare
Literatura de referinta
Tratate Reviste de anvergura
Precizarea obiectului studiului Definirea obiectivelor Definirea ipotezei de lucru
Elaborarea planului de studiu
Factorii ce vor fi studiati Modul de studiu al acestor factori (selectia) Noua evaluare a literaturii Includerea la discutii a datelor relevante pentru sbiectul cercetat
Prezentarea rezultatelor
Variabile
Variabila = orice calitate, caracteristica, element constitutiv al unei persoane sau al unui lucru care poate fi masurat
Prin definitie, supusa schimbarilor
Redus la baza, orice act medical este un studiu al relatiei intre variabile
A
Scale utilizate pentru variabile - nominale
Simboluri care definesc fiecare masuratoare ce nu pot fi ordonate unul peste altulFiecare masuratoare trebuie sa intre intr-o intrsingura categorie In cadrul unei categorii membrii sunt considerati echivalenti
ExempleGrupa sanguina Culoarea ochilor, sex, rasa
A
Scale utilizate pentru variabile - ordinale
Incadreaza fiecare masuratoare la un numar limitat de categorii care sunt ordonate in functie de grad
Diferentele dintre categorii nu sunt neaparat egale sau masurabile
Diferenta intre categoria 1 si 2 nu e neaparat egala cu cea dintre 3 si 4
ExempleStarea pacientului vindecat, ameliorat, stationar, agravat (agravat e mai bolnav ca stationar, dar nu se stie cu cit) Stadiile in cancer
A
Scale utilizate pentru variabile - intervale
Incadreaza fiecare masuratoare la un numar nelimitat de categorii distantate in mod egalNu are un real punct 0 (0 nu inseamna o adevaata absenta a variabilei masurate) Se poate sti exact cu cit este mai mare sau mai mica fiecare categorie
Exemple
Temperatura (0oC este temperatura la care ingheata apa, dar nu inseamna absenta temperaturii)
A
Scale utilizate pentru variabile - proportie
Pe o scala continua, masuratoarea incepe la un 0 real si are intervale egale ExempleInaltime Temperatura in grade Kelvin Timp
B
Tipuri de variabile
Legea de baza a biologiei este variabilitatea Multitudinea observatiilor poate trasa liniile generale care trebuie incluse in intervalul de confidenta
Indice de dispersie a unor variabile sub forma unui interval in care variabila poate fi situata cu un risc cunoscut
Interval de confidenta 95% - risc de 5%
Variabilele trebuie definite de la inceputul studiului
B
Tipuri de variabileVariabile calitative
Nemasurabile Finite Calculul mediei nu are sens Categorii ce nu pot fi ordonate
Nominale (categoriale)
culoarea ochilor
Ordinale (de rang)
Ordonate dupa anumite un criteriu dar fara unitati de masura
Starea dupa tratament (vindecat, ameliorat, stationar, inrautatit)
Dihotomiale
Da/nu
Prezenta sau nu a unui factor de risc
B
Tipuri de variabile
Variabile cantitative (pot fi masurate)
Continue
Pot lua o infinitate de valori Media are intotdeauna o semnificatie
Glicemia
Discontinue (discrete)
Numere intregi Media nu are intotdeauna semnificatie
Scor Apgar
Este posibila transformare variabilelor cantitative in calitative (varsta in grupe de varsta)
Dar se pierd informatii
C
Baza variatiilor
Fluctuatiile intre diverse masuratori
reflecta efectele combinate ale mai multor fenomeneVariatii biologice sau de masurare
Interpretarea depinde de capacitatea clinicianului de a recunoaste
sursa variatiei importanta sa pentru diagnostic si tratament
C
Baza variatiilorVariatii biologice adevarate
Determinate de o serie de factori necunoscuti care duc la mici variatii intimplatoare Variatiile intimplatoare pot fi pozitive sau negative
Exemplu TA la acelasi pacient in conditii teoretic identice
Variatii asociate masurarii in conditii diferite
Variatii determinate de masurarea in conditii diferite Vriatii sistematice (nu intimplatoare)
Ex TA in momente diferite ale zilei sau conditii diferite (orto/clinistatism)
Variatii ale sistemului de masurare
Atribuite metodei de masurare Intimplatoare - legea hazardului Sistematica eroare a sistemulkui de masurare (constant valoare mai mare sau mai mica) Ex pentru un acelasi esantion de urina masurarea repetata a pH cu aceelasi aparat de catre acelasi chimist in conditii teoretic ideale nu va da valori identice
D
Variatii intra-pacient intra
Pot rezulta din cauzavariatiilor reale, intimplatoare ale unui parametru unor modificari patologice ale statusului pacientului
Medicul trebuie sa identifice cauza deoarece interventia trebuie sa apara numai cind aceasta e patologica
E
Variatii inter-pacient inter
Atribuabile
diferentelor inerente intre pacienti conditiilor diferite de masurare erorilor de masuratoare unei conditii patologice
Medicul e interesat de aceste diferente deoarece majoritatea intrebarilor legate de un pacient pornesc de la informatiile obtinute de la un grup de subiecti cu probleme similare
Scade mai tare TAd la pacienti care primesc medicamentul A fata de B? Cit de modificati sunt d-dimerii la dl Lazarescu fata de dpaceinti care nu au trombembolism?
de ce e necesara biostatistica
Prin efectuarea unui test, clinicianul se straduieste sa clasifice starea reala dar necunoscuta a unui subiect de observatie
cu ajutorul unui instrument imperfect
DISTINGEREA NORMALULUI DE ANORMAL
strategia diagnosticaInformatia clinica primita
Examen clinic Anamneza Imagistica Proceduri Examene de laborator Un test diagnostic se bazeaza pe presupunerea ca indivizii bolnavi si sanatosi pot fi diferentiati cu
acuratete reproductibilitate
TIPURI DE DATE
CALITATIVE Anamneza (descriptive) NUMERICE Investigatii laborator GRAFICE Biosemnale (ECG, EEG) SUNETE - Fonocardiograma IMAGINI STATICE - Radiografii, RMN IMAGINI DINAMICE film
Tipuri de cunostintea) Explicite Formalizabile Se
pot transmite usor
b) Tacite (skill) Experienta
proprie Greu de transmis Training
Relatia cunostinte diagnostic/tratamentINFERENTA = Opera ie logic de trecere de la un enun la altul si n care ultimul enun este dedus din primul.
INFERENTA LOGICA
Medicina clasica (rationamentul medical)
INFERENTA STATISTICA
Medicina bazata pe dovezi
Medicina clasica
medicina clasic , deductiv
OpinionOpinion-Based Medicine OBM
bazat pebagajul de cuno tin e acumulat din studiile i experien a personl tradi ionala ars medicae (arta medical ) intui ia personal a clinicianului.
Medicina bazata pe dovezi (MBD)
sus ine c medicina trebuie s se concentreze pe
obiectivitate, dovezi, metameta-analiz , a totalit ii ramurilor medicinii
folosirea metodic , algoritmic ,
epidemiologie, genetic , bio-statistic , informatic medical , biomedicin explorativ i de laborator prompt , precis i de calitate
considernd raportul cost eficien
sub un control de calitate riguros i permanent,
medicul consultat fiind factorul frontal al unui larg grup de speciali ti, cu care se g se te n interreac ie
ISTORIC
1975, Ministerul S n t ii Canadian a mobilizat o grup de speciali ti, (The Canadian Task Force) cu menirea
s compun directive tiin ifice i unitare de examinare sanitar periodic a popula iei.
Suzanne Fletcher & David Sackett au creat "nivele de eviden " (levels of evidence)
destinate s foloseasc ca "grade de recomandare" (Grades of recommendations),
criterii de ac iune n cadrul respectivelor directive
Practica medicinii bazate pe eviden
Identificarea problemei
sau a zonei de dubiu, de lips de certitudine
De cercetat i identificat fondul de eviden
De pus numai ntreb ri relevante, concentrate pe subiect, coerente, ntr-un ntrlimbaj clar i pe n eles,
dovezile, faptele importan ei clinice a faptelor, a eviden ei aplicabilit ii clinice a eviden ei
Aprecierea
la care pacientul poate s r spund
De selectat resursele cele mai potrivite de cercetare
E.g. de evitat pescuitul (fishing)
comandarea unei infinit i de examene de laborator n speran a c va apare un rezultat pozitiv
De ac ionat i de aplicat eviden a De apreciat avantajele efortului depus De adunat, de conspectat i de notat activitatea
pentru a o folosi n viitor
Obiectul metodologiei cercetarii stiintifice medicale
Productia cunostintelor [explicite] = cercetare Metode de cercetareObservationale anchete trialuri clinice Experimentale studii de laborator - specifice Teoretice modelare/simulare
CICLUL ACTIVITATII MEDICALEtratament diagnostic
date Pacient Medic
cunostinte
Etapele activitatii de cercetare
Stabilirea obiectivelor Documentare Organizarea cercetariiStudii clinice Studii de laborator Cercetarea teoretica, formalizarea cunostintelor
Prelucrarea datelor Prezentarea rezultatelor
Puncte de vedereal pacientului ameliorarea starii de sanatate calitatea cea mai importanta a unui test diagnostic eficacitatea
(in sensul utilitatii)
precizia (gradul de exactitate)diagnosticare gresita(fals pozitiv) nediagnosticarea(fals negativ)
caracterul
inofensiv
Puncte de vedereal medicului cel putin aceleasi motive ca si pacientul pentru ca un test sa fie eficace si inofensiv Interpretarea testului - confirmare si modificarea atitudinii terapeutice test
pozitiv conduce la aplicarea unui tratamentpozitivitatea testului creste probabilitatea ca boala sa existe valoare predictiva pozitiva
test
negativ impiedica medicul sa trateze o afectiune potential severa valoare predictiva negativa
Puncte de vedereal medicului Daca un test nou poate sa inlocuiasca unul mai vechi!
standarde de referinta:
un nou test este comparat cu unul invechit si mai putin sensibil (mai multe falsuri negative)
numarul mai crescut de pacienti diagnosticati cu noul test vor fi considerati fiind drept falsi pozitivi,
Limiteleo
oricarei proceduri de diagnosticeroare de diagnostic poate avea repercusiuni financiare si legale
Puncte de vedere
al societatii Inocuitatea guvernul
trebuie sa garanteze securitatea cetatenilor in toate domeniile
Consecintele analiza
economice
cost - eficacitate
TIPURI DE STUDII CLINICE-
Studiul starii de s n tate a populatiei Studiul serviciilor de sanatate Evaluarea unui procedeu diagnostic Evaluarea unei abord ri terapeutice Cercetarea unor factori de risc i/sau prognostici
Distingerea normalului de anormal
Tipuri de teste diagnostice
Testul ideal da intotdeauna raspunsul corect Un bun test diagnosticdistinge individul afectat de boala de cel neafectat este
nenociv rapid simplu nedureros de incredere ieftin
Surse de nesiguranta/variabilitate
Instrument de masura: imprecizia analitica
acelasi test aplicat aceluiasi pacient
sa dea acelasi rezultat
Variabilitatea subiectului
intraindividuala
regresia catre medie - fluctuatii fiziologice
interindividuala Intraindividuala/interindividuala
Variabilitatea interpretarii examenului:
coeficient de concordanta k
Validitatea intrinseca a testului (Sn, Sp, LR). Prevalenta bolii (probabilitatea pretest)
Stabilirea diagnosticului
Validitatea unei proceduri de diagnostic inseamna capacitatea acesteia de a identifica subiectii atinsi de boala si subiectii sanatosi Stabilirea unui diagnostic este un proces imperfect
exprimat mai degraba in termeni de probabilitate, decat de certitudine
Un test diagnostic nu va avea sens
decat daca rezultatul este capabil sa modifice probabilitatea bolii
Probabilitatea de a fi atinsi de o boala nu este deci fixa, ci legata de testul diagnostic
sa reduca probabilitatea la un astfel de nivel, incat tratamentul sa nu se mai faca, sa o creasca pana la nivelul la care tratamentul sa fie legitim.
inainte de test, este vorba de probabilitatea "a priori" (pre(pretest probability)
prevalenta;
dupa test, este vorba de probabilitatea "a posteriori" (post(post-test probability)
valoarea predictiva a testului
Distingerea normalului de anormal
Tipuri de teste diagnostice
Teste calitative
Prezenta sau absenta unui semn sau simptom
Fractura la RX
Teste cantitative
Peste sau sub o valoare limita (valoare critica/ (valoare de referinta) referinta) considerata un criteriu pozitiv
glicemie
Alegerea unui criteriu pozitiv 1. Distributie gaussiana 2. Metoda percentilelor 3. Agreata cultural 4. Metoda terapeutica 5. Metoda factorilor de risc 6. Metoda diagnostica sau a valorii predictive
Tipuri de teste diagnostice
Curba GaussianaL = media 2 deviatii standard* * atentie la subgrupuri
Q-2.58W 2.58W
Q-1.96W 1.96W
Q-1W
Q 68% 95%
Q+1W Q+1.96W Q+2.58W +1W +1.96W +2.58W
99%
Tipuri de teste diagnostice
Curba Gaussiana
Avantaje simplitatea Dezavantaje
Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Limitele fiind determinate la o populatie fara boala, un Q-2.58W Q-1.96W 2.58W 1.96W - 1W Q+1W +1W +1.96W +2.58W pacient poate fiQdiferit comparativQ+1.96W Q+2.58W cu populatia Q normala dar nu neaparat 68% bolnav Pacientul poate apartine unui subgrup cu alte valori 95% normale Schimbarile variabilelor unui test pot fi anormale chiar Ideal rar 99% daca ramin in limite normaleFenilketonuria fenilalanina serica
Tipuri de teste diagnostice
Curba Gaussiana
Avantaje simplitatea Dezavantaje
Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA descentrat Limitele fiind determinate la o populatie fara boala, un Diagnostic foarte dificil pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale
Tipuri de teste diagnostice
Curba Gaussiana
Avantaje simplitatea Dezavantaje
Cel mai frecvent distributie bimodala limitele normale nu includ obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valoriui normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA Dificil pentru rezultatele Limitele fiind determinate la o populatie fara boala, un aflate la suprapunere pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale
Tipuri de teste diagnostice
Curba Gaussiana
Avantaje simplitatea Dezavantaje
Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA e.g. Limitele fiind determinate la o populatie fara boala, un baterie pacientde screeningdiferit de teste poate fi de 20 comparativ cu populatia Daca normala dar nu neaparat bolnav Gaussiana se utilizeaza un singur model de distributie Pacientul poate apartine unuialtul si testele sunt independente unul de subgrup cu alte valori normale din 20 sa aiba un test anormal pentru fiecare test 1 sansa La 20 teste 1- (0.95)20 10.64 test sa aiba macar un Schimbarile variabilelor=unui sanse pot fi anormale chiar rezultat anormal daca ramin in limite normaleSindromul Ulise
Sindromul Ulise
Inving tor n razboiul troian, Ulise porne te spre cas (Itaca)
cale de 1-2 s pt mni, n 1condi iile de navigare de atunci datorit unor aventuri fatidice, acest drum a durat 10 ani
Sindromul descrie efectele unor investiga ii intensive i prelungite venite ca urmare a unui rezultat de laborator fals-pozitiv sau interpretat falsgre it cu ocazia unor analize de rutin .
Tipuri de teste diagnostice
Curba Gaussiana
Avantaje simplitatea Dezavantaje
Cel mai frecvent distributie bimodala limitele normale nu include obligatoriu 95% din valori Teste multiple cresc sansa ca un pacient sa fie in afara valorii normale macar odata DEFINITIA BOLII NU ESTE BIOLOGICA
Limitele fiind determinate la o populatie fara boala, un pacient poate fi diferit comparativ cu populatia normala dar nu neaparat bolnav Pacientul poate apartine unui subgrup cu alte valori normale Schimbarile variabilelor unui test pot fi anormale chiar daca ramin in limite normale
Glicemie normala 60-106 mg/dl. O scadere de la 105 la 55 ar 60putea fi anormala
Tipuri de teste diagnostice
Metoda percentilelor
Daca se doreste doar limita superioara 5% superioare considerat anormal Daca se doresc limite superioare si inferioare 2,5% AvantajeSimplitate Aplicabilitate
Dezavantaje ca la Gauss
Tipuri de teste diagnostice
Agreata cultural
Tipuri de teste diagnostice
Agreata cultural
Avantaje
N-are: confunda medicina cu moda
Tipuri de teste diagnostice
Metoda terapeutica
Valorile sub sau peste care pacientul va fi tratat
Schimbat progresiv
e.g. valorile normale ale TA
Avantaje
Include numai subiectii care vor fi tratati Necesita un clinician care sa fie la curent cu toate noutatile terapeutice
Dezavantaje
Tipuri de teste diagnostice
Metoda factorilor de risc
Factor genetic, de mediu, comportamental, demografic, fiziologic
Cancer pulmonar Fumatori Nefumatori total 100 0 100
Fara cancer pulmonar 33,233 66,667 99.900
total
33,333 66,667 100,000
care are o ascoiere cauzala sau statistic semnificativa cu o anumita maladie In general usor de masurat Faciliteaza medicina preventiva
Avantaje
Studiu ipotetic
Prevalenta cancerului pulmonar 100/100,000 33,3% din populatie fumatori
Dezavantaje
Valoare predictiva scazuta
Ar insemna ca toti fumatorii fac cancer pulmonar
99,7% nu fac
Tipuri de teste diagnostice
Metoda diagnostica sau metoda valorii predictive
Bazata pe probabilitartea bolii pornind de la standardul de aur Alegerea valorilor pentru un test depinde daca e mai rau pentru pacient ca sa fie eronat considerat bolnav sau sa i se ignore boala
Daca consecintele ignorarii pot fi grave
Se va alege valoarea pozitivitatii criteriului astfel incit sa minimalizeze procentajul de fals negativ
eg mixedemul congenital
Daca o valoare fals pozitiva poate duce la un tratament riscant
eg chimioterapie cateterizare cardiaca
Se alege un criteriu care sa minimalizeze rata de fals pozitiv
Tipuri de teste diagnostice
Metoda diagnostica sau metoda valorii predictiveAdevarat pozitiv Fals pozitiv Fals negativ Adevarat negativ
Specificitate si specificitate egale Sensibilitate crescuta, sensibilitate specificitate scazuta
v Fals negativ = 0
w x y Test negativ Test pozitiv
z Fals pozitiv = 0
Metoda valorii predictive
Avantaje
Valorile variabilelor testului pot urma orice distributie Frecventa bolii este bazata pe date clinice concrete si e deci estimata realistic Tine cont de distributia variabilelor testului atit in populatia bolnava cir si in cea sanatoasa Se adreseaza nevoilor medicului si pacientului punind in balanta beneficiile potentiale ale tratamentului si implicatiile sale (nediagnosticarea sau etichetare gresita) Necesita stapinirea de catre clinician a prevalentei bolii, valoarea predictiva pozitiva si negativa, determinareaa performantelor testului
Dezavantaje
Descrierea performantelor unui test
STANDARDUL DE AUR Limite
Frecvent e metoda cea mai riscanta, dificila dpdv tehnic, impracticabil
Biopsie cerebrala pentru Alzheimer Angina pectorala
Pentru unele boli nu exista standard de aur
Compararea cu standardul de aur poate duce la concluzii eronate spunind ca noul test e mai rau cind de fapt e mai bun
Daca testul cel nou detecteaza cu o acuratete mai mare pacientii vor fi considerati gresit fals pozitiv Daca e negativ la mai multi subiecti care nu au boala va fi considerat in mod eronat fals negativ
Reprezentare grafica sau in tabele a rezultatelor unui test
Adevarat pozitiv
Pacienti identificati corect ca avind boala Pacienti sanatosi considerati bolnavi Pacienti sanatosi corect identificati Pacienti care au boala fals etichetati drept sanatosi
Fals pozitiv
Adevarat negativ
Fals negativ
Reprezentare grafica sau in tabele a rezultatelor unui testAP
FN FP
AN
Test negativ
Test pozitiv
Sensibilitate si specificitateDg.corect Dg.incorect
Test +
a
b
a+b
Test total
c a+c
d b+d
c+d N
AP Dg. Dg, corect ) incorect dg .corect ( AP FNTest + a b a+b
sensibilitate
Test total
c a+c
d b+d
c+d N
probabilitatea de a avea un test pozitiv (anormal) atunci cnd subiectul prezinta afectiunea investigata
capacitatea de a recunoaste maximum de subiecti atinsi
SENSIBILITATE = AP/ bolnavi (AP+FN) importanta atunci cnd
ignorarea diagnosticului este grava eliminarea afectiunii este importanta maladia este rara (depistare)
LES
Prevalenta (Sn) % ANA 98 Anti-AND dc Anti-Sm 30
70
AP Dg. Dg, corect ) incorect dg .corect ( AP FNTest + a b a+b
specificitate
Test total
c a+c
d b+d
c+d N
probabilitatea de a avea un test negativ normal cnd subiectul nu prezinta afectiunea capacitatea de a recunoaste doar pacientii atinsi (deci de a nu atribui boala unui subiect care nu o prezinta), SPECIFICITATE = AN/ sanatosi (AN+FP) importanta atunci cnd trebuie confirmat un diagnostic
Boala prezenta Test pozitiv Test negativ Total a c a+c sensibilitate=a/(a+c) specificitate=d/(b+d)
Boala absenta b d b+d fals pozitiv=b/(b+d) fals negativ=c/(a+c)
Valoare predictiva pozitiva - probabilitte postest
probabilitatea de a avea maladia atunci cnd testul este pozitiv anormal
Proportia de subiecti bonavi intre cei cu test pozitiv
VALOARE PREDICTIVA POZITIVA = AP/ test+ (AP+FP)
Valoare predictiva negativa probabilitatea de a nu avea maladia cnd testul este negativ
normalProportia de indivizi sanatosi intre cei cu test negativ
VALOARE PREDICTIVA NEGATIVA = AN / test- (AN+FN) test-
Acurateteconcordanta testului cu diagnosticul final ACURATETE = concordante (AP + AN)/ total (AP+FP+AN+FN)
Receiver Operator Characteristic
Ideal pentru un clinician ar fi un test care sa aiba
att sensibilitatea ct si specificitatea foarte inalte
Acest lucru nu este intotdeauna posibil
ceea ce ar impune gasirea unui punct "de compromis", in care raportul specificitate / sensibilitate sa fie optim. optim.
Receiver Operator Characteristic
Relatia specificitate / sensibilitate poate fi exprimata prin trasarea curbei ROC (Receiver Operator Characteristic),in care pe abscisa se pune nivelul fals pozitiv (1-specificitate) (1 iar pe ordonata nivelul adevarat pozitiv (sensibilitatea)
sensibilitate1-specificitate
Prin stabilirea celor doua determinate pentru mai multe situatii se poate trasa o curba
Curba ROC
Reprezentare grafica a relatiei dintre sensibilitate si specificitate in cazul unui test
Metoda simpla de aplicare a metodei valorii predicitve pentru a alege un criteriu pozitiv
ROC analysis este parte din teoria detectiei semnalelor ("Signal Dectection Therory") dezvoltata in al doilea Razboi Mondial pt analiza semanalelor radar Operatorul radar trebuia sa decida daca ceea ce e pe ecran e un dusman, un prieten sau doar zgomot de fond
capacitatea sa a fost denumita Receiver Operating Characteristics
Abia in anii 70 teoria detectiei semnalului a fost considerata utila pentru interpretarea testelor medicale
Curba ROC
In cazul unor determinari cantitative (e.g. glicemia in diagnosticarea diabetului zaharat)
se pot inscrie valori numerice diferite;
cnd este vorba de un test calitativ (e.g. mamografia in diagnosticul cancerului mamar)
se poate realiza o scala cuprinznd mai multe categorii. un exemplu de scala in acest caz
probabil normal (imposibil) posibil normal (neverosimil) echivoc (indoielnic) posibil anormal probabil anormal
sigur
Curba ROC1 0,8
sensibilitate
0,6 0,4 0,2 0 0 0,5 1
1-specificitate
Curba ROC
Cancer mamarRadiology" 1988, 167: 353-58 353-
Cancer prezent Mamografie pozitiva Mamografie negativa Total AP a FN c a+b RP = real pozitiv FN = fals negativ
Cancer absent FP b AN d c+d FP = fals pozitiv RN = real negativ
MAMOGRAFIE pozitiva, in caz de suspiciune mare de cancer, negativa, in caz de suspiciune mijlocie sau mica
Cancer prezent Mamografie pozitiva 47 Mamografie 72 negativa Total 119 sensibilitate 47/119 = 0,40 a= (0,40;0,02)
Cancer absent 6 275 281 specificitate 6/281 = 0,02
MAMOGRAFIE pozitiva, in caz de suspiciune mare sau mijlocie de cancer, negativa, in caz de suspiciune mica
Cancer prezent Mamografie pozitiva Mamografie negativa Total 104 15 119
Cancer absent 123 158 281
sensibilitate 104/119 specificitate 123/281 = 0,87 = 0,44 b= (0,87;0,44)
MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (rarefieri radiografice) negativa, in caz de suspiciune cu opacitate radiografica sau suspiciune minima
Cancer prezent Mamografie pozitiva Mamografie negativa Total 113 6 119 sensibilitate 113/119 = 0,94 c= (0,94;0,57)
Cancer absent 160 121 281 specificitate 160/281 = 0,57
MAMOGRAFIEpozitiva, in caz de suspiciune mare, mijlocie sau mica (opacitate radiografica) negativa in caz de suspiciune minima
Cancer prezent Mamografie pozitiva Mamografie negativa Total 116 3 119 sensibilitate 116/119 = 0,97 d= (0,97;0,72)
Cancer absent 202 79 281 specificitate 202/281 = 0,72
a) b) c)
d)
suspiciune mare de existenta a unui carcinom; 1 (0,4;0,02) suspiciune mare sau mijlocie de existenta a unui carcinom; (0,87;0,44) suspiciune mare, mijlocie sau mica cu rarefieri radiografice de 0,5 existenta a unui carcinom; (0,94;0,57) suspiciune mare, mijlocie sau mica (opacitate radiografica) de existenta a unui carcinom. 0 (0,97;0,72)
Curba ROC
Trasarea curbei ROC setarea criteriului de pozitivitatesensibilitate
1 0,8 0,6 0,4 0,2 0
w x
v
Cind implicatiile FP si FN sunt egale - cit mai aproape de coltul din stinga sus (x) Cind FP este in mod special indezirabil cit mai departe in stg (z) FN in mod special indezirabil in coltul din dreapta sus (creste sensibilitatea, scade specificitatea (w, v)
z0 0,5 1
1-specificitate
Aria de sub curba ROC
Aria masoara capacitatea de discriminare capacitatea testului de a clasifica pacientii cu / fara boala
E.g. pacienti deja clasificati. Luam unul bolnav si unul sanatos (randomic). Pacientul cu testul cel mai anormal ar trebui sa fie din grupul celor bolnavi.
Aria de sub curba reprezinta procentajul perechilor luate randomizat pentru care acest fapt e adevarat (adica testul clasifica corect cei doi pacienti din perechea randomizata)
Interpretarea punctiei cu ac subtire1. Frotiu inadecvat - fara elemente celulare tiroidiene 2. Frotiu benign; benign; a. rare tireocite b. multiple tireocite normale, grupate in cuiburi c. frotiu bogat celular 3. Frotiu tip tiroidita cu tireocite normale, limfocite abundente si celule Hurtle 4. Frotiu suspect cu placarde de tireocite cu nucleu voluminos, hipercromatic, nuclei liberi 5. Frotiu malign cu numeroase celule ce intrunesc criteriile clasice de malignitate
Rezultatul citologic si anatomopatologic
SENSIBILITATE =AP/(malign)AP+FN =31/41 = 75,6% SPECIFICITATE =AN/(benign)AN+FP =32/34 = 94,1% VALOARE PREDICTIVA POZITIVA =AP/(FNAB mg)AP+FP =31/33 = 93,9% VALOARE PREDICTIVA NEGATIVA =AN/(FNAB bg)AN+FN =32/42= 76,2%AnatomoAnatomopatologic Citologic benign benign malign 32 10 malign 2 31
FNAB
calcularea curbei ROC- suspiciune inalta (5) malign benign 1 33FNAB pozitiva FNAB negativa
-suspiciune inalta, medie si minora (3+4+5)malign 35 6 benign 4 30
FNAB pozitiva FNAB negativa
11 30
sensibilitate = 11/41 = 0,27 1- specificitate = 1 - 33/34 = 0,02
sensibilitate = 35/41 = 0,85 1- specificitate = 1 - 30/34 = 0,12
- suspiciune inalta si medie (4+5)(4+5)malign FNAB pozitiva FNAB negativa 31 10 benign 2 32
-suspiciune inalta, medie si minora (3+4+5)malign FNAB pozitiva FNAB negativa 37 4 benign 10 24
sensibilitate = 31/41 = 0,76 1- specificitate = 1- 32/34 = 0,06 1-
sensibilitate = 37/41 = 0,90 1- specificitate = 1 - 24/34 = 0,29
FNAB curba ROCnive l adevarat pozitiv (se nsibilitate)1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 0,2 0,4 0,6 0,8 1
nivel fals pozitiv (1-specificitate) FNB
PROBLEMA SPECIFICA INTERPRETARII TESTULUI
Experienta cercetatorului
capacitatea medicului poate evolua in cursul unui studiu de evaluare a testelor - procentul de rezultate false (fals pozitive sau fals negative), in raport cu standardul de referinta, risca sa fie mai ridicat ideal este ca acelasi observator sa interpreteze toate examinarile daca sunt implicati mai multi observatori in studiu, ei trebuie sa aiba aceeasi experienta interpretarea testului trebuie sa fie independenta de interpretarea testului de referinta
Omogenitatea in interpretare
Obiectivitate
REPRODUCTIBILITATEA
Capacitatea unui instrument de a furniza o masuratoare identica in mod repetat
concordanta rezultatelor mai multor masuratori, efectuate de diferiti observatori, poate fi mai mult sau mai putin ridicata. calitatile reale ale testului (sensibilitate, specificitate), interpretare
Reproductibilitatea depinde de
Cuantificarea - indicele kappa (K): evalueaza reproductibilitatea observata in raport cu concordanta legata de hazard
O = acord observat K = (0-E) / (1-E) (0(1K = 1 pentru o concordanta perfecta. K = 0 cand nu exista concordanta decat sub efectul hazardului.
Valorile negative ale K sunt posibile. Ele indica atunci ca exista mai putine sanse de acord decat doar cel observat sub efectul sansei.
EXACTITATEA
Capacitatea de a furniza o masuratoare exacta a unui fenomen
proportia rezultatelor corecte, pozitive sau negative
Evaluarea reproductibilitatii
Enumerarea surselor potentiale de eroare
Pozitia pacientului la o radiografie Momentul zilei (T, G) Conditii de masurare a TA
Masurarea importantei variatiilor si incercarea de a le reduce la maxim
Variatii inter-investigatori interVariatii intra-investigator intraVariatii intra-pacient intra-
Clasificarea surselor in ordine descrescatoare
Variatii interobservatorV1-V2 * (mL) media DS mediana maxim minim p 3,71 3,95 2.91 13,49 0,01 0,75 V1-V3 * (mL) 3,83 3,45 2.01 14,4 0,03 0,85 V3-V2* (mL) 2,3 2,27 1.4 9,01 0,14 0,93
V1 = volumele gasite de ex.1 V2 = volumele gasite de ex.2 V3 = volumele gasite de ex.3 * - au fost considerate diferentele in valoare absoluta - nesemnificativ
Diferentele inter-observator de determinare a volumului tiroidian inter-
Variatii interobservatormL 16 14 12 10 8 6 4 2 0 V1-V2p > 0,05 p > 0,05 p > 0,05
V1-V3
V2-V3
media min
max mediana
Diferentele inter-observator de determinare a volumului tiroidian inter-
Variatii intra-observator intraVT1-VT2 * media DS mediana maxim minim p 2,45 2,20 1,79 6,82 0,04 0,617 6 5 4 3 2 1 0
* - diferenta dintre volumele gasite la 2 determinari diferite - nesemnificativ
media min
max mediana
Diferentele intra-observator de determinare a volumului tiroidian intra-
Masurarea reproductibilitatii
Concordanta intre mai multi clinicieni
cl1I I 25 4 3 0 32 II 7 14 6 1 28 III 2 5 17 2 26 IV 1 0 3 10 13 35 23 29 13 100
eg grad de severitate al unei afectiuni cl2
Concordanta (din 100 subiecti)
II III IV
25+14+17+10/100 = 66%
Importanta reproductibilitatiiEfecte ale absentei reproductibilitatii Studii terapeutice
diminueaza puterea studiilor in strategiile terapeutice (creste varianta variabilei urmarite) Subestimarea asocierii factorilor de risc
Studii epidemiologice
Baterii de teste
Aplicate in paralel - cresc Sn+ cand macar unul dintre ele este pozitiv - cand toate sunt negative
Aplicate in serie - cresc Sp+ cand toate sunt pozitive - cand macar unul este negativ
Teste multiple
In practica, nu este foarte frecvent sa fie absolut sigur ca exista sau nu exista boala, dupa folosirea unui test diagnostic.
de fapt, testele perfecte (100% sensibilitate si specificitate) sunt foarte rare (daca exista!)!
Cand suntem in situatia, in care probabilitatea bolii la incheierea testului nu s-a modificat decisiv, pentru a face tratamentul sau pentru a renunta,
sunt necesare teste ulterioare
Teste utilizate in paralel
cand se doreste obtinerea rezultatelor rapid,
urgente bolnavi tratati in ambulator
sensibilitatea (si deci valoarea predictiva negativa) este mai buna pentru totalul acestor teste folosite in paralel, decat pentru fiecare dintre teste luate separat invers pentru specificitatea si valoarea predictiva pozitiva, care scad
mai putin probabil sa nu se descopere boala dar diagnosticele false si fals pozitive vor fi mai frecvente
utile, cand medicul are nevoie de un test sensibil, dar nu are la indemana decat 2 sau 3 teste putin sensibile
FolosinduFolosindu-le in paralel rezulta o strategie de diagnosticare de o sensibilitate mai mare, cu pretul totusi a existentei rezultatelor fals pozitive, care pot conduce la tratamente inutile.
Teste utilizate in serie
nu este indispensabila obtinerea rezultatelor rapid,
consultatii, in opozitie cu situatiile urgente de spitalizare. teste sunt scumpe si/sau cu risc
Testele in serie sunt folosite, cand
un asemenea test nu este de fapt folosit, decat daca un test mai simplu si mai putin agresiv a evocat in prealabil boala cautata.
consuma mai putine resurse paraclinice decat testele in paralel,
folosirea unui al doilea test depinde de rezultatul primului
Dar procedura este mai indelungata Testele folosite in serie
maresc specificitatea si valoarea predictiva pozitiva a strategiei de diagnosticare, dar micsoreaza sensibilitatea si valoarea predictiva negativa.
Medicul, dar si pacientul, sunt mai siguri ca boala este reala, cand testul este pozitiv, dar risca sa aiba mai multe rezultate fals negative. utila, cand nici unul dintre testele disponibile nu este foarte specific.
testul cel mai specific trebuie folosit primul, testul mai sensibil va fi folosit ulterior
Top Related