David Epstein Universidad de York, Inglaterra [email protected] · Indice zIntroducción zParte 1 – La...

La evaluación de pruebasLa evaluación de pruebas diagnosticas

David EpsteinUniversidad de York,

[email protected]

1

Indice

IntroducciónIntroducción Parte 1

– La sensibilidad y especificidadParte 2Parte 2

– La probabilidad de enfermedad– La fórmula de Rvdo. Dr. Bayes

Parte 3Parte 3– La curva de rendimiento diagnóstico (ROC)

Parte 4– El criterio de positivismo óptimo para una prueba– El criterio de positivismo óptimo para una prueba

Caso Práctico 1Parte 5

El meta análisis

2– El meta-análisis

Caso práctico 2Resumen, preguntas y conclusiones

Bibliografíag

Deeks J Systematic reviews in health care:Deeks J. Systematic reviews in health care: systematic reviews of evaluations of diagnostic and screening tests. BMJ. 2001;323:157-62.Hennekens C, Buring J. Epidemiology in medicine. Philadelphia: Lippincott; 1987.W i t i M Fi b H Cli i l D i i A l iWeinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia: W B Saunders; 1980.Jaimes Fabián Diagnostic tests: use andJaimes, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007, vol.32, no.1, p.29-33

3

Una prueba es un separador p p

La pruebaLa prueba– Un método para buscar más datos de un paciente

Hi ó i fí i í i di áfi– Histórico, físico, químico, radiográfico…Los resultados de la prueba– Separar pacientes en grupos con diferentes

probabilidades de tener una enfermedad

4

Características de una pruebap

Normalmente una prueba tiene 2Normalmente una prueba tiene 2 característicasUna variable de medición– Por ejemplo, la presión diastólica de sangre

Un criterio de positivismo– El valor para separar el “normal” de la p p

“enfermedad”– Por qué hacemos una dicotomización?

5

Resultados de un estudio de la relaciónResultados de un estudio de la relación entre el nivel de la enzima “SGOT” y una infarto de miocardio reciente

25%17%

Prop

Con IM N=48

25%25%

12/4823%

11/48

19%

9/48

8%

4/48

8%

4/48

8/48

0%

porción d

50 100 150 200 250 60025%

SGOT unidades/litro

0%de pacien

50%80%

37/46

11%

5/46

9%

4/46

ntes Sin IM N=46

675%

SGOT: Glutamic oxaloacetic transaminase

La prueba “SGOT” para el infarto de miocardio

Variación en los valores de SGOT enVariación en los valores de SGOT en pacientes con y sin IMLos valores en los grupos se solapanElegir un criterio de positivismo para separar los pacientes– Por ejemplo SGOT ≥100 unidades /litroj

Tabla 2 x 2

7

Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT≥100p

Con IM Sin IM TotalCon IM Sin IM Total

SGOT≥100 VP FN P+SGOT≥100 VP FN P+

SGOT<100 FP VN P-

Total E+= 48 E- = 46 N= 94

8

Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT≥100p

Con IM Sin IM TotalCon IM Sin IM Total

SGOT≥100 VP 25 FN 4 P+ 29SGOT≥100 VP=25 FN=4 P+ =29

SGOT<100 FP=23 VN=42 P- =65

Total E+= 48 E- = 46 N= 94

9

Definiciones

SensibilidadSensibilidad– = “sensitivity” = tasa de verdadero positivos=

Pr[P+|E+] = VP / E+Pr[P+|E+] = VP / E+Especificidad – = “specificity” = tasa de verdadero negativos=

Pr[P-|E-] = VN / E-

10

Cociente de verosimilitud :“Likelihood ratio”

DefinicionesDefiniciones– Cocientes de verosimilitud; “Likelihood ratio”

LR ibilid d/(1 ifi id d)– LR+ = sensibilidad/(1-especificidad)– LR- = (1-sensibilidad)/ especificidad

=“Razon de probabilidades”p

11

Ejercicio. Calcular sensibilidad y especificidadp

CálculoCálculo– Sensibilidad

E ifi id d– Especificidad– LR +– LR -

Interpretación– Exactidud o precisión de la prueba– Insuficiente para tomar una decisión

12

Parte 2

La revisión de la probabilidad de laLa revisión de la probabilidad de la enfermedad

13

Ejercicio. Probabilidad de una enfermedad

Una prueba tieneUna prueba tiene– Una sensibilidad de 99%– Una especificidad de 90%Una especificidad de 90%

La prevalencia (frecuencia de la enfermedad en la población de interés) es 10%p )Le diste la prueba a un paciente y resultó P+.¿Cuál es la probabilidad de que el paciente tiene la ¿ p q penfermedad?A. 10% B. 50% C. Entre 90 y 99% D. 100%

14

La revisión de la probabilidadp

Imaginad un cohorte de 1 000 personasImaginad un cohorte de 1.000 personas De ellos, 100 tiene la enfermedad, 900 no la tiene

Sensibilidad 99%

Especificidad90%

99 P+, 1 P- 90 P+, 810 P-

En el cohorte de 1 000 personasEn el cohorte de 1.000 personas

99 + 90 = 189 P+ 1+ 810 = 811 P-

15 Pr(E+ |P+) = 99/189 = 51% Pr(E-|P-) = 810/811

Rev. Thomas Bayes (c.1702 – 1761)y ( )

16

Ejercicio. Revisar la probabilidad de un paciente que tuvo un IM (skip)p q ( p)

SGOT ≥ 50SGOT ≥ 50– Sensibilidad 75%, especificidad 80%

Prevalencia . – A. Supone que es 50%– B. Supone que es 20%

Usar ambos métodos : el método “cohorte” y yla formula de Bayes

18

Cálculo (skip)( p)

Prevalencia (probabilidad prior) 50%Prevalencia (probabilidad prior) =50%– P(P+) = 0.475

Probabilidad posterior = 0.375/0.475= 79%

Prevalencia =20%– P(P+) = 0 31P(P+) 0.31

Probabilidad posterior = 0.15/0.31=48%

19

Formula de Bayesy

Difícil calcular rápidamenteDifícil calcular rápidamenteNo es muy intuitivaAfortunadamente hay una forma más sencilla

20

Odds

DefiniciónesDefiniciónes Odds– Odds = Probabilidad / (1-probabilidad)

– Probabilidad = odds / (1 + odds)

21

Cociente de verosimilitud :“Likelihood ratio”

DefinicionesDefiniciones– Cocientes de verosimilitud; “Likelihood ratio”

LR ibilid d/(1 ifi id d)– LR+ = sensibilidad/(1-especificidad)– LR- = (1-sensibilidad)/ especificidad

22

Fórmula de Bayes: más sencilloy

P ( | ) P ( ) P ( | )E P E P E+ + + + +Pr( | ) Pr( ) Pr( | )*Pr( | ) Pr( ) Pr( | )

E P E P EE P E P E+ + + + +

=− + − + −

Odds posterior = Odds prior x likelihood ratio(+)

LR+ . Cambiar (aumentar) la probabilidad de la enfermedad en pacientes con un resultado positivo

LR-. Cambiar (disminuir) la probabilidad de la f d d i t lt d ti

23enfermedad en pacientes con un resultado negativo

Calculad la probabilidad de la penfermedad en un paciente con un resultado positivop

Umbral de SGOT = 50Umbral de SGOT 50– Sensibilidad 75%, especificidad 80%

Prevalencia = probabilidad prior de que la paciente tuvo un IM– Supone que es 50%

odds prior = 0.5 / 0.5 = 1LR+ = 0.75 / 0.2 = 3.75odds posterior = 1 x 3.75 = 3.75probabilidad posterior P(E+| P+) = 3.75 / 4.75 ≈ 0.80

Calculad la probabilidad de la enfermedad en un paciente con un resultado positivo si P(E+)=20%resultado positivo si P(E+)=20%Calculad la probabilidad de la enfermedad en un paciente con un resultado NEGATIVO si P(E+)=20%

24

Ejercicioj

JAIMES Fabián Diagnostic tests: use andJAIMES, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007 vol 32 no 1 p 29 332007, vol.32, no.1, p.29-33.

25

Odds posteriorp

En el análisis anterior calculamos el oddsEn el análisis anterior calculamos el odds posterior dado un resultado positivo de la prueba (P+)prueba (P+)

También se puede calcular el odds posterior de la enfermedad dado un valor “X” de SGOT eg X= 75

26

“Likelihood ratios” Cocientes deLikelihood ratios . Cocientes de verosimilitud. Calcular dentro de cada rango de SGOTg

SGOT “x” E+ E LR(x)SGOT x E+ E- LR(x)

0-49 12 37 (12/48)/(37/46)=0,310 49 12 37 (12/48)/(37/46) 0,31

50-99 11 5

100-149 9 4

150+ 16 0

27 Total 48 46

“Likelihood ratios”

SGOT E+ E LR(x)SGOT “x”

E+ E- LR(x)

0 49 12 37 0 31 LR <1 disminuir la 0-49 12 37 0,31

50-99 11 5 2,11

probabilidad de la enfermedad (dado el resultado de la prueba),

100-149 9 4 2,16 LR >1 aumentar la probabilidad de la

150+ 16 0 Inf.

probabilidad de la enfermedad (dado el resultado de la prueba)

28 Total 48 46

Odds posterior de IMp

SGOT E+ E LR(X) Odds ProbabilidadSGOT “X”

E+ E- LR(X) Odds posterior


0-49 12 37 0 310 49 12 37 0,31

50-99 11 5 2,11

100-149 9 4 2,16

150+ 16 0 Inf.

30 Total 48 46

Cálculo de odds posterior cuando SGOT=75 y la prevalencia = 20%y p

LR | (50<SGOT<100) 2 11LR | (50<SGOT<100) = 2,11Prevalencia = 20%– Odds prior de la enfermedad= Pr(E+)/P(E-)= 0,25

Odds posterior = Pr(E+| X) / Pr(E- | X)p ( | ) ( | )– = 0,25 x 2,11= 0,53– Probabilidad posterior = 0,53/1,53 = 35%p , ,

31

Odds posterior de IM cuando la prevalencia = 20%p

SGOT E+ E LR(X) Odds ProbabilidadSGOTX



0-49 12 37 0 310 49 12 37 0,31

50-99 11 5 2,11 0,53 0,35

100-149 9 4 2,16

150+ 16 0 Inf.

32 Total 48 46

Odds posterior de IM cuando la prevalencia = 20%p

SGOT “x” E+ E LR(x) Odds ProbabilidadSGOT x E+ E- LR(x) Odds posterior


0-49 12 37 0,31 0,08 0,070 49 12 37 0,31 0,08 0,07

50-99 11 5 2,11 0,53 0,35

100-149 9 4 2,16 0,54 0,35

150+ 16 0 Inf. Inf. ≈1,00

33 Total 48 46

Parte 3

La relación entre sensibilidad y especificidadLa relación entre sensibilidad y especificidadLa curva de ROC

34

Relación entre sensibilidad y especificidadp

Sensibilidad está medida en pacientes con laSensibilidad está medida en pacientes con la enfermedadEspecificidad está medida en pacientes sin la enfermedadenfermedadPor tanto, son independientes DADO UN CRITERIO DE POSITIVISMOUna prueba tendría una sensibilidad alta y especificidad alta, o sensibilidad baja y especificidad bajao sensibilidad baja y especificidad bajao sensibilidad baja y especificidad alta. etc

35

Cambiar el criterio de positivismop

En SGOT la elección de un criterio deEn SGOT, la elección de un criterio de positivismo más alto, reduciría la sensibilidad y mejoraría la especificidady mejoraría la especificidadCambiar el criterio de positivismo vincular sensibilidad y especificidad: “a trade-off”Ejercicio. Calcular sensibilidad y especificidad para SGOT ≥50 & SGOT ≥150

36

SGOT ≥ 50

Con IM Sin IMCon IM Sin IMSGOT≥50 36 9SGOT 50 12 37SGOT<50 12 37Total 48 46

Sensibilidad. 36/48 = 0,75Especificidad. 37/46 = 0,804

37

SGOT ≥100


Sensibilidad. 25/48=0,521Especificidad. 42/46=0,913

38

SGOT ≥150


Sensibilidad. 32/48 = 0,333Especificidad. 46/46 = 1

39

Resumen de resultados en función del criterio de positivismop

Criterio Sensibilidad EspecificidadCriterio Sensibilidad Especificidad

SGOT 50 0 75 0 80SGOT ≥50 0,75 0,80

SGOT ≥100 0,52 0,91

SGOT ≥150 0,33 1,00

40

La curva de rendimiento diagnóstico (ROC)( )

0.8

1Tasa de VP (sensibilidad)

0.6 Umbral = 50

0.4 Umbral = 100

0

0.2Umbral = 150

410

0 0.2 0.4 0.6 0.8 1

Tasa de falsos positivos (1-especificidad)

Ejercicio. Dibujar e interpretar la curva de ROC para cada prueba A, B, Cp p , ,

E+

E+

E-

Resultado de la prueba

E-

Resultado de la prueba CA

E++

Resultado de

42E- la prueba B

Interpretación de curva de ROCp

sensibilidad

1

sensibilidad

Área bajo la curva (AUC) =

45º

( )0,5

430

1- especificidad1


sensibilidad

1

sensibilidad

Área = 1

45º

440

1- especificidad1


sensibilidad

10,5 < Área < 1

sensibilidad

Área = Probabilidad de hacer un buen diagnóstico de 2

personas, una con la enfermedad y otra

i l f d d

45º

sin la enfermedad

450

1- especificidad1


sensibilidad

1

sensibilidad

Gradiente de la curva de ROC = LR a esta coordinada

45º

McNeil et al (1975) NEJM 293:211-215

460

1- especificidad1

“Likelihood ratios” Cocientes deLikelihood ratios . Cocientes de verosimilitud. Calcular dentro de cada rango de SGOTg

SGOT x E+ E LR (x)SGOT x E+ E- LR (x)

0-49 12 37 (12/48)/(37/46)=0,310 49 12 37 (12/48)/(37/46) 0,31

50-99 11 5

100-149 9 4

150+ 16 0

47 Total 48 46

“Likelihood ratios”

SGOT E+ E LR(x)SGOT E+ E- LR(x)

0-49 12 37 0,31 LR <1 disminuir la 0 49 12 37 0,31

50-99 11 5 2,11

probabilidad de la enfermedad (dado el resultado de la prueba)

100-149 9 4 2,16 LR >1 aumentar la probabilidad de la

150+ 16 0 Inf.probabilidad de la enfermedad (dado el resultado de la prueba)

48 Total 48 46

La relación entre la curva de ROC y el LR

0.8

1Tasa de VP (sensibilidad)

0.6 Umbral = 50 LR = 0,31

0.4 Umbral = 100

0

0.2Umbral = 150

490

0 0.2 0.4 0.6 0.8 1

Tasa de falsos positivos (1-especificidad)

Ejercicioj

Dibujar una curva ROC para la prueba deDibujar una curva ROC para la prueba de presión ocular (“Schiotz tonometría”) para identificar pacientes con glaucomaidentificar pacientes con glaucoma

50

Presión ocular

0.2

0.25

0.3

E+Probabilidad

0.1

0.15

Presión intra-ocular más

-0.1

-0.05

00-1 1-2 2-3 3-4 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12

0

0.05

0-1 1-2 2-3 3-4 4-5 5-6 6-7 7-8 8-9 9-10 10-11 11-12

ocular más baja (menos riesgo de ceguera)

-0.25

-0.2

-0.15

E_

ceguera)

51-0.45

-0.4

-0.35

-0.3

Presión ocular

Resultado de la prueba E+ (%) E- (%)

0-1 0.018 0

1 2 0 016 01-2 0.016 0

2-3 0.023 0

3-4 0.073 0.001

4 5 0 181 0 0054-5 0.181 0.005

5-6 0.277 0.042

6-7 0.166 0.14

7-8 0.246 0.394

8-9 0 0.247

9-10 0 0.119

5210-11 0 0.042

11-12 0 0.01

Total 1 1

Presión ocular

Resultado de la prueba E+ E- FP VP LR

0-1 0.018 0 0 0.018

1 2 0 016 0 0 0 0341-2 0.016 0 0 0.034

2-3 0.023 0 0 0.057

3-4 0.073 0.001 0.001 0.13 73.00

4-5 0.181 0.005 0.006 0.311 36.20

5-6 0.277 0.042 0.048 0.588 6.60

6-7 0.166 0.14 0.188 0.754 1.19

7-8 0.246 0.394 0.582 1 0.62

8-9 0 0.247 0.829 1 0.00

9-10 0 0.119 0.948 1 0.00

5310-11 0 0.042 0.99 1 0.00

11-12 0 0.01 1 1 0.00

Curva ROC

Curva ROCCurva ROC

0.8

0.9

1

0.5

0.6

0.7

0.8

or V

P

0.2

0.3

0.4

Valo

8<Criterio<9

Sensibilidad=17<Criterio<8

Sensibilidad=0,75Especificidad=1 0 19=0 81

0

0.1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Valor FP

Especificidad=1-0,58=0,42Especificidad=1-0,19=0,81

54

Parte 4. El criterio de positivismo óptimo para una pruebap p p

Por ejemplo Pacientes sospechosos de IMPor ejemplo. Pacientes sospechosos de IMTu hospital tiene una prueba para IMEl hospital usa la prueba con un LR+ = 2Se trata el paciente según el resultado de la prueba Supón que la probabilidad previa = 20%D é d b P+ l b bilid d t iDespués de una prueba P+, la probabilidad posterior E+| P+ 33%El hospital quiere que revises su política p q q p¿ Es correcto su criterio de positivismo?¿ De que factores depende tu decisión?

55

La elección del criterio de positivismo optimop

E+ FN


E- FP

56 Resultado X1


E+ FN


E- FP

57 X2 es un separador más especifico que X1


E+ FN LR(X2) mayor que LR(X1)LR(X1)


E- FP

58 X2 es un separador más especifico que X1

Factores relevantes para la decisiónp

Prevalencia de la enfermedad (rara oPrevalencia de la enfermedad (rara o común)Consecuencias de errores: falsos positivos y falsos negativos– Efectividad de tratamientos– Riesgos de tratamientos– ¿Costes de los tratamientos?

59

Ejercicio: Consecuencias de errorj

¿Qué criterio de postivismo (más especifico /¿Qué criterio de postivismo (más especifico / más sensible) elegirías si

El t t i t ti á i ?– El tratamiento tiene más riesgo?– Las consecuencias sin tratamiento son más

graves?graves?– La prevalencia disminuye?

L l i t ?– La prevalencia aumenta?– El tratamiento es más caro?

60

Consecuencias de error

¿Qué X elegirías si¿Qué X elegirías si– El tratamiento es arriesgado?

Consecuencias peores para un FP X más especificoConsecuencias peores para un FP X más especifico – Las consecuencias sin tratamiento son graves?

Para evitar FN X más sensible– La prevalencia disminuye?

FP más probable X más especifico para evitar FPL l i t ?– La prevalencia aumenta?

FN más probable X más sensible para evitar FN

61

Ejemplo: Criterio de positivismo óptimo de un prueba para encontrar IMp p p

ConsecuenciasConsecuencias– VN : Buena salud

FP : Adversos efectos de fármacos (hemorragia)– FP : Adversos efectos de fármacos (hemorragia)Tasa de mortalidad 3 por 100 personas

– VP : Prognosis bastante buenagTasa de mortalidad 20 por 100 personas

– FN : Riesgo alto de mortalidadTasa de mortalidad 50 por 100 personas

Objetivo: Minimizar la tasa de mortalidad

62

Análisis de la decisión para la elección del criterio de positivismo óptimo p p

E+ ConsecuenciasDesignación de X como

una P+

E+P(E+|X)

Consecuencias de VP

Resultado d l

una PE-

P(E-|X)

Consecuencias de FP

Decisiónde la prueba =

XConsecuencias

d FN

E+P(E+|X)

Designación de X como

una P-

de FN

Consecuencias

( | )

E-

63

Consecuencias de VNP(E-|X)

Probabilidad posterior de IM cuando la prevalencia = 20%p

SGOT E+ E LR(X) Odds ProbabilidadSGOTX



0-49 12 37 0 310 49 12 37 0,31

50-99 11 5 2,11 0,53 0,35=(11/48)/(5/46)

=(0,2/0,8)*2,11 =0,53/1,53

100-149 9 4 2,16100 149 9 4 2,16

150+ 16 0 Inf.

64 Total 48 46

Análisis de la decisión para la elección del criterio de positivismo optimo p p

E+ 0 20Designación

P+

E+0,35

0.20Prevalencia 20%

Resultado d l

E-0,65

0.03

Decisiónde la prueba

SGOT = 75 0.50

E+0,35

Designación P-

0E-

65

00,65

Análisis de la decisión para la elección del criterio de positivismo optimo p p

E+ 0 20Designación

P+

E+0,35

0.20

T di d

Prevalencia 20%

Resultado d l

E-0,65

0.03Tasa media de mortalidad = 0,09

Decisiónde la prueba

SGOT = 75 0.50

E+0,35

Designación P-

0E-Tasa media de t lid d 0 17

66

00,65

mortalidad = 0,17

Análisis de la decisión para la elección del criterio de positivismo optimop p

50< SGOT <100 debe designar una50< SGOT <100 debe designar una resultado positivoEjercicio– Comparar las tasas de mortalidad si determinas

un valor de SGOT < 50 como “negativo” frente a la opción de determinar un valor de SGOT < 50 como “positivo”como positivo

67

Criterio de positivismo óptimo. Prevalencia = 20%

SGOT LR(X) Probabilidad Mortalidad MortalidadSGOTX

LR(X) Probabilidad posterior de la

f d d

Mortalidad si X P+

Mortalidad si X P-

enfermedad

0-49 0,31 0,07 0.042 0.036

50-99 2,11 0,35 0,089 0,173

100-149 2,16 0,35 0,090 0,175

68150+ Inf. ≈1,00 0.200 0.500

La fórmula de Bayes para calcular el Likelihood Ratio óptimo p

Pr( | ) Pr( ) *Pr( | ) Pr( )

X E E CVN CFPX E E CVP CFN

⎛ ⎞+ − −⎛ ⎞= ⎜ ⎟ ⎜ ⎟+ ⎝ ⎠⎝ ⎠Pr( | ) Pr( )X E E CVP CFN− + −⎝ ⎠⎝ ⎠

LR óptimo = ( 1/ Odds prior ) * “consecuencias”LR óptimo = ( 1/ Odds prior ) consecuencias

Por ejemplo:

LR óptimo = 0.8/0.2 * (0-0,03) / (0,2 – 0,5)

LR óptimo = 4 x 0,1 = 0,4

69 Weinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia: W B Saunders; 1980.

Likelihood Ratio y el criterio de positivismo óptimop p

¿Cómo cambiaría sus conclusiones en el¿Cómo cambiaría sus conclusiones en el caso de que:

L t d l i d IM á b j– La tasa de prevalencia de IM es más baja– El prognosis después el tratamiento de un IM sea

mejor?mejor?¿Qué otros factores son importantes en la d i ió ?decisión?

70

Caso Practico 1

ApendectomíaApendectomía

71

Parte 5

Meta análisisMeta-análisis– Síntesis de los resultados de varios estudios

4 Métodos– Unir los datos– Análisis de sensibilidad y especificidad

independientemente– Análisis de Likelihood Ratios– Análisis de Diagnostic Odds Ratio

72

¿Unir los datos? Calcular sensibilidad ¿y especificidad para cada estudio y los datos agrupados. Comentar. g p

E+ E Sens EspecE+ E- Sens EspecEstudio1 P+ 100 10

P 300 90P- 300 90Total 400 100

Estudio2 P+ 30 100Estudio2 P 30 100P- 10 100Total 40 200

Total P+ 130 110P- 310 190

73Total 440 300

¿Unir los datos? Calcular sensibilidad ¿y especificidad para cada estudio y los datos agrupados. Comentar. g p

E+ E Sens EspecE+ E- Sens EspecEstudio1 P+ 100 10

P 300 90P- 300 90Total 400 100 0,25 0,9

Estudio2 P+ 30 100Estudio2 P 30 100P- 10 100Total 40 200 0,75 0,5

Total P+ 130 110P- 310 190

74Total 440 300 0,29 0,63

Método 1. Problema con datos agrupados. g p

sensibilidad

1

Estudio 2sensibilidad

Datos agrupados

45º Estudio 1

750

1- especificidad1

Datos de sensibilidad y especificidad de 20 estudios. Deeks 2001

76 Estimates from 20 studies of sensitivity and specificity of measurement of endometrial thicknesses of more than 5 mm using endovaginal ultrasonography for detecting endometrial cancer..

Desafíos de un meta-análisis

Variabilidad en los resultadosVariabilidad en los resultados– De carácter aleatorio

D á i á i– De carácter sistemáticoDebido a diferencias entre los estudios (p.e características de los pacientes)características de los pacientes) Debido a diferencias en el criterio de positivismo entre los estudios

77

Heterogenidad entre los estudiosg

1

0.8

1Tasa de VP

0.6

0.2

0.4

00 0.2 0.4 0.6 0.8 1

78 Tasa de FP

Método 2

Meta análisis independientes de los datos deMeta-análisis independientes de los datos de sensibilidad y los datos de especificidadResultados– Sensibilidad 0,96 – ( 95% intervalo de confianza 0,93 a 0,99)– Especificidad 0,61– ( 95% intervalo de confianza 0,55 a 0,66)

79

Heterogenidad entre los estudiosg

1

0.8

1Tasa de VP

0.6

0.2

0.4

00 0.2 0.4 0.6 0.8 1

80 Tasa de FP

Problemas del meta-análisis de sensitividad y especificidad por separadop

No se tuvo en cuenta la heterogeneidadNo se tuvo en cuenta la heterogeneidad sistemática entre los estudios

81

Método 3. Promedios de los Likelihood ratios positivos y negativosp y g

Supone que los Likelihood Ratios sonSupone que los Likelihood Ratios son similares entre los estudios Resultados– Likelihood Ratio positivo 2,54 – ( 95% intervalo de confianza 2,16 a 2,98)– Likelihood Ratio negativo 0,09 – ( 95% intervalo de confianza 0,06 a 0,13)

82

Meta-análisis con Likelihood Ratios constante. (Sensibilidad estimado)( )

1

0.8

1Tasa de VP

LR- constante = 0,09

0.6

0.2

0.4 LR+ constante = 2,54

00 0.2 0.4 0.6 0.8 1

83 Tasa de FP

Interpretar los resultados de LR+ y LR-p y

Supone que la prevalencia de cáncer endometrialSupone que la prevalencia de cáncer endometrial en esta populación es 13%Calcular el odds posterior de la enfermedad de unCalcular el odds posterior de la enfermedad de un paciente quien resultó P+Calcular el odds posterior de la enfermedad de unCalcular el odds posterior de la enfermedad de un paciente quien resultó P-

84

Odds posteriorp

P ( | ) P ( ) P ( | )E P E P EPr( | ) Pr( ) Pr( | )*Pr( | ) Pr( ) Pr( | )

E P E P EE P E P E+ + + + +

=+ +Pr( | ) Pr( ) Pr( | )E P E P E− + − + −

Si ltó P+Si resultó P+

Odds posterior de enfermedad = (0,13/0,87)*2,54 = 0,38

Probabilidad posterior = 0 38 / 1 38 = 28%Probabilidad posterior = 0,38 / 1,38 = 28%

Si resultó P-

Odds posterior de enfermedad = (0 13/0 87)*0 09 = 0 014

85Odds posterior de enfermedad = (0,13/0,87) 0,09 = 0,014

Probabilidad posterior = 0,014 / 1,014 = 1,3%

Meta-análisis de Likelihood ratios

La interpretación de LR+ y LR es intuitiva yLa interpretación de LR+ y LR- es intuitiva y útil en la práctica clínicaProblemas en el meta-análisis– ¿Cómo elegiría entre LR+ constante o LR-

constante?– Otra vez el análisis no tuvo en cuenta la

dif i l it i d iti i t ldiferencia en el criterio de positivismo entre los estudios

86

Método 4. Odds ratio diagnostico (Diagnostic odds ratio)( g )

Supone que los odds ratio diagnositicos sonSupone que los odds ratio diagnositicos son similares entre los estudiosDefinición– DOR = LR + / LR –– = sensibilidad / (1- sensibilidad)– _________________________– especificidad / (1- especificidad)

87

Diagnostic odds ratiog

Es poco probable que el LR no varia entre estudiosEs poco probable que el LR no varia entre estudios, porque el LR varia en función del criterio de positivismopositivismoEs más probable que el DOR no varia en función del criterio de positivismo ya que es una característica p y qde la tecnologíaPero resulta difícil aplicar el DOR a la practica clínicaLa fórmula para calcular el SROC

88

Relación entre DOR y la curva de SROC (Summary ROC)( y )

Si el DOR es constante en los estudios (o todo laSi el DOR es constante en los estudios (o todo la variación en el DOR es aleatoria): Podemos calcular la sensibilidad en función dePodemos calcular la sensibilidad en función de especificidad y DOROdds(TVP) = DOR * odds(TFP)Odds(TVP) DOR odds(TFP)

– Donde– TVP = tasa de verdadero positivo = sensibilidad– TFP = tasa de falso positivo = 1-especificidad– Odds(x) = x/(1-x)

89

Summary ROC. Sensibilidad previstay p

1

0.8

1Tasa de VP DOR constante = 28

(95% IC 18,2 a 43,2)

0.6 El criterio de positivismo variaría entre estudios

( )

0.2

0.4

El análisis supone que otra variabilidad es

00 0.2 0.4 0.6 0.8 1

otra variabilidad es aleatoria

90 Tasa de FP

Conclusión

Meta análisisMeta-análisis– Síntesis de los resultados de varios estudios

L i i bl– Los supuestos son inevitables– Es importante explorar factores que resultan en la

ariabilidad entre est diosvariabilidad entre estudios– Un factor sería el criterio de positivismo, por

ejemplo debido a diferencias en la calibración deejemplo, debido a diferencias en la calibración de las máquinas

91

Comparación entre dos opcionesp p

Diseño del estudioDiseño del estudio– Ensayo clínico aleatorio

Validez interna altaValidez interna altaCaro y difícilValidez externa puede ser baja

– Estudio de modelizaciónUtilizar datos de prevalencia, sensibilidad, especificidadTener en cuenta que las diferencias en sens y especTener en cuenta que las diferencias en sens y espec pueden ser por diferencias en el criterio de positivismoModelizar las consecuencias de FP, FN etc.

92

Ensayo clínico aleatorio: la anginay g

O ll d hOverall, death or MI was reduced in the routine

[ dinvasive group [compared with the selective group ; Odd 0 82 95% CIOdds ratio 0.82, 95% CI 0.72-0.93]

93

Caso práctico 2: Evaluación de Telemedicina (modelización)( )

Pacientes con lesiones de la piel sospechosas dePacientes con lesiones de la piel sospechosas de melanoma malignoOpciones para el cribadoOpciones para el cribado

– Telemedicina en atención primaria con una cámara digital y conexión electrónica para enviar las imágenes a un especialista

– Atención especializada con una cámara digital (dermatoscopia)(dermatoscopia)

Evaluar las opciones y hacer recomendaciones para el sistema sanitario

94

Datos de eficacia

Estudio VP Total E+ FP Total E-Estudio VP Total E+ FP Total ETelemedicina Browns 83 85 98 171

Moreno Ramirez 14 14 10 47Atención Cristofolini 29 33 40 187

Especialista Soyer 61 65 17 94Benelli 48 60 38 341e e 8 60 38 3Carli 3 4 1 11Krahn 35 39 3 41SStanganelli 51 55 13 207Lorentzen 40 49 11 183Drummer 22 23 17 801

95

Otros datos

Prevalencia de melanoma maligno en estaPrevalencia de melanoma maligno en esta populación es 22%Consecuencias– Tasa de mortalidad con tratamiento correcto 2%– Tasa de mortalidad sin tratamiento precoz 3,6%– Tasa de mortalidad con tratamiento innecesaria ?– Qué otros factores sería importantes?

96

David Epstein Universidad de York, Inglaterra [email protected] · Indice zIntroducción zParte 1 – La...

Documents

Transcript of David Epstein Universidad de York, Inglaterra [email protected] · Indice zIntroducción zParte 1 – La...