1
6-7 Novembre 2017 - Lecco
Simeone Andrulli
Ospedale A. Manzoni - Lecco
Divisione di Nefrologia e Dialisi
4° Corso di Diagnosi, Terapia e Critical Appraisal in
Nefrologia e Discipline correlate
Percorso nel critical appraisal
2
Lettura per curiosità
Lettura per rispondere ad un quesito specifico
(ricerca focalizzata)
Lettura per la ricerca (ricerca sistematica)
Livelli di lettura
3
Steps
Selezione dei lavori
Lettura dei lavori
Key messages
4
Selezione dei lavori
Se dobbiamo gettare nella spazzatura un
articolo, dobbiamo farlo prima di leggerne i
risultati
5
Studio primario o secondario?
Distinguere i lavori originali dal resto delle
pubblicazioni scientifiche
6
Sezioni del lavoro
Abstract
Introduzione
Materiali e Metodi
Pazienti
Definizione dei trattamenti
dimensione del campione
analisi statistica
Risultati
Discussione
Bibliografia
Tabelle
Figure
7
Perché è stato svolto questo studio
Occorre una dichiarazione esplicita dello scopo
del lavoro
Qual è il quesito clinico?
8
Punti importanti in uno studio
Scopo
Scelta dei pazienti
Definizione dei trattamenti a confronto
Condizione di cecità
Disegno sperimentale
Randomizazzione
Durata follow-up
9
Quali pazienti?
Come sono stati reclutati?
Sono tutti i pazienti di un centro o una parte?
Sono stati selezionati con procedura casuale?
10
Scelta dei pazienti
Campione e Popolazione
P C
Campionamento
Inferenza
11
Si è cercato di ridurre gli errori
sistematici?
Gli autori hanno eseguito gli aggiustamenti per le
differenze iniziali?
I due gruppi a confronto hanno avuto la stessa
attenzione da parte del medico?
La frequenza dei controlli è stata la stessa?
Studio in cieco?
I drop-out sono tanti? Sono stati inclusi nell’analisi?
12
Punti importanti in uno studio
Drop-out e Persi al follow-up
End-points
Dimensione del campione
Tipi di analisi statistica
13
Tipo di analisi
Intention to treat analysis
Per-protocol analysis
14
Il test statistico è corretto?
Test parametrici
t-test per dati indipendenti
t-test per dati non indipendenti
Anova
Misure ripetute
Chi quadrato
Coefficiente di corr. di Pearson
Test non parametrici
Mann-Whintney
Wilcoxon
Kruskal-Wallis
Friedman
Test esatto di Fisher
Coefficiente di corr. di Spearman
15
Studio sperimentale
Punti importanti
Randomizzazione
Disegno sperimentale
Studio a gruppi paralleli
Studio cross-over
16
Studio a gruppi paralleli
17
Studio cross - over
18
Valutazione della risposta
Outcomes
Primario
Efficacia
Sicurezza
Secondari
Variabile continua
Slope
Creat. Clearance
End-points
Mortalità
Raddoppio della Cr.
19
Attenti agli End-points compositi
Mortalità Totale
IMA
Scompenso cardiaco
Arteriopatia obliterante
20
Gli autori aumentano l’effetto apparente di una terapia
Valutazione della risposta
21 Brenner BM et al. N Engl J Med 2001 ; 345 ( 12 ): 861 - 9
RENAAL Endpoint : Raddoppio Cr, ESRD, Morte
762 689 554 295 36
751 592 583 329 52
Placebo
Losartan
22
Brenner BM N Engl J Med 2001 345:861-869
RENAAL
E C RR EER CER ARR %ARR % RRR NNT
Losartan Placebo
Pazienti studiati 748 762
Outcome N 327 359 0,93 0,437 0,471 0,034 3,4 29
% 44 47 7
Gruppi
23
Misura l’errore nella stima della media della
popolazione da una media campionaria estratta
dalla stessa con una procedura casuale
Errore standard della media
n
sESM
24
Errore di 1° tipo 1 () ed errore di 2° tipo ()
La P di è settata dallo sperimentatore
La P di è funzione di una serie di fattori:
dimensione di
dimensione della differenza tra le medie di
gruppo ()
dimensione del campione (n)
variabilità dei dati individuali (2)
Distribuzione di campionamento dei dati
sotto l’ipotesi nulla (Ho) e alternativa (Ha)
H0: 0 - 1 = 0
Ha: 0 - 1 0
Le curve si sovrappongono parzialmente:
e competono
La sovrapposizione si riduce se aumenta
la differenza media tra i due gruppi
La sovrapposizione si riduce se
le curve diventano più strette Errore
Standard della Media (ESM): / n
30
80
70
60
50
40
30
20
10
0 50 - 75 25 - 50 < 25 HD start
Creatinine Clearance ( ml / min )
%
Levin A et al. Am J Kidney Dis 1999; 34: 125 – 34
LVH prevalence and renal function
N = 246
31 London GM et al. Kidney Int 1987; 31: 973 - 80
Hematocrit and LV cavity diameter
Uremic cardiomiopathy: an inadequate LVH
10 20 30 40 50
LV
en
d -
dia
sto
lic
in
tern
al
dia
mete
r (
cm
/ m
2 )
3
4
5
r = - 0.62
P < 0.001
N = 57
32
Tipo di studio
Studio osservazionale trasversale
Studo osservazionale longitudinale
Studio di intervento
33
Studio trasversale
Non c’è follow-up
Lo studio della relazione temporale non è possibile
Lo studio può stabilire solo un’associazione
34
Differenza tra R e R2
R
1. Coefficiente di correlazione
2. Indica il grado di reciproca
dipendenza di due variabili
3. Varia tra -1 e +1
4. Il segno indica se due variabili
sono correlate direttamente o
inversamente
5. Tende a 0 per variabili
indipendenti
R2
1. Percentuale di variabilità della
Y associata alla variabilità
della X
2. È più piccola di R
3. È sempre positiva
35
Come studiare l’associazione di variabili categoriche:
la tabella di contingenza 2x2 e il Chi quadrato
La tabella di contingenza 2x2 rappresenta un modo efficiente e chiaro
per illustrare l’associazione tra due variabili categoriche con due livelli
Malattia (esito)
si no
Fattore
di
rischio
si a c n1
no b d n2
m1 m2 T
Il Chi quadrato Il test Chi quadrato calcola la probabilità
associata all’osservazione dei dati della
tabella, sotto l’ipotesi nulla di
indipendenza tra fattore di rischio e
l’esito
Se la probabilità associata a questa
osservazione è troppo bassa
(arbitrariamente < 0.05, ossia 5%) allora
si rifiuta l’ipotesi nulla (di indipendenza)
e si conclude per un’associazione
statisticamente significativa tra fattore
ed esito
Malattia (esito)
si no
Fattore
di
rischio
si a c n1
no b d n2
m1 m2 T
38
Studio longitudinale di follow-up
Lo studio della relazione temporale è possibile
Posso osservare la sequenza temporale del fenomeno
Con quale cadenza raccolgo l’informazione ?
Quanto deve essere lungo il follow-up ?
Come affronto il problema dei pazienti dropout?
39
Studio di follow-up
Importanza delle informazioni basali
Inclusi nelle analisi multivariate possono avere
un’importanza prognostica
Possono servire per aggiustare per le differenze iniziali
Possono servire per aumentare la potenza di un test
Possono condizionare negativamente l’arruolamento dei
pazienti
Come misurare il rischio:
prevalenza e incidenza
In uno studio trasversale, la prevalenza di malattia o di un fattore di
rischio deriva dal rapporto tra il numero di pazienti che presentano la
caratteristica di interesse e il numero totale dei pazienti studiati; si tratta
quindi di una proporzione.
In uno studio longitudinale, di coorte o in uno studio sperimentale,
potremo calcolare l’incidenza, la velocità (il vero rate degli autori
anglosassoni) di accadimento di un evento nell’unità di tempo, ossia il
rapporto tra il numero dei nuovi casi rispetto ai soggetti sani presenti
all’inizio dello studio e osservati per un certo tempo
I data base elettronici: potenzialità e limiti
L’allestimento di uno specifico data base creato ad hoc per uno
studio è una tappa importante
I data base per uso clinico possono rappresentare una buona
opportunità di studi osservazionali di buona qualità
Ci sono due rischi:
Spesso gli autori non prestano la dovuta attenzione al controllo
preventivo della completezza e della qualità dei dati inseriti con
il rischio di stime distorte
Possono inoltre essere tentati ad adottare la strategia della
duplicazione dei pani, illustrare lo stesso fenomeno con un
sub-set di variabili di volta in volta diverso
42
Come raccogliere l’informazione
sull’ipertrofia del ventricolo sn?
Spessore del setto e della parete posterore
Massa del ventricolo sn
Indice di massa cardiaca
Quale indice?
Variabile continua o categorica?
Tipo di ipertrofia: concentrica o eccentrica
43
L’anemia influenza l’ipertrofia ventricolare?
Ipertrofia come variabile continua: Regressione
lineare
Ipertrofia come variabile categorica:
Regressione logistica in uno studio trasversale
Regressione di Cox in uno studio longitudinale
La regressione verso la media, un importante
confondente ancora misconosciuto negli studi clinici
soprattutto di coorte
La regressione verso la media è un fenomeno statistico ancora poco
noto ma molto importante
Se la pressione arteriosa di un paziente alla prima misurazione risulta
elevata, le successive misure sono spesso inferiori. Se un paziente
viene arruolato in un trial sull’ipertensione arteriosa sulla base del
primo dato, può essere che dopo risulti avere una pressione minore e
quindi più controllata, distorcendo (aumentando apparentemente)
l’effetto del farmaco
La distorsione può essere importante se non c’è un gruppo di
controllo (placebo) che permette di stimare correttamente l’effetto
puro del farmaco al netto dell’effetto placebo e della regressione
verso la media
45
Regressione verso la media
Cos’è?
Negli studi di coorte
Con un solo dato basale
Quando manca il gruppo di controllo
Inizio Fine
46
Regressione verso la media
È più rilevante
Per alcune variabili
Con valori successivi poco correlati
Con valori di cut-off elevati o estremi
Inizio Fine
47
Regressione verso la media
È da tener presente
Per valutare l’effetto vero di un farmaco
Per evitare errori nella selezione dei pazienti
per un clinical trial
Inizio Fine
Si controlla
con misure basali ripetute
Come si misura la forza di un’associazione
rischio relativo in uno studio osservazionale longitudinale
odds ratio, in uno studio osservazionale trasversale
In uno studio sperimentale longitudinale prospettico, il fattore di
rischio può essere sostituito dal trattamento in studio (trattamento
sperimentale e trattamento standard) e l’effetto della terapia
sperimentale rispetto a quella standard sarà espresso dal rischio
relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso
tipo di rischio nei controlli
Disease
Factor
+ -
+
-
P1 P3 P1 + P3
P2 P4 P2 + P4
P1 + P2 P3 + P4 1
Relative Risk
P1
P1 + P3
P2
P2 + P4 Risk ratio = :
Come si misura la forza di un’associazione
rischio relativo in uno studio osservazionale longitudinale
odds ratio, in uno studio osservazionale trasversale
In uno studio sperimentale longitudinale prospettico, il fattore di
rischio può essere sostituito dal trattamento in studio (trattamento
sperimentale e trattamento standard) e l’effetto della terapia
sperimentale rispetto a quella standard sarà espresso dal rischio
relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso
tipo di rischio nei controlli
Disease
Factor
+ -
+
-
P1 P3 P1 + P3
P2 P4 P2 + P4
P1 + P2 P3 + P4 1
ODDS ratio
P1 * ( P4)
P2 * ( P3) Risk ratio =
Vai a ODDS ratio
Come si misura la forza di un’associazione
rischio relativo in uno studio osservazionale longitudinale
odds ratio, in uno studio osservazionale trasversale
In uno studio sperimentale longitudinale prospettico, il fattore di
rischio può essere sostituito dal trattamento in studio (trattamento
sperimentale e trattamento standard) e l’effetto della terapia
sperimentale rispetto a quella standard sarà espresso dal rischio
relativo di malattia e/o morte (Esito) nei trattati rispetto allo stesso
tipo di rischio nei controlli
Disease
Treatment
+ -
+
-
P1 P3 P1 + P3
P2 P4 P2 + P4
P1 + P2 P3 + P4 1
Relative Risk
P1
P1 + P3
P2
P2 + P4 Risk ratio = :
Links causativi
Questi possono essere provati solo con studi sperimentali di
buona qualità
Il disegno sperimentale di questi studi può essere vario. Si
riconoscono due disegni principali, il disegno a gruppi paralleli e
il disegno cross-over
Nel primo il paziente è randomizzato al trattamento
(sperimentale o standard)
nel secondo il paziente riceve ambo i trattamenti, con una
sequenza definita a random (A B oppure B A)
55
Studio di intervento
Mezzi a disposizione
Studio sponsorizzato
Studio con supporto
Studio non sponsorizzato multicentrico
Studio non sponsorizzato monocentrico
Studio osservazionale prospettico multicentrico
sul rischio e l’utilità della biopsia renale
Osservazionale
Multicentrico
Prospettico
Non profit
Aperto a tutti i Centri che fanno biopsie
Tutti i pazienti che eseguono la biopsia del
rene nativo
Arruolamento competitivo
Data entry su web (RIBR)
57
Clinical trials
Valutazione rigorosa della relazione causa-effetto
in un gruppo di pazienti ben definito
Prospettici
Cercano di evitare errori sistematici
Fonte di dati utile per successive metanalisi
Vantaggi
58
Clinical trials
Tempo e costo
Attenti agli end - points sostitutivi
Attenti ai biases occulti
Bias di selezione
Cieco non sempre possibile
Randomizzazione imperfetta
Limiti
Studio poco rappresentativo della popolazione obiettivo
59
Clinical trials Inutili
Se uno studio precedente ha già fornito risultati definitivi
Non pratici
Numero proibitivo di pazienti da arruolare
Non appropriati
Studi volti a determinare la prognosi o
la validità di un test diagnostico o di screening
60
Potere di uno studio: 1-
capacità di uno studio di evidenziare una differenza quando
questa c’è
utile da considerare di fronte a uno studio negativo
di solito varia tra 0.8 e 0.9
Studio di differenza o di equivalenza?
negli studi di equivalenza è meglio che sia 0.95
In uno studio di Equivalenza <
62
Studio negativo Guarda i limiti dell’IC
Questo limite è clinicamente rilevante?
Si: lo studio è negativo, ma non è definitivo
No: lo studio non solo è negativo ma è anche definitivo
63
64
Come rappresentare l’effetto di un farmaco o di una
terapia: riduzione del rischio relativo, riduzione del
rischio assoluto e l’NNT
Negli studi sponsorizzati e anche in quelli non profit, gli autori
tendono a dare enfasi all’effetto di un farmaco o di un
trattamento con la riduzione percentuale del rischio relativo
osservato nel gruppo di interesse rispetto al gruppo di controllo.
Occorre invece guardare la scala delle relative figure o alla
riduzione del rischio assoluto
Un modo semplice per esprimere l’effetto di un farmaco, è quello
di calcolare l’NNT, Number Needed to Treat, il numero di
pazienti da trattare per un certo tempo per evitare un evento,
che si ricava dal reciproco della riduzione assoluta del rischio
Experimental Event Rate ( EER )
EER =
N° di eventi nel gruppo sperimentale
N° di soggetti nel gruppo sperimentale
Control Event Rate ( CER )
CER =
N° di eventi nel gruppo di controllo
N° di soggetti nel gruppo di controllo
Relative risk ( RR )
RR =
EER
CER
Relative risk reduction ( RRR )
% RRR =
( CER - EER ) x 100
CER
Absolute risk reduction ( ARR )
ARR = CER - EER
Number Needed to Treat ( NNT )
NNT per prevenire un evento =
1
ARR RRR
NNT
Per esempio, se il rischio dei trattati è 0.1 (10%) e dei
controlli è 0.2 (20%)
la riduzione relativa del rischio sarà del 50% [(0.2-
0.1)/0.2]
la riduzione assoluta del rischio sarà del 10% (0.2-
0.1) e
l’NNT sarà 10 (1/0.1)
NNT Vantaggi
Stima il beneficio di una terapia
in un modo più comprensibile
Oltre all’effetto intrinseco del
farmaco, incorpora il rischio
basale del paziente
Offre una base per esprimere i
costi di un trattamento
Permette un confronto di
trattamenti diversi per diversi
disordini
Svantaggi
Va espresso insieme al periodo di
tempo del trattamento
Attenti a confrontare NNT di
trattamenti di durata differente
Richiede l’assunto che il rischio resti
costante nel tempo
L’NNT ricavato dalle tabelle è
univariato!
Come studiare l’andamento di una variabile continua
nel tempo: l’analisi della varianza per misure ripetute
Quando si hanno misure ripetute nel tempo, molti lavori, anche di
riviste importanti, esprimono ancora le differenze nel tempo tra i
gruppi con t-test ripetuti ai vari tempi. Questo è un grosso errore che
va evitato perché la struttura dei dati è quella di misure ripetute nel
tempo negli stessi pazienti
se si tratta di variabili quantitative continue, un modo elegante e
adeguato per trattare questi dati è quello dell’analisi della varianza
per misure ripetute, che tiene conto simultaneamente dei vari effetti
in gioco
E’ tuttavia uno strumento che va usato da persone che abbiano una
buona conoscenza dei concetti statistici
Come descrivere l’esperienza di vita di un
campione nel tempo:
Caratteristiche peculiari
• presenza di un punto di inizio osservazione
• presenza di un punto di fine osservazione che può accadere per
vari motivi
• possibilità che non tutti i pazienti presentino l’evento di interesse
(dati troncati o censored)
• il numero dei pazienti a rischio si riduce con l’aumento del follow-
up
Regressione di Cox
Quando si vuole studiare l’effetto di un farmaco al netto
dell’influenza di eventuali confondenti o più semplicemente
l’effetto di un fattore al netto degli altri (in termini statistici si usa
il termine “effetto del fattore A indipendentemente dal fattore B”),
l’analisi della sopravvivenza ha a disposizione il potente
strumento della regressione multivariata di Cox
Caratteristiche comuni al Kaplan-Meier e
al Cox La variabile dipendente è il tempo di occorrenza dell’evento
Presenza di dati troncati
Still alive
Lost to follow-up
La probabilità viene ricalcolata ad ogni occorrenza dell’evento
I pazienti a rischio decrescono durante il follow up con una precisione
della stima puntuale che decresce da sinistra verso destra
È meglio troncare la curva quando i pazienti a rischio sono meno
del 20% di quelli iniziali
Caratteristiche specifiche
Le curve separate per gruppo
sono univariate
Il confronto tra due o più
curve si fa con un test
semplice univariato: il log rank
test
L’effetto di una covariata
continua può essere saggiata
solo discretizzandola (es. età)
e costruendo le relative curve
Kaplan-Meier Cox
• Permette di considerare
simultaneamente l’effetto
indipendente di più fattori e
covariate sulla sopravvivenza
• Le curve ottenute sono quindi
“aggiustate” per i fattori e le
covariate inserite nel modello
• Le covariate continue possono
essere saggiate come tali
Cox
Permette di studiare le
associazioni tra le variabili
prognostiche e l’outcome
Può aiutare a scoprire links
causali tra variabili grazie
anche alle informazioni
disponibili in tempi successivi
Si presta all’analisi di
fenomeni complessi
multivariati
Studi di coorte Studi sperimentali
• Permette di considerare l’effetto del
trattamento sperimentale al netto
degli altri fattori associati
all’outcome
• Permette di aggiustare a posteriori
il confronto tra i gruppi quando la
randomizzazione per puro caso
non ha prodotto gruppi bilanciati
per i fattori prognostici più
importanti
• Rende gli studi più potenti
riducendo la variabilità casuale
Quando usare la regressione logistica
A differenza della regressione di Cox, nella regressione logistica
la variabile dipendente (la Y) non è il tempo passato fino
all’insorgenza dell’evento (Time to event) ma semplicemente
una variabile categorica che vale zero (0) se l’evento non è
accaduto e uno (1) se l’evento è stato osservato. I predittori
(ossia le X) sono sempre i fattori e le covariate, come nell’analisi
di Cox
A differenza della regressione lineare multipla, la Y è una
variabile categorica (Morti/vivi, Recidiva/non recidiva, Pazienti
con complicanze/pazienti senza complicanze)
Quando è utile la regressione logistica
negli studi trasversali,
negli studi volti a studiare l’occorrenza di complicanze dopo
un intervento (per esempio dopo una biopsia renale)
quando il tempo di osservazione per ogni paziente è fisso o
almeno sovrapponibile nei due gruppi a confronto
La regressione logistica trascura il tempo di accadimento degli eventi
e si concentra solo sul fatto che siano avvenuti o meno
Lo strumento statistico utile sarà l’odds ratio con i suoi intervalli di
confidenza, a differenza della regressione di Cox, che considerando
gli eventi nel tempo (studio longitudinale di coorte), userà lo
strumento statistico del rischio relativo.
Come si misura la bontà di un test diagnostico
Malattia
Test
+ - +
-
a c
b d
m1 m2
n1
n2
T
Sensibilità = a / m1
Specificità = d / m2
VPP = a / n1
VPN = d / n2
Accuratezza = (a+d) / T
LR+ = Sens / (1 - Spec)
LR- = (1 - Sens) / Spec
Nomogramma
di Fagan
Il likelihood ratio
Proprietà
Nei test dicotomici, con l’uso del nomogramma di Fagan,
permette di calcolare la probabilità post-test di malattia, nota la
sua probabilità pre-test
Nei test quantitativi (non dicotomici) come il dosaggio del PSA,
degli enzimi cardiaci o della ferritina, permette di stimare le
diverse probabilità di malattia in base al dosaggio quantitativo
del test
Permette infine l’uso di test in sequenza: la probabilità post-test
del primo diventa la probabilità pre-test del secondo test, con un
possibile aumento della capacità diagnostica
Prior ODDS * Likeliwood Ratio Post. ODDS =
Teorema di Bayes
Come si misura la bontà di un test diagnostico
La sensibilità (a/m1 della tabella 3) indica la capacità del test di
individuare i malati. Si ricava dal rapporto (n. malati con test + / tutti i
malati).
La specificità (d/m2 della tabella 3) indica la capacità del test di
individuare i sani. Si ricava quindi dal rapporto (n. di sani con test
negativo / tutti i sani).
Un test molto sensibile darà quindi pochi falsi negativi (b, ossia
malati ma negativi al test) e
un test molto specifico darà pochi falsi positivi (c, ossia sani ma
positivi al test); a e d rappresentano invece i veri positivi e i veri
negativi rispettivamente.
Come si misura la bontà di un test diagnostico
La stessa tabella permette di capire come ottenere la probabilità pre-
test di malattia (m1/T, ossia la probabilità di un paziente dello studio
di essere malato prima di conoscere l’esito del test) e
la probabilità post-test di malattia, ossia la probabilità di essere
malati una volta che è noto il risultato del test.
Un test poco utile sarà quello che non cambia molto la probabilità di
malattia.
Come si misura la bontà di un test diagnostico
La performance di un test dipenderà non solo dalle sue proprietà
intrinseche (sensibilità e specificità) ma anche dal contesto in cui
viene applicato che influenza la probabilità a priori o pre-test di
malattia.
Il valore predittivo di un test è influenzato da entrambi gli aspetti ed è
quindi più utile.
Il valore predittivo positivo indica la probabilità di essere malato dato
che il test è risultato positivo (a/n1).
Allo stesso modo, il valore predittivo negativo indica la probabilità di
essere sano dato che il test è risultato negativo (d/n2).
Likelihood ratio
(rapporto di verosimiglianza)
Il likelihood ratio (o rapporto di verosimiglianza) di un test
combina insieme sensibilità e specificità.
Il likelihood ratio + (positivo) [uguale a sensibilità/(1-specificità)]
indica di quante volte aumenta la probabilità che il test sia + in
un malato rispetto a un sano.
Il likelihood ratio – (negativo) specularmente [uguale a
specificità /(1 - sensibilità)] indica di quante volte aumenta la
probabilità che il test sia – (negativo) in un sano rispetto a un
malato.
Disease
Factor
+ -
+
-
1 -
1 -
1 1
Youden index
1 - ( + ) Youden Index =
90
Key messages Leggete solo gli studi primari
Non avere fretta
Se avete poco tempo, trascurate l’introduzione e la discussione ma
non accontentatevi di leggere l’abstract o le conclusioni
dell’abstract
Meglio le tabelle delle figure
Diffidate di un lavoro che utilizza una tecnica statistica complessa
Guardate anche se il lavoro aveva uno sponsor
Attenti alla congruenza delle conclusioni con i risultati
Top Related