Metodologia di scrittura

Formulating and Writing

The Paper

– Project gestation/incubation period

– Project design

– Writing the thesis

The Paper

Gestation/incubation period - Before you put pen to paper

• Discuss the ideas/approach with others.

• Answer the following questions: – What issue am I addressing in the proposed project?– Why is the issue important and interesting?– Would the results of the project have significant

impact?

Developing a Hypothesis

• Should increase understanding of normal biologic processes, diseases, or treatment and prevention

• Testable by current methods

The Paper - Project formulation

Do consider the following..• Is there a clear hypothesis or question? Or is this a

“fishing exercise”? Fishing has to be strongly justified.• Projects solely aimed at creating a database not

important.

The Application - Project formulation

Do consider the following..• Is the project built on preliminary findings, past

findings, your own or of others?• Are there other groups doing the same thing? • What is your competitive edge?

Common mistakes in project choice

• I like this topic. Should be based on significance, not your interest

• Although this is not new, I have been doing this for yearsInnovation is critical

• It was not funded last time because the reviewer was biased/ignorant

But maybe not?• This issue has not been studied

But can it pass the “so what” test?

Common Mistakes

• Selecting project• Establishing Hypothesis

– Scientific flaws

• Setting goals (specific aims)• Showing preliminary data• Developing research plan• Choosing methods

Common Mistakes in Developing Research Plan

• Descriptive

• Too ambitious

• No hypothesis

• No anticipated results

• No alternative plan

• Scientific flaws

Flaws

Hypothesis is wrong

Planned studies cannot demonstrate the hypothesis

Methods are wrong or obsolete

Statistic is poor or wrong

Project formulation and design

• Do not be too ambitious with what you aim to do, i.e. can you achieve everything proposed in the time?

Project design

• Think of the loopholes, controls required etc.

• Think of contingencies to cope with unexpected results or failure.

• Are all the necessary expertise, samples, reagents available? – Line up collaborators, co-investigators if

possible (how to choose and manage collaborators…it needs a 6 years course)

“Too ambitious”

• Huge goals– Establish realistic goal(s)

• Vague hypothesis– Develop a testable hypothesis

• Unfocused aims– Set reasonable specific aims

• Too much work planned– More is not necessarily better – Plan feasible experiments

No alternative plan

If you anticipate to have some difficulties, you need show an alternative plan

• Only for critical issues• Clearly explain your alternative studies• Don’t use too much space

The Ideal Project

• Hypothesis-driven – Asks important questions

• Innovative– To study mechanisms

• Realistic and focused– Not too controversial

• Feasible in the time frame

The Ideal Project

• You have track record • You have preliminary data• Statistics!!!

Writing your thesis

Sequence

• The syndrome of the blank screen

• Figures, tracings, tables

• Methods and Results

• Discussion and Introduction

• Abstract and Title

Farsi venire le idee

Osservare Non sottovalutare ciò che colpisceDare un significato alle osservazioni: inferenze e principi inferenzialiLa soggettività va valorizzata ed educata: prospettiva disciplinare e orientamento metodologico

Title

• Max information in least words

• The title is an invitation to read the paper

• Use catchy titles

• State results

Writing your thesis

Abstract• Short, simple explanation of what the

project is about. Understandable by non-specialist

• Simple and concise. Clear statement of the hypothesis, objectives and importance of the project

Abstract

• Is your visiting card

• In most cases the only part that is read

• State clearly your thesis

• Some numbers, but not in excess

• Determines if thesis will be read

• Avoid acronyms

The context

• Need stretch of several hours

• Avoid distractions: phone, e-mail

• Ideas come while writing

Parole chiave

Devono comparire in titolo ed abstractSuggerire la 'traccia' del lavoroTrasmettere l'originalità del lavoroAgire sul significato intaccando il meno possibile la forma

Introduction

• Keep it focused

• 1. Why the study is interesting (broad)

• 2. Why did we do it? (specific)

• 3. Hypothesis

Writing your thesis

Objectives & Significance• Summarise

– the objective(s) of the project.– approaches to achieve main objective(s) – These should be clear, logically formulated.

• State if:– the project is addressed at clinical or environmental

problems of particular local relevance, – the project may lead to downstream application.

La forza dell'argomentazione

Dipende dalla visione del mondo di chi ascolta e si fonda su:

1.Dati di fatto

2.Valori

3.Principi inferenziali

4.Metodo

Background:• Are you up to date with the literature?

• The background should lead clearly to the question(s) to be asked.

• State question(s) you wish to ask or hypothesis you wish to test

Writing your thesis

Background:• Connect concepts

• Avoid ‘lateral’ concepts– The difficulty of a ‘straigth’ line

• Hyerarchical ‘top down’ flow of concepts– Not too broad– Not too narrow

Writing your thesis

Background:• Interest the reader!

– Put questions– Suspense– Internal connection with discussion– Avoid details– Open issues– Clinical needs

Writing your thesis

Common Mistakes

• Presentation:– Poorly organized

– Language errors

– Show muddled thinking

Common Mistakes in Objectives, Background and Significance

• Purpose– To demonstrate the significance of the project – To articulate critical issues to be addressed – Provide the rationale for your hypothesis.

• Problems:– Not focused, too long

• only review the related materials

– Too many references• cite only critical papers

– Ignored the critical or new reports• Cite recent important references relevant to the hypothesis

Methods

• Draft can be made while doing the study

• Enough information for an experienced

investigator to repeat your work

• Avoid tiresome detail

• Tables preferred to long list of numbers

or statistics

Methods

• Refer to data (Fig. X, Table Y)

• Do not repeat numbers in Tables

• Include ethics information (with Ethics

Committee approval and i.c.)

• Include complete statistics section

Writing the thesis

Research plan and methodology• Have a clear plan of action, logical sequence of

experiments to achieve aim.• Avoid ambiguity• For some projects e.g. in Molecular Biology, Clinical

studies, some diagram attached may be helpful for the reader to understand vector/experimental design if these are not straightforward.

Writing your thesis

Research plan and methodology• Sample description is critical!

– Number of subjects– Assessments (validated instruments, in line with

literature etc.)– Reliability (have you performed interrater reliability?)– Power estimation (Cohen, J. (1988). Statistical power

analysis for the behavioral sciences. Hillsdale, New Jersey, Lawrence Erlbaum Associates)

Writing the thesis

Research plan and methodology• Not usually necessary to describe methods in detail,

unless they are very new approaches. – Clear explanation of rationale of approach is usually sufficient.

• Are all controls included? If human samples are involved, have these been collected or will be available?

Major findings

• Text and or table/graph

• One slide for each

• Message should be unambiguous

Tables and Figures

• Do before writing

• Exceed 1 sheet: redraw

• If small: move data to text

• Should be able to stand alone

Discussion

• First paragraph- State major findings

• Last paragraph- “In summary…” (2-3 sentences)

- “In conclusion…” (biggest message, return to Intro, avoid speculation, avoid “need more work”

Discussion

• Middle paragraphs

- Base each on a major result

• Always focus on your results

• Explain what is new without exaggerating

• Never discuss prior work without reference to your work (but do not forget appropriate identification of prior research)

Discussion

• Refer Tables and Figures

• Do not repeat results

• Include limitations section

References

• Cite high IF Journals

• Use editing programs

• Relevant and recent

Common Mistakes in Objectives, Background and Significance

• References:

– Adequate to the concept• Review or books for well known aspects

• Papers for details or similar studies to your one

• Always choose high IF among similar

• A non cited reviewer usually gets angry!

Write the thesis in two weeks?

Never do it!• Plan your writing as early as possible

• Have it read by a peer

• Leave enough time for modification

Formal aspects

• Avoid ambiguity• Concise: Least words, short words, one

word vs many

• Strengthen transition between sentences

Formal aspects

• Check narrative flow: tell a story that the reader wants to read from start to end

• Writing improves in proportion to deletion of unnecessary words

• After the second draft send ms to your collegues• After the suggestions have been incorporated leave it

for some time a re-read

Formal aspects

• If you do not have time to check the spelling you may have not had time to check the quality of your experiments......

• Adherence to the formal style is crucial

• Check references

• Check and double check your work

First draft

• Write as quickly as possible• As if thinking out loud• Get everything down• Ignore spelling, grammar, style• Correct and rewrite only when the whole text is

on paper• Do not split the manuscript

• Works should be focused, addressing important questions.

• Avoid convoluted arguments/justifications of approach. Do not try to address too many questions.

Summary

Writing your thesis

Presentation• Don’t strain the reader’s eyes! Font size, at least

11.5 preferably 12pt

• Use sub-headings

• Margins. Avoid cramming everything in by shrinking the margins.

“Scientists are rated by what they finish, not by what they attempt”

How to prepare a scientific presentation

Before you start

• What does the audience already know about your topic?

• What are their interests?

• Why are you giving presentation?

Before you start

• What is your desired outcome?

• How much time do you have?

• What are key points?

Common Causes of Ineffective Presentations

• Failure to prepare the talk

• Confusing structure/not giving take home messages

• Gaps in logic

• Poorly designed slides

• Poor delivery

Organizing a Presentation

i. Outline

ii. Problem and background

iii. Design and methods

iv. Major findings

v. Conclusion and recommendations

Outline 1

Problem/Background 2

Design/Methods 2

Major findings 3-5

Conclusion andRecommendations 1-2

Time Yourself

Impact

Impact

5 min

Making slides

• Main points only

• One idea per slide

• Short words, few words (5 per line)

• Strong statements: active voice

The start

• Let audience know what they are going to hear

• Let them know how the presentation will be organized

Start broad, get specific, and end broad

Start with the biggest questions and get progressively more specific

The middle is your original contribution

Focus now on conclusions

Introduction

• Context

• Study question

• Relevant knowledge on issue

Major findings

• Text and or table/graph

• One slide for each

• Message should be unambiguous

Audience attention curve

Conclusion and Recommendations

• Key points

• Implications

• One slide for each message

Formal aspects

• AVOID USING ALL CAPITAL LETTERS BECAUSE IT’S REALLY HARD TO

READ!

• Dark letters against a light background (or the opposite) work

• Avoid some colour combinations (red-green)

Formal aspects

• Choose style that supports the tone

• Apply the same style to each slide

• Don’t Say It, Show It

Be consistent!

Formal aspects

• Every slide should have a heading.

• Lists should contain no more than 3-4 items

• Limit text blocks to no more than two lines each.

• Be careful with the pointer!

Type size should be 20 points or larger:18 point

20 point

24 point

28 point

36 point

* References can be in 14 point font

Formal aspects

Comunità oratore-auditorio

Creare legami sociali ed emotivi con l'auditorio

Creare una comunità di eguali

And do not forget to…….

Relax

Listen to what you are saying

Pace and time yourself

And do not forget to…….

Face the audience

Never underestimate your audience!

With time you will enjoy…..

CONTENT

Conveys new information Poses an interesting question Conveys how people in other fields think Describes important ideas Novel discovery

CLARITY AND ORGANIZATION

Understandable Avoids jargon Uses clear and simple visual aids Well organized Enables me to catch up if I space out Doesn’t run over time

STYLE AND DELIVERY

Keeps me awake Varies voice Conveys enthusiasm Doesn’t stay in one place

EXPERTISE

Credible Inspires trust and confidence Answers questions clearly

How to prepare a scientific presentation

• “Tell me and I will forget, show me and I will remember, involve and I will understand”

Statistica

• T-test, Chi2, ANOVA• Scelta del test• Limitazioni

metodologiche

Obiettivi di questa parte del corso

• Imparare come specifiche domande possano ottenere risposte attraverso differenti tecniche statistiche

• Imparare a valutare in maniera critica uno studio dalla letteratura, distinguendo tra studi validi e non

• Imparare a riconoscere gli ‘abusi’ della statistica

A cosa serve la Statistica?

Tipico Statistico imbonitore

Blablabla media, #§, la variabile$, bla con la percentuale % della

distribuzione del blabla… ma le

statistiche dicono che blablabla…

“There are lies, damned lies and statistics”

M.Twain

"If you torture statistics enough they will confess to anything”

Anonymous

“E’ la scienza che implica l’estrazione di informazioni da dati numerici ottenuti durante un esperimento su un campione.”

Implica:

2. La raccolta e analisi dei dati3. Il trarre inferenze sulla popolazione basate sulle

informazioni ottenute dal campione.

1. Il disegno dell’esperimento o del campionamento

Statistica

Pessime abitudini…

• La maggior parte dei lettori delle riviste scientifiche dà per scontato che quando un articolo compare su una rivista sia stato valutato sotto ogni aspetto, compreso l’utilizzo dei metodi statistici

Cominciamo quindi dalla Statistica nelle pubblicazioni

• Da uno studio sul British Journal of Psychiatry del 95 (ma anche in molti altri) il tasso di errori statistici (in senso lato) nelle pubblicazioni sullo stesso BRJPSY varia dal 31 al 90%, in genere intorno al 50%!!!

(“The use of Statistics in the British Journal of Psychiatry”-McGuigan S.M. Br J Psy (1995),167,683-688)

Abusi in Statistica

Le Statistiche possono mentire in molti modi…

• Non appropriati i metodi di raccolta dati

• CAMPIONI INADEGUATI (es auto-selezionati, non casuali)

• CAMPIONI PICCOLI (conclusioni basate su campioni troppo piccoli)

• Manipolazioni di analisi e grafiche (grafici e percentuali distorte)

Distribuzione Normale

• La maggior parte delle variabili biologiche e dei processi casuali si distribuisce secondo una curva a campana o “Gaussiana” (Gauss C.F. 1777-1855).

• La Distribuzione Normale viene poi “standardizzata” (cioè trasformata) le aree vengono così espresse in termini di “deviata standardizzata”

• Distribuzione Standard Normale è quella distribuzione normale che ha media =0 e varianza =1.

X

Probabilità = 0.50Probabilità = 0.50

Distribuzione Normale di Probabilità

Probabilità = 0.05Probabilità = 0.05

Distribuzione Standard Normale

• E’ una distribuzione di probabilità utilizzata per dati continui; la somma dell’area sotto la curva rappresenta il 100% di probabilità

• Ha la forma di una campana, simmetrica attorno alla media, con valori da - a +

• La formula è quella di una variabile Z distribuita casualmente con N (, 2) :

x = qualsiasi punto sull’asse delle ascisse = Deviazione Standard della distribuzione normale = media della popolazionez = equivalente al valore della probabilità (numero di

deviazioni standard tra il punto x e la media)

Z=X−μ

σ

X

Ciascuna ha una propria media e deviazione standard

Ogni distribuzione richiederebbe una propria tabella di conversione per il calcolo delle probabilità...Poco pratico

C’è un numero infinito di Distribuzioni Normali!

Z = 0

z= 1

ZX

Distribuzione Normale

Distribuzione NormaleStandardizzata

Come standardizzare la Distribuzione Normale

Distribuzione Standard Normale

Il 95% delle osservazioni(o degli individui) si trova entro circa 2 deviazioni standard dalla media

x

1.96s

95%

Distribuzione Standard Normale

x

DS

68%

Il 68% delle osservazioni (o degli individui) si trova entro 1 deviazione standard dalla media

Esempio P (3.8 X 5) Qual’è la Probabilità che X si trovi tra 3.8 e 5?

ZZ= 0

Z = 1

-0.12

Distribuzione Normale

0.0478

Distribuzione Normale Standardizzata

X = 5

= 10

3.8

Z= X−μσ

= 3 .8−510

=−0 .12

Working With the General NormalEXAMPLE: IQ Scores

|100

s.d. = 16

IQ Scores have a normal distribution with a mean of 100 and a standard deviation of 16. What is the 99% percentile of IQ Scores?

Esempio: il QI ha una distribuzione normale con media 100 e DS di 16; qual’è il range di “normalità”?

E voi dove vi situate?

Statistica Descrittiva e Statistica Inferenziale

• Media, Varianza, Deviazione Standard ed Errore Standard sono statistiche descrittive.

• La Statistica Inferenziale non può mai dire se qualcosa è vero (oppure no)

• Fornisce un bilancio di probabilità a riguardo: la probabilità che l’ipotesi sia vera (oppure no).

EH???

Statistiche descrittive- descrizione del campione

Statistica Descrittiva

• E’ difficile visualizzare in un grafico tutte le informazioni significative.

• E’ possibile raggruppare le informazioni

• Per farlo sono necessarie1) una misura di localizzazione2) una misura di variabilità o dispersione

Misure di localizzazione e di dispersione

MEDIA VARIANZA

Misure di localizzazione

• MEDIA

o misura di tendenza centralesomma delle osservazioni, divisa per il loro numero

• Mediana se si dispongono le osservazioni in ordine crescente o

decrescente è l’osservazione centrale

• Modal’osservazione più frequente

x̄=∑i=1

n

x i

n

(X1+X2+X3+…Xn)= ------------------------

n

Non è sufficiente una misura che indichi dove si situano in media gli individui.

E’ necessaria una statistica che indichi quanto differiscono tra loro, la dispersione

intorno alla media.

E’ la varianza.

Misure di dispersione

• Range (intervallo di variabilità), Quartili

• VARIANZA è la sommatoria delle differenze tra le singole osservazioni e la media.

o somma dei quadrati degli scarti dalla media (unità di misura x2 )

• DEVIAZIONE STANDARD è la radice quadrata della varianza misura la variabilità nei dati

(stessa unità di misura di x !!)

σ 2=∑i=1

n

( x i− x̄ )2

n

s=√∑i=1

n

( x i− x̄ )2

n

3 distribuzioni – stessa media, differenti varianze

N= 5 reparti; Numero di pazienti per reparto:1 2 2 3 5

Ospedale di montagna: una piccola popolazione (N = 5)

μ=1+ 2+ 2+ 3+ 55

=2 .6

σ=√(1−2 . 6 )2+ 2×(2−2. 6 )2+ (3−2 .6 )2+ (5−2 .6 )2

5=1. 36

Nota che il denominatore per il calcolo della Deviazione Standard è N = 5

Media di pazienti per reparto

Vogliamo informazioni riguardo: Abbiamo a disposizione:

SelezioneRandom

Inferenza

Parametro Statistica

Popolazione Campione

(Media del Campione)х

ATTENZIONE!!! Il problema maggiore è che

(Media della Popolazione)

Se estraiamo a caso un campione di n =2 reparti estratto dalla “popolazione” di N =5

x̄=2+ 52

=3 . 5

s=√(2−3 .5 )2+ (5−3 .5 )2

2−1=2. 12

Attenzione:

La Media del “campione” non è uguale a quella della “popolazione” (era 2.6).

La Deviazione Standard del “campione” non è uguale a quella della “popolazione” (era 1.36).

Statistica applicata al Campione• In realtà la formula della Deviazione Standard e

della Varianza del campione hanno una formula differente rispetto a quella della popolazione

• Anche i simboli sono diversi!

• Infatti sono “stime” dei valori della popolazione, perché il valore reale è sconosciuto

s2=∑i=1

n

( xi− x̄ )2

n−1DS=√∑i=1

n

( x i− x̄ )2

n−1

Gradi di libertà

Effetto della dimensione del Campione

Più Numeroso

Meno numeroso

X

f X

La media del campione più numeroso si avvicina alla media vera

(rif: Teorema centrale del limite)

Dato il campione cosa possiamo dire della popolazione?

• Si suppone sempre che il campione sia sempre casualmente estratto dalla popolazione

• Si conosce la dimensione del campione n, la sua media x e la sua varianza s

• (NOTA La “popolazione” in Statistica non è un’entità reale ma l’idea di un’ipotetica popolazione generata da un numero indefinitamente grande di osservazioni)

Stima di (media della popolazione)• Dalla media campionaria come si stima la media

VERA?– Esempio: Da un campione di 50 studenti, come si può calcolare il

peso medio della popolazione degli studenti italiani?– Dall’effetto del farmaco A su un campione di pazienti cosa

possiamo dire dell’effetto che avrà sulla popolazione?

• La stima che facciamo di a partire dalla media campionaria x è valida?

• Sappiamo che probabilmente x sarà vicina a , poco probabile che sia esattamente uguale

• QUINDI?

Come si stimano i Parametri della Popolazione?

(INFERENZA)Parametro

Sconosciuto Campione

Media

DeviazioneStandard S

Errore Standard

x

σ

√nS

√nUn nuovo parametro: cos’è l’Errore Standard?

Torniamo all’ospedale di montagna (campione di n = 3 reparti)

μ x̄=2.6 = media vera

ES=S

√n=

1 .36

√3=0 .79

= errore standard del campione

Campione Media1,2,2 1.671,2,3 2.01,2,5 2.671,2,3 2.01,2,5 2.671,3,5 3.02,2,3 2.332,2,5 3.02,3,5 3.332,3,5 3.33

Su cosa si basa tutta la Statistica?

Si basa sul concetto di p, cioè sulla PROBABILITA’

• Utilizziamo la Statistica per discriminare se le differenze tra campioni o trattamenti sono “reali” oppure “dovute al caso”

• La p è la probabilità di ottenere quel risultato (o più estremo) se l’ipotesi nulla è vera.

IPOTESI NULLA e IPOTESI ALTERNATIVA

• Assunzione che non vi è nulla di “provato”, e che tutto si verifica per caso, seguendo le leggi della probabilità. Questa è chiamata IPOTESI NULLA(H0)

• L’IPOTESI ALTERNATIVA è che qualcosa di improbabile, o “significativo” si sia verificato (HI) (che capita di rado)

• Se il nostro test ci dice che abbiamo osservato un evento abbastanza improbabile allora possiamo RIFIUTARE l’ipotesi nulla e ACCETTARE l’ipotesi alternativa

Inferenza• Se l’IPOTESI NULLA è respinta si può concludere che:

– c’è una differenza tra i due trattamenti

– la differenza osservata non è dovuta al caso

– la differenza NON è detto che sia di rilevanza clinica

Molto probabile che sia diverso

Probabile che sia molto diverso!!!

In giurisprudenza è “innocente fino a prova contraria”.

D’accordo, la “p” è la via finale comune, ma come ci si arriva?

• Siete sicuri di sapere che tipo di test si deve usare, che conoscete le procedure del ‘ricercatore’?

Allora rispondete alle seguenti domande..

Esempio 1

• Volete studiare l’efficacia nel rallentare la frequenza cardiaca del farmaco XY

• Che test usate?

T-test

• Se la variabile indipendente è categoriale o binaria e la variabile dipendente è continua

• Possiamo anche misurare il parametro di interesse confrontando nello stesso campione i soggetti prima e dopo il trattamento utilizzando il “T test per gruppi appaiati”

• Oppure confrontare un solo gruppo con la media della popolazione “T test per gruppi NON appaiati”

T-test• Se la media attesa (o della

popolazione o del primo campione) e la media osservata (o del secondo campione) distano tra loro più di 1.96*DS allora possiamo respingere l’ipotesi nulla.

Parametro

Fre

qu

en

za

RejectH0

AcceptH0

ObservedExpected 20 30 40 50 60

0

10

20

30e o

0

20

30e

o

T-test

Ricorda che…

• Il T-test può essere utilizzato solo se la distribuzione dei dati è Normale • In caso contrario, è possibile utilizzare altri test, come il test di Mann-Whitney o il Test di Wilcoxon

Esercizio 1

Esempio 2

• Volete confrontare l’effetto di 4 diversi tipi di trattamento sulla glicemia in pazienti con NIDDM (per esempio dieta, esercizio fisico, antidiabetico orale, fitoterapia).

• Voi pensate che vi sia un effetto straordinario della fitoterapia..

• Che fate?

Regressione Multipla

• Serve per valutare l’effetto di più variabili sulla variabile dipendente

• Fornisce l’effetto di ognuna di esse indipendentemente dalle altre

• Attenzione: correlazioni tra le variabili indipendenti causano errori!

ANOVA• Con questo test l’ipotesi nulla è che tutti i

campioni siano simili in quanto tratti dalla stessa popolazione; H0= non differenze

• Se ogni campione è indipendente e… • Ogni campione è estratto casualmente e…• La popolazione è distribuita normalmente e…• Le varianze sono uguali (anche se le medie sono

differenti)• ALLORA LA SI PUO’ USARE!!!

ANOVA

Altrimenti?

ANOVA di Kruskal-Wallis

Esempio 3

• Sostenete fermamente che vi sia un’associazione tra il fumare e l’allergia ai crostacei

• Cosa fate?

Chi-quadrato (2)

• Si usa se le variabili sono delle frequenze (o proporzioni)

• Confronta la differenza tra le frequenze osservate e quelle attese per caso.

• E=Expected (valore atteso) vs. O=Observed

• Significatività statistica ( = 0.05)(O – E )2

2 = (df) E

Tabella di contingenza (o 2x2)Supponi di voler mettere a confronto l'efficacia di un nuovo antibiotico (nome di fantasia: xmicina) con un antibiotico già in uso (streptomicina) nella terapia di una malattia del cane (la leptospirosi).A questo scopo, intraprendi un test clinico su un campione di animali costituito dai cani affetti da leptospirosi che vengono presentati in alcuni ambulatori ed ospedali veterinari in un determinato periodo di tempo.Durante la sperimentazione, ogni cane viene assegnato a caso al gruppo dei trattati con il nuovo antibiotico oppure a quello dei trattati con la streptomicina.

Tabella 1

I dati grezzi indicano che la xmicina è più efficace della streptomicina. Però la superiorità della xmicina

potrebbe essere dovuta al caso...

Dati attesiI dati della precedente tabella dimostrano che indipendentemente dal tipo di antibiotico il trattamento è risultato efficace nel 74.8% dei casi. Infatti sono guariti, sempre complessivamente ed indipendentemente dall'antibiotico utilizzato, 52+40=92 animali (a+c) su 123 trattati.Applicando questa percentuale di successo (74.8%) a ciascuno dei due gruppi in esame, si ricavano i dati della sottostante tabella , che illustra la situazione ci si aspetterebbe se i due antibiotici avessero la stessa efficacia.

Tabella 2

Quindi…

Ricorda che…

• Il test del Chi-quadrato è utilizzabile quando il valore di ogni cella è > 5 ed il numero totale di osservazioni è > 30• In caso contrario, è possibile utilizzare altri test, come il test esatto di Fisher, oppure utilizzare la correzione di Yates

Esercizio 2

Esempio 4

• Volete studiare le recidive di gastrite dopo trattamento eradicante per Helycobacter, confrontando due diversi schemi di trattamento antibiotico.

• Che fate?

• Con un punto di partenza ben definito (ingresso nello studio) e di arrivo (recidiva), differenti tempi di osservazione si calcolano le curve di sopravvivenza (Test log-rank)

Analisi di sopravvivenza

Riassumendo…• TEST PARAMETRICI (Media, Varianza,

ANOVA) se la variabile dipendente è misurata con una scala intervallare

• Si effettuano assunzioni parametriche circa le caratteristiche delle popolazioni sottostanti (da cui sono estratti i campioni)

• SI POSSONO USARE SOLO SE le popolazioni sono normalmente distribuite

• i campioni derivano da distribuzioni con varianze uguali

• TEST NON PARAMETRICI (Fisher exact test, Spearman, Mann-Whitney) non necessitano di assunzioni circa le distribuzioni

• SI POSSONO USARE con popolazioni distribuite in maniera NON NORMALE, dati ordinali o con piccoli campioni

Riassumendo…

L’ Influenza dei Mass-MediaSpesso le pubblicazioni scientifiche sono caratterizzate da

•Ingiustificabile grado di certezza

•Promessa di benefici immediati

•Dettaglio tecnico e gergo scarsamente comprensibili

•Esagerazione dei possibili rischi per scopi ‘di notizia’

•“Notizie sponsorizzate”

Ma a voi cosa rimane per esempio se leggete la tabella di un articolo

come questo?(Am J Psy …)

“Do Urbanicity and Familial Liability Coparticipate in Causing Psychosis?” Jim van Os et al. Am J Psychiatry 160:477-482, 2003

Lista di “caveat”

• Tutti vi hanno sempre spiegato cosa fare• Noi oggi vogliamo spiegarvi cosa NON fare

– Errori riguardanti il campione• Casi, controlli, numero,drop-out

– Errori riguardanti la presentazione dei dati• Grafici, forme di scrittura dei risultati

– Errori riguardanti l’analisi• Media, DS, SEM, scelta del test, missing data, drop

out …

Gli errori più comuni: sul campione

• Come avete reclutato il vostro campione di pazienti?

• E’ rappresentativo della popolazione generale di pazienti? (Per età, gravità, trattamento, frequenze alleliche…)

• E’ casualmente estratto dalla popolazione? (auto-selezionato, più grave..)

BIAS DI SELEZIONE DEL CAMPIONE

Io faccio così. E allora?

Gli errori più comuni: sul campione II

• Come avete reclutato il vostro campione di controllo?

• In alcuni studi (i peggiori) i controlli non sono descritti per nulla... fine del problema

• In altri i controlli sono STORICI (?)• oppure sono studenti, membri dello staff…

BIAS DI SELEZIONE DEI CONTROLLI

Gli errori più comuni: sul campione III

• Avete fatto il calcolo del power prima di cominciare lo studio?

• Potreste ritrovarvi con una dimensione del campione inadeguata a individuare differenze clinicamente rilevanti

BIAS DI NUMEROSITA’

Gli errori più comuni: il campione IV

• Cosa ne avete fatto dei drop-out?

• Buttati? Dove?

• L’analisi va fatta “intent- to- treat” e il come e il perché quei soggetti sono droppati va descritto con il maggiore dettaglio possibile

• BIAS SUI DROP-OUT

Shows maxima andminimapH

6

7

The distribution of pH valuesin ponds on Wimbledon Common

Rules for any graph:2: A title

1: Clearly labelled axes,units where appropriate

3: Explanations ofsymbols

1 2 3 4 5 6 Pond #

Gli errori più comuni: la descrizione grafica

Sono banalità ma spessoomesse...

Scatterplots, contd

Beware the false axis!

Why is this graph meaningless?

1 5 10Bag number

Weight of leaf

Gli errori più comuni: la descrizione grafica II

Grafico senza senso

Gli errori più comuni: la descrizione grafica III

Un punto importante è come si presentano i risultati:Devono essere SEMPRE esplicitati:1. Il tipo di test usato2. Il risultato del test3. I gradi di libertà4. La p

Per es: F (2, 173) = 37.39, p = .0001

Test gradi di libertà

Gli errori più comuni: l’analisi

• In alcuni lavori non sono descritte… problema risolto.

• Avete sempre fornito al lettore una descrizione “statistica” del campione?

• La Media e la Deviazione Standard consentono di capire DOVE si situa il campione per una certa variabile

• NON si usa l’Errore Standard della Media!!! (misura della precisione con cui si stima la media della popolazione)

Gli errori più comuni: l’analisi II

• Far bene l’analisi fa bene all’analisi (statistica…) • Conoscete bene la tecnica che state applicando?

Che limiti ha? A cosa si applica e a cosa NON si applica?

• Per es forse non tutti sanno che – il T test è sensibile ai dati con distribuzione non

simmetrica– il Chi quadrato non va usato se le osservazioni non

sono indipendenti– l’ANOVA se la distribuzione non è normale..

Gli errori più comuni: l’analisi III

• Cosa vuole dire quella p???• La p deve essere indicata con esattezza, non

soltanto se è “significativa” • Se p < 0.05, allora respingiamo l’ipotesi nulla• Ma ricordate sempre che p < 0.05 è interamente

arbitrario!E in discussione deve essere molto chiaro:

non differenza significativa non differenza

• Cos’è l’Intervallo di Confidenza? A cosa serve?

• IC: questo sconosciuto

• Quanti di voi l’hanno mai incluso nei loro articoli?

Gli errori più comuni: l’analisi IV

• Sono quelle osservazioni che “chiaramente” si situano al di fuori del range del dataset.

• Controllarle sempre; in genere derivano da errori di battitura…

• E’ corretto escluderli dalle analisi successive, ma questo deve sempre essere specificato nella sezione metodi.

• Attenzione, potrebbero essere le osservazioni più interessanti!!”

Gli errori più comuni: gli outliers

• Le tecniche di analisi multivariata (MANOVA) sono molto (troppo) sensibili agli outliers..

Gli errori più comuni: gli outliers II

Multivariate techniques.. Are especially sensitive to outliers: watch as one

data point has its decimal place entered one place out:

Same dataset, after 1 data point has dp

shifted by 1 place

Note the 1st axis is now about this 1 outlier

1st principal axis

3.02.52.01.51.0.50.0-.5-1.0

2nd p

rin

cip

al axis

2.0

1.5

1.0

.5

0.0

-.5

-1.0

-1.5

-2.0

Data points

modified by 1 dp

unchanged

PCA ordination of some rather

patternless data

axis 1

2.01.51.0.50.0-.5-1.0-1.5-2.0

axis

2

2.0

1.5

1.0

.5

0.0

-.5

-1.0

-1.5

datapoints

Watch this datapoint

body of the data

• Tristissimi... Il soggetto è perso.. (cambia medico, si riempie di pomfi e droppa, vi cade la provetta…)

• Non è zero!! I missing vanno inclusi nei conti (-1, 999, etc)

• Controllare di ogni tecnica come vengono considerati. In alcune analisi provocano difficoltà quasi “insormontabili”e devono essere esclusi.

Gli errori più comuni: Missing data

cilindro

cilindro 1 2 3

Gli errori più comuni: i test multipli

Perché non si devono fare (come qualsiasi altro test) se non si hanno gli occhi ben aperti!!

Prendi dei soggetti da una popolazione e forma due gruppi; quindi testa H0: nessuna differenza Usando p = 0.05 sappiamo che respingeremo H0 una volta su 20 per caso, anche se non sono diversi.Questo è il significato di p = 0.05.Adesso estrai 3 gruppi e applica H0: non differenza per ciascuna coppia 1-2, 1-3, 2-3

Gli errori più comuni: i test multipli II

•Sempre p=.05 per p1-p2, .05 per p2-p3...•Per ciascuna coppia la probabilità di accettare H0 è 0.95 (pr che i campioni non siano diversi), quindi la probabilità di accettarle tutte e tre è 0.95*0.95*0.95 = 0.857•Ne deriva che la probabilità di respingere H0 è

(1-0.86) = 0.14•In altre parole ci “sbaglieremo”una volta su 7, non più una volta su 20!!!

Gli errori più comuni: i test multipli III

•Questo è il motivo per cui NON si può usare una significatività dello 0.05 se effettuiamo test multipli•Bisogna sempre specificare quanti e quali test stiamo effettuando e applicare un criterio più ristretto

Fa alterare moltissimo i referi..

Gli errori più comuni: i test multipli IV

•Se effettuiamo N differenti test sullo stesso set di dati il livello di significatività deve essere corretto; si può usare la formula

p=1-(1-0.05)1/N

Es: 3 test, p corretta = 1-0.95(1/3) = 0.017.

E fare un Bonferroni?

Tips

Keep the noise levels down!Bias, confounding, and extraneous

variables all increase the noise in a study.

Ancora 3 argomenti abbastanza scomodi…

•“Positivamente negativo” o “Negativamente negativo”?

•Post-hoc analysis•Data dredging

(Ricercatore ignaro di questiargomenti)

“Positivamente negativo”

• Il processo di sviluppo di un nuovo trattamento passa attraverso:– descrizione di risultati promettenti

– diffusione in centri di eccellenza

– informazione diffusa attraverso i mass-media con i pz stessi che richiedono di essere trattati con la nuova terapia.

• In queste prime fasi vengono pubblicate solo le ricerche con risultati positivi

• Quando il trattamento viene adottato dalla comunità scientifica qualcuno si accorge che non sempre i risultati corrispondono a quelli attesi e propone di sottoporre il nuovo trattamento ad una ricerca rigorosa, randomizzata e controllata (RCT)

• Molti si oppongono al confronto verso placebo, ritenendolo non etico.

• La storia recente ha dimostrato che, se i risultati sono positivi il trattamento viene consacrato nelle linee guida, se negativi cade rapidamente nel discredito

“Positivamente negativo”

• “POSITIVE RESULT BIAS” è quel fenomeno per cui l’informazione viene distorta a favore dei risultati positivi, mentre quelli negativi sono più difficilmente pubblicati, o lo sono su riviste minori.

• Esempio: nel 1995 venne interrotta una ricerca multicentrica internazionale sull’efficacia di un vasodilatatore nei pz con scompenso cardiaco, a causa di un eccesso di mortalità; all’inizio 2005 i risultati non erano ancora stati pubblicati.

“Positivamente negativo”

E negativamente negativo?

• Ma quanto è “negativa” una sperimentazione clinica negativa?

• In una elevata percentuale di casi il campione è troppo piccolo per avere una potenza (Power!) sufficiente

• Spesso ci troviamo ad “avere fiducia” in risultati negativi in maniera irragionevole tanto quanto l’abbiamo per risultati positivi!

• Sono tutte quelle analisi statistiche non contemplate nel protocollo di ricerca che vengono effettuate dopo la conclusione della raccolta dei dati.

• In genere sono presenti nel 50-75% degli articoli!• Possono essere ottenuti per caso e

in genere sono poco affidabili o del tutto inaccettabili

Post-hoc analysis

• Esempio: Alla conclusione di un famoso studio multicentrico di confronto atenololo vs placebo in pazienti con Infarto Miocardico Acuto era stato valutato l’effetto del farmaco in sottogruppi di pazienti divisi per segno zodiacale.

• Venne osservato che l’atenololo era significativamente più efficace nei nati sotto il segno dello scorpione…

• Questo vuol dire che lo dobbiamo prescrivere solo a questi ultimi?

• E agli altri cosa diamo?

Post-hoc analysis

Dragare i dati (data dredging)• Uno dei maggiori pericoli di un trial clinico è che il

gran numero di dati disponibili generi informazioni false

• Se i ricercatori hanno a disposizione un gran numero di parametri (due o più trattamenti, multipli end-point, misurazioni ripetute di molti parametri), le combinazioni sono pressoché infinite e i ricercatori sono tentati di svolgere molteplici confronti con l’unico scopo di trovare risultati statisticamente significativi.

• E’ del tutto legittimo svolgere ulteriori analisi sui dati disponibili per indagare l’eventuale presenza di rapporti statistici tra due o più variabili, purché i risultati non vengano utilizzati per confermare ma solo per generare ipotesi.

• In genere questi risultati su sottogruppi sono smentiti da ricerche successive svolte proprio con lo scopo di verificare

quel risultato

Dragare i dati (data dredging)

• Il lettore deve accertarsi che nel protocollo di ricerca siano state descritte ed elencate le ipotesi che gli autori si erano proposti di verificare e quali relazioni sarebbero state analizzate.

• Qualunque analisi derivante da ipotesi formulate a posteriori deve essere considerata con una certa cautela.

Dragare i dati (data dredging)

• Impact Factor

• H Index

OUTPUT DEL PROGETTO