Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic...

38
Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea Magistrale in Informatica Relatori: Prof. Roberto Tagliaferri Prof. Fabrizio Esposito Relatore esterno: Dott. Giancarlo Valente Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 1 / 38

Transcript of Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic...

Page 1: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Automatic fMRI Learning (AfL)

Simone Romano

Università degli Studi di SalernoTesi di Laurea Magistrale in Informatica

Relatori:Prof. Roberto TagliaferriProf. Fabrizio Esposito

Relatore esterno:Dott. Giancarlo Valente

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 1 / 38

Page 2: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Outline

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 2 / 38

Page 3: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Outline

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 3 / 38

Page 4: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Ambito

NeuroscienzeInsieme degli studi condotti dalla comunità scientifica sulsistema nervoso.

Neuroimaging funzionaleStudio delle relazioni che intercorrono tra determinatearee cerebrali e specifiche funzioni cerebrali

EEG: elettroencefalogramma

DTI: tensore di diffusione

fMRI: risonanza magnetica funzionale

...

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 4 / 38

Page 5: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Risonanza magnetica funzionale

fMRITecnica in grado di misurare la risposta emodinamica correlata all’attivitàneuronale del cervello.

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 5 / 38

Page 6: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Esecuzione dell’esame

Semplice modalità diacquisizioneDifferenti tipologie di task:

visiviuditivimotori...

Durata dell’esperimentocompresa tra i 30 ed i 90minuti

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 6 / 38

Page 7: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Machine learning ed fMRI

Dati:rappresentazione volumetrica del cervelloun valore di attivazione per ogni voxel nel tempo

Obiettivi dello studio di dati di fMRI:in quale zona cerebrale è concentrata una certa informazionecom’è caratterizzata l’informazione

Tipologie di analisi:Analisi univariateAnalisi multivariate

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 7 / 38

Page 8: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Introduzione

Automatic fMRI Learning - AfL

INPUT OUTPUT

• fMRI data• Labels• Brain mask

• SVM trained model• Generalization error• Best features

Time series compression

Voxels clustering

ClassificationTrained model

Automatic fMRI Learning

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 8 / 38

Page 9: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL

Outline

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 9 / 38

Page 10: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Esperimento e dataset

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 10 / 38

Page 11: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Esperimento e dataset

Esperimento

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 11 / 38

Page 12: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Esperimento e dataset

Maschera

Aree cerebrali coinvoltecorteccia motoriacorteccia somatosensoriale

Riduzione del numero di voxelsda circa 50000 a circa 2000

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 12 / 38

Page 13: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Esperimento e dataset

Dati

Modalità acquisizione datiIn totale sono state registrate 96risposte (48 per dito)Un campione ogni 2 secondi

Struttura singola pressioneMatrice t × v :

t = tempo, 8 puntiv = voxel, dimensione di 103

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 13 / 38

Page 14: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Esperimento e dataset

Obiettivi

Gli scopi dell’analisi effettuata sono:Studio della risposta emodinamica legata al particolare taskClassificazione delle due differenti condizioni sperimentali

Pipeline:1 Compressione delle serie temporali2 Raggruppamento dei voxel3 Generazione delle mappe dei cluster4 Stima della risposta emodinamica5 Generazione modello SVM per la generalizzazione su nuovi dati

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 14 / 38

Page 15: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Compressione dei dati

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 15 / 38

Page 16: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Compressione dei dati

Compressione serie temporali

Media aritmeticaGLM su tre basi

PCA non lineare

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 16 / 38

Page 17: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Compressione dei dati

Compressione serie temporali - 1

Data

.

.

.

96 x

8

8

8

8

.

.

.

2*103

GLM 3 basis function

Nonlinear PCA

96 x

33

3

3

3

Data 2*103

96 x

33

3

3

3

Data 2*103

Mean

Data 2*103

96

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 17 / 38

Page 18: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Compressione dei dati

Clustering voxel

ObiettivoRaggruppamento voxel - riduzione delle dimensionalità

Algoritmi di clustering utilizzati:Partitioning Around MedoidsClustering gerarchico

Metriche di distanza:Correlazione di PearsonCorrelazione di Spearman

Valori di k :k ∈ {5,6,7,8,9,10,20,30,40,50}

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 18 / 38

Page 19: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Compressione dei dati

Clustering voxel - 1

96 x

33

3

3

3

Data 2*103

96 x

33

3

3

3

Data 2*103

Data 2*103

96x

Data 𝒌

96x

Data 𝒌

Data 𝒌

CLUSTERING

CLUSTERING

CLUSTERING

Linkage – PamPearson - Spearman

Linkage – PamPearson - Spearman

Linkage – PamPearson - Spearman

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 19 / 38

Page 20: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Valutazione dei cluster

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 20 / 38

Page 21: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Valutazione dei cluster

Mappe dei voxel

Informazioni per ogni cluster:1 Voxel appartenenti al cluster2 Informazioni spaziali dei voxel

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 21 / 38

Page 22: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Valutazione dei cluster

Risposta emodinamica

Si parte dal datasetinizialeSi considerano i medoidsoutput del clusteringSi effettua la media deivari samples per ognimedoids

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 22 / 38

Page 23: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 23 / 38

Page 24: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Schema di classificazione

SVM - Support Vector MachinesCross-validation con 6 fold

Stima parametri miglioriSVMFeatures selectionTest delle permutazioni sullelabel

Output (per ogni fold):cluster migliorep-value del test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 24 / 38

Page 25: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Cross-validation

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 25 / 38

Page 26: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Cross-validation - Multi-pattern

Nota: compressione serie temporali con1 GLM su tre basi2 PCA non lineare (3 componenti)

Schema di classificazione a votazione:Per ogni trial i

utilizzo del modello su ognuno dei 3 pattern del trialil trial è assegnato alla classe vincente 2 volte su 3

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 26 / 38

Page 27: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Cross-validation - Multi-pattern - 1

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 27 / 38

Page 28: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 28 / 38

Page 29: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 29 / 38

Page 30: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 30 / 38

Page 31: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 31 / 38

Page 32: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

AfL Classificazione

Test delle permutazioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 32 / 38

Page 33: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Risultati

Outline

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 33 / 38

Page 34: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Risultati

Filtro risultati

Per ogni soggetto vengono generati risultati catalogati per:metodologia di compressione serie temporali (media, PCA nonlineare, GLM su 3 basi)algoritmo di clustering utilizzato (PAM, clustering gerarchico)distanza usata per il clustering (Pearson, Spearman)numero di clustertipologia svm (lineare/non lineare)

I risultati vengono filtrati automaticamente cercando:media 6 one shot più bassaalmeno 4/6 p-value significativi

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 34 / 38

Page 35: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Risultati

Media errori migliori one-shot

SubjectsAZ - AZ significant (4/6) GV - GV significant (5/6) JE - JE significant (4/6)

Err

or %

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

MEAN Linkage Spearman 5

SVM non linear

GLM Pam Spearman 5

SVM non linear

MEAN Linkage Spearman 9

SVM non linear

One shot results - mean

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 35 / 38

Page 36: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Conclusioni

Outline

1 Introduzione

2 AfLEsperimento e datasetCompressione dei datiValutazione dei clusterClassificazione

3 Risultati

4 Conclusioni

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 36 / 38

Page 37: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Conclusioni

Discussioni

Pipeline generale per trattare dati fMRICompressione dei datiValutazione dei clusterModello per la classificazione

Punti di forza:Miglioramenti soddisfacenti (rispetto alavori precedenti)Riutilizzabile per altre tipologie didataset

Sviluppi futuri:Utilizzo della pipeline su altri soggettiper valutare le features selezionate

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 37 / 38

Page 38: Automatic fMRI Learning (AfL)sromano.altervista.org/progetti_magistrale/tesi/Seminar...Automatic fMRI Learning (AfL) Simone Romano Università degli Studi di Salerno Tesi di Laurea

Conclusioni

Grazie per l’attenzione

Simone Romano (Università degli Studi di Salerno) Automatic fMRI Learning - AfL 25/07/2016 38 / 38