L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA...
-
Upload
dwight-richards -
Category
Documents
-
view
216 -
download
0
Transcript of L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA...
![Page 1: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/1.jpg)
L’età della parola
Giuseppe AttardiDipartimento di Informatica
Università di Pisa
ESA SoBigData Pisa, 24 febbraio 2015
![Page 2: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/2.jpg)
Natural Language LearningChildren learn to speak naturally,
by talking with othersTeach computers to learn
language in a similarly natural way
![Page 3: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/3.jpg)
Statistical Machine LearningTraining on large document
collectionsRequires ability to process Big
Data If we used same algorithms 10 years
ago they would still be runningThe Unreasonable Effectiveness of
Big Data
![Page 4: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/4.jpg)
Example: Machine Translation
Arabic to English, five-gram language models, of varying size
![Page 5: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/5.jpg)
Deep Learning Breakthrough: 2006
…
…
…
…Output layerPrediction of target
Hidden layersLearn more abstract
representations
Input layerRaw input
![Page 6: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/6.jpg)
Lots of Unlabeled Data
Language Model Corpus: 2 B words Dictionary: 130,000 most frequent words 4 weeks of training
Parallel + CUDA algorithm 2 hours
![Page 8: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/8.jpg)
A Unified Deep Learning Architecture for NLP NER (Named Entity
Recognition) POS tagging Chunking Parsing SRL (Semantic Role
Labeling) Sentiment Analysis
![Page 9: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/9.jpg)
Deep Text Analysis
Parsing Word Sense Disambiguation Anafora Resolution Information Extraction Sentiment Analysis Text Entailment Question Answering Biomedical Text Analysis
![Page 10: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/10.jpg)
QA on Alzheimer Disease
the γ-secretase inhibitor Semacestat failed to slow cognitive decline
disorderSnowMed: C0236848
protein drug
substance
QA on Alzheimer Competition
SUBJ OBJ
APPO OBJ
ROOT
![Page 12: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/12.jpg)
Big data, Big Brain
Google DistrBelief Cluster capable of simulating 100 billion
connections Used to learn unsupervised image classification Used to produce tiny ASR model
Similar basic capability for processing image, audio and language
European FET Brain project
![Page 13: L’età della parola Giuseppe Attardi Dipartimento di Informatica Università di Pisa ESA SoBigDataPisa, 24 febbraio 2015.](https://reader035.fdocuments.us/reader035/viewer/2022062408/56649eb15503460f94bb6f82/html5/thumbnails/13.jpg)