Big Data: De la ilusión a la realidad
47
Big Data: De la ilusión a la realidad EL RETO DE TRANSFORMAR LOS DATOS EN VALOR PARA MI EMPRESA
Transcript of Big Data: De la ilusión a la realidad
Big Data: De la ilusión a la
realidad
EL RETO DE TRANSFORMAR LOS DATOS EN
VALOR PARA MI EMPRESA
Big Data: De la ilusión a la
realidad
EL RETO DE TRANSFORMAR LOS DATOS EN
VALOR PARA MI EMPRESA
El ciclo de la
publicidad exagerada
de Gartner
Big Data: de la ilusión a la
realidad
Gartner Hype Cycle
26.03.19 Big Data: De la ilusión a la realidad 5
Emerging Technologies 2010 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 6
Emerging Technologies 2011 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 7
Emerging Technologies 2012 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 8
Emerging Technologies 2013 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 9
Emerging Technologies 2014 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 10
Emerging Technologies 2015 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 11
Emerging Technologies 2016 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 12
Emerging Technologies 2017 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 13
Emerging Technologies 2018 - Cloud
26.03.19 Big Data: De la ilusión a la realidad 14
Emerging Technologies 2010 - IoT
26.03.19 Big Data: De la ilusión a la realidad 15
Emerging Technologies 2011 - IoT
26.03.19 Big Data: De la ilusión a la realidad 16
Emerging Technologies 2012 - IoT
26.03.19 Big Data: De la ilusión a la realidad 17
Emerging Technologies 2013 - IoT
26.03.19 Big Data: De la ilusión a la realidad 18
Emerging Technologies 2014 - IoT
26.03.19 Big Data: De la ilusión a la realidad 19
Emerging Technologies 2015 - IoT
26.03.19 Big Data: De la ilusión a la realidad 20
Emerging Technologies 2016 - IoT
26.03.19 Big Data: De la ilusión a la realidad 21
Emerging Technologies 2017 - IoT
26.03.19 Big Data: De la ilusión a la realidad 22
Emerging Technologies 2018 - IoT
26.03.19 Big Data: De la ilusión a la realidad 23
Emerging Technologies 2010 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 24
Emerging Technologies 2011 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 25
Emerging Technologies 2012 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 26
Emerging Technologies 2013 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 27
Emerging Technologies 2014 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 28
Emerging Technologies 2015 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 29
Emerging Technologies 2016 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 30
Emerging Technologies 2017 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 31
Emerging Technologies 2018 - Analytics
26.03.19 Big Data: De la ilusión a la realidad 32
Emerging Technologies?
• Una vez madura una tecnología, se genera
nueva tecnología en base a ella
• Base científica de >50 años (IA, Machine
Learning)
• Los términos se repetirán una y otra vez…
hasta quedar completamente integrados en el
día a día
26.03.19 Big Data: De la ilusión a la realidad 33
Las cosas claras:
Unas definiciones
Big Data: de la ilusión a la
realidad
Big Data
“Big Data” hace referencia al conjunto de información que es demasiado compleja como para ser procesada mediante TI tradicionales de manera
aceptable
–Min Chen, Shiwen Mao, and Yunhao Liu. Big Data: A Survey. Mobile Networks and Applications,
19(2):171–209, 2014.
26.03.19 Big Data: De la ilusión a la realidad 35
Big Data
“Big Data hace referencia al conjunto de información que es demasiado compleja como para ser procesada mediante TI tradicionales de manera
aceptable
–Min Chen, Shiwen Mao, and Yunhao Liu. Big Data: A Survey. Mobile Networks and Applications,
19(2):171–209, 2014.
26.03.19 Big Data: De la ilusión a la realidad 36
Ecosistema Hadoop (Big Data)
Apache
Pig:
Scripting
Almacenamient
o redundante y
fiable
YARNGestiona
recursos del
Cluster
Procesamiento
Distribuido de
datosZookee
per:
Coordin
a la
distribuc
ión
Data
Warehous
e
Machine
LearningColector
de datos
Conector
BBDDR-
HDFS
26.03.19 Big Data: De la ilusión a la realidad 37
Machine Learning
• Machine Learning: o aprendizaje automático es una
rama de la IA cuyo objetivo es desarrollar técnicas
que permitan a las computadoras aprender.
– Aprendizaje Supervisado
– Aprendizaje no-supervisado o Clustering
• Las técnicas de ML son algoritmos para la
adquisición de descripciones estructurales a partir de
ejemplos
– Árboles de decisión, redes bayesianas, redes
neuronales, vecino más cercano, SVM, K-medias,
Reglas de asociación,….
26.03.19 Big Data: De la ilusión a la realidad 38
La realidad. ¿Por
qué a veces falla?
Big Data: de la ilusión a la
realidad
La realidad
Solo el 26% de
encuestados han tenido
éxito en iniciativas IoT[Cisco, 2017]
26.03.19 Big Data: De la ilusión a la realidad 40
La realidad
85% de proyectos de
Big Data fracasa
[Gartner, 2017]
26.03.19 Big Data: De la ilusión a la realidad 41
La realidad
77% de empresas afirman
que la adopción de Big Data e
iniciativas de IA seguirá siendo un reto…
[NVP, 2019]
26.03.19 Big Data: De la ilusión a la realidad 42
“The biggest problem in the analysis
process is having no idea what you are
looking for in the data”
[Tom Davenport, Deloitte Analytics, 2017]
26.03.19 Mondragon Unibertsitatea 43
¿Por qué?
• La Comunicación:
– Objetivo (técnico) del proyecto vs. Objetivo
de negocio
– Expectativa (inducida) del desconocedor
vs. capacidad de la tecnología (con datos
existentes)
26.03.19 Big Data: De la ilusión a la realidad 44
¿Por qué?
• Los Datos:
– Cuánto almacenamos?
– Con qué calidad?
– Con qué objetivo?
– Diseñando los conjuntos de datos que vaya a dar
respuesta a las preguntas adecuadas?
– Fuentes de datos, actualización, fiables
26.03.19 Big Data: De la ilusión a la realidad 45
Qué quieroobtener
Qué datosnecesitopara ello
De dóndeobtengo
esos datos
Ingenieríade Datos
Análisis de Datos para
darrespuesta a la pregunta
incial
¿Por qué?
• Magia?– Reto: Human-Centric Artificial Intelligence
• Algoritmos difíciles de entender
• Opacos (cajas negras)
– Fiabilidad y Confiabilidad (credibilidad)
26.03.19 Big Data: De la ilusión a la realidad 46
Urko Zurutuza
Loramendi, 4. Apartado 23
20500 Arrasate – Mondragon
T. 943 71 21 85
Eskerrik asko
Muchas gracias
Thank you
