Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7...
Transcript of Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7...
![Page 1: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/1.jpg)
Big Data
Big Data
Bienvenido - Welcome - Witam
Juanmi Taboadahttp://www.juanmitaboada.com
@juanmitaboada https://es.linkedin.com/in/juanmitaboada
![Page 2: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/2.jpg)
Big Data
BioJuan Miguel Taboada Godoy ( 1980 - … )
1996 – Primer ordenador y primera LAN (cable coaxial)
1999 – Universidad de Málaga y Linux Málaga2001 – Grupo de investigación GEB.uma.es (4 años)
Cluster computación +20 nodos (OpenMosix)2002 – Presidente de Asociación Málaga Wireless2003 – Beca en Neurociencia en SUNY Teleruta (Ministerio de Fomento – 2 años)
2005 – Autónomo: - Nace Centrologic - Polonia (2 años) - Likindoy (Axaragua + Junta Andalucía)
2008 – Responsable Sistemas en PontGrup2011 – Adquisición Datos en Bética Fotovoltáicas2012 – SAFECLON y SCRUM/KANBAN
2013 – Executive MBA
2014 – Aeronáutica: Django + AngularJS2015 – Industria: Likindoy + Big Data
![Page 3: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/3.jpg)
Big Data
¿Información?
![Page 4: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/4.jpg)
Big Data
Información
es un conjunto organizado de datos procesados,
que constituyen un mensaje
que cambia el estado de conocimiento
del sujeto o sistema que recibe dicho mensaje.
(fuente Wikipedia)
![Page 5: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/5.jpg)
Big Data
Información digital
![Page 6: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/6.jpg)
Big Data
Información digital → Email
![Page 7: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/7.jpg)
Big Data
Información digital → Email
![Page 8: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/8.jpg)
Big Data
Información digital → Audio y Video
![Page 9: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/9.jpg)
Big Data
Información digital → Email
![Page 10: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/10.jpg)
Big Data
¿Información?
Cinta magnética
Cinta de casete
Disco flexible Disco duro CD DVD USB Blueray NUBE
15 15 10 15
¿?
10
![Page 11: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/11.jpg)
Big Data
La NUBE
![Page 13: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/13.jpg)
Big Data
La NUBE: saquemos un equipo
![Page 14: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/14.jpg)
Big Data
La NUBE: saquemos un equipo
![Page 15: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/15.jpg)
Big Data
La NUBE: abramos el equipo
![Page 16: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/16.jpg)
Big Data
La NUBE: interior del ordenadorDisco duro
![Page 17: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/17.jpg)
Big Data
1 disco duro = 10 años = 3 TBytes
10 años
![Page 18: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/18.jpg)
Big Data
¿Información?¡Sincronicemos todo el tiempo!
![Page 19: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/19.jpg)
Big Data
¿Cómo pinta todo esto?
![Page 20: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/20.jpg)
Big Data
Una dosis de realidad
![Page 21: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/21.jpg)
Big Data
¿Por qué?
![Page 22: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/22.jpg)
Big Data
Monitorización
![Page 23: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/23.jpg)
Big Data
Software de adquisición masiva de datos:
- 1 dato (Fecha+Valor) cada minuto por señal- 1000 señales por dispositivo- 20 dispositivos por nodo- 40 nodos por cliente
800.000 registros por minuto(8.000.000 tomas por minuto)
- 48M por hora- 1.152M por día
0,4 Billones por año y cliente
LikindoyThe monitoring company
![Page 24: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/24.jpg)
Big Data
Grandes números
20122.1 Billonesde usuariosen Internet
![Page 25: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/25.jpg)
Big Data
2014De 2.1a 2.4billones
2012 - 2.12014 - 2.4
Grandes números
![Page 26: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/26.jpg)
Big Data
2016De 2.4a 3.4billones
2012 - 2.12014 - 2.42016 - 3.4
Grandes números
![Page 27: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/27.jpg)
Big Data
2017De 3.4a 3.7billones
2012 - 2.12014 - 2.42016 - 3.42017 - 3.7
Grandes números
![Page 28: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/28.jpg)
Big Data
- Una única gota de agua contiene: 1.7 quintillones de moléculas de agua.
- La distancia de la Via Láctea hasta Andrómeda es de: 2 millones de años luz 18,87 quintillones de kilómetros 11,73 quintillon miles
- La tierra completa contiene unos: 1.234 quintillones de litros de agua 326 quintillon gallons of water
- Si cortamos la tierra por la mitad, la sección tendría un área aproximada de: 1.275 quintillones de centímetros cuadrados
- ¿Cuanto es un quintillón de céntimos o peniques de dólar?
¿Cuanto es un quintillón?
![Page 29: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/29.jpg)
Big Data
¿Cuanto es un quintillón... de peniques?
![Page 30: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/30.jpg)
Big Data
¿Cuanto es un quintillón... de peniques?
1.000.067.088.384.000.000 peniques1 quintillón, 67 trillones, 88 billones, 384 millones de peniques
Un cubo de 8,32 kilómetros de lado
![Page 31: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/31.jpg)
Big Data
Año 2016
- La gestión de datos crece de momento EXPONENCIALMENTE
- Seagate dice: 2016 año del Zettabyte ( 16ZB ) y 163 ZB para 2025
- 1 ZB equivale al espacio que ocupa 2 billones de años de música
- 1 ZB = 1024 exabytes = casi 1.1 trillones de Gbytes
- 1 zB = 1 sixtillón de bytes
![Page 32: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/32.jpg)
Big Data
Medidas
Usuarios de Internet:2012 – 2.1 Billones2014 – 2.4 Billones2016 – 3.4 Billones2017 – 3.7 Billones
Un usuario genera al mes:en 2011: 11,5 Gbytesen 2016: 32,3 Gbytes
Hoy: 86% del tráfico son videos
Toda la historia de películas juntas cruzan Internet cada 3 minutos
A lo largo de 1 año hablamos de 1 trillón de Gigabytes o …
1 Zetabbyte
![Page 33: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/33.jpg)
Big Data
Teorema de CAP
Eric Brewer (2000)
C: Consistency → Consistencia
A: Availability → Disponibilidad
P: Partition tolerance → Tolerancia al particionado
Sólo puedes llegar a 2 de las 3
Es imposible para un sistema de cómputo distribuido garantizarsimultáneamente la consistencia, la disponibilidad y ser tolerante
al particionado de los datos (separación y distribución).
![Page 34: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/34.jpg)
Big Data
Teorema de CAP
A
C P
Lo que la mayoríaLo que la mayoríapiensa que tiene que tiene Siempre se puede
leer y escribir
Todos los clientesven siempre lo mismo
Funcionará incluso cuando haya errores
en el sistema
![Page 35: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/35.jpg)
Big Data
Teorema de CAP
A
C P
Lo que la mayoríaLo que la mayoríade de verdad tiene tiene
Todos los clientesven siempre lo mismo
Siempre se puedeleer y escribir
Funcionará incluso cuando haya errores
en el sistema
![Page 36: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/36.jpg)
Big Data
Teorema de CAP
Lo cierto es que todos buscamos la disponibilidad (A)
Pero ... ¡¡¡ tenemos que elegir entre... !!!
Escalabilidad (P)
y
Consistencia (C)
![Page 37: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/37.jpg)
Big Data
Actualidad
¿Qué es la consistencia eventual?
Que ... eventualmente será consistente
Podemos introducir un dato y queno esté disponible inmediatamente después
Convergencia natural a la consistencia
![Page 38: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/38.jpg)
Big Data
Actualidad
![Page 39: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/39.jpg)
Big Data
¿Quién usa Cassandra?Fuente: http://planetcassandra.org/companies/
![Page 40: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/40.jpg)
Big Data
¿Quién usa Big Data?
Al finalizar la última iteración del LHC en el que se descubrió el “Bosón de Higgs”, el CERN almacenaba más de 100Pbytes
El LHC del CERN arrancó en Abril de 2015 en busca de la Supersimetría (capaz de producir 1Pbytes/segundo)
1Petabyte = 1.000 Terabytes = 1 Millón de Gigabytes
Ejecuta 235 clusters separados, con un total de 7.000 nodos.1 Millón de escrituras por segundo (factor 3)
Ecosistema para desarrolladores de juegos que teniendo problemas con MongoDB migraron a Cassandra.
![Page 41: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/41.jpg)
Big Data
¿Dudas?
![Page 42: Big Data - Juanmi Taboada · 2018-05-07 · Big Data - Una única gota de agua contiene: 1.7 quintillones de moléculas de agua. - La distancia de la Via Láctea hasta Andrómeda](https://reader034.fdocuments.us/reader034/viewer/2022042921/5f6a46eb965d71503f085332/html5/thumbnails/42.jpg)
Big Data
Thank you - Dziękuję
MuchasGracias
Juanmi Taboadahttp://www.juanmitaboada.com
@juanmitaboada https://es.linkedin.com/in/juanmitaboada