Internet of Your Things
-
Upload
solidq -
Category
Technology
-
view
78 -
download
0
description
Transcript of Internet of Your Things
![Page 1: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/1.jpg)
![Page 2: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/2.jpg)
Bienvenida Introducción APS
IoT y Casos
de Éxito
Final y Cóctel
Agenda
![Page 4: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/4.jpg)
![Page 5: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/5.jpg)
¿Qué es Big Data para ?
• Datos, datos, datos…..
• ¿Big? Hoy es Big, pero dentro de 2-3 años, ¿seguirá siendo big?
• Equipos y negocios “centrados en datos”
• Big Data: “ Barreras para que una organización o equipo puedan almacenar, procesar y
acceder todos los datos que necesitan para operar con eficiencia, tomar decisiones,
reducir riesgos, etc.”
![Page 6: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/6.jpg)
Smart Data(múltiples fuentes de datos
online / offline)
Identity Data(identidad física + identidad
online + gustos)
Open Data(datos externos a la
organización)
Tipos de Datos en Big Data
![Page 7: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/7.jpg)
El primer proyecto Big Data
![Page 9: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/9.jpg)
Microsoft Azure IoT services
![Page 10: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/10.jpg)
Microsoft Azure IoT services
• Event Hubs
• Intelligent Systems Services
• Notification Hubs
• HDInsight
• Machine Learning
• Stream Analytics
• Power BI
![Page 11: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/11.jpg)
HDInsight: Hadoop en Azure
![Page 12: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/12.jpg)
¿Qué es Hadoop?
• Open Source
• Plataforma de almacenamiento de datos y análisis para Big Data
• Optimizado para manejar• Datos masivos a través de paralelismo
• Variedad de datos (Estructurados, No-estructurados, Menos estructurados)
• Uso de hardware económico
• No para OLTP / OLAP
![Page 13: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/13.jpg)
¿Qué es Hadoop?
• Escalable• Escala linealmente en capacidad de almacenamiento y computación
• Tolerante a Fallos• Proporcionado por el Sistema de ficheros distribuido y el framework de lectura
• Procesamiento distribuido• Sigue la estrategia de divide y vencerás
![Page 14: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/14.jpg)
¿Qué es Hadoop?: Componentes
HDFS
Map Reduce
HivePig
Sqoop
Mahout Pegasus Lucene …
![Page 15: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/15.jpg)
HDInsight
HDFS
Map Reduce
HivePig
Sqoop
Mahout Pegasus Flume
JDBC
Hive ODBC
Windows Azure & Windows Server
MicrosoftBI
Platform
![Page 16: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/16.jpg)
HDInsight
![Page 17: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/17.jpg)
El ecosistema Hadoop
HDFS
Map-Reduce Ambari
YARN
Storm
TEZ
Stinger
![Page 18: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/18.jpg)
Arquitectura Hadoop 2.0
Applications Run Natively in Hadoop
HDFS2 (Redundant, Reliable Storage)
YARN (Cluster Resource Management)
BATCH(MapReduce)
INTERACTIVE(Tez)
STREAMING(Storm, S4,…)
GRAPH(Giraph)
IN-MEMORY(Spark)
HPC MPI(OpenMPI)
ONLINE(HBase)
OTHER(Search)
(Weave…)
![Page 19: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/19.jpg)
Arquitectura Empresarial
Why SolidQ Azure
![Page 20: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/20.jpg)
Arquitectura Empresarial
Why SolidQ
![Page 21: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/21.jpg)
Machine Learning
![Page 22: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/22.jpg)
¿Qué es Machine Learning?
• Definición formal: “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E”
• Otra definición “El objetivo de ML es programar computadoras para usar datos de ejemplo o experiencias pasadas para resolver un problema”
• Existen dos técnicas principales:• Aprendizaje Supervisado: Encontrar el enlace entre entradas y salidas utilizando
valores para “entrenar” un modelo
• Aprendizaje no supervisado: Encontrar patrones en datos de entrada
![Page 23: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/23.jpg)
¿Qué buscamos?
*Gartner
![Page 24: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/24.jpg)
Aprendizaje Supervisado
• Utilizado cuando se quieren predecir respuestas desconocidas desde respuestas que ya tenemos
• Los datos se dividen en dos partes: los datos que se usarán para “enseñar” al sistema (data set) y los datos que usaremos para ver si los algoritmos son fiables (test data)
• Después de seleccionar y limpiar los datos, seleccionamos datos que muestran las relaciones entre los datos`. Las respuestas son “etiquetas” las categorías / columnas / atributos son “características” y los valores son… valores
• Se seleccionan los algoritmos• Ejecutamos el programa con el data set y comprobamos si seleccionamos
la respuesta correcta del test set.• Una vez que creamos el experimento, seleccionamos el mejor modelo.
Esta es la salida final – el modelo se utiliza después contra más datos para obtener las respuestas que necesitas.
![Page 25: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/25.jpg)
Aprendizaje No Supervisado
• Se utiliza cuando quieres buscar respuestas desconocidas – habitualmente grupos – directamente desde los datos
• No tenemos un modo sencillo de evaluar la fiabilidad de lo que se aprende
• Evaluar más vectores, grupos en conjuntos o clasificaciones
• Comenzar con los datos
• Aplicar Algoritmos
• Evaluar grupos
![Page 26: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/26.jpg)
De los datos al resultado
© 2013 SolidQ
HDInsight
Azure Storage
Desktop Data
PowerBI/DashboardsMobile AppsWeb Apps
ML Studio y el científicos de datos
• Acceder y preparar datos• Crear, probar y entrenar
modelos• Colaboración • 1-click para despliegue
Azure Portal & ML API servicey el equipo Operaciones
• Crear espacio trabajo• Asignar cuentas de
almacenamiento• Monitor consume• Alertas• Desplegar Modelos
ML API service y el desarrollador
• Modelos publicados que pueden ser accedidos desde cualquier dispositivo
Usuarios de negocio accediendo a resultados
![Page 27: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/27.jpg)
Azure Studio ML
![Page 28: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/28.jpg)
El proceso
![Page 29: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/29.jpg)
Stream Analytics
![Page 30: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/30.jpg)
¿Qué es Stream Analytics?
• Primero ¿Qué significa Stream en este contexto?
¿Cuántos coches rojos han pasado en la última hora?
![Page 31: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/31.jpg)
¿Qué es Stream Analytics?
![Page 32: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/32.jpg)
Azure Stream Analytics
• Servicio de Computación de Stream en tiempo real y en la nube
• Los trabajos se definen en un lenguaje similar a SQL
• Fácil de utilizar
• Escalable
• Fiable y repetible
• Baja Latencia
![Page 33: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/33.jpg)
El proceso
• Creamos un JOB
• Agregamos una entrada
• Agregamos una salida
• Agregamos la consulta del Job
![Page 34: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/34.jpg)
Demostración: Azure Stream Analytics
![Page 36: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/36.jpg)
¿Quieres empezar?
• Te ofrecemos una jornada gratuita para:• Evaluar tus escenarios de negocio
• Seleccionar el mejor escenarios
• Seleccionar las tecnologías a aplicar
Antonio Soto
@antoniosql
![Page 37: Internet of Your Things](https://reader033.fdocuments.us/reader033/viewer/2022060202/559c777a1a28abbb588b4601/html5/thumbnails/37.jpg)