Rendez vos objets connectés intelligents avec la "Lambda architecture"

AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE

tech days•

2015

#mstechdays techdays.microsoft.fr

tech.days 2015#mstechdaysObjets connectés & architecture Lambda#mstechdays techdays.microsoft.fr

tech.days 2015#mstechdaysObjets connectés & architecture Lambda


• Event Hubs


Event Hub


• Variété:

• Vélocité:

• Volume:

• Sécurité:

• Buffer:

• Durable:

• Latency:

• Low Cost:

Event Hub by the Numbers


Conceptual Overview of Event Hubs

Event

Publisher

Event HubConsumer Group

Partition

Partition

Partition

Reader

Reader

Reader

Event

Consumer

HTTPS

ou

AMQP 1.0

+ SDKs

AMQP 1.0

+

SDKs


Event Hubs


Event Hub

Publication d’événements

Partition 1

Partition 2

Partition N

L’objet envoie

son ID comme

clef de partition

f(x)

Event Hub a une fonction

statique de hashing

partitionId = f(clef partition)

A


Event Hub

Event Hub Partitions

Partition 1

Partition 2

Partition N

messages d’un

même objet

vont vers la

même partition

f(x)

L’objet envoie

son ID comme

clef de partition


statique de hashing


A


Consumer Group

Event Hub

Event Hub Consumers

Partition 1

Partition 2

Partition N

f(x)

Reader 1

Reader 2

Reader N

Consumer Group

Reader 1

Reader 2

Reader N

HDInsight

Storm / NRT

A

B

messages d’un

même objet

vont vers la

même partitionL’objet envoie

son ID comme

clef de partition


statique de hashing



• Event Hubs

• HDInsight Storm

• …


• HDInsight Storm

• Stream Analytics

• Machine Learning


Ingère des millions d’évènements par secondes• Ingère et traite des données envoyées par des

applications/objets connectés

• Solution avec montée en charge intégrée

Traitement des données en continue• Transformer, enrichir, opérations temporelles

• Détection des patterns et des anomalies

Corrélation du flux de données avec des données de référence


Pas d’acquisition de matériel

Pas de maintenance

Pas d’expertise de déploiementInstallation et paramétrages via le portail Azure

Pas de logiciel à installer et à maintenir

Mise à l’échelle en fonction des besoins


Création d’une solution de traitement en temps réel grâce à un langage proche du T-SQLFiltrer, agréger, joindre des flux de données avec quelques lignes de T-SQL

Fonctions temporelles nativement intégrées

Développer et maintenir une solution Stream Analytics via le portail Azure

Rapid DevelopmentDéveloppement rapide


Monitoring intégréSurveiller la performance de votre solution via le portail Azure.

Accès aux journaux d’évènements

tech.days 2015#mstechdaysObjets connectés & architecture LambdaData Source Collect Process ConsumeDeliver

Event Inputs- Event Hub

- Azure Blob

Transform- Temporal joins

- Filter

- Aggregates

- Projections

- Windows

- Etc.

Enrich

Correlate

Outputs- SQL Azure

- Azure Blobs

- Event Hub

Azure

Storage

• Temporal Semantics

• Guaranteed delivery

• Guaranteed up time

Azure Stream Analytics

Reference Data- Azure Blob


Stream AnalyticsRécupération en temps reel avec données de réf.


Source: http://fr.hortonworks.com/hdp/

http://fr.hortonworks.com/hdp/


Hadoop et Microsoft


HD

Insight

Blobs Azure (wasb://) HDFS (hdfs://)

Hive Pig HCatalog AmbariMap/Reduce

Sq

oo

pO

ozi

e

Azure UX SDK AzureWebHcat/ Templeton

RDP

Storm

Yarn

HBase


Storm


Parser

Tableau

de bord

…

…


StormAnalyse des températures en temps réel


• SQL DB

• SQL Server, Oracle DB, … (IaaS)

• HDInsight HBase

• Document DB

• Storage Tables

• Mongo DB (Marketplace)

• Cassandra (IaaS)

• …


• Storage Blobs

• (Storage Tables)

• Hadoop (IaaS) HDFS

• (HDInsight HDFS)


• HDInsight

• Hadoop on IaaS

(Hortonworks, Cloudera, …)

• Data Factory

• Machine Learning

• (Azure Batch (HPC) )

• (Web Jobs)

• (Worker Role)

• …


ETL Tool(SSIS, etc)

EDW(SQL Svr, Teradata, etc)

Extract

Original Data

Load

Transformed Data

Transform

BI Tools

Data Marts

Data Lake(s)

Dashboards

Apps


ETL Tool(SSIS, etc)


Extract

Original Data

Load

Transformed Data

Transform

BI Tools

Ingest (EL)

Original Data

Data Marts

Data Lake(s)

Dashboards

Apps


ETL Tool(SSIS, etc)


Extract

Original Data

Load

Transformed Data

Transform

BI Tools

Ingest (EL)

Original Data

Scale-out Storage & Compute

(HDFS, Blob Storage, etc)

Transform & Load

Data Marts

Data Lake(s)

Dashboards

Apps

Streaming data


BI Tools

Data Marts

Data Lake(s)

Dashboards

AppsData Hub

(Storage & Compute)

Data Sources(Import From)

Move data among Hubs

Data Hub(Storage & Compute)

Data Sources(Import From)

Ingest

Connect & Collect Transform & Enrich PublishInformation Production:

Ingest

Move to data mart, etc


Azure Data Factory : vue d’ensemble


Data FactoryScript PIG dans cluster HDInsight existant


• Power BI

• Web Sites

• Excel App

• …


SignalR, d3js, Excel

http://www.asp.net/signalr

http://d3js.org/

How to: Create your first content app for Excel with "Napa" Office 365 Development Tools

http://www.asp.net/signalr

http://d3js.org/

http://msdn.microsoft.com/en-us/library/office/jj220065(v=office.15).aspx

tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays

Activez vos bénéfices Azure jusqu’à

115€ de ressources mensuelles

offertes

115€ /mois

x5 membres

x3 ans

= 4 175€ de ressources offertes

http://azure.com http://aka.ms/azurepourmsdn

150€ de ressources offertes

Sans engagement

Pour tousUn mois d’essai offert

http://www.microsoft.com/bizspark/

Pour les startupsBizspark

= 49 000€ de ressources offertes

pendant un an

Pour les abonnés MSDN

http://azure.com/

http://aka.ms/azurepourmsdn

http://www.microsoft.com/bizspark/


Inscrivez-vous : http://aka.ms/pepiniereazure

Coaching technique et business

Ressources

Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à

votre disposition de l’aide personnalisée.

Visibilité


http://notes.mstechdays.fr

http://notes.mstechdays.fr/

Rendez vos objets connectés intelligents avec la "Lambda architecture"

Technology

Transcript of Rendez vos objets connectés intelligents avec la "Lambda architecture"