AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE
tech days•
2015
#mstechdays techdays.microsoft.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda#mstechdays techdays.microsoft.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Variété:
• Vélocité:
• Volume:
• Sécurité:
• Buffer:
• Durable:
• Latency:
• Low Cost:
Event Hub by the Numbers
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Conceptual Overview of Event Hubs
Event
Publisher
Event HubConsumer Group
Partition
Partition
Partition
Reader
Reader
Reader
Event
Consumer
HTTPS
ou
AMQP 1.0
+ SDKs
AMQP 1.0
+
SDKs
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hubs
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Publication d’événements
Partition 1
Partition 2
Partition N
L’objet envoie
son ID comme
clef de partition
f(x)
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
A
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Event Hub Partitions
Partition 1
Partition 2
Partition N
messages d’un
même objet
vont vers la
même partition
f(x)
L’objet envoie
son ID comme
clef de partition
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
A
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Consumer Group
Event Hub
Event Hub Consumers
Partition 1
Partition 2
Partition N
f(x)
Reader 1
Reader 2
Reader N
Consumer Group
Reader 1
Reader 2
Reader N
HDInsight
Storm / NRT
A
B
messages d’un
même objet
vont vers la
même partitionL’objet envoie
son ID comme
clef de partition
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs
• HDInsight Storm
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight Storm
• Stream Analytics
• Machine Learning
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Ingère des millions d’évènements par secondes• Ingère et traite des données envoyées par des
applications/objets connectés
• Solution avec montée en charge intégrée
Traitement des données en continue• Transformer, enrichir, opérations temporelles
• Détection des patterns et des anomalies
Corrélation du flux de données avec des données de référence
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Pas d’acquisition de matériel
Pas de maintenance
Pas d’expertise de déploiementInstallation et paramétrages via le portail Azure
Pas de logiciel à installer et à maintenir
Mise à l’échelle en fonction des besoins
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Création d’une solution de traitement en temps réel grâce à un langage proche du T-SQLFiltrer, agréger, joindre des flux de données avec quelques lignes de T-SQL
Fonctions temporelles nativement intégrées
Développer et maintenir une solution Stream Analytics via le portail Azure
Rapid DevelopmentDéveloppement rapide
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Monitoring intégréSurveiller la performance de votre solution via le portail Azure.
Accès aux journaux d’évènements
tech.days 2015#mstechdaysObjets connectés & architecture LambdaData Source Collect Process ConsumeDeliver
Event Inputs- Event Hub
- Azure Blob
Transform- Temporal joins
- Filter
- Aggregates
- Projections
- Windows
- Etc.
Enrich
Correlate
Outputs- SQL Azure
- Azure Blobs
- Event Hub
Azure
Storage
• Temporal Semantics
• Guaranteed delivery
• Guaranteed up time
Azure Stream Analytics
Reference Data- Azure Blob
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Stream AnalyticsRécupération en temps reel avec données de réf.
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Source: http://fr.hortonworks.com/hdp/
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Hadoop et Microsoft
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
HD
Insight
Blobs Azure (wasb://) HDFS (hdfs://)
Hive Pig HCatalog AmbariMap/Reduce
Sq
oo
pO
ozi
e
Azure UX SDK AzureWebHcat/ Templeton
RDP
Storm
Yarn
HBase
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Storm
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Parser
Tableau
de bord
…
…
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
StormAnalyse des températures en temps réel
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• SQL DB
• SQL Server, Oracle DB, … (IaaS)
• HDInsight HBase
• Document DB
• Storage Tables
• Mongo DB (Marketplace)
• Cassandra (IaaS)
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Storage Blobs
• (Storage Tables)
• Hadoop (IaaS) HDFS
• (HDInsight HDFS)
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight
• Hadoop on IaaS
(Hortonworks, Cloudera, …)
• Data Factory
• Machine Learning
• (Azure Batch (HPC) )
• (Web Jobs)
• (Worker Role)
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool(SSIS, etc)
EDW(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed Data
Transform
BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool(SSIS, etc)
EDW(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed Data
Transform
BI Tools
Ingest (EL)
Original Data
Data Marts
Data Lake(s)
Dashboards
Apps
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool(SSIS, etc)
EDW(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed Data
Transform
BI Tools
Ingest (EL)
Original Data
Scale-out Storage & Compute
(HDFS, Blob Storage, etc)
Transform & Load
Data Marts
Data Lake(s)
Dashboards
Apps
Streaming data
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
BI Tools
Data Marts
Data Lake(s)
Dashboards
AppsData Hub
(Storage & Compute)
Data Sources(Import From)
Move data among Hubs
Data Hub(Storage & Compute)
Data Sources(Import From)
Ingest
Connect & Collect Transform & Enrich PublishInformation Production:
Ingest
Move to data mart, etc
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Azure Data Factory : vue d’ensemble
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Data FactoryScript PIG dans cluster HDInsight existant
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Power BI
• Web Sites
• Excel App
• …
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
SignalR, d3js, Excel
http://www.asp.net/signalr
http://d3js.org/
How to: Create your first content app for Excel with "Napa" Office 365 Development Tools
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Activez vos bénéfices Azure jusqu’à
115€ de ressources mensuelles
offertes
115€ /mois
x5 membres
x3 ans
= 4 175€ de ressources offertes
http://azure.com http://aka.ms/azurepourmsdn
150€ de ressources offertes
Sans engagement
Pour tousUn mois d’essai offert
http://www.microsoft.com/bizspark/
Pour les startupsBizspark
= 49 000€ de ressources offertes
pendant un an
Pour les abonnés MSDN
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Inscrivez-vous : http://aka.ms/pepiniereazure
Coaching technique et business
Ressources
Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à
votre disposition de l’aide personnalisée.
Visibilité
tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
http://notes.mstechdays.fr
tech.days 2015#mstechdaysObjets connectés & architecture Lambda
© 2015 Microsoft Corporation. All rights reserved.
tech days•
2015
#mstechdays techdays.microsoft.fr
Top Related