1. September 2017

2

Agenda10.00 – 10.30 Begrüßung & aktuelle Entwicklungen bei der QUNIS GmbH

10.30 – 11.15 Megatrend DigitalisierungIoT, Industrie 4.0, Mobilität, Produktindividualisierung & Prozessdigitalisierung –Auswirkungen auf Datenmanagementstrategien & die Unternehmensorganisation

Track I: Business Intelligence & Data Warehouse

Track II: Big Data & Advanced Analytics

11.30 – 12.00 BI Strategie EntwicklungVorgehen & Lessons Learned aus über 100 Beratungsprojekten

Big Data & Advanced Analytics AnwendungsfälleBeispiele für Analysen auf Basis strukturierter & unstrukturierter Daten

12.00 – 13.00 Mittagspause

13.00 – 13.30 Data Warehouse Automation Metadatengetriebene Data-Warehouse-Entwicklung mit der QUNIS Automation Engine (QAE)

Advanced Analytics in ActionBildanalyse & Sensordatenverarbeitung in Echtzeit

13.30 – 14.00 Praxisbeispiel (Kundenvortrag)Data Warehouse in der Cloud

Data Lake – Modernisierung von DatenarchitekturenArchitektur & relevante Technologien beim Aufbau

14.00 – 14.30 Microsoft Power BI – Self-Service für UnternehmenDatenmodellierung, Analyse & Reporting in der Cloud & On-Premises

Praxisbeispiel (Kundenvortrag)GAPTEQ FORMS in Action

14.30 – 15.00 Kaffeepause

15.00 – 15.30 Pyramid Analytics „BI Office“Eine moderne, webbasierte Unternehmensplattform für Business Intelligence

Erweiterte Analysen auf Data-Warehouse-DatenVorgehen & Best Practices zur erweiterten Informationsgewinnung

15.30 – 16.00 GAPTEQ FORMS – Update und Projektbeispiele

16.00 – 16.30 Forum – Fragen & Antworten

copyright by3

Typische Situation in UnternehmenÜbersicht aktueller Treiber für eine modernisierung der analytischen Datenarchitekturen

§ Historisch gewachsene Datenstrukturen erschweren den weiteren Ausbau von Datenmodellen und den Betrieb von bestehenden Applikationen.

§ Business Logiken sind an unterschiedlichen Stellen der Architektur realisiert

§ Unterschiedlichste Entwicklungsmethoden im Rahmen der Umsetzungen

§ Keine Dokumentation der Logiken und der Transformationen

§ Die etablierten Datenmodelle sind zu „starr“ und erlauben keine agile Weiterentwicklung.

§ Die Verarbeitung der gestiegenen Datenmengen (strukturiert) ist für die etablierten Data Warehouses nicht mehr performant zu verarbeiten.

§ Unterstützung von explorativen Analyseszenarien

§ Umsetzung von Big Data Use Cases

§ Polystrukturierte Daten werden analysiert

§ Streaming-Szenarien werden verstärkt umgesetzt

§ Zeitkritische Analysen auf Basis von unterschiedlichen Datenformaten

copyright by4

Welche Daten sind für analytischen Fragestellungen in Zukunft relevant?

0 5 10 15 20 25 30 35 40

Daten aus sozialen Medien, Rezensionen und Blogs

Transaktionale Geschäftsdaten (ERP Systeme, CRM, etc.)

Maschinengenerierte Daten (Sensoren, RFID, etc.)

Wetterdaten

Weblogdaten (eigene Website, Webshop, etc.)

Bilder, Sprache oder Videos

Prio 5 Prio 4 Prio3 Pro 2 Prio 1Quelle: QUNIS, Umfrage „Big Data & Advanced Analytics“, n = 69, Mehrfachnennungen möglich

Ergebnis der QUNIS Umfrage „Big Data & Advanced Analytics“

copyright by5

Was wir unter Big Data verstehenAbgrenzung von BI zu Big Data

§ Big Databezeichnet Methoden und Technologien für die hochskalier-bare Erfassung, Speicherung und Analyse polystrukturierter Daten

§ VolumeDatenmenge – immer größere Datenvolumina werden angesammelt – Größenordnungen von mehreren Petabytes sind keine Seltenheit mehr

§ VarietyDatenvielfalt – immer mehr Daten liegen in unstrukturierterund semistrukturierter Form vor – z. B. aus den sozialenNetzwerken

§ VelocityGeschwindigkeit – riesige Datenmengen müssen immer schneller ausgewertet werden, bis hin zur Echtzeit. Die Verarbeitungsgeschwindigkeit muss mit dem wachsenden Datenvolumen Schritt halten

Velocity

Variety

VolumeReal timeNear time

Batch

TransactionsSensorsFiles

StrukturiertUnstrukturiert

Polystrukturiert

copyright by6

Das Data Lake KonzeptÜberblick

§ Weltweite Unterstützung für BI, Big Data und Advanced Analytics Lösungen

§ Der zentrale Data Lake ist ein zentraler Hub für übergreifende Anforderungen an Daten – verbunden mit spezifischen / regionalen Lakes

§ Bereitstellung von harmonisierten und integrierten Daten-strukturen – basierend auf übergreifenden Anforderungen (Central Data Lake)

§ Datenspeicherung von strukturierten und poly-strukturierten Daten zur Unterstützung von allen analytischen Use Cases – bis hin zu Advanced Analytics Anwendungen (IoT, Industrie 4.0, etc.)

§ Datenbereitstellung für 3rd-Party Applikationen

§ Schnelle und effiziente Implementierung durch eine geeignete Organisation und innovativem Technologie Stack

§ Globale Verfügbarkeit (bei Bedarf) – auch durch die Nutzung von Cloud Services

copyright by7

Big Data & Advanced Analytics InitiativenDie Data Lake Architektur

CSV XLS Rel. DB

Dat

a La

ke

Poly-structured Data

DMCorporate

DM(3rd Party

App.)Big Data Serving

(Batch)

Big Data Processing(Batch)

Big Data Exploration

DMCorp.

Fron

t end

&3r

d Pa

rty A

pp.

DMSpec.

DMSpec.

Stage

DW Cleansing

DW Core (Standard Data Model)

DW Cleansing(Spec.)

DW Core (Spec.)

Structured Data

Big Data Streaming

ERP

XLS Rel. DB

Cube

XLS

XLS Rel. DB

Cube

XLS

ReportingDashboarding Analysis Advanced Analytics SearchPlanning 3rd Party

Application

CRM…IoT

PlatformMaschinen

(Industrie 4.0) … Internet…

Que

llen

copyright by8

Der Data LakeErklärung und Nutzen

§ Stage§ File orientierte Datenbank (inkl. Historische Daten – z. B. für analytische Zwecke zu einem späteren Zeitpunkt) § Strukturierte Daten werden in relationaler Struktur in einer relationalen DB / HIVE, etc. abgelegt

§ Data Warehouse§ Strukturierte Daten werden bei BI Anforderungen ein Data Warehouse weitergegeben (Stage, Cleansing, Core and DM)§ Das Core Datenmodel für unternehmensweite Anforderungen basierte auf einem Standard Data Model (SDM) § Individuelle Anforderungen sind ebenso im Data Warehouse realisierbar§ Basierend auf den Business Anforderungen, können Data Marts Inhalte aus dem spezifischen Datenmodell als auch aus dem SDM

enthalten§ Data Marts können hierbei auf OLAP oder relationale Technologien basieren.

§ Big Data Stack§ Der Big Data Stack kann auf dem SDM basieren oder für Big Data Use Cases mit individuellen Daten (auch polystrukturierten Daten)

erweitert werden

§ Metadaten§ Zentrales Metadaten-Management für die gesamte Umgebung

copyright by9

Agiles Datenmanagement & Self Service BI

copyright by10

Die richtige Datenmodellierung & Self Service BI (SSBI)Schnelle und flexible Reaktion auf neue Anforderungen

§ Bei der Verarbeitung von strukturierten Daten (Beispiel ERP, CRM, etc.) werden teilweise neue Modellierungstechniken (Data Vault, Schichtenarchitektur mit dimensionaler Modellierung) verwendet.

§ Data Vault bietet bei den gegebenen Anforderungen eine hohe Flexibilität bei Erweiterungen, eine vollständige Historisierung der Daten und erlaubt eine starke Parallelisierung der Datenladeprozesse.

§ Für den Bereich Self Service BI werden in Architekturen entsprechende “Sandboxes” für ausgewählte Power User etabliert

DM(SDM)

Core

Cleansing

Staging

DM(SDM)

DM(Indiv.

Sandbox)XLS

DM(SDM+Indiv.)

DM(SDM)

Standard Data Model (SDM) Ind. / local DM

Dat

a W

areh

ouse

/ D

ata

Lake

copyright by11

Working Place Data Scientist & Big Data Power UserAnalyse von unterschiedlichsten Daten

“A data scientist represents an evolution from the business or data analyst role. The formal training is similar, with a solid foundation typically in computer science and applications, modeling, statistics, analytics and math. Good data scientists will not just address business problems, they will pick the right problems that have the most value to the organization.”

Staging

StreamingProcessing

Data Storage

Serving

Dat

a La

ke

Data Scientist

Data Engineer Big Data

Big DataPower User

copyright by12

Zusammenfassung

§ “Klassische” Data Warehouses werden heute stark hin zu modernen Datenarchitekturen erweitert / umgebaut§ Umstellung auf eine „saubere“ Schichtenarchitekturen§ Erweiterungen um Self Service BI – nicht nur im Frontend§ Nutzung von „Big Data“ Technologien für BI Anforderungen§ Einsatz von neuen technologischen Möglichkeiten bei den relationalen Datenbanken (Beispiel: InMemory Processing)

§ Der Data Lake umfasst eine Data Warehouse und eine Big Data Architektur – die Kombination ist die Stärke

§ BI- und Big-Data-Technologien werden weiter zusammenwachsen

§ Moderne Datenarchitekturen erfordern eine adäquate Organisation

QUNIS GmbH Georg-Wiesböck-Ring 9

83115 Neubeuern

Phone: +49 8035 95790 0E-Mail: info@qunis.de

WWW.QUNIS.DE

Phone: +49 8035 95790 0

E-Mail: steffen.vierkorn@qunis.de

STEFFEN VIERKORNGeschäftsführer