Analysis of Variance Statistical Process Control Forecasting€¦ · Time Series Analysis Scoring...
Transcript of Analysis of Variance Statistical Process Control Forecasting€¦ · Time Series Analysis Scoring...
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
Operations Research
Quality Improvement
Data Visualization
Model Management
Statistics Text Analytics
Forecasting
Data Mining
Econometrics
Discrete Event Simulation
Analysis of Means
Cluster Analysis
Matrix Programming
Spectral Analysis
Ensemble Models
Sample Size Computations
Simulation
Categorical Data Analysis
Psychometric Analysis
Genetic Algorithms
Survival Analysis
Statistical Process Control
X11 & X12 Models
Decision Trees
Analysis of Variance
Survey Data Analysis
Vector Autoregressive Models
Nonlinear ProgrammingNetwork Flow Models
Nonparametric Analysis
Content Categorization
Study PlanningText Mining
ARIMA Models
Linear Programming
Interior-Point Models
Scheduling
Bayesian
R Integration
Multivariate Analysis
Neural Networks
Gradient Boosting Machines
Automated Scoring
Exploratory Data Analysis
Random Forrests
Mixed Models
Design of Experiments
Predictive Modeling
Information Theory
Reliability Analysis
Constraint Programming
Discrete Event Simulation
Social Network Analysis
Ontology Management
Regression
Process Capability Analysis
Descriptive Modeling
Mixed-Integer Programming
Fractional Factorial
D-Optimal
Association & Sequence Analysis
Multinomical Discrete Choice
Large-Scale Forecasting
Content Categorization
Ontology Management
Sentiment Analysis
Time Series Analysis
Scoring Acceleration
Statistical Analysis
Interactive Matrix Programming
Predictive Analytics
High Performance Forecasting
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PREP OG LAST AV DATA I
SAS VISUAL ANALYTICS
VEGARD HANSEN, SENIOR ANALYTIKER
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
HVA ER SAS® VISUAL ANALYTICS
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSHVA ER SAS® VISUAL ANALYTICS?
En løsning for data visualisering,
utforskning av data og guidet analyse
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSHVA ER SAS® VISUAL ANALYTICS?
• WEB-GRENSESNITTET
Administration Explore, discover and visualize Distribute
DISTRIBUTIONADMINISTRATION EXPLORER DESIGNER
• Web
• SAS Mobile BI
• MS Office & SharePoint
• PDF, Excel, CSV
• Prepare and load data
• Administrate
• Monitoring
• Perform ad-hoc analysis &
data discovery
• Guided analytics
• Create reports and
dashboards
• Distribute content
• Interactive reports
SAS® LASR™ ANALYTIC SERVER
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSHVA ER SAS® VISUAL ANALYTICS – KOMPONENTER
Administrere Utforske, oppdage og visualisere Distribuere
DISTRIBUSJONADMINISTRASJON EXPLORER DESIGNER
• Web
• SAS Mobile BI
• MS Office & SharePoint
• PDF, Excel, CSV
• Skedulere
• Dataprep og last av data
• Administrere
• Monitorere/overvåke
• Utføre ad-hoc analyser &
utforske data
• Guidet analyse
• Lage rapporter og
dashboards
• Interaktive rapporter
• Distribuere innhold
SAS® LASR™ ANALYTIC SERVER
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSHVA ER SAS® VISUAL ANALYTICS – KOMPONENTER
Administrere Utforske, oppdage og visualisere Distribuere
DISTRIBUSJONADMINISTRASJON EXPLORER DESIGNE
• Web
• SAS Mobile BI
• MS Office & SharePoint
• PDF, Excel, CSV
• Skedulere
• Dataprep og last av data
• Administrere
• Monitorere/overvåke
• Utføre ad-hoc analyser &
utforske data
• Guidet analyse
• Lage rapporter og
dashboards
• Interaktive rapporter
• Distribuere innhold
SAS® LASR™ ANALYTIC SERVER
HJEMMESIDEN/ “THE HUB”
• Sentral inngang
• Rolle basert oppsett
• Organisere og distribuere innhold
• Tilgang til alle VA funksjoner
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICS
KONSEPT
?VARFÖR
Enkel
Visualisering
Drillbare
Visualisering
(Pivot)
Alarmer/
Alerts
Interaktive
Visualiseringer &
Rapporter
(Dashboards)
Data Visualisering
& Utforskning
Tidsserier
Hva er nåværende
trend?
Forstå Hvorfor
Hva påvirker hva?
Simulere
Hva skjer hvis….?
HVA?
HVORFOR?
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSHVILKEN VERDI
Selvbetjenings modell/løsning – Lett å
begynne
Effektiv distribusjon av innhold
Mulig å lage interaktive rapporter med navigasjon til
detaljerte data
Håndter alle dataene dine og aggreger når du
trenger det
Identifiser underliggende parameter som påvirker spesifikke
KPI’er
Finn mønster og trender som forklarer forskjellige
spørsmål
Data behøver ikke å være pre-definerte
Et web-grensesnitt med forskjelleige muligheter for
forskjellige roller
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSNOEN EKSEMPLER PÅ ANVENDELSE
Klassisk BI rapportering for oppfølging, planlegging osv.
Salgs- og markedsrapportering og analyse, Salgsprosess oversikter mv.
Kunde/pasient innsikt and analyse, identifisere “fraud”, identifisere (plutselig)
endring i adferd og utvikling – bruker data innovation lab concept(Big Data)
Ad-hoc verktøy – data visualisering og utforksning for å finne svar på forskjellige
ad-hoc spørsmål
Analytical cycle support – data utforskning for innsikt/kunnskap og data validering
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
LAST AV DATA TIL SAS VISUAL ANALYTICS (LASR)
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSFORSKJELLIGE METODER FOR Å LASTE DATA INN I LASR
Direkte import i VA
• Direkte import av data kan
gjøres i alle VA komponenter
• Velg fil av type csv, Excel,
tekst, SAS datasett fil eller
andre datakilder og last data
inn i LASR
• En jobb lages automatisk
• Katalog (folder) for autoload
av csv, Excel eller SAS
datasett inn i LASR er også
tilgjengelig («drop-box»)
Andre muligheter (på utsiden av SAS VA)
• SAS Enterprise Guide
• SAS Data Management (SAS
DI Studio)
• SAS Base kode
• Ikke-SAS ETL verktøy
Data spørringer i VA
• Lage dataspørringer for last
av data.
• Spørringer kan skeduleres.
• Last av data fra en
datakilde/server via en SAS
connector.
• Direkte import av data inn i
data builder
• Støtte for stjerneskjema og
append tables
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSHVEM GJØR HVA?
Direkte import i VA Visual Data Builder Enterprise Guide Data Integration Studio SAS Code
Sluttbruker Superbruker Utvikler / Data administrator
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSGRUNNLEGGENDE OM LASTING AV DATA INN I LASR
• Viktig komponent: SAS connectors (SAS Access Engines)
• SAS Visual Analytics inkluderer 2 SAS connectors:
• PC File Format access connector (mandatory)
• En egenvalgt SAS connector
• SAS connectors er konfigurert for hver datakilde/database (normalt engangs
oppgave)
• Importering av Excel, CSV og SAS datasett direkte inn i VA krever ikke noen
pre-konfigurering.
• Last av data inn i VA kan etableres på flere forskjellige måter, beskrevet i de
neste slidene.
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSGRUNNLEGGENDE PRINSIPPER FOR DATAPREP OG LAST
• Eksempelet illustrerer ‘basic’
oppsett.
• Multiple (logiske) LASR servere
kan konfigureres til:
• Ulike formål
• Ulike brukergrupper
• Prosjekter, etc.
• Ulike sikkerhetsinnstillinger kan
legges til LASR-server
• De neste sidene viser eksempler
på last av data til SAS LASR
Analyticsl Server, basert på
beste praksis fra området.
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL
ANALYTICSSCENARIO BESKRIVELSE FOR LAST AV DATA
• Scenario 1 – Rett frem last av data til LASR-server direkte fra kilde
• Scenario 2 – Staging av data i SAS før last til LASR-server
• Scenario 3 – Staging av data i Hadoop før last til VA/LASR-server
• Scenario 4 – Eksempel ved bruk av multiple LASR servere
• Scenario 5 – Rad-nivå-sikkerhet vs multiple datakilder
• (NB! Scenarioer kan kombineres)
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICS
SCEANRIO 1 - RETT FREM DATA LOAD TIL LASR DIREKTE FRA
KILDE
• Eksempel illustrere en kunde
som har en MS SQL-server.
• Ulike SQL view er laget som marter
for hvert dashboard/rapport
• SAS VA spørringer peker på
hvert SQL View og deretter
skedulert i VA
• Ingen data i staging
• Kun en logisk LASR-server
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSSCENARIO 2 – STAGING DATA I SAS FØR DATALOAD TIL LASR
• Eksempelet viser data som
kommer fra multiple datakilder,
med staging og dataprep ved bruk
av ulike SAS verktøy eller Visual
Data Builder i VA
• Valg av SAS verktøy er i
utgangspunktet sett i et (historisk)
perspektiv i forhold til SAS
kompetanse og anvendelse.
• Eksempel på kunder som har valgt
dataprep ved bruk av SAS/Base
(o.l.).
• Eksempel på kunder som har brukt
SAS Data Management Tools til å
laste data til LASR, og som også
kan brukes til å laste data inn i
Hadoop.
• Jobber kan skeduleres
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
Server Disk (SAS Libraries)
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSSCENARIO 3 – STAGING DATA I HADOOP FØR LAST AV DATA TIL VA
• Eksempel på data staging
scenario i Hadoop for å få en
(enda) raskere dataload til
LASR-server.
• Vanlig bruk av metoden når
store datavolum skal lastes til
LASR-server, og teknologien er
nyttig for å oppnå raskere re-last
av data til LASR-server (ved
eks. re-start av server).
• Metoden er bl.a. brukt hos
kunde i et VA Data Lab oppsett.
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
SAS Hadoop/HDFS (or other Hadoop cluster)
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICS
SCENARIO 4 – EKSEMPEL VED BRUK AV MULTIPLE LASR
SERVERE
• NB! Eksempelet kan benyttes i
kombinasjon med eksemplene
1-3.
• Kunder har opprettet multiple
(logiske) LASR-servere for
mange formål, eksempelvis:
• En server for å dekke daglige
dashboard/rapporter der det er
krav til nøyaktighet i data og behov
for faste oppdateringer, samt en
server for innovasjons-lab hvor
data lastes inn og tømmes ut av
minnet ved behov.
• Opprettes en (logisk) server for
hver forretningsenhet og
bruksområde. Tilnærmingen
benyttes for å sikre og separere
data fra forskjellige
grupper/brukere.
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL
ANALYTICSSCENARIO 5 – RAD-SIKKERHET VS MULTIPLE DATAKILDER
• NB! Eksempelet kan benyttes i
kombinasjon med scenario 1-3.
• Noen VA kunder har ulike typer av
brukere/grupper som kun av
sikkerhetsårsaker skal ha tilgang til
helt spesifikke data.
• Rad-nivå sikkerhet tillater ulike
brukere å se samme VA rapporter,
men data er segmentert, basert på
rad-nivå reglene satt av
administrator/BI-utvikler.
• Eksempel er kunde som har
segmentert på bl.a. land og
grupper, og tilgang til data er
begrenset til å se sine egne data,
mens leder kan se alle sine ansatte
sine data.
• Noen kunder separerer datakilder i
LASR. Mulighet dersom det er få
brukere/grupper.
SAS Data Connectors
SAS Visual Analytics Environment
Oracle SAP SQL FilesHadoop
SAS LASR Analytical Server
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL DATA
BUILDERHVA ER SAS VISUAL DATA BUILDER?
• Lage dataspørringer fra en eller flere
input tabeller.
• Administrere kolonneegenskaper og
lage kalkulerte kolonner basert på
uttrykk
• Filtrere data til å kun inneholde
ønskede rader.
• Lage outputtabeller eller laste
resultatet av spørringer direkte til
SAS LASR Analytical server (in-
memeory).
• Importere data fra lokalt, fra server,
Hadoop, eller andre kilder
(facebook, twitter, og google
analytics).
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS® VISUAL DATA
BUILDER
HVORFOR LAGE SPØRRINGER I VA VED BRUK AV SAS
VDB?
SAS Visual Data Builder Data Intergration Tools
Kapasitet Brukervennlig verktøy med
avgrenset og funksjonelt enkle
sett av muligheter/kapasiteter.
Kompleks(e) verktøy med bredt og stort utvalg av
mulige kapasiteter
Tillatelser Brukere trenger bare begrenset
tilgang til data.
Trenger tilgang til et større (store) mengder data.
Kompetanse Minimal kontakt med SQL Programmerings- og scriptingskompetanse viktig
Deling Data laget for et spesifikt formål
og deles med et mindre/antall
team
Data laget for flere formål og deles på tvers av
multiple avdelinger
Det kommer an på…..?!
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
SAS®
VISUAL DATA
BUILDER