Analysis of Variance Statistical Process Control Forecasting€¦ · Time Series Analysis Scoring...

25
Copyright © 2014, SAS Institute Inc. All rights reserved. Operations Research Quality Improvement Data Visualization Model Management Statistics Text Analytics Forecasting Data Mining Econometrics Discrete Event Simulation Analysis of Means Cluster Analysis Matrix Programming Spectral Analysis Ensemble Models Sample Size Computations Simulation Categorical Data Analysis Psychometric Analysis Genetic Algorithms Survival Analysis Statistical Process Control X11 & X12 Models Decision Trees Analysis of Variance Survey Data Analysis Vector Autoregressive Models Nonlinear Programming Network Flow Models Nonparametric Analysis Content Categorization Study Planning Text Mining ARIMA Models Linear Programming Interior - Point Models Scheduling Bayesian R Integration Multivariate Analysis Neural Networks Gradient Boosting Machines Automated Scoring Exploratory Data Analysis Random Forrests Mixed Models Design of Experiments Predictive Modeling Information Theory Reliability Analysis Constraint Programming Discrete Event Simulation Social Network Analysis Ontology Management Regression Process Capability Analysis Descriptive Modeling Mixed - Integer Programming Fractional Factorial D - Optimal Association & Sequence Analysis Multinomical Discrete Choice Large - Scale Forecasting Content Categorization Ontology Management Sentiment Analysis Time Series Analysis Scoring Acceleration Statistical Analysis Interactive Matrix Programming Predictive Analytics High Performance Forecasting

Transcript of Analysis of Variance Statistical Process Control Forecasting€¦ · Time Series Analysis Scoring...

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

Operations Research

Quality Improvement

Data Visualization

Model Management

Statistics Text Analytics

Forecasting

Data Mining

Econometrics

Discrete Event Simulation

Analysis of Means

Cluster Analysis

Matrix Programming

Spectral Analysis

Ensemble Models

Sample Size Computations

Simulation

Categorical Data Analysis

Psychometric Analysis

Genetic Algorithms

Survival Analysis

Statistical Process Control

X11 & X12 Models

Decision Trees

Analysis of Variance

Survey Data Analysis

Vector Autoregressive Models

Nonlinear ProgrammingNetwork Flow Models

Nonparametric Analysis

Content Categorization

Study PlanningText Mining

ARIMA Models

Linear Programming

Interior-Point Models

Scheduling

Bayesian

R Integration

Multivariate Analysis

Neural Networks

Gradient Boosting Machines

Automated Scoring

Exploratory Data Analysis

Random Forrests

Mixed Models

Design of Experiments

Predictive Modeling

Information Theory

Reliability Analysis

Constraint Programming

Discrete Event Simulation

Social Network Analysis

Ontology Management

Regression

Process Capability Analysis

Descriptive Modeling

Mixed-Integer Programming

Fractional Factorial

D-Optimal

Association & Sequence Analysis

Multinomical Discrete Choice

Large-Scale Forecasting

Content Categorization

Ontology Management

Sentiment Analysis

Time Series Analysis

Scoring Acceleration

Statistical Analysis

Interactive Matrix Programming

Predictive Analytics

High Performance Forecasting

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PREP OG LAST AV DATA I

SAS VISUAL ANALYTICS

VEGARD HANSEN, SENIOR ANALYTIKER

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

HVA ER SAS® VISUAL ANALYTICS

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSHVA ER SAS® VISUAL ANALYTICS?

En løsning for data visualisering,

utforskning av data og guidet analyse

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSHVA ER SAS® VISUAL ANALYTICS?

• WEB-GRENSESNITTET

Administration Explore, discover and visualize Distribute

DISTRIBUTIONADMINISTRATION EXPLORER DESIGNER

• Web

• SAS Mobile BI

• MS Office & SharePoint

• PDF, Excel, CSV

• Prepare and load data

• Administrate

• Monitoring

• Perform ad-hoc analysis &

data discovery

• Guided analytics

• Create reports and

dashboards

• Distribute content

• Interactive reports

SAS® LASR™ ANALYTIC SERVER

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSHVA ER SAS® VISUAL ANALYTICS – KOMPONENTER

Administrere Utforske, oppdage og visualisere Distribuere

DISTRIBUSJONADMINISTRASJON EXPLORER DESIGNER

• Web

• SAS Mobile BI

• MS Office & SharePoint

• PDF, Excel, CSV

• Skedulere

• Dataprep og last av data

• Administrere

• Monitorere/overvåke

• Utføre ad-hoc analyser &

utforske data

• Guidet analyse

• Lage rapporter og

dashboards

• Interaktive rapporter

• Distribuere innhold

SAS® LASR™ ANALYTIC SERVER

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSHVA ER SAS® VISUAL ANALYTICS – KOMPONENTER

Administrere Utforske, oppdage og visualisere Distribuere

DISTRIBUSJONADMINISTRASJON EXPLORER DESIGNE

• Web

• SAS Mobile BI

• MS Office & SharePoint

• PDF, Excel, CSV

• Skedulere

• Dataprep og last av data

• Administrere

• Monitorere/overvåke

• Utføre ad-hoc analyser &

utforske data

• Guidet analyse

• Lage rapporter og

dashboards

• Interaktive rapporter

• Distribuere innhold

SAS® LASR™ ANALYTIC SERVER

HJEMMESIDEN/ “THE HUB”

• Sentral inngang

• Rolle basert oppsett

• Organisere og distribuere innhold

• Tilgang til alle VA funksjoner

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICS

KONSEPT

?VARFÖR

Enkel

Visualisering

Drillbare

Visualisering

(Pivot)

Alarmer/

Alerts

Interaktive

Visualiseringer &

Rapporter

(Dashboards)

Data Visualisering

& Utforskning

Tidsserier

Hva er nåværende

trend?

Forstå Hvorfor

Hva påvirker hva?

Simulere

Hva skjer hvis….?

HVA?

HVORFOR?

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSHVILKEN VERDI

Selvbetjenings modell/løsning – Lett å

begynne

Effektiv distribusjon av innhold

Mulig å lage interaktive rapporter med navigasjon til

detaljerte data

Håndter alle dataene dine og aggreger når du

trenger det

Identifiser underliggende parameter som påvirker spesifikke

KPI’er

Finn mønster og trender som forklarer forskjellige

spørsmål

Data behøver ikke å være pre-definerte

Et web-grensesnitt med forskjelleige muligheter for

forskjellige roller

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSNOEN EKSEMPLER PÅ ANVENDELSE

Klassisk BI rapportering for oppfølging, planlegging osv.

Salgs- og markedsrapportering og analyse, Salgsprosess oversikter mv.

Kunde/pasient innsikt and analyse, identifisere “fraud”, identifisere (plutselig)

endring i adferd og utvikling – bruker data innovation lab concept(Big Data)

Ad-hoc verktøy – data visualisering og utforksning for å finne svar på forskjellige

ad-hoc spørsmål

Analytical cycle support – data utforskning for innsikt/kunnskap og data validering

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

LAST AV DATA TIL SAS VISUAL ANALYTICS (LASR)

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSFORSKJELLIGE METODER FOR Å LASTE DATA INN I LASR

Direkte import i VA

• Direkte import av data kan

gjøres i alle VA komponenter

• Velg fil av type csv, Excel,

tekst, SAS datasett fil eller

andre datakilder og last data

inn i LASR

• En jobb lages automatisk

• Katalog (folder) for autoload

av csv, Excel eller SAS

datasett inn i LASR er også

tilgjengelig («drop-box»)

Andre muligheter (på utsiden av SAS VA)

• SAS Enterprise Guide

• SAS Data Management (SAS

DI Studio)

• SAS Base kode

• Ikke-SAS ETL verktøy

Data spørringer i VA

• Lage dataspørringer for last

av data.

• Spørringer kan skeduleres.

• Last av data fra en

datakilde/server via en SAS

connector.

• Direkte import av data inn i

data builder

• Støtte for stjerneskjema og

append tables

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSHVEM GJØR HVA?

Direkte import i VA Visual Data Builder Enterprise Guide Data Integration Studio SAS Code

Sluttbruker Superbruker Utvikler / Data administrator

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSGRUNNLEGGENDE OM LASTING AV DATA INN I LASR

• Viktig komponent: SAS connectors (SAS Access Engines)

• SAS Visual Analytics inkluderer 2 SAS connectors:

• PC File Format access connector (mandatory)

• En egenvalgt SAS connector

• SAS connectors er konfigurert for hver datakilde/database (normalt engangs

oppgave)

• Importering av Excel, CSV og SAS datasett direkte inn i VA krever ikke noen

pre-konfigurering.

• Last av data inn i VA kan etableres på flere forskjellige måter, beskrevet i de

neste slidene.

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSGRUNNLEGGENDE PRINSIPPER FOR DATAPREP OG LAST

• Eksempelet illustrerer ‘basic’

oppsett.

• Multiple (logiske) LASR servere

kan konfigureres til:

• Ulike formål

• Ulike brukergrupper

• Prosjekter, etc.

• Ulike sikkerhetsinnstillinger kan

legges til LASR-server

• De neste sidene viser eksempler

på last av data til SAS LASR

Analyticsl Server, basert på

beste praksis fra området.

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL

ANALYTICSSCENARIO BESKRIVELSE FOR LAST AV DATA

• Scenario 1 – Rett frem last av data til LASR-server direkte fra kilde

• Scenario 2 – Staging av data i SAS før last til LASR-server

• Scenario 3 – Staging av data i Hadoop før last til VA/LASR-server

• Scenario 4 – Eksempel ved bruk av multiple LASR servere

• Scenario 5 – Rad-nivå-sikkerhet vs multiple datakilder

• (NB! Scenarioer kan kombineres)

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICS

SCEANRIO 1 - RETT FREM DATA LOAD TIL LASR DIREKTE FRA

KILDE

• Eksempel illustrere en kunde

som har en MS SQL-server.

• Ulike SQL view er laget som marter

for hvert dashboard/rapport

• SAS VA spørringer peker på

hvert SQL View og deretter

skedulert i VA

• Ingen data i staging

• Kun en logisk LASR-server

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSSCENARIO 2 – STAGING DATA I SAS FØR DATALOAD TIL LASR

• Eksempelet viser data som

kommer fra multiple datakilder,

med staging og dataprep ved bruk

av ulike SAS verktøy eller Visual

Data Builder i VA

• Valg av SAS verktøy er i

utgangspunktet sett i et (historisk)

perspektiv i forhold til SAS

kompetanse og anvendelse.

• Eksempel på kunder som har valgt

dataprep ved bruk av SAS/Base

(o.l.).

• Eksempel på kunder som har brukt

SAS Data Management Tools til å

laste data til LASR, og som også

kan brukes til å laste data inn i

Hadoop.

• Jobber kan skeduleres

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

Server Disk (SAS Libraries)

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSSCENARIO 3 – STAGING DATA I HADOOP FØR LAST AV DATA TIL VA

• Eksempel på data staging

scenario i Hadoop for å få en

(enda) raskere dataload til

LASR-server.

• Vanlig bruk av metoden når

store datavolum skal lastes til

LASR-server, og teknologien er

nyttig for å oppnå raskere re-last

av data til LASR-server (ved

eks. re-start av server).

• Metoden er bl.a. brukt hos

kunde i et VA Data Lab oppsett.

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

SAS Hadoop/HDFS (or other Hadoop cluster)

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICS

SCENARIO 4 – EKSEMPEL VED BRUK AV MULTIPLE LASR

SERVERE

• NB! Eksempelet kan benyttes i

kombinasjon med eksemplene

1-3.

• Kunder har opprettet multiple

(logiske) LASR-servere for

mange formål, eksempelvis:

• En server for å dekke daglige

dashboard/rapporter der det er

krav til nøyaktighet i data og behov

for faste oppdateringer, samt en

server for innovasjons-lab hvor

data lastes inn og tømmes ut av

minnet ved behov.

• Opprettes en (logisk) server for

hver forretningsenhet og

bruksområde. Tilnærmingen

benyttes for å sikre og separere

data fra forskjellige

grupper/brukere.

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS®

VISUAL

ANALYTICSSCENARIO 5 – RAD-SIKKERHET VS MULTIPLE DATAKILDER

• NB! Eksempelet kan benyttes i

kombinasjon med scenario 1-3.

• Noen VA kunder har ulike typer av

brukere/grupper som kun av

sikkerhetsårsaker skal ha tilgang til

helt spesifikke data.

• Rad-nivå sikkerhet tillater ulike

brukere å se samme VA rapporter,

men data er segmentert, basert på

rad-nivå reglene satt av

administrator/BI-utvikler.

• Eksempel er kunde som har

segmentert på bl.a. land og

grupper, og tilgang til data er

begrenset til å se sine egne data,

mens leder kan se alle sine ansatte

sine data.

• Noen kunder separerer datakilder i

LASR. Mulighet dersom det er få

brukere/grupper.

SAS Data Connectors

SAS Visual Analytics Environment

Oracle SAP SQL FilesHadoop

SAS LASR Analytical Server

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL DATA BUILDER

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL DATA

BUILDERHVA ER SAS VISUAL DATA BUILDER?

• Lage dataspørringer fra en eller flere

input tabeller.

• Administrere kolonneegenskaper og

lage kalkulerte kolonner basert på

uttrykk

• Filtrere data til å kun inneholde

ønskede rader.

• Lage outputtabeller eller laste

resultatet av spørringer direkte til

SAS LASR Analytical server (in-

memeory).

• Importere data fra lokalt, fra server,

Hadoop, eller andre kilder

(facebook, twitter, og google

analytics).

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

SAS® VISUAL DATA

BUILDER

HVORFOR LAGE SPØRRINGER I VA VED BRUK AV SAS

VDB?

SAS Visual Data Builder Data Intergration Tools

Kapasitet Brukervennlig verktøy med

avgrenset og funksjonelt enkle

sett av muligheter/kapasiteter.

Kompleks(e) verktøy med bredt og stort utvalg av

mulige kapasiteter

Tillatelser Brukere trenger bare begrenset

tilgang til data.

Trenger tilgang til et større (store) mengder data.

Kompetanse Minimal kontakt med SQL Programmerings- og scriptingskompetanse viktig

Deling Data laget for et spesifikt formål

og deles med et mindre/antall

team

Data laget for flere formål og deles på tvers av

multiple avdelinger

Det kommer an på…..?!