Media Mix Modeling vs. ANCOVAg

A A l ti l D b tAn Analytical Debate

What is the best way to measure yincremental sales, or “lift”, generated from marketinggenerated from marketing 

investment dollars?

2

Measuring ROI From Promotional Spend

Where possible to implement, an experimental design that uses a randomly selected holdout group provides the most statistical power and reliability in marketing measurementstatistical power and reliability in marketing measurement

June July August September October November December

Sample Direct Marketing Campaign Plan: 2012

TMS

DM1

DM2

TMS

EM1

TMS

EM 2

Event

DM3 DM4

Market Events and External Factors

3

Market Events and External Factors

Use Randomization to Increase Statistical Power

• Holdout sample should be selected from the lowest level of the experimental design and each treatment cell should have a corresponding randomly selected holdout group

Segment 1 TargetsN=150,600

Segment 1 TargetsN=150,600

Segment 2 TargetsN=350,200

Segment 2 TargetsN=350,200

Segment  3 TargetsN=102,000

Segment  3 TargetsN=102,000

RANDOM CONTROL

RANDOM CONTROL

RANDOM CONTROL

TREATMENT GROUP (TEST)

TREATMENT GROUP (TEST)

TREATMENT GROUP (TEST)

Sample Size Calculator

NOTE:  Control group can be much smaller than treatment group.  Use sample size calculator to determine minimum possible sample size for control group

Sample Size Calculator

Option to apply finite population 

correction 

4

co ect oadjustment

Verify Pre‐Campaign Holdout Validity

PRE PERIOD CAMPAIGN RUNS POST PERIOD

• Random selection of the control group from the target group should guarantee that the test and control groups are equivalent on key metrics prior to the campaign start, but…

PRE PERIOD CAMPAIGN RUNS POST PERIOD

• Statistical testing of the difference between pre‐period test and control groups on key metrics is an important validation step and adds to confidence in the post‐period measurement

Sample Metrics Group1 Group2 Group3

P‐Values for the Difference Between Test and Control Group Mean Values on Key Metrics in Pre‐Period

Pre‐Period Trends: Test and Control Groups

Avg. Sales$ .45 .52 .35

Media Impressions .82 .84 .61

Other Promotional 25 38 27

Spend.25 .38 .27

Competitor Spend .31 .45 .24

Demographics .28 .19 .24

5p >.15 is non‐significant

Measure Pre‐Post Launch Change

• If the test group and control group are statistically equivalent prior to the campaign launch, then the difference in sales between the groups after the campaign represents the incremental sales contribution of the campaign

• ANCOVA (Analysis of Covariance) test will• ANCOVA (Analysis of Covariance) test willmeasure the significance of the differenceand also control for other potential factorsthat could differentially impact test and controlgroups during the campaign period 0.60 

0.70 

Average Weekly Sales per Target: Test v Control, Pre and Post

CampaignEffect

groups  during the campaign period

PRE PERIOD CAMPAIGN POST0.10 0.20 0.30 0.40 0.50 

Test

C t l

CampaignEffect ??

Pre‐PeriodPost‐Period

Growth From Pre to Post

Test 0.45  0.65  0.20 

Control 0.44  0.50  0.06 

‐

Control

Sales by Week: Test and Control Groups

Test‐Control 0.01  0.15  0.14 

ANCOVA Adjusted 0.11 

ANCOVA Adjusted difference is after controlling for covariates and, if significant (p‐l l h ) h f

6

value less than .15), is the measure of true incremental sales from the campaign

Summary:  ANCOVA for Marketing Measurement

Benefits• Extremely reliable results

• Conservative testConservative test

• Control for other factors that may impact volume growth of target relative to holdout

• Able to scale to calculate overall ROI from marketing programAble to scale to calculate overall ROI from marketing program

• Expect replicable results if same conditions and weights apply in repeated treatment

7

There is another option…Media Mix Modeling can overcome many limitations of 

ANCOVA‐based analysis

8

Limitations of ANCOVA

• Feasibility of holdout group

• Opportunity cost of being out of market with incremental media

• Selection of test period length is subjective

• Difficult to measure mass & digital media

• No guidance on cross‐tactic decisions

• Does not provide insight into future budget allocation decisions

• Does not explain “base” factor contributions

As we will see, Media Mix Modeling will overcome all of these limitations…

9

How is Media Mix Modeling Different?

Media Mix Models can be used to understand the incremental, layered effect of cross‐tacticmarketing over time…

Incremental Media Contribution

Base

10

What are the Requirements and Process?

350

TV

p

pi

Input DataInput Data Statistical ModelsStatistical ModelsResponse Curves & OptimizationResponse Curves & Optimization

50

60 Sales Decomposition

120

140

160

180

200

Reven

ue

0

50

100

150

200

250

300

350

0 5 10 15 20 25 30

Time

DirectMail

i

tpitit

ixy1

10

20

30

40Re

venu

e TV

Direct Mail

Radio

Print

Base0

20

40

60

80

100

0.0 24.0 48.0

Increm

ental R

Investment Amount

Print

Radio

Direct Mail

TV

0

200

400

600

800

1000

1200

0 5 10 15 20 25 30

Time

Direct Mail

0

1 3 5 7 9 11 13 15 17 19 21 23

Time

Segment 1 80

100

120

140

160

180

200

emen

tal Reven

ue

Print

Radio0

50

100

150

200

250

0 5 10 15 20 25 30

Radio

500 

600 

62  49 87 71

TV

Investment

Base51%

Print14%Radio

8%

Direct Mail11%

TV16%

0

20

40

60

0.0 24.0 48.0

Incre

Investment Amount

Direct Mail

TVTime

20406080

100120140160180

Print

‐

100 

200 

300 

400 

Segment 1 Segment 2

280  298 

73  73 42  46 

Revenu

e

Direct Mail

Radio

Print

Base

Time

0

0 5 10 15 20 25 30

Time

11

How Does Media Mix Modeling Work?

L

Xy xy 10ˆˆ

Functional forms of model equations… Estimation of equations…

l

ltlt Xy1

0

2xxy

n

iii

ii

yyxx

xy

1

10

))((̂

12110 xxy 110 xy

n

ii

i

xx1

2

11

)(

ˆk

Lxxy ...110

k 21

iiiii xyyyu 10ˆˆˆˆ

kLxxxy ...21

210 2

110

1

2 )ˆˆ(ˆ

n

iii

n

ii xyu

)exp( 10y

12

)p(1

0 xy

Functional Forms of Equations

• Functional form of a relationship between response and explanatory variables isFunctional form of a relationship between response and explanatory variables is determined by factors such as diminishing/increasing returns to scale, (a)symmetry in response, etc.

• Some of the most frequently used functional forms are:

Functional Form Representation Return to Scale

LinearConstant

L

Xy Constant

QuadraticDiminishing

l

ltlt Xy1

0

212110 xxy

Power additiveDiminishing

Multiplicative 

110 xy

k 21(log‐log) Diminishing

Log‐ReciprocalS‐Shaped

kLxxxy ...21

210

)exp( 1y S Shaped

13

)exp(1

0 xy

Estimation of Equations

• Example equation

iii uxy 10 Population equation indicating relationship between x and y; estimated using sample of data representing the population

• Estimation of the ‘betas’

n

ii xy 10ˆˆ Intercept equals the sample average of y plus the sample 

estimate of x

n

n

iii

xx

yyxx

2

11

)(

))((̂

Sample covariance between x and y divided by the sample variance of x

• Residual

i

i xx1

)(

iiiii xyyyu 10ˆˆˆˆ Difference between actual and predicted, estimate of 

th k i th l ti ti

• Sum of Squared Residuals

iiiii xyyyu 10 the unknown error in the population equation

22 )ˆˆ(ˆ

nn

Ordinary Least Squares estimates minimize the sum 

110

1

2 )(

i

iii

i xyu of squared residuals14

Application of Parameter Estimates

H d l l t t ib ti f h i bl i th d l?• How do we calculate contribution for each variable in the model?– Multiply coefficient from model (“beta”) by weekly model inputs 

(impressions)

Sum weekly values to get total contribution attributable to each media– Sum weekly values to get total contribution attributable to each media

• Model Coefficient (“Beta”) for Display:    0.0000486431

Di lWeek

Display Impressions

Contribution

5/30/2009 1,972,606  96 

6/6/2009 2 226 734 1086/6/2009 2,226,734  108 

6/13/2009 2,483,358  121 

… 

Sum contribution across weeks to get total incremental sales due to

5/7/2011 5,550,921  270 

5/14/2011 7,016,425  341 

5/21/2011 4,937,705 240

incremental sales due to Display…  53,415

5/21/2011 4,937,705  240 

15

Measurement of time‐varying impacts

• “Adstock” refers to the effect of advertising extending several periods after the original exposure

• Estimate using Distributed Lag Model1. Estimate model with lagged effects for all media terms – coefficients represent % decay at each lag 

2. Smooth with estimation of gamma distribution to the lagged effect coefficients

300

400

TV

0

100

200

300

GRP

s

TVTV Decay - Step 1 Lag ModelTV Decay - Step 2 Gamma Distr

• Estimate using various exponential decays

300

400 )0.#0( 1 xTVTVTV Adstocktt

Adstockt

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

Week

0

100

200

300

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

GRP

s

Week

1ttt

16

Week

TV Adstock (20%) Adstock (40%) Adstock (60%) Adstock (80%)

Toolset of econometric methodologies

Methodologies used in MMM Analyses– Ordinary Least Squares (OLS)

– Mixed (Bayesian Shrinkage Random Time Series  Panel Data 

Methodology Selection

Mixed (Bayesian Shrinkage, Random Coefficients)

– Unobserved Components Models (UCM)

T St UCM Mi d

Data(i.e. National x Week)

(i.e. DMA x Week)

Mi d

Two Stage:– Two Stage: UCM‐Mixed

– Seemingly Unrelated Regression (SUR)

– Structural Equation Modeling (SEM)

Hierarchical Relationships

OLS UCMMixed Stage: 

UCM ‐Mixed

Hierarchical Relationships

SUR SEM

17

Case Study ComparisonsWhat does each approach offer in these instances?

18

Case Study 1: Direct Campaign

• Typical multi‐channel campaign to physicians with mix of tactics deployed in rapid succession across long timeframe

• Capitalizes on use of “universal control group” of non‐marketed holdout

0 35

0.40 

0.45 

DM2EM1 EM2

0.20

0.25 

0.30 

0.35 

hysician

 per W

eek

EM1 Resend 1

EM1 Resend 2

DM1 DM2Tele‐detail

0.05 

0.10 

0.15 

0.20 

NRx

 per Ph

EM2 Resend 1

‐

19

Case Study 1: ANCOVA APPROACH

1. Define multiple pre‐post periods1. Define multiple pre post periods

2. Conduct holdout‐validity tests for each pre‐period and each set of test/control groups

3. Measure ANCOVA‐Adjusted change in volume using double difference

0 35

0.40 

0.45 

DM2EM1 EM2

PRE PERIOD 2 POST PERIOD 2

0.20

0.25 

0.30 

0.35 

hysician

 per W

eek

EM1 Resend 1

EM1 Resend 2

DM1 DM2Tele‐detail

0.05 

0.10 

0.15 

0.20 

NRx

 per Ph

EM2 Resend 1

ANCOVA: PRE

PERIOD1

ANCOVA: POSTPERIOD

1‐

1 1

20

Case Study 1:  ANCOVA

Change in  Per Physician Prescription Volume from  Pre1 to Post 1

Change in Volume from Pre2 to Post2

Ancova 1: Time Period 1 Ancova 2: Time Period 2

Test +1.4 +2.5

Control +0.4 ‐0.2

Difference 1 0 2 7Difference 1.0 2.7

ANCOVA‐Adjusted 0.8 2.2

Significance .05 p <.001

• ANCOVA could provide solid measurement of overall campaign impact for two different time periods while controlling for other factors

• Per physician increase could be scaled to measure total impact and calculate overallPer physician increase could be scaled to measure total impact and calculate overall ROI

21

Case Study 1:  Mixed Modeling Approach

1. Use correlogram approach fitted with gamma curves to calculate decay curves per channeldecay curves per channel

2. Transform input variables to account for decay 

3 Build model at the physician‐3. Build model at the physicianweek level over 130 weeks of history and all physicians, whether targeted or not in campaign

4. Fit model using best functional form

5 Calc late response c r es for5. Calculate response curves for each tactic

6. Input into planning tool for optimization

22

optimization

Case Study 1: Campaign Planning From MMO Output

• MMO equation creates outputs that can be used in a scenario planning tool to test the impact of different investment levels by tactic and calculate expected ROI from varying budget levels

23… and ANCOVA confirmed lift estimates

Case Study 2:  Web Support Program

• Situation:  Launched consumer support website where consumers register online for product support and information.  Consumers only provide zip code in online support registration.  Sales not able to be tied directly to consumers but only to geography (zip code)geography (zip code)

• Key question:  Does consumer support program drive future sales?

ANCOVA Approach:

0.05 

0.10 

0.15 

0.20 

Volume per household per month – Pre Launch

Control

Test

pp1) Match consumer registered zip code 

to most likely purchase zip code2) Identify control zip codes with no 

consumer registrations in proximity

0 50

Web  Visits per HH per Month

‐Sep‐09 Oct‐09 Nov‐09 Dec‐09 Jan‐10 Feb‐10

15%

Market Share – Pre Launch

consumer registrations in proximity 3) Test “lift” after web program launches

‐0.10 0.20 0.30 0.40 0.50 

Sep‐09 Oct‐09 Nov‐09 Dec‐09 Jan‐10 Feb‐10

Control

Test 0%

5%

10%

Sep‐09 Oct‐09 Nov‐09 Dec‐09 Jan‐10 Feb‐10

Control

Test

24

Case Study 2: Possible ANCOVA Output 

ANCOVA d t t li k b t l d b t

• Test pre‐post period differences between zip codes with registrations and ith no registrations

ANCOVA may demonstrate a link between sales and web support program use

and with no registrations

• Control for covariates that might influence test zip codes

25

Case Study 2:  Mixed Model Approach 

1. Collect zip‐level data on all programs in place, by week, over long time period

2. Calculate contribution of each of the tactics, including the web registrations

3 Compare relative contribution to sales and relative ROI levels of each tactic3. Compare relative contribution to sales and relative ROI levels of each tactic

Input Model  ROI

Baseline 52%Model Output: Quadratic Form

TV GRP 25% 2:1

Registrations 3% 4:1

Activation 1 6% 3:1

Effect Estimate StdErr tValue Probt

Intercept 0.126 0.009 13.433 0.000log_trend 0.025 0.004 6.719 0.000total_mkt_grp 0.411 0.012 35.333 0.000sq_total_mkt_grp (0.139) 0.005 ‐27.309 0.000decay register 5 037 0 755 6 672 0 000 Activation 1 6% 3:1

Activation 2 7% 6:1

Promotion 1 7% 1:1

decay_register 5.037 0.755 6.672 0.000sq_decay_register (8.051) 2.934 ‐2.744 0.006decay_activation1 7.056 0.550 12.820 0.000sq_decay_activation1 (4.106) 1.586 ‐2.589 0.010decay_activation2 0.603 0.077 7.823 0.000sq_decay_activation2 0.052 0.040 1.297 0.194

26

Case Study 3: Cross‐Tactic Measurement

Situation: Large advertising spend – objective is to

Spend – Incremental SalesFY 2011$200M

Situation: Large advertising spend  objective is to optimize spend by tactic and geography

Contribution %FY 2010

7% 19%

8%10%5%

Streaming 280

120

Base55% 30%

gVideoNewspaper

Direct Mail50

IncrementalBase43%

5%

9% TV

Radio180

Incremental 57%

Media mix modeling indicates incrementality of media along with indication of ROI across tactics…

20%32%

5%

S d % I S l %

Display150

27

Spend % Increm. Sales %ROI Index

Case Study 3:  MMM provides insights into promotional performance by region

Media mix modeling indicates promotional messaging is more effective in the Midwest than all other regions… 

123303

12276 114 80 101 81 6760%

70%80%90%

100% Promo Tactics by RegionFY 2011

13% 11% 13% 12%17%

9%9% 9% 10% 12% 11% 12% 14%

76 67 44

20%30%40%50%60%

3% 3% 7% 11% 12%6% 9%

4%9% 9% 10% 12% 11% 12%

4% 4%0%

10%

28

% Cost % Increm Sales ROI Index

A Merkle Best Practice Approach.. Taking marketing measurement to the next level

29

Comparison of Methods

= Winner on this Attribute

ANCOVA Media Mix Modeling

C t Cost (Depends on # groups)

Hidden Costs Cost of withholding promotion from control

Statistics simpler but test Complexity of Execution Statistics simpler, but test design more complex

Data Requirements M t Abilit Measurement Ability Scenario Planning Only to repeat exact

Best forBest for...

30

Best Practice Measurement Framework

d d l b f d b h ll d h h l l l h

M t

Media Mix Modeling gives best practice estimates of media impacts – both overall and at the vehicle level.  The methodology is also extensible to the tactic level, and can be applied in cases where indirect or direct attribution is not feasible.  Indirect/Direct Attribution is best employed in relative analyses within a media vehicle, at levels of granularity not possible via traditional mix modeling (i.e. search keywords).

Category

Measurement Level:

Media Base Measure using 

Legend:

DirectDisplayDRTVTVMedia Vehicle 1‐800

Search

Media Mix Modeling

•Creative•Segment

•Creative•Site•Landing 

•Creative•Daypart•Duration

•Creative•Daypart•Duration

Tactic•Site•Keyword

Measure using Indirect/Direct Attribution

• Last‐click• In‐market testing 

(ANCOVA)Page (ANCOVA)• Ad tracking

31

Brian DemitrosBrian Demitros

Associate Director

Integrated Media Optimization Practice

Merkle Analytics

443.542.4438 BDemitros@merkleinc.comMerkle A l i Lynda S Gordon

Senior Director

Life Sciences Analytics Practice

Analytics

y

Merkle Analytics

440.476.0351

LSGordon@merkleinc comLSGordon@merkleinc.com