STATISTICA PER LE DECISIONI DI MARKETING Andrea Cerioli [email protected] Sito web del corso...
-
Upload
ettore-grande -
Category
Documents
-
view
216 -
download
0
Transcript of STATISTICA PER LE DECISIONI DI MARKETING Andrea Cerioli [email protected] Sito web del corso...
STATISTICA PER LE DECISIONI DI MARKETING
Andrea [email protected]
Sito web del corso
IL MODELLO DI REGRESSIONE LOGISTICA
Introduzione e inferenza
Materiale didattico: dispensa sulla regressione logistica (c/o Ufficio fotocopie del Dipartimento)
Previsione di una variabile dicotomica• La variabile da prevedere (Y = var. dipendente del
modello) è dicotomica: presenza/assenza di una caratteristica:– Compra / non compra un prodotto o categoria di prodotti– Appartiene / non appartiene a un certo profilo o segmento di clientela– Aderisce / non aderisce a una campagna promozionale– E’ solvente / è insolvente– …
• Le variabili esplicative X1, X2, … Xk-1 forniscono informazioni su fattori ritenuti rilevanti nella previsione di Y. Nel Trade marketing, spesso tali variabili sono tratte dal database aziendale:– Spesa per prodotti/categorie correlate– Comportamento di acquisto precedente– Informazioni sul comportamento complessivo di acquisto (spesa tot.,
scontrino medio, numero di visite in pdv, tipologia di pdv frequentata …)
• Le variabili esplicative X1, X2, … Xk-1 possono essere sia quantitative che qualitative
• Se disponibili, si possono usare anche informazioni esterne:– Reddito– Età, sesso e caratteristiche socio-demografiche– Comportamento presso i competitor (share of wallet, spesa c/o altre
insegne …)
Punteggio (score) per l’unità i
• k-1 variabili esplicative. Per ogni unità i (i=1, …, n):
• La combinazione lineare fornisce un punteggio (score) per l’unità i: analogia con la parte sistematica del modello di regressione lineare
• L’ obiettivo è però differente rispetto alla regressione: il punteggio è utilizzato per prevedere la classe a cui
appartiene l’unità i (Yi) separazione lineare tra le
classi
• In questo modello, che cosa descrive la combinazione lineare delle variabili esplicative (cioè che cosa mettiamo a sin. dell’=)?
'1 2 , 1
0 1 1 1 , 1
(1, , ,..., )
...i i i i k
i k i k
x x x x
b b x b x
• Nella regressione: Y = variabile dipendente quantitativa (con distribuzione normale)
• La combinazione lineare delle variabili esplicative descrive quindi il valore atteso di yi
• Nel problema in esame: Y = variabile dipendente dicotomica (che rappresentiamo con una distribuzione di Bernoulli)
E(yi)=i: probabilità di “successo” per l’unità i
yi Probabilità
0 1 - i
1 i
Tot. 1
Modello di regressione per Y dicotomica
• I parametri possono essere stimati con il metodo dei minimi quadrati (v. regressione multipla). Però:
– Sono violate le ipotesi del modello sulla variabile dipendente Y (Quali?)
– Non è detto che la stima di i sia compresa in [0; 1]
– Adattare un modello in [0; 1] è più complicato che non su tutta la retta reale
• Trasformazione dall’intervallo [0; 1] a R: logit
0 1 1 1 , 1...i i k i kx x
Logit
• Logit di Y dicotomica Y=1 oppure Y=0:
• Logit = logaritmo della “quota relativa” (odds):
Odds = /(1 – ) = P(Y=1)/P(Y=0)
• v. Zani-Cerioli, p. 102 + Complemento 1
( 1) ( 1)logit[ ( 1)] log log log
1 ( 1) ( 0) 1
P Y P YP Y
P Y P Y
Logit• Logit in presenza di k-1 variabili esplicative
X1, X2, …:
• Modello di regressione per logit[(xi)]
1 1 2 2 1 , 1( ) ( 1| , ,..., )
( )logit[ ( )] log
1 ( )
i i i i k i k
ii
i
x P Y X x X x X x
xx
x
0 1 1 1 , 1( )
log ...1 ( )
ii k i k
i
xx x
x
Regressione Logistica
• Il modello è lineare nei parametri: lo score per l’unità i è una combinazione lineare dei valori osservati xi1 … xi,k-1
• Il modello non è però lineare in (xi): non si può più utilizzare il metodo dei minimi quadrati
• Metodo alternativo di stima: massima verosimiglianza (maximum likelihood) v. Complemento 2
• Non esiste una formula esplicita per le stime dei parametri del modello: algoritmo di stima iterativo che risolve un sistema di equazioni non lineari
• Tale sistema di equazioni si basa sulla distribuzione congiunta di Y1, Y2 … Yn (quale distribuzione?)
• Spesso i valori delle variabili esplicative sono raggruppati in classi: tabelle di contingenza (multiple)
0 1 1 1 , 1( )
log ...1 ( )
ii k i k
i
xx x
x
Regressione logistica - Esempio• n = 40 clienti• Obiettivo (semplificato): prevedere il comportamento
di acquisto su un prodotto di largo consumo in base a reddito (supposto noto) e sesso del consumatore
• Prime 10 righe della matrice dei dati:
v. Sito del corso: Esempio introduttivo alla regressione logistica
Analisi preliminari con SPSS (per esercizio):Distribuzione di X=reddito (valori anomali, forma di
distribuzione …)Associazione tra Y e le X
In SPSS
Esempio: Modello 1 (regr. log. semplice)
• Comportamento di acquisto (Y) in funzione di X1 = sesso del consumatore (variabile dummy):
• Codifica X1 (arbitraria): xi1 = 0 (F); xi1 = 1 (M)
• Output SPSS modello logistico:
• Quale interpretazione dei parametri?• Significatività dei risultati (test e intervalli
di confidenza)
0 1 1( )
log1 ( )
ii
i
xx
x
Modello 1 – interpretazione parametri• Una sola variabile esplicativa X1 dicotomica
(dummy)• Se xi1 = 0 (consumatore femmina):
• Se xi1 = 1 (consumatore maschio):
• Quindi 1 è la differenza tra il logit per i maschi (X=1) e il logit per le femmine (X=0).
• Proprietà di log:
• Pertanto: exp(1) = Odds Ratio (v. ZC, pp. 100-102)
0( )
log1 ( )
i
i
x
x
0 1( )
log1 ( )
i
i
x
x
1
( ) 1 ( )log log ODDS RATIO
( ) 1 ( )i i M
i i F
x x
x x
exp(0) è la quota relativa (odds) (xi)/[1- (xi)] per il gruppo delle femmine
exp(0+1) è la quota relativa (odds) per il gruppo dei maschi
Interpretazione parametri -2• E’ possibile scrivere il modello logistico esplicitando la
probabilità di successo (xi):
• Formula per la stima di (xi)• Tale relazione vale anche con più variabili esplicative• Tale formula esprime (xi) come funzione di
ripartizione di una particolare v.a. (v.a. logistica) Funzione logistica: v. grafico
0 1 1
0 1 1
0 1 1 0 1 1
0 1 1
0 1 1 0 1 1
( )log
1 ( )
( )exp
1 ( )
( ) exp ( )exp
exp 1( )
1 exp 1 exp
ii
i
ii
i
i i i i
ii
i i
xx
x
xx
x
x x x x
xx
x x
Funzione logistica (0=0; 1 = 1)
• Funzione non lineare tra la probabilità (x) e x una retta crescerebbe invece indefinitamente (v. grafico)
• Pendenza della curva: 1 (x) [1-(x)] 1>0 andamento crescente; 1<0 andamento decrescente
• L’effetto sulla probabilità di una variazione unitaria di x non è costante: è max quando (x)=0.5 (punto di ascissa x=-0/1) implicazioni di marketing
• Tale effetto è simmetrico rispetto a (x)=0.5
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
-6 -4 -2 0 2 4 6
x
Probabilità
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
-6 -4 -2 0 2 4 6
x
Probabilità
Modello 1 – aspetti inferenziali
• Output:
• E.S.: errore standard (asintotico) =
• Se n è grande, la stima della matrice di cov. di cappello è:
• Wald = statistica t2 per la verifica di H0: j=0 contro H1: j0
• Se H0 è vera, in grandi campioni
• Chi-quadrato con df=1: [N(0, 1)]2
• P-value:
• Intervalli di confidenza (asintotici): interpretazione (ZC§6.2)
ˆvar( )j
22
ˆ
ˆvar( )
j
jW t
2 21W t
21 0( | vera)obsP W H
1ˆ ˆ' [ ( ) 1 ( )i i iX diag n x x X
Esempio: Modello 2 (per esercizio)• Comportamento di acquisto (Y) in funzione del reddito
del consumatore (3 classi):
• Codifica X1 (parzialmente arbitraria): – xi1 = 1 se Reddito < 45
– xi1 = 2 se Reddito compreso tra 45 e 54
– xi1 = 3 se Reddito > 54
• Output modello logistico:
• Interpretazione dei parametri e inferenza• Effetto della scelta delle classi e della loro
quantificazione?
0 1 1( )
log1 ( )
ii
i
xx
x
Esempio: Modello 2bis• Comportamento di acquisto (Y) in funzione del
reddito del consumatore (variabile quantitativa):
• Output modello logistico:
• Interpretazione dei parametri e inferenza
• Effetto del reddito a parità di sesso?
0 1 1( )
log1 ( )
ii
i
xx
x
Esempio: Modello 3 (regr. log. multipla)• Comportamento di acquisto (Y) in funzione del sesso
(X1) e del reddito (X2) del consumatore:
• X1 è dummy: – Se xi1 = 1 (M)
– Se xi1 = 0 (F)
• Adattare un modello logistico tra Y, X1 (dummy) e X2 equivale ad adattare due modelli logistici diversi tra Y e X2: un modello per M e un altro per F.
• Tali modelli differiscono per l’intercetta; la pendenza è invece la stessa (2)
0 2 2( )
log1 ( )
ii
i
xx
x
0 1 2 2( )
log1 ( )
ii
i
xx
x
0 1 1 2 2( )
log1 ( )
ii i
i
xx x
x
Esempio: Modello 3 (X2 = reddito quant.)
• Output modello logistico:
• Interpretazione dei parametri: coefficienti netti (parziali)
• L’effetto del reddito (a parità di sesso) ora è triplicato ed è significativo
• Confronto tra associazione marginale e parziale (v. tabella a doppia entrata e a tripla entrata)
0 1 1 2 2( )
log1 ( )
ii i
i
xx x
x
Esempio: Relazione tra Y e reddito (in classi)• Senza considerare il sesso (v. Modello 2): non significativa
• Distinguendo M e F: la relazione è molto più forte nei 2 gruppi
Modello 3: Stima della probabilità di acquisto• Ad esempio: consumatore F di reddito 40:
• Se invece il consumatore è M (reddito=40):
• Nel Modello 2bis (non distingue tra M e F):
• E’ possibile considerare un coeff. del Reddito diverso per M e F?
ˆ( )log 9.843 3.49 0 0.158 40 3.523
ˆ1 ( )
ODDS = exp( 3.523) 0.0295
exp( 3.523) 1ˆ( ) 0.0287
1 exp( 3.523) 1 exp(3.523)
i
i
i
x
x
x
ˆ( )log 9.843 3.49 1 0.158 40 0.033
ˆ1 ( )
ODDS = exp( 0.033) 0.9675
exp( 0.033) 1ˆ( ) 0.4918
1 exp( 0.033) 1 exp(0.033)
i
i
i
x
x
x
ˆ( )log 2.734 0.054 40 0.574
ˆ1 ( )
ODDS = exp( 0.574) 0.5633
exp( 0.574) 1ˆ( ) 0.3603
1 exp( 0.574) 1 exp(0.574)
i
i
i
x
x
x
Modello 4: interazione tra le variabili esplicative• Comportamento di acquisto in funzione del sesso (X1), del reddito
quantitativo (X2) e di un fattore di interazione (X1 X2):
• Ora i modelli M e F differiscono sia per l’intercetta sia per la pendenza
• Output modello logistico:
• In questo caso l’interazione non è utile (Quando potrebbe esserlo?)
• E’ opportuno inserire con parsimonia le interazioni nel modello
0 1 1 2 2 3 1 2( )
log1 ( )
ii i i i
i
xx x x x
x
0 2 2
0 1 2 2 3 2 0 1 2 3 2
( )F: log
1 ( )
( )M: log ( ) ( ) ( )
1 ( )
ii
i
ii i i
i
xx
x
xx x x
x