InderRuprah

8/17/2019 InderRuprah

1/51

Como leer y supervisar una

evaluación de Impacto:

Métodos de diferencia

simple y doublé con

apareamiento basado enpuntaje de propensión


2/51

La estructura del curso

1. ¿Por qué preocuparnos por la evaluación del impacto?

2. ¿Sobre qué trata una evaluación de impacto?

3. ¿Cuál fue el impacto reportado? ¿!ue esteestad"sticamente si#ni$cativo?

%. ¿Cuál fue el método usado por el evaluador para construirlos #rupos de tratamiento & comparación?

'. ¿Cómo de$nir si el #rupo de comparación usado fue buenoo no?

(. ¿)ué tan sensibles son las estimaciones del impacto a los

diferentes métodos usados en el proceso deempare*amiento por Punta*e de Propensión?

+. ¿,ienen sentido los resultados encontrados en laevaluación?


3/51

1. ¿Por qué preocuparnos por laevaluación del impacto?


4/51

¿Cuáles son las preguntas deuna evaluación de impacto?

• ¿Cuál fue el efecto causal de unpro#rama dado -tratamiento en elresultado-s de interés?

• ¿/a& un efecto causal de dosi$caciónen pro#rama con diferentes niveles detratamiento -e.*0 mas o menos

transferencias de dinero diferentesperiodos del entrenamiento?

• ¿/a& un efecto causal de multi

tratamiento para pro#ramas con


5/51

El método típico antes –después

,ratamiento

fecto dedesarrollo 4 5

6inea$nal

Linea

base

Variable de

interés

5

4

5

4

Pero lo que parece no es


6/51

Lo que parece no es! e".prevención de crimen

E#ecto de desarrollo $mpacto


7/51

Pero lo que parece no es! provisiónpu%lica & privado de 'ipotecas & la tasa

de mora en pago

(e necesita un contra#actual o grupo de comparación


8/51

¿ 7mpacto?

• 5,0 impacto promedio se interpreta como elcambio promedio en la variable de resultadocuando un individuo esco#ido al a8ar pasaaleatoriamente de ser participante a ser no

participante. 5, es relevante para evaluar unpro#rama universal.

• 5,,0 impacto promedio del pro#rama sobre lostratados. ste corresponde a la diferencia entre

la media de la variable de resultado en el #rupode los participantes & la media que 9ubieranobtenido los participantes si el pro#rama no9ubiera e:istido. 5,, es relevante para evaluar un

pro#rama focali8ado.


9/51

). ¿(o%re qué trata unaevaluación de impacto

usando métodos dedi#erencia simple & do%le conempare"amiento %asado en

punta"e de propensión?


10/51

*i#erencia simple +*(, & do%le +**,


11/51

*i#erencia simple +*(, & do%le +**,

Línea%ase

Línea -nal *i#erencia

,ratado 5 4 4 5

;o tratado C < < C

7mpacto


12/51

Empare"amiento %asado en punta"e depropensión! creación de grupos tratados & de comparación

El método se puede usar solamente si 'a& soporte comn


13/51

(oporte Comn

La interpretación de casualidad depende del supuesto de e/ogeneida


14/51

E/ogeneidad

• >:o#eneidad >supuesto deindependencia condicional >noconfundido0

• l impacto estimado como la diferencia en elpromedio de las variables de resultado del #rupode tratamiento & del #rupo de comparación estacompuesto por el efecto veredero del pro#rama &el ses#o de selección. stos dos componentes sepude separar si se asume que el ses#o deselección se debe @nicamente a diferencias en

caracter"sticas observables. ntonces el ses#o de


15/51

0. ¿Cuál #ue el impactoreportado? ¿ue ésteestadísticamente signi-cativo?


16/51

Cálculos del $mpacto!presentado como cuadro


17/51

fectos /etero#éneos


18/51

Cálculos del $mpacto!presentado como grá-cas


19/51

2res en#oques de signi-cancia estadística


20/51

3eglas practicas

/o0 promedio de tratado es i#ual el promedio de #rupo decomparación

• “t”: si el valor de “t”> 2 o “t”


21/51

construir los grupos detratamiento & comparación?

1.La ecuación departicipación

).5lgoritmo deempare"amiento


22/51

Ecuación de participación

• 6%"etivo0 stimar el punta*e de propensión para cada su*eto-empresa 9o#ar persona etc

• Escoger la #orma #uncional0

• 1. ,ratamiento binario -estar o no tratado0 6o#it &Eo probit

• 2. ,ratamientos m@ltiples -estar tratado por varios tratamientos0

6o#it Fultinomial o Probit Fultinomial• 3.


23/51

Escoger las varia%les relevantes!

1.Si d &

:2.;o : d &

3.;o d & I

%.;o d e1 &

e2

'.Si;o d I &

(. Si;o d &

I

< tratamientoD & variable de interés D

: pretratamientoD I post tratamientoD

e cadena de inGuencia

La ecuación de

participación!punta"e de propensión


24/51

7alanceo con di#erentes algoritmos

Htros al#oritmos0 Jernel radio estrati$cado Fa9alanobis etc.


25/51

*ilemas

l ob*etivo de la ecuación departicipación es incluir todas lasvariables relevantes quedeterminan la participación en elpro#rama de esta forma reducir

el ses#o.


26/51

8. ¿Cómo determinar si el grupode comparación usado #ueadecuado?


27/51

En#oques para evaluar el grupode comparación!

,abla de balanceo

Kra$co del ses#o estandari8ado de las medias decovariables individuales

strati$cación Prueba de /otellin#

Prueba de Lolmo#orovSmirnov de i#ualdad dedistribución

Kra$co de fracción acumulativa


28/51

2a%la de %alanceo


29/51

El sesgo estandari9ado de lasmedias :(E de covaria%les

individuales

$e%la practica: si la &'(>"0)* el empare+amiento est, desalanceadosi la &'(


30/51

Prue%a de ;otelling;o! el vector de medias es igual entre los dos grupos

$e%la pr,ctica: si P > 0.0 se acepta la hipótesis nula* el empare+amiha sido e/itoso


31/51

*istri%ución del punta"e de propensiónantes & después del empare"amiento

(in empare"ar Empare"ados

$e%la pr,ctica: si las distriuciones del punta+e de propensiónson parecidas panel derecho1* el empare+amiento ha sido

e/itoso


32/51

racción 5cumulativa

$e%la pr,ctica: si las distriuciones del punta+e de propensiónson parecidas panel derecho1* el empare+amiento ha sidoe/itoso

Prue%a de


33/51

Prue%a de 0.0 en el -' cominado se acepta la hipótesis nuempare+amiento ha sido e/itoso


34/51

>rá-cas = antes & despuésde empare"amiento

(in empare"ar Empare"ados

$e%la pr,ctica: 'i los valores del punta+e de propensión paralos dos %rupos est,n cercanos a la l3nea de 4 %rados* elempare+amiento ha sido e/itoso


35/51

@. ¿ué tan sensi%les son lasestimaciones del impactoante los di#erentes métodosusados en el proceso deempare"amiento por punta"ede propensión?


36/51

En#oques para evaluar lasensi%ilidad de los impactos

• Sensibilidad de resultados delbalanceo ba*o diferentes al#oritmos

• Sensibilidad de los cálculos de

impacto ante cambios en el al#oritmode empare*amiento

• Sensibilidad del soporte com@n

después de recorte0 l"mites de6ec9ner

• Sensibilidad a ses#o escondido

• Sensibilidad a la atrición


37/51

(ensi%ilidad de resultados del%alanceo %a"o di#erentes

algoritmos


38/51

(ensi%ilidad de los cálculos deimpacto ante cam%ios en el

algoritmo de empare"amiento

$e%la pr,ctica: 'i los resultados de 566 no camian de si%no ysi son estad3sticamente si%ni#cativos* los resultados no sonsensiles a camios en el al%oritmo usado


39/51

(oporte comn! desec'andoo%servaciones e/tremas

Hpciones0

• 1. l investi#ador desec9atodas aquellas

observaciones para lascuales el punta*e depropensión es menor alm"nimo del punta*e de lostratados & ma&or almá:imo del punta*e delos no tratados

• 2. l investi#ador desec9atodas las observaciones-en los #rupos de tratados& no tratados tal que elsoporte com@n sóloinclu&e los punta*es depropensión que tienenuna densidad positiva

• 3. l investi#ador desec9alas observaciones conpunta*e de propensiónmenor a M donde M esde$nida como unadistancia desde lospuntos e:tremos de la

distribución N 1O


40/51

(ensi%ilidad del soporte comndespués de recorte! límites de

Lec'ner 7nterpretación de la tabla.

Para cada pro#rama lacolumna 7 tiene la informaciónsobre el si#no & lasi#ni$cancia estad"stica delefecto estimado -donde Eindica que los resultados son

si#ni$cativos al .1 mientrasque si es E la si#ni$cancia esla .'. Columna 77 tiene lamisma información pero tomaen cuenta los l"mites de6ec9ner. Si los resultados enlas dos columnas di$ere para

un pro#rama dado entonces elefecto del tratamientoestimado es sensible alproblema del soporte [email protected] el cuadro se resalta con uncolor #ris suave los resultados

que tienen un #ran efectocuando se usa el enfoque de

( i%ilid d


41/51

$e%la pr,ctica: si la tendencia de la variale de inter7s di#ereentre los dos %rupos* hay un ses%o escondido

(ensi%ilidad a sesgoescondido! tendencias

comunes

(ensi%ilidad a sesgo


42/51

(ensi%ilidad a sesgoescondido! limites de

3osem%aum$e%la pr,ctica: &ientras ell3mite in8erior y el l3mitesuperior ten%an el mismosi%no* el 9ama inuencia deuna variale no oservada1 no

tiene e8ecto en lasestimaciones. 'i hay unadi8erencia de si%no* en el

presente caso 9ama;".* lavariale no oservada tieneinuencia la variale no

oservada necesita aumentarla verosimilitud de selecciónen el %rupo tratado por ")1 yhay un ses%o escondido con9ama;". .


43/51

Placebo

• Placebo 7 o sea usando un #rupo decontrol 0 si el impacto no es cero elimpacto calculado es dudoso

• Placebo 77 o sea usando una variablede interés que no puede ser inGuidapor el tratamiento


44/51

E/ogeneidad! Prue%a deCasualidad de >ranger +por

cada varia%le de interés,Para una interpretacióncausal de resultados*en una re%resión de losvalores pasados y8uturos de la varialede inter7s* se esperaue los valores del

pasado seanestad3sticamente

i%uales a cero. 'i enlos valores del 8uturohay si%ni#canciaestad3stica* entonceshuo un impacto.


45/51

(esgo de%ido a la atrición

• Comparación univariada de medias de #rupossalientes & que permanecen

• Qe#resión lo#"stica0 factores que contribu&en al

atrición.• Qe#resión de Co:0 información de probabilidad

de atrición en el tiempo & los factores quecontribu&en al atrición.


46/51

(esgo de%ido a la atrición!Comparación univariada


47/51

(esgo de%ido a la atrición!3egresión Co/


48/51

(esgo de%ido a la atrición!3egresión logística

4ondad de a*uste de /osmer & 6emes9oI %.R1. alor

P .++. ,odas las proporciones de posibilidades tienevalor P0.'


49/51

A. ¿2ienen sentido los

resultados encontrados en laevaluación?

a ac n e/ erna! e m smo


50/51

a ac n e/ erna! e m smoresultado para varios estudios

so%re programas similares

:eta=evaluación6os resultados de una Fetaevaluación comunmente sepresentan en un >Krá$co de4osque donde el e*e 9ori8ontalmide el efecto del tratamientomientras que la l"nea verticalrepresenta el estudio donde los#rupos de tratamiento &comparación tienen la mismamedia es decir donde no 9a&diferencia entre ambos. Para cada

estudio individual la estimaciónes representada por un cuadrado& a su ve8 la l"nea 9ori8ontalrepresenta el intervalo decon$an8a al 'T. l análisisa#rupado es representado por un

diamante cu&o centro eslocali8ado en el punto estimado &


51/51

Ca"a Degra! Cadena decausalidad

InderRuprah

Documents

Transcript of InderRuprah