Regresi on simple: introducci on ... - Gabriel Montes simple.pdf · Gabriel V. Montes-Rojas Gabriel...

Regresión simple: introducciónPropiedades estad́ısticas de MCO

STATA

Regresión simple

Gabriel V. Montes-Rojas

Gabriel Montes-Rojas Regresión simple


STATA

Regresión simple

Un modelo de regresión simple es un estudio de la relación entre dos variables(llamadas una dependiente y la otra independiente, x escalar) a través de la siguienteforma:

yi = β0 + β1xi + ui , i = 1, 2, ..., n

Elementos básicos:

1 Muestra o datos {xi , yi}ni=1 = {(x1, y1), (x2, y2), ..., (xn, yn)}, muestra detamaño n.

2 Modelo lineal y = β0 + β1x

y variable dependiente, lo que queremos explicar.x variable independiente/de control/explicativa, cómo vamos a explicar lavariable dependiente.β0 intercepto, valor de y cuando x = 0

β1 =∆y∆x pendiente, cuánto se incrementa y al incrementarse x por 1

unidad.

3 u error o residuo, aquello que no podemos observar pero que afecta y .



STATA

Modelo de función lineal

x

y

β0

∆x

∆y

β0 + β1x

β1 =∆y∆x

β0 = β0 + β10



STATA

Modelo de regresión yi = β0 + β1xi + ui

x

y

E [y |x ] = β0 + β1x

�

ui

(xi , yi )

xi

β0 + β1xi

yi

·

·

··

·

·

·

·

·

·

·

·

·

·

·

·

·

··

·

··

··

··

···

·

··

··



STATA

Regresión simple

Democracia y crecimiento.

Datos de n páıses.

y variable dependiente, PBI per capita.

x variable independiente, ı́ndice de democracia.

β0 intercepto, valor de y cuando x = 0.

β1 =∆y∆x pendiente, cuánto se incrementa y al incrementarse x por 1 unidad.

u error o residuo, aquello que no podemos observar pero que afecta y .

PBIpercapi = β0 + β1Democraciai + ui , i = 1, 2, ..., n



STATA

Regresión simple

Educación y salarios.

Datos de n individuos.

y variable dependiente, salario.

x variable independiente, años de educación.

β0 intercepto, valor de y cuando x = 0.

β1 =∆y∆x pendiente, cuánto se incrementa y al incrementarse x por 1 unidad.

u error o residuo, aquello que no podemos observar pero que afecta y .

Salarioi = β0 + β1Educi + ui , i = 1, 2, ..., n



STATA

Regresión simple

Una forma de ver los modelos de regresión es la siguiente. Notemos que

β1 =cov (y , x)

var (x),

bajo el supuesto de que cov (x , u) = 0, o sea que la variable explicativa no tienerelación con los errores.

La prueba es sencilla:

cov (y , x)

var (x)=

cov (β0 + β1x + u, x)

var (x)=

β1cov (x , x) + cov (x , u)

var (x)

(dado que cov (., .) se puede distribuir linealmente ycov (cte, variable aleatoria) = 0)

= β1 +cov (x , u)

var(x)= β1

(porque cov (x , x) = var (x) y cov (u, x) = 0) esto significa que β1 mide cuantoy se relaciona (covaŕıa) con x , estandarizado por la varianza de x .



STATA

Ḿınimos cuadrados ordinarios

¿Cómo estimamos β0 and β1?

Tomemos los residuos (recordar que son no observables...), ui ≡ yi − β0 − β1xi ,i = 1, 2, ..., n.

Ahora....Cuadrados..: ∑ni u

2i = ∑

ni (yi − β0 − β1xi )2

+Mı́nimos...: β0 y β1 que minimiza ∑ni (yi − β0 − β1xi )2+Ordinarios... puede ser más complicado...= Ḿınimos cuadrados ordinarios (MCO)OLS en inglés: Ordinary Least Squares



STATA

Método de los momentos: Ḿınimos cuadrados ordinarios

Momentos en la población Momentos en la muestra

E [u] = E [y − β0 − β1x ] = 0 n−1 ∑ni=1(yi − β̂0 − β̂1xi ) = 0E [xu] = E [x(y − β0 − β1x)] = 0 n−1 ∑ni=1 xi (yi − β̂0 − β̂1xi ) = 0

Sistema de 2 ecuaciones y 2 incógnitas... se puede resolver.

β es un parámetro, β̂ un estimador. β es un valor fijo (no lo sabemos...), β̂ unavariable aleatoria (depende de cada muestra...).

Conceptos a repasar: esperanza o valor esperado E [·]. Esperanza incondicionalvs. esperanza condicional.

Notación: ∑ni=1 xi = x1 + x2 + x3 + ... + xn (sumatoria); n−1 ∑ni=1 xi (promedio).



STATA

Consideremos las dos condiciones de primer orden, derivadas de ∑ni (yi − β0 − β1xi )2con respecto a β0 and β1:

n−1n

∑i=1

(yi − β̂0 − β̂1xi ) = 0 (1)

n−1n

∑i=1

xi (yi − β̂0 − β̂1xi ) = 0 (2)

De la primera ecuación

ȳ = β̂0 + β̂1x̄ (demostrar )

Notación: x̄ = n−1 ∑ni=1 xi = n−1(x1 + x2 + x3 + ... + xn) (promedio)

Entonces,

β̂0 = ȳ − β̂1x̄ .



STATA

De la segunda ecuación

n

∑i=1

xi [yi − (ȳ − β̂1x̄)− β̂1xi ] = 0

⇒n

∑i=1

xi (yi − ȳ ) = β̂1n

∑i=1

xi (xi − x̄)

Finalmente,

β̂1 =∑ni=1 xi (yi − ȳ )∑ni=1 xi (xi − x̄)

=∑ni=1(xi − x̄)(yi − ȳ )

∑ni=1(xi − x̄)2

El siguiente resultado lo vamos a usar muchas veces:

n

∑i=1

ai (bi − b̄) =n

∑i=1

bi (ai − ā) =n

∑i=1

(ai − ā)(bi − b̄)

(¡demostrar!)



STATA

Resumiendo:

β̂1 =∑ni=1(xi − x̄)(yi − ȳ )

∑ni=1(xi − x̄)2

β̂0 = ȳ − x̄∑ni=1(xi − x̄)(yi − ȳ )

∑ni=1(xi − x̄)2



STATA

Modelo sin intercepto

Supongamos un modelo que satisface yi = βxi + ui , para i = 1, 2, ..., n conE (ui |xi ) = 0.

Graficar una muestra {yi , xi}ni=1 con estas condiciones. ¿Qué restricciones tieneeste modelo con respecto al modelo general? Este modelo también se llama deordenada al origen.

Plantear el estimador de MCO sin intercepto como una minimización y mostrarque

β̂ =∑ni=1 xiyi∑ni=1 x2i

¿Qué debeŕıa encontrar si el modelo generador de datos es este pero se estimael modelo con intercepto?



STATA

Teorema de Gauss-MarkovInsesgadezInferenciaContrastes de hipótesis

Teorema de Gauss-Markov

Supuesto 1: Lineal en los parámetros y se relaciona con x atraves de una función lineal, yi = β0 + β1xi + ui .

Supuesto 2: Muestra aleatoria {(yi , xi )}ni=1 es una muestraaleatoria del modelo del Supuesto 1.

Supuesto 3: Variación muestral en x : ∑ni=1(xi − x̄)2 6= 0Supuesto 4: Media condicional cero E (u|x) = 0.

MCO es insesgado Si los Supuestos 1-4 se cumplen, entoncesE (β̂0|x) = β0 and E (β̂1|x) = β1



STATA


Teorema de Gauss-Markov

Supuesto 5: Homoscedasticidad Var(u|x) = σ2

Teorema de Gauss-Markov: Si los Supuestos 1-5 se cumplen, elestimador MCO β̂0, β̂1 es el mejor estimador insesgado de β0, β1.Nota: MEJOR= menor varianza (repasar concepto de varianzaV [·]). Se llama EFICIENTE a un estimador que cumple estapropiedad.



STATA


Insesgadez

Los estimadores MCO β̂0 y β̂1 son insesgados.Esto es, E [β̂0|x ] = β0 y E [β̂1|x ] = β1.La prueba se puede hacer en pocos pasos.... a continuación.



STATA


Insesgadez

Para simplificar la notación escribimos E (.) en vez de E (.|x), o sea que las esperanzasincondicionales son en realidad esperanzas condicionales.

E [β̂1] = E

[∑ni=1(xi − x̄)(yi − ȳ )

∑ni=1(xi − x̄)2

]= E

[∑ni=1(xi − x̄)(yi )

∑ni=1(xi − x̄)2

]por la propiedad ∑ni=1(xi − x̄)(yi − ȳ ) = ∑ni=1(xi − x̄)yi .

... = E

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]by Supuesto 1: Lineal en los parámetros y se relaciona con x a través de una funciónlineal. O sea, y = β0 + β1x + u.

... =∑ni=1(xi − x̄)(β0 + β1xi + E [ui ])

∑ni=1(xi − x̄)2

por propiedades de la esperanza. (Notemos que E [ui ] es en realidad E [ui |x ].)E [∑ni=1(.)] = ∑

ni=1 E [(.)]

E [β0 + β1xi + ui ] = β0 + β1xi + E [ui ]



STATA


Insesgadez

Por el Supuesto 4: Media Condicional Cero E (u|x) = 0.

... =∑ni=1(xi − x̄)(β0 + β1xi + 0)

∑ni=1(xi − x̄)2

Luego de algo de álgebra...

... =∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

+∑ni=1(xi − x̄)β1xi

∑ni=1(xi − x̄)2= 0 + β1

∑ni=1(xi − x̄)2

∑ni=1(xi − x̄)2= β1

Entonces probamos que E [β̂1] = β1



STATA


Sesgo

Probar que E [β̂0|x ] = β0 es más fácil.De la primera condición de momento de MCO

β̂0 = ȳ − β̂1x̄Usando esperanzas en los dos lados,

E [β̂0] = E [ȳ ]− E [β̂1x̄ ]Sabemos que E [ȳ ] = E [β0 + β1x̄ + ū] = β0 + β1x̄ + E [ū] = β0 + β1x̄ y queE [β̂1x̄ ] = E [β̂1]x̄ = β1x̄ . Aśı obtenemos,

E [β̂0] = β0.



STATA


Predicción

ŷi = β̂0 + β̂1xi es el valor de predicción de y dado xi , esto es, un estimador deE (y |xi ).ûi = yi − ŷi es el residuo de la regresión o error de predicción para laobservación i, o sea un estimador de yi − β0 − β1xi .Usar gráficos para distinguir claramente yi , ŷi , ui , ûi .

Demostrar que ∑ni=1 ûi = 0 y ∑ni=1 xi ûi = 0. ¿Qué implica?

Demostrar que E [ûi |x ] = 0 y E [xi ûi |x ] = 0 ∀i . ¿Qué implica?Demostrar que ȳ = ¯̂y = 1n ∑

ni=1 ŷi . ¿Qué implica?

Demostrar que E [ŷi |x ] = yi ∀i . ¿Qué implica?



STATA


x

y

E [y |x ] = β0 + β1x

Ê [y |x ] = β̂0 + β̂1x

�

ui

(xi , yi )

xi

β0 + β1xi

yi

�

ûi

(xi , ŷi )β̂0 + β̂1xi = ŷi

·

·

··

·

·

·

·

·

·

·

·

·

·

·

·

·

··

·

··

··

··

···

·

··

··



STATA


Varianza de los estimadores MCO

¡¡Todo estimador se merece su varianza!!

Var(β̂1|x) =σ2

∑ni=1(xi − x̄)2

Prueba...

Var(β̂0|x) =σ2n−1 ∑ni=1 x2i∑ni=1(xi − x̄)2

Prueba...

Pregunta: Var(β1|x)=??



STATA



Var (β̂1|x) =σ2

∑ni=1(xi − x̄)2

Prueba: (para simplificar la notación var(.) corresponde a var(.|x))

Var (β̂1) = Var

[∑ni=1(xi − x̄)yi∑ni=1(xi − x̄)2

]= Var

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]

= Var

[∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

]+Var

[∑ni=1(xi − x̄)β1xi

∑ni=1(xi − x̄)2

]+Var

[∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

]

=Var [∑ni=1(xi − x̄)ui ](∑ni=1(xi − x̄)2)

2=

∑ni=1(xi − x̄)2Var [ui ](∑ni=1(xi − x̄)2)

2

=∑ni=1(xi − x̄)2σ2

(∑ni=1(xi − x̄)2)2=

σ2

∑ni=1(xi − x̄)2



STATA



Usamos

Supuesto 1: Modelo lineal en los parámetros y se relacionacon x por una función lineal.

O sea, y = β0 + β1x + u.



STATA



Var(β̂1) =σ2

∑ni=1(xi − x̄)2

Prueba:

Var(β̂1) = Var

[∑ni=1(xi − x̄)yi∑ni=1(xi − x̄)2

]= Var

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]

= Var

[∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

]+ Var


∑ni=1(xi − x̄)2

]+ Var

[∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

]


2=


2

=∑ni=1(xi − x̄)2σ2

(∑ni=1(xi − x̄)2)2=

σ2

∑ni=1(xi − x̄)2



STATA



Usamos

Propiedad de la varianza: Var [aX + bY ] =a2 × Var [X ] + b2 × Var [Y ] + 2ab× Cov [X ,Y ], dondeCov [X ,Y ] = E [XY ]− E [X ]E [Y ]Propiedad de la covarianza: Cov [a,Y ] = 0, donde a es unaconstante y Y una variable aleatoria (también Cov [a, b] = 0,donde tanto a como b son constantes...)



STATA



Var(β̂1) =σ2

∑ni=1(xi − x̄)2

Prueba:

Var(β̂1) = Var

[∑ni=1(xi − x̄)yi∑ni=1(xi − x̄)2

]= Var

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]

= Var

[∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

]+ Var


∑ni=1(xi − x̄)2

]+ Var

[∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

]

= 0 + 0 +Var [∑ni=1(xi − x̄)ui ](∑ni=1(xi − x̄)2)

2=


2

=∑ni=1(xi − x̄)2σ2

(∑ni=1(xi − x̄)2)2=

σ2

∑ni=1(xi − x̄)2



STATA



Usamos

Propiedad de la varianza: Var [a] = 0 donde a es unaconstante.

Las X’s son consideradas como constantes.



STATA



Var(β̂1) =σ2

∑ni=1(xi − x̄)2

Prueba:

Var(β̂1) = Var

[∑ni=1(xi − x̄)yi∑ni=1(xi − x̄)2

]= Var

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]

= Var

[∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

]+ Var


∑ni=1(xi − x̄)2

]+ Var

[∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

]


2=


2

=∑ni=1(xi − x̄)2σ2

(∑ni=1(xi − x̄)2)2=

σ2

∑ni=1(xi − x̄)2



STATA



Usamos

Supuesto 2: Muestreo aleatorio {(yi , xi )}ni=1 es una muestraaleatoria del modelo dado en el Supuesto 1.

Hacemos Var [∑ni=1 ui ] = ∑ni=1 Var [ui ] + ∑

ni=1 ∑

nj=1,j 6=i Cov [ui , uj ].

Pero, por la propiedad de muestreo aleatorio Cov [ui , uj ] = 0, i 6= jEntonces, Var [∑ni=1 ui ] = ∑

ni=1 Var [ui ].



STATA



Var(β̂1) =σ2

∑ni=1(xi − x̄)2

Prueba:

Var(β̂1) = Var

[∑ni=1(xi − x̄)yi∑ni=1(xi − x̄)2

]= Var

[∑ni=1(xi − x̄)(β0 + β1xi + ui )

∑ni=1(xi − x̄)2

]

= Var

[∑ni=1(xi − x̄)β0∑ni=1(xi − x̄)2

]+ Var


∑ni=1(xi − x̄)2

]+ Var

[∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

]


2=


2

=∑ni=1(xi − x̄)2σ2

(∑ni=1(xi − x̄)2)2=

σ2

∑ni=1(xi − x̄)2



STATA



Usamos

Supuesto 5: Homoscedasticidad Var(u|x) = σ2

donde Var [ui ] = Var [ui |x ] = σ2 for all i = 1, 2, ..., n



STATA



Var(β̂0) =σ2n−1 ∑ni=1 x2i∑ni=1(xi − x̄)2

Prueba:

Var(β̂0) = Var[ȳ − x̄ β̂1

]= Var [ȳ ] + Var

[x̄ β̂1

]− 2Cov

[ȳ , x̄ β̂1

]=

σ2

n+ x̄2Var

[β̂1]− 2 x̄

n ∑ni=1(xi − x̄)2Cov

[n

∑i=1

yi ,n

∑i=1

(xi − x̄)yi

]

=σ2

n+ x̄2

σ2

∑ni=1(xi − x̄)2− 2 x̄

n ∑ni=1(xi − x̄)2σ2

n

∑i=1

(xi − x̄)

=σ2

n

∑ni=1(xi − x̄)2

∑ni=1(xi − x̄)2+ x̄2

σ2

∑ni=1(xi − x̄)2



STATA


Inferencia

¡β̂0 y β̂1 son variables aleatorias!

Supuesto 6: Normalidad u es independiente de x y u ∼ N(0, σ2).

Distribución normal: Bajo los supuestos 1-6,

β̂0 ∼ N(β0,Var [β̂0])

β̂1 ∼ N(β1,Var [β̂1])

Entonces,(β̂0 − β0)/se(β̂0) ∼ N(0, 1)

(β̂1 − β1)/se(β̂1) ∼ N(0, 1)

donde se() =√

Var () es el error estándar (s.e.).



STATA


Inferencia

Prueba de normalidad de β̂1.De la prueba de la varianza más arriba usamos el siguiente resultado algebraico

β̂1 = β1 +∑ni=1(xi − x̄)ui∑ni=1(xi − x̄)2

.

Entonces, la distribución de β̂1 depende de la suma de variables aleatorias normales

(xi − x̄)ui : la suma de normales es normal ergo β̂1 va a ser normal. Notar queE [(xi − x̄)ui |x ] = 0 y Var [(xi − x̄)ui |x ] = (xi − x̄)2σ2. Por el Supuesto 2 (muestraaleatoria) Cov (ui , uj ) = 0, i 6= j . De los resultados de la media E [β̂1] = β1 y de lavarianza se puede probar que Var

[∑ni=1(xi−x̄)ui∑ni=1(xi−x̄)2

]= Var [β̂1].

Aśı, β̂1 ∼ N(β1,Var [β̂1]).

β1β̂1

fβ̂1



STATA


Contrastes de hipótesis (tests)

Los estimadores de MCO son variables aleatorias. Dependiendo de la muestra lo queestimamos podŕıa estar cerca o lejos de los parámetros de la población. Lo importantees cuán cerca o lejos.Consideremos la hipótesis nula

H0 : β1 = β10,

y contrastemos con la hipótesis alternativa

HA : β1 > β10 o HA : β1 < β10 o HA : β1 6= β10

(una dirección, dos direcciones)Un ejemplo muy usado es H0 : β1 = 0. ¿Hay relación de x con y? Si la pendiente escero entonces no hay relación. Esto corresponde a analizar la significatividad de lavariable x .En la práctica tenemos que hacer inferencia acerca de si H0 es verdad o no usando β̂1.



STATA



Si H0 es verdad, entonces β̂1 debeŕıa estar cerca de β10. Pero ¿por cuánto? ¿Cuáncerca es cerca?

Bajo H0 : β1 = β10 y asumiendo que u tiene distribución normal N(0, σ2), tenemos elsiguiente resultado importante

β̂1 − β10ŝe(β̂1)

∼ tn−2

donde se(.) son los errores estándar (standard errors) y tn−2 es la distribución “t deestudiante” (t-Student) con n− 2 grados de libertad. Por otro lado

ŝe(β̂1) =

√V̂ar (β̂1) es el estimador del error estándar.

Nota: Para obtener Var (β̂1) necesitamos estimar σ2, la varianza del error. Usamos σ̂2.

σ̂2 =∑ni=1 û

2i

n− 2

El número 2 de los grados de libertad dice cuántos parámetros estamos estimando.



STATA



Paso 1: ¿Qué hipótesis?

En general queremos ver la significatividad estad́ıstica (statistical significance)de un coeficiente de regresión. O sea, H0 : β1 = 0 en el modeloy = β0 + β1x + u.

También puede haber hipótesis nulas compuestas H0 : β2 = 0, β3 = 0 en elmodelo (ver más adelante)

y = β0 + β1x1 + β2 x2 + β3 x3 + u



STATA



Paso 2: Nivel de significancia, α. En general, se aceptan estos valores:α = .1, α = .05, α = .01Cuanto mas pequeño es α mas confianza se tiene en los resultados. Estosniveles se eligen de acuerdo a los usos y costumbres del area de estudio. α = .05es el más usado.

En Estad́ıstica se llama Error de Tipo I al error de rechazar H0 cuando es verdadera.Dado que estamos trabajando con variables aleatorias siempre podemos cometererrores. α es este error.

Bajo H0, S = β̂1 − β10 debeŕıa estar cercano a 0. Entonces, la evidencia de queesto no es cierto debeŕıa estar asociado a un alto valor de S. Llamemos a Sα oSα/2 a los valores cŕıticos.- Modelo en una dirección: HA : β1 > β10 (o HA : β1 < β10). Entonces tenemosP [S > Sα] = α (o P [S < Sα] = α).- Modelo en dos direcciones: HA : β1 6= β10. Entonces tenemos dos valorescŕıticos tal que P [S > S1α/2 > 0] = α/2 y P [S < S

2α/2 < 0] = α/2. Si la

distribución de S es simétrica, S1α/2 = −S2α/2.



STATA


Modelo en una dirección: H0 : β1 = β10, Z =β̂1−β10√̂̂β1

HA : β1 > β10 HA : β1 < β10P [Z > zα] = α P [Z < −zα] = α

zα�

0

fZ

−zα�

0

fZ

El nivel de significancia (para el caso de rechazo en una dirección) corresponde al areanaranja. En este caso α es la probabilidad en una cola de la distribución.



STATA


Modelo en dos direcciones: H0 : β1 = β10, HA : β1 6= β10, Z = β̂1−β10√̂̂β1 ,P [|Z | > zα/2] = α

zα/2−zα/2��

0

fZ

El nivel de significancia (para el caso de rechazo en dos direcciones) corresponde alarea naranja. En este caso α es la probabilidad en las colas de la distribución.



STATA



Paso 3: Mirar el p − valor .El p-valor (para hipótesis en dos direcciones) es P [|β̂1 − β10| > |β̂obs1 − β10|]bajo la hipótesis nula, donde β̂obs1 es el valor observado, es decir, en la muestra,

y β̂1 la variable aleatoria dada por el estimador.

Intuitivamente nos dice que probabilidad hay de encontrar un valor que nos demás evidencia de rechazo que el realmente observado. Si esta probabilidad espequeña, entonces tenemos un valor muy distinto al que se asume en H0.REGLA:

Si p − valor < α entonces rechazar la hipótesis nula.Si p − valor ≥ α entonces aceptar (propiamente dicho no rechazar) la hipótesisnula.



STATA



Ejemplo: Si la hipótesis nula es H0 : β1 = 0 en el modelo y = β0 + β1x + u,entonces

Si p − valor < α, rechazar ⇒ β1 6= 0, x tiene un efecto lineal sobre y . Se diceque x es estad́ısticamente signficativa.

Si p − valor ≥ α, aceptar ⇒ β1 = 0, x no tiene efecto lineal sobre y . Se diceque x no es estad́ısticamente signficativa.



STATA



Si la hipótesis es H0 : β2 = 0, β3 = 0 para modelos de regresión múltiple (vermás adelante) y = β0 + β1x1 + β2 x2 + β3 x3 + u, entonces

Si p− valor < α, rechazar ⇒ β2 6= 0 o β3 6= 0, x2 y x3 tienen conjuntamente unefecto lineal sobre y . Se dice que x2 y x3 son estad́ısticamente signficativas.

Si p − valor ≥ α, aceptar ⇒ β2 = 0 y β3 = 0, x2 y x3 no tienen un efecto linealsobre y . Se dice que x2 y x3 no son estad́ısticamente signficativas.



STATA



Paso 3 (alternativo): Mirar el estimador dividido el error estándar.Muchos trabjos emṕıricos reportan los coeficientes estimados y los errores

estándar de esos estimadores. La idea es queβ̂1

ŝe(β̂1)tiene aproximadamente una

distribución normal, y para un α = 0.05 el valor cŕıtico es 2 (en una variablealeatoria Z ∼ N(0, 1), P [Z > 1.96] = 0.025.REGLA:

Siβ̂1

se(β̂1)> 2 entonces rechazar la hipótesis nula. Se dice que x es

estad́ısticamente signficativa.

Siβ̂1

se(β̂1)≤ 2 entonces aceptar la hipótesis nula. Se dice que x no es

estad́ısticamente signficativa.



STATA

Ejemplo: Retornos a la educación

wage = β0 + β1educ + u

1976 Current Population Survey (CPS) de los Estados Unidos

use http://fmwww.bc.edu/ec-p/data/wooldridge/wage1, clear(para abrir la base de datos)

reg wage educ (para correr la regresión)



STATA

Ejemplo: Retornos a la educación

wage = −.905+ .541∗∗∗educ(.685) (.053)

< 0.187 > < 0.000 >

[−1.321] [10.2]

(errores estándar); < p − valor >; [t − valor ]; * significancia 10%; ** significancia 5%; *** significancia 1%;

¿Qué significa β̂1 = .541? cada año de educación incrementa el salario horarioen promedio 54 centavos de dólar.

¿Es estad́ısticamente significativo? Ver el p-valor.Esto tiene impĺıcita la hipótesis H0 : β1 = 0. se(β̂1) = .053,

β̂1se(β̂1)

= .541.053 = 10.2. Rechazar con el p-valor de 0.000.

¿Qué significa β̂0 = −.905? ¿Es significativo?



STATA

¿Cómo aparecen los resultados en STATA?

http://fmwww.bc.edu/gstat/examples/wooldridge/wooldridge2.html



STATA

Otros comandos en STATA

Para obtener estad́ısticos de la base de datos tipear:

summ

(reporta para todas las variables: nro. de observaciones, promedio, desviacionesestándar, ḿınimo, máximo)summ wage educ

(sólo para las variables especificadas)

Más información para una variable (mediana, cuantiles, asimetŕıa, curtosis)

summ VARIABLE, detail

(en VARIABLE va la variable de interés)



STATA

Otros comandos en STATA

Valor predicho, ŷ , de una regresión,

predict NEWNAME

(en NEWNAME va el nombre que se le quiere dar a la nuevavariable, por ejemplo ypred)(nota: antes hay que correr la regresión)

Residuos de la regresión, û = y − ŷpredict NEWNAME, resid

(en NEWNAME va el nombre que se le quiere dar a la nuevavariable, por ejemplo upred)



STATA

Gráficos en STATA

Nube de puntosscatter YVAR XVAR

(YVAR es la variable del eje vertical, XVAR es la variable deleje horizontal)

Ĺınea (conecta los puntos)sort XVAR

line YVAR XVAR

(YVAR es la variable del eje vertical, XVAR es la variable deleje horizontal)



STATA

Ejemplo:predict wage hat (para predecir los salarios, ŵage = β̂0 + β̂1educ)scatter wage educ || line wage hat educ, xline(12.57) yline(5.90)(hace un gráfico con la nube de puntos y la ĺınea de regresión)


Regresión simple: introducciónPropiedades estadísticas de MCOTeorema de Gauss-MarkovInsesgadezInferenciaContrastes de hipótesis

STATA

Regresi on simple: introducci on ... - Gabriel Montes simple.pdf · Gabriel V. Montes-Rojas Gabriel...

Documents

Transcript of Regresi on simple: introducci on ... - Gabriel Montes simple.pdf · Gabriel V. Montes-Rojas Gabriel...