Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

42
Presentación para la clase MATE 5700 Dr. Balbino García Bernal Por: Hiram Negrón Ricardo Negrón Rosa E. Padilla 22 de diciembre de 2011

Transcript of Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Page 1: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Presentación para la clase MATE 5700Dr. Balbino García Bernal

Por:Hiram Negrón

Ricardo NegrónRosa E. Padilla

22 de diciembre de 2011

Page 2: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

IID: Independientes idénticamente distribuidas

v.a. : Variable aleatoria

: Media aritmética o promedio

Pr: Probabilidad

X

Page 3: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Sea {Xi; i ≥ 1} una secuencia de v.a. IID, y sea Sn = X1 + X2 + … + Xn.

El proceso estocástico a tiempo entero {Sn; n ≥ 1} es llamado paseo aleatorio.

También es llamado paseo o camino unidimensional aleatorio, basado en {Xi, i ≥ 1}

Para cada n dado, Sn es simplemente la suma de las v.a. IID.

Page 4: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Su comportamiento es el proceso del paseo aleatorio {Sn; n ≥ 1}.

Dado un número real α > 0, queremos encontrar la probabilidad de una secuencia {Sn; n ≥ 1} que contiene los términos para los cuales Sn ≥ α.

Page 5: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Tenemos que tiende a cuando

Si , Sn tiende a desplazarse hacia abajo.

Si , Sn tiende a desplazarse hacia arriba.

n

Sn XXE ][

n

0X

0X

Page 6: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Suponemos X1, X2,… son v.a. IID binarias.

Cada una toma el valor 1 con probabilidad p y probabilidad q = 1 – p.

Dejamos Sn = X1 + … + Xn las secuencias de las sumas {Sn; n ≥ 1} sea llamada “paseo aleatorio simple”.

Sn es la diferencia entre las ocurrencias positivas y negativas en los primeros n intentos.

Page 7: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Los paseos simples no son poco más que una variación de la notación de Bernoulli.

X toma valores de 1 y 0, mientras que para un paseo aleatorio simple, X también toma valores de 1 y 0.

Para un paseo aleatorio, si Xm = 1 para m fuera de n intentos, entonces Sn = 2j – n.

jnj

n ppjnj

nnjS

)1(

)!(!

!2Pr

Page 8: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

La probabilidad de que para cualquier entero k > 0 para la secuencia S1, S2, … es expresada como:

Se refiere a la probabilidad de que el paseo aleatorio con límite o umbral en k.

Probabilidad Sn para p ≤ ½:

}{Pr1

n

n kS

k

n

np

pkS

1}{Pr

1

Page 9: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Suponemos que tenemos v.a. enteras IID, x1, x2, … podemos obtener la probabilidad de su límite para k

ocurre, mientras los paseos aleatorios toman

sólo valores enteros, estos se pueden representar como cadenas de Markov con el conjunto de enteros formados por el espacio.

}{1

n

n kS

Page 10: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Si X1, X2, … son v.a. IID positivas, entonces {Sn; n ≥ 1} también es un caso especial de paseos aleatorios como de secuencias de un proceso de conteo {N(t); t > 0}.

Para el proceso de renovación de conteo N(α) es el nmás grande para el cual Sn ≤ α y N(α) + 1 es el n más pequeño con el límite en α, estrictamente extendido.

Page 11: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

En la figura se ilustras las diferencias entre paseos aleatorios generales y los paseos aleatorios positivos.

a) Ilustra los paseos aleatorios con tamaño de pasos arbitrarios (positivos y negativos) {Xi; i ≥ 1}.

b) Ilustra paseos aleatorios con sólo pasos positivos.

c) Proceso de conteo correspondiente a los puntos de ejemplo.

Page 12: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Tipo de problema utilizado para detectar problemas de probabilidad en los problemas de paseos aleatorios.

El problema de detección es generalizado a un problema de detección secuencial basado en el cruce de límites en paseos aleatorios.

Consideramos un queue G/G/1 con un FCFS (“First come first serve”)

Asociamos la probabilidad de que un cliente espere más de un tiempo α dado en un queue con la probabilidad de que algún camino aleatorio cruce con el umbral en α.

Page 13: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Sea {Xi; I ≥ 1} un intervalo de arribo IID de un queue G/G/1, sea {Yi; i ≥ 0} los tiempos de servicio IID y asumimos que el sistema está vacío a tiempo = 0 cuando el cliente 0 arriba.

Sea Wn una demora para el enésimo cliente.

Sea para n ≥ 1 y sea para 1 ≤ i ≤ n.

Entonces:Para cada α > 0 y n ≥ 1

es la probabilidad de que el paseo aleatorio basado en {Ui; i ≥ 1} cruce el umbral en α en o antes del enésimo intento.

Finalmente:Es igual a la probabilidad de que un paseo aleatorio basado en {Ui; i ≥ 1} nunca cruce el umbral en α.

nnn XYU 1 11 ... innn

n

i UUUZ

n

n

nn

n ZZZW ,...,,,0max 21 nWPr

nnn WW PrlimPr

Page 14: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Consideramos una situación en la cual hacemos n observaciones ruidosas de los resultados de una variable discreta aleatoria H.

El invitado en las observaciones, sólo en las cuales ocurren, son ejemplo de valores de H.

En tecnología de la comunicación, se le llama “problema de detección”

Page 15: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Situación en la cual un símbolo es transmitido sobre un canal de comunicación y las observaciones ruidosas son recibidas.

Modelos similares del problema de detección del clima.

Teoría de control problemas de decisión

Estadística prueba de hipótesis, problemasde inferencia estadística

Page 16: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

La Regla de Neyman Person viene de los prominente matemáticos Jezzy Neyman y EgonPearson.

Jezzy Neyman Person era de origen polacodedicado al estudio de las probalidades.

Egon Pearson era de origen Ingles estudioso de las Estadísticas.

Page 17: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Neyman-Pearson es la teoría de las pruebas de hipótesis estadísticas, y es responsable de muchas contribuciones importantes a los problemas de la inferencia estadística y la metodología, especialmente en el desarrollo y la utilización del criterio de la razón de verosimilitud

Page 18: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Ha desempeñado un papel destacado en la promoción de las aplicaciones de los métodos estadísticos - por ejemplo, en la industria, y también durante y después de la guerra, en la evaluación y ensayos de armas.

Page 19: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

En las estadísticas, el lema de Neyman-Pearson, afirma que cuando se realiza una prueba de hipótesis entre dos hipótesis punto H0: θ = θ0 y H1: θ = θ1, entonces la prueba de razón de verosimilitud que rechaza H0 en a favor de H1cuando

Page 20: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Donde es la prueba más poderosa de α η tamaño de un umbral. Si la prueba es la más poderosa de todas, que se dice que es uniformemente más potente de alternativas en el conjunto.

Page 21: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

En la práctica, la razón de verosimilitud se utiliza a menudo directamente a la construcción de pruebas. Sin embargo, también puede ser usado para sugerir concreta de las estadísticas que pudieran ser de su interés o para sugerir las pruebas simplificadas.

Page 22: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

De este se tiene en cuenta la manipulación algebraica de la relación para ver si hay estadísticas clave se relaciona con el tamaño de la relación es decir, si una estadística de gran corresponde a una relación pequeña o una grande.

Page 23: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Hernan Chernoff- Matemático norteamericano actualmente es Profesor en Michigan StateUniversity (Mit)

Ph.D., Applied Mathematics, 1948. Brown University.[

M.S., Applied Mathematics, 1945. Brown University.

B.S., Mathematics, 1943. City College of New York.

Page 24: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Da los límites de manera exponencial decreciente en las distribuciones de cola de sumas de variables aleatorias independientes.

Es mejor que los límites momento la primera o segunda cola como base la desigualdad de Markov o la desigualdad de Chebyshev, que sólo el rendimiento de ley de potencia límites en la decadencia cola.

Page 25: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Se relaciona con las desigualdades históricamente la más antigua Bernstein, y la desigualdad de Hoeffding.

Sean X1, ..., Xn variables independientes de Bernoulli al azar, cada uno con probabilidad p > ½. Entonces la probabilidad de ocurrencia simultánea de más de n / 2 de los eventos {Xk = 1} tiene un valor de p exacto.

Page 26: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Donde ;

El límite de Chernoff muestra que la p tiene los siguientes límites bajos.

Page 27: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Este resultado admite varias generalizaciones como se indica a continuación.

Uno puede encontrar muchos sabores de los límites Chernoff: la forma de aditivo original que da un salto en el error absoluto o la forma de multiplicación más práctico que limita el error respecto a la media.

Page 28: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

El siguiente lema muestra que un paseo aleatorio tanto con un umbral positivo y negativo, es decir α > 0 y β < 0, eventualmente cruza uno de los umbrales.

El primer paseo aleatorio cruza un umbral en el juicio n si β < Si < α para 1 ≤ i <n, y sea Sn ≥ α o Sn ≤ β.

Page 29: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Para tener una mejor idea debemos comprobar el siguiente ejemplo:

Sea {Xi, i ≥ 1} IID rv, no idénticamente 0. Para cada n ≥ 1, si Sn =X1 + · · · + Xn.

Permitiendo que α > 0 y β < 0arbitrario, y sea J el menor n para el cual Sn ≥ α o Sn ≤ β.

J es una variable aleatoria es decir,lim m→∞ Pr{J ≥ m} = 0.

Page 30: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

La gráfica que pretendemos comprobar es la siguiente:

Page 31: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Comprobación Dado que X no es idénticamente 0, existe algún n para que sea Pr{Sn ≤ −α + β} > 0 o para que Pr {Sn ≥ α - β}> 0.

Para cualquier n definiendo ϵ como:

ϵ = max[Pr{Sn ≤ −α + β} , Pr{Sn ≥ α − β}].

en un intervalo k ≥ 1, teniendo en cuenta queJ > n (k - 1), y teniendo en cuenta un valor de Sn (k-1)

en (β, α)un intercepto cruza por nK con una probabilidad de al menos ϵ.

Por tanto Pr{J > nk | J > n(k − 1)} ≤ 1 − ≤ 0

Page 32: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Cuando interactúa con k se obtiene

Pr{J > nk} ≤ (1 − ≤) k.

Esto demuestra que J es finito con probabilidad

1 y Pr {J} j ≥ va a 0, al menos geométricamente.

Page 33: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Teorema Sea {Xi; i ≥ 1} IID y sea la semi-invariante MGF de cada Xi. Asumamos que ϒ(r) es finito en el intervalo abierto (r+, r-) con r- < 0 < r+ . Para cada n≥ 1 , sean Sn= X1+X2+ …. + Xn si α > 0 y β < 0 números reales arbitrarios y J sea el numero más pequeño para Sn ≥ α o Sn ≤ β. Para todo r ϵ(r- ,r+),

rXeEr ln)(

Page 34: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Comprobación Supongamos que Xi es distinta para cada i con el PMF px(x). Para el caso aviento el PMF debe ser remplazada por la suma por integrantes stieltjes, cumpliendo los detalles técnicos, pero no la introducción de una nueva idea. Para cualquiera r ϵ(r-,r+), utilizando la inclinación PMF qX, r(x).

qX,r(x) = pX(x) exp[rx − ɤ(r)].

Page 35: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Tomando el Xi a ser independiente en la medida de probabilidad inclinada, para el

n-tuple X^n = (X1,X2, . . . ,Xn)

es dada por

Page 36: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Ahora bien, Tn es el conjunto de n-tuplas X1,. . . , Xn tal que β <Si <α para 1 ≤ i <n, y sea Sn ≥ α orSn ≤ β.

Page 37: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Si tomamos la derivada de

a ambos lados se obtiene

si decimos que r = 0 y recordamos ɤ(0) = 0 y

ɤ’(0) = esto se convierte en la igualdad de Wald.X

Page 38: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Tenemos que decir que esta igualdad de Waldesta restringida a una caminada con 2 transversales.

Page 39: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Si tomamos la segunda derivada de al ecuación:

Se obtiene la ecuación:

Sustituimos en r = 0, el resultado es:

Page 40: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Tomando como ejemplo la ecuación:

Teniendo en cuenta un paseo aleatorio simple, si utilizamos la ecuación de igualdad de Wald E[SJ = α] = 0, obtenemos:

Page 41: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas

Utilizando el valor de y recordando que α^2X

obtenemos

Como una comprovación de validez, tengo en cuenta que se α y β se multiplican por algunaconstante K grande, E[J] se incrementa en k2.

q

Page 42: Capítulo 7 : Paseos aleatorios, desviaciones grandes y martingalas