Simulación como método para verificar modelos...

Fisiología del sistema visual

García-Pérez, M.A. (1999). Complex cells aslinear mechanisms receiving sequentialafferents. NeuroReport, 10, 3815–3819.

García-Pérez, M.A. (1999). Direction selec-tivity and spatiotemporal separability insimple cortical cells. Journal of Computa-tional Neuroscience, 7, 173–189.

García-Pérez, M.A. (2004). A nonlinearmodel of the behavior of simple cells invisual cortex. Journal of ComputationalNeuroscience, 17, 289–325.

Psicometría

García-Pérez, M.A. (1990). A comparison oftwo models of performance in objectivetests: Finite states versus continuous distri-butions. British Journal of Mathematicaland Statistical Psychology, 43, 73–91.

García-Pérez, M.A. (1999). Fitting logisticIRT models: Small wonder. Spanish Jour-nal of Psychology, 2, 74–94.

Tiempos de reacción

Link, S.W. (1982). Correcting response mea-sures for guessing and partial information.Psychological Bulletin, 92, 469–486.

Ratcliff, R., Gomez, P. y McKoon, G. (2004).A diffusion model account of the lexicaldecision task. Psychological Review, 111,159–182.

Organismo Modelo

experimentación simulación

comparaciónDatos Resultados

Simulación como método para verificar modelosprobabilísticos de procesos psicológicos

Psicofísica

Estimación de umbrales sensoriales:

García-Pérez, M.A. (1998). Forced-choicestaircases with fixed step sizes: Asymp-totic and small-sample properties. VisionResearch, 38, 1861–1881.

Alcalá-Quintana, R. y García-Pérez, M.A.(2004). The role of parametric assump-tions in adaptive Bayesian estimation.Psychological Methods, 9, 250–271.

Estimación de la función psicomé-trica:

García-Pérez, M.A. y Alcalá-Quintana, R.(2005). Sampling plans for fitting the psy-chometric function. Spanish Journal ofPsychology, 8, 256–289.

Psicometría

Diseños para calibración de ítems enTRI:

García-Pérez, M.A., Alcalá-Quintana, R. yGarcía-Cueto, E. (2010). A comparison ofanchor-item designs for the concurrentcalibration of large banks of Likert-typeitems. Applied Psychological Measure-ment, 34, 580–599.

Reglas de selección de ítems en testsadaptativos:

van der Linden, W.J. (1998). Bayesian itemselection criteria for adaptive testing.Psychometrika, 63, 201–216.

Análisis de datos

Tablas de contingencia:

García-Pérez, M.A. y Núñez-Antón, V.(2003). Cellwise residual analysis in two-way contingency tables. Educational andPsychological Measurement, 63, 825–839.

Intervalos confidenciales:

García-Pérez, M.A. (2005). On the confi-dence interval for the binomial parameter.Quality & Quantity, 39, 467–481.

comparaciónParámetros Estimaciones

simulación análisis

Datos

Simulación como método para evaluar técnicasde análisis de datos

Normal con = 5 y 2 = 1

f(x)

Variable X0 1 2 3 4 5 6 7 8 9 10

0.0

0.1

0.2

0.3

0.4

0.5La variable X tiene distribución N(µ, )σ2

Cada una de las n observaciones Xi de una muestra de X tam-bién tiene distribución N(µ, )σ2

Las n observaciones Xi de la muestra son independientes en-tre sí (muestreo aleatorio simple)

Una muestra de tamaño n tiene media y varianzaX ''Xi

n

s2x '

'(Xi&X)2

n

La variable T = tiene distribución La variable G = tiene distribución X&µs x n&1

tn&1ns2

x

σ2χ2

n&1

t con 19 grados de libertad

f(t)

Variable T–4 –3 –2 –1 0 1 2 3 4

0.0

0.1

0.2

0.3

0.4

0.5

2 con 19 grados de libertad

f(g)

Variable G0 10 20 30 40 50

0.0

0.1

Una variable tiene media 0 y varianza n/(n!2) Una variable tiene media n y varianza 2ntn χ2n

Wilcox, R. R. (2002). Comparing the variances of two independent groups. British Journalof Mathematical and Statistical Psychology, 55, 169–175

Zimmerman, D. W. (2004). A note on preliminary tests of equality of variances. BritishJournal of Mathematical and Statistical Psychology, 57, 173–181.

Hayes, A. F. & Cai, L. (2007). Further evaluating the conditional decision rule for compar-ing two independent means. British Journal of Mathematical and Statistical Psychology,60, 217–244.

Sánchez-Bruno, A. & Borges del Rosal, A. (2005). Transformación Z de Fisher para ladeterminación de intervalos de confianza del coeficiente de correlación de Pearson. Psico-thema, 17, 148–153.

Rasgo,

Pro

babi

lidad

de

acie

rto

–4 –3 –2 –1 0 1 2 3 40.0

0.2

0.4

0.6

0.8

1.0b1 = –2.0a1 = 2.2c1 = 0.50

b2 = –0.5a2 = 1.5c2 = 0.33

b3 = 1.0a3 = 0.8c3 = 0.25

Teoría de Respuesta al Ítem. Modelo logístico de tres parámetros

Cada sujeto se caracteriza por un parámetro (su aptitud o nivel en el rasgo) que se denomina genéricamente θ;se supone que el rasgo tiene distribución N(0, 1) en la población

Cada ítem se caracteriza por tres parámetros:Un índice de dificultad (parámetro b)Un índice de discriminación (parámetro a)Un índice de aciertos al azar (parámetro c)

La probabilidad de que un sujeto con nivel de aptitud θ acierte un ítem de dificultad b, discriminación a, eíndice de aciertos al azar c viene dada por la función de respuesta al ítem (FRI), que es

Pj(θ) = cj %1& cj

1% exp &1.7aj (θ&bj)

El parámetro b determina la posición de la FRI en eleje horizontal

El parámetro a determina la pendiente de la FRI

El parámetro c determina la asíntota inferior de la FRI

Teoría de Respuesta al Ítem. Modelo logístico de tres parámetrosTests adaptativos

– Características del banco de ítems (número de ítems y parámetros)– Criterio de elección del primer ítem (al azar, dificultad media, ...)– Criterio de selección de ítems (máxima información, mínima varianza esperada, ...)– Regla de parada (longitud fija, tamaño del error típico de estimación, ...)– Estimación final de la aptitud (MAP, EAP, ...)

Además: – control de exposición– capitalización del error (“capitalization on chance”)

Función de información: Ij(θ) = . En modelos logísticos, Ij(θ) = Pj (θ) 2

Pj(θ) 1&Pj(θ)1.72 a 2

j 1&Pj(θ) Pj(θ)&cj2

Pj(θ) (1&cj)2

La información del ítem:– aumenta al aumentar a– disminuye al aumentar c

La función de información del test es la sumade las de los ítems aplicados: I(θ) = ' n

j'1 Ij(θ)

El error típico de estimación viene dado por

= se 1/ I(θ)

Rasgo,

Info

rmac

ión

–4 –3 –2 –1 0 1 2 3 40.0

0.8

1.6

2.4

3.2

4.0

Rasgo,

Pro

babi

lidad

de

acie

rto

–4 –3 –2 –1 0 1 2 3 40.0

0.2

0.4

0.6

0.8

1.0b1 = –2.0a1 = 2.2c1 = 0.50

b2 = –0.5a2 = 1.5c2 = 0.33

b3 = 1.0a3 = 0.8c3 = 0.25

Rasgo,

Info

rmac

ión

–4 –3 –2 –1 0 1 2 3 40.0

0.8

1.6

2.4

3.2

4.0

Rasgo,

Pro

babi

lidad

de

acie

rto

–4 –3 –2 –1 0 1 2 3 40.0

0.2

0.4

0.6

0.8

1.0b1 = –2.0a1 = 2.2

b2 = –0.5a2 = 1.5

b3 = 1.0a3 = 0.8

Matriz de respuestassujetos × ítems

99: ítem no aplicado0,1 : respuesta a ítem aplicado

θ θ seN


c

a

b


Banco compuesto por 15 ítemsYa se han aplicado 4

Función de verosimilitud tras la aplicación de los 4 ítemsLa estimación provisional (MAP) es = 0.064θNo se ha alcanzado el criterio para terminar el TAI

El siguiente ítem será aquel cuya función de información tengaun valor más alto en la estimación provisional ( = 0.064), esθdecir, aquel para el que Ij( ) sea mayorθ

Nivel de rasgo,

Pro

babi

lidad

–4 –3 –2 –1 0 1 2 3 40.0

0.2

0.4

0.6

0.8

1.0

Nivel de rasgo,

Ver

osim

ilitu

d

–4 –3 –2 –1 0 1 2 3 40.0

0.2

0.4

0.6

0.8

1.0

MAP: 0.0640

Nivel de rasgo,

Info

rmac

ión

del í

tem

–4 –3 –2 –1 0 1 2 3 4 0

1

2

3

4MAP: 0.0640

Ree, M. J. (1981). The effects of item calibration sample size and item pool size on adaptivetesting. Applied Psychological Measurement, 5, 11–19.

Veerkamp, W. J. J. & Berger, M. P. F. (1997). Some new item selection criteria for adaptivetesting. Journal of Educational and Behavioral Statistics, 22, 203–226.

Wang, T. & Vispoel, W. P. (1998). Properties of ability estimation methods in computerizedadaptive testing. Journal of Educational Measurement, 35, 109–135.

Chang, H.-H. & Ying, Z. (1999). a-stratified multistage computerized adaptive testing. Ap-plied Psychological Measurement, 23, 211–222.

van der Linden, W. J. & Glas, C. A. W. (2000). Capitalization on item calibration error inadaptive testing. Applied Measurement in Education, 13, 35–53.

Leung, C.-K., Chang, H.-H. & Hau, K.-T. (2002). Item selection in computerized adaptivetesting: Improving the a-stratified design with the Sympson-Hetter algorithm. AppliedPsychological Measurement, 26, 376–392.

Yi, Q., Zhang, J. & Chang, H.-H. (2008). Severity of organized item theft in computerizedadaptive testing: A simulation study. Applied Psychological Measurement, 32, 543–558.

Barrada, J. R., Olea, J., Ponsoda, V. & Abad, F. J. (2010). A method for the comparison ofitem selection rules in computerized adaptive testing. Applied Psychological Measure-ment, 34, 438–452.

Estimación bayesiana adaptativa de umbrales sensoriales

Estadística bayesiana (i)

Teorema del producto

P(A 1 B) = P(A) P(B*A) = P(B) P(A*B) | P(B*A) = P(B) P(A*B)P(A)

Teorema de Bayes

P(θ*x) ' P(θ)P(x*θ)P(x)

proba posteriori 'proba priori × verosimilitud

probdatos

P(θ*x) ' P(θ)P(x*θ)

mΘP(θ)P(x*θ)dθ% P(θ)P(x*θ)

fn(θ*x) % f0(θ)kn

i'1f(xi*θ)

f0 : función de probabilidad a priori, distribución a priori, distribución previa (supuesta)

: verosimilitud (supuesta la forma de f)kn

i'1f

fn : función de probabilidad a posteriori, distribución a posteriori, distribución posterior

Estadística bayesiana (ii)

Datos: x = (7,8,4,4,6,8,3,4,6,6), n = 10, suponiendo X - N(µ, σ2)Parámetros: = (µ, σ2)θ

f0( ) = θ 12π 2.6

exp &(µ&6)2

2×1.3&

(σ2&5)2

2×2

3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (6.00, 5.00)

Distribución a priori

3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (5.60, 2.84)

Función de verosimilitud

3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (5.70, 4.23)

Distribución a posteriori

f0( ) = θ I 0.37& (µ&5)2

9&

(σ2&6)2

25 O

3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (5.00, 6.00)


3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (5.60, 2.84)


3

4

5

6

7

8

9

01

23

45

67

89 10

2

Máximo en (, 2) = (5.44, 4.61)

Distribución a posteriori

Estadística bayesiana (iii)

Función de pérdidaEn estadística bayesiana, la distribución a posteriori es la estimación (en algún sentido)Un estimador puntual, , es un valor de θ elegido con algún criterioθEl criterio se establece a través de la función de pérdida

pérdida: valor cuantitativo de la gravedad del error consistente en tomar = δ(x) como estimación cuando elθverdadero valor del parámetro es θ0 | función de pérdida R

Un estimador de Bayes minimiza el riesgo (valor esperado de la pérdida) bajo una determinada función de pérdida R:

E[R( , θ) * x] = θ mΘ R(θ, θ) fn(θ*x) dθ

En el caso unidimensional:

R( , θ0) = R( , θ0) = * !θ0* R( , θ0) = ( !θ0)2θ1 si *θ&θ0*$ζ

0 si *θ&θ0*<ζθ θ θ θ

pérdida «cero–uno» pérdida absoluta pérdida cuadrática

pérd

ida

0

pérd

ida

0

pérd

ida

0

moda posterior mediana posterior media posterior

0 1 2 3 4 5 6 7

Función de respuesta

Variable relevante, X

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

del

suc

eso

Intensidad, x0 1 2 3 4 5 6 7

Pro

babi

lidad

de

dete

cció

n

0.0

0.2

0.4

0.6

0.8

1.0

Intensidad, x0 1 2 3 4 5 6 7

Pro

babi

lidad

de

dete

cció

n

0.0

0.2

0.4

0.6

0.8

1.0

Estimación bayesiana adaptativa (i)

Áreas de aplicaciónEn casos en los que la probabilidad de un determinado suceso aumenta al aumentarel valor de alguna variable relevante, describiendo una función de respuesta:

El objetivo es estimar los parámetros de la función de respuesta

Función logística:

σ = ψ(x) ' γ% 1&λ&γ1% exp &b(x&θ%ε)

2 ln99b

ε = 1b

ln π&γ1&λ&π

Función de Weibull:

σ = ψ(x) ' 1&λ&(1&λ&γ)exp&10β(x&θ%ε) 1β

log ln100ln(100/99)

ε = 1β

log ln 1&λ&γ1&λ&π

0 1 2 3 4 5 6 7

Función de respuesta

Variable relevante, X

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

del

suc

eso

Estimación bayesiana adaptativa (ii)

Para cada x (que no es variable aleatoria) hay una variable aleatoria de Bernoulli Rxcon probabilidad de éxito ψ(x), es decir, Rx - B(ψ(x); 1)

El procedimiento consiste en realizar ensayos sucesivamente y– es adaptativo porque el valor xi+1 en que se hará el ensayo i+1 depende del resultado (y, potencialmente, porqueRxi

también podría decidirse sobre la marcha cuándo se termina el procedimiento)– es bayesiano porque en la forma de determinar el valor xi+1 y en la forma de obtener la estimación final se usa lógica

bayesiana

Componentes del procedimiento

Función de respuesta realy definición de umbral θ(valor de x para el que laprobabilidad del suceso esπ)

0 1 2 3 4 5 6 7

Función psicométrica real

Intensidad, x

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

del

suc

eso

Distribución a priori ycriterio de observación(e.g., índice de tendenciacentral de la distribución)

0 1 2 3 4 5 6 7Localización del umbral,

0

0.2

0.4

0.6

0.8

1

Den

sida

d de

pro

babi

lidad Distribución a priori

Función modelo M y fun-ción de verosimilitud delresultado de este ensayo(idealmente, M = ψ)


0

0.2

0.4

0.6

0.8

1V

eros

imili

tud


Regla de parada y estima-ción

1.25

Ensayo 11


0

0.2

0.4

0.6

0.8

1

Den

sida

d de

pro

babi

lidad

Estimación bayesiana adaptativa (iii)

Pasos en la aplicación del procedimiento

0. Fijar i = 1

1. Seleccionar el valor xi para la variable x en el ensayo i (el actual), aplicando el criterio de observación a la función apriori fi!1

2. Hacer el ensayo y observar el valor de la variable de Bernoulli ( = 1 si se ha producido el suceso y 0 en otroRxiRxi

caso)

3. Obtener la función posterior al ensayo i aplicando lógica bayesiana:

fi(θ*ri) = fi!1(θ*ri!1) M(xi)rxi 1&M(xi)

1&rxi

donde ri = ( , , ..., ) y M es tratada como una función de θ; por definición, f0(θ*r0) = f0(θ)rx1rx2

rxi

4. Si se ha cumplido lo establecido en la regla de parada, pasar a 5; si no, aumentar i en una unidad y volver a 1

5. Obtener la estimación final usando el estimador de Bayes elegido

Estimación bayesiana adaptativa (iv)

0 1 2 3 4 5 6 7


Intensidad, x

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

del

suc

eso


0

0.2

0.4

0.6

0.8

1

Den

sida

d



0

0.2

0.4

0.6

0.8

1

Ver

osim

ilitu

d


Ensayo 1

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

Den

sida

d rx1 = 0

Ensayo 2

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx2 = 1

Ensayo 3

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx3 = 0

Ensayo 4

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx4 = 1

Ensayo 5

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx5 = 1

Ensayo 6

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

Den

sida

d rx6 = 0

Ensayo 7

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx7 = 1

Ensayo 8

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx8 = 1

Ensayo 9

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx9 = 1

Ensayo 10

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx10 = 1

Ensayo 11


0

0.2

0.4

0.6

0.8

1

Den

sida

d rx11 = 1

Ensayo 12


0

0.2

0.4

0.6

0.8

1

rx12 = 1

... 7 ensayos más ...

Ensayo 20


0

0.2

0.4

0.6

0.8

1

rx20 = 1

Después del ensayo 20


0

0.2

0.4

0.6

0.8

1

Estimación bayesiana adaptativa (v)

0 1 2 3 4 5 6 7


Intensidad, x

0

0.2

0.4

0.6

0.8

1

Pro

babi

lidad

del

suc

eso


0

0.2

0.4

0.6

0.8

1

Den

sida

d



0

0.2

0.4

0.6

0.8

1

Ver

osim

ilitu

d


Ensayo 1

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

Den

sida

d rx1 = 0

Ensayo 2

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx2 = 1

Ensayo 3

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx3 = 1

Ensayo 4

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx4 = 1

Ensayo 5

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx5 = 1

Ensayo 6

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

Den

sida

d rx6 = 1

Ensayo 7

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx7 = 1

Ensayo 8

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx8 = 1

Ensayo 9

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx9 = 1

Ensayo 10

0 1 2 3 4 5 6 70

0.2

0.4

0.6

0.8

1

rx10 = 0

Ensayo 11


0

0.2

0.4

0.6

0.8

1

Den

sida

d rx11 = 0

Ensayo 12


0

0.2

0.4

0.6

0.8

1

rx12 = 1

... 7 ensayos más ...

Ensayo 20


0

0.2

0.4

0.6

0.8

1

rx20 = 1

Después del ensayo 20


0

0.2

0.4

0.6

0.8

1

Estimación bayesiana adaptativa (vi)

Configuración:

1.- ¿Cómo elegir la forma de f0?2.- ¿Qué pasa si M y Ψ tienen distinta forma?3.- ¿Qué función de pérdida da mejores estimaciones?4.- ¿Qué regla de parada es más eficiente?5.- ¿Se puede estimar cualquier punto de Ψ con buena precisión?

Evaluación (mediante simulación):

0 1 2 3 4 5 6 7


Intensidad, x

0

0.2

0.4

0.6

0.8

1

Pro

b. d

e de

tecc

ión

M = Ψpérdida absoluta20 ensayosπ = 0.5


0

0.2

0.4

0.6

0.8

1

Den

sida

d re

lativ

a

A priori hiperbólica

5.1 5.3 5.5 5.7 5.9

10000 repeticiones

Estimación del umbral

0

5

10

15

Fre

cuen

cia

(cie

ntos

)0 1 2 3 4 5 6 7

Localización del umbral,

0

0.2

0.4

0.6

0.8

1

Den

sida

d re

lativ

a

A priori uniforme

5.1 5.3 5.5 5.7 5.9

10000 repeticiones

Estimación del umbral

0

5

10

15

Fre

cuen

cia

(cie

ntos

)

Alcalá-Quintana, R. y García-Pérez, M.A. (2004). The role of parametric assumptions inadaptive Bayesian estimation. Psychological Methods, 9, 250–271.

Alcalá-Quintana, R. y García-Pérez, M.A. (2005). Stopping rules in Bayesian adaptive thres-hold estimation. Spatial Vision, 18, 347–374.

Lesmes, L.A., Jeon, S.-T., Lu, Z.-L. y Dosher, B.A. (2006). Bayesian adaptive estimation ofthreshold versus contrast external noise functions: The quick TvC method. Vision Re-search, 46, 3160–3176.

Alcalá-Quintana, R. y García-Pérez, M.A. (2007). A comparison of fixed-step-size andBayesian staircases for sensory threshold estimation. Spatial Vision, 20, 197–218.

García-Pérez, M.A. y Alcalá-Quintana, R. (2007). Bayesian adaptive estimation of arbitrarypoints on a psychometric function. British Journal of Mathematical and Statistical Psy-chology, 60, 147–174.

Remus, J.J. y Collins, L.M. (2007). A comparison of adaptive psychometric proceduresbased on the theory of optimal experiments and Bayesian techniques: Implications forcochlear implant testing. Perception & Psychophysics, 69, 311–323.

Lesmes, L.A., Lu, Z.-L., Baek, J. y Albright, T.D. (2010). Bayesian adaptive estimation ofthe contrast sensitivity function: The quick CSF method. Journal of Vision, 10(3):17,1–21, http://journalofvision.org/10/3/17/

Kelareva, E., Mewing, J., Turpin, A. y Wirth, A. (2010). Adaptive psychophysical proce-dures, loss functions, and entropy. Attention, Perception, & Psychophysics, 72, 2003–2012.

Simulación como método para verificar modelos...

Documents

Transcript of Simulación como método para verificar modelos...