Cruz Enrique Borges Hern andezyJos e Luis...

uc.png

Ajuste de Curvas: Problemas de Regresion. SLP: Software para Regresion Simbolica.

Regresion simbolica con slp′s.

Cruz Enrique Borges Hernandez y Jose Luis Montana 1 2

Departamento de Matematicas, Estadıstica y ComputacionUniversidad de Cantabria

7 de abril de 2011

This work is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 3.0 License.

1Departamento de Matematicas Estadıstica y Computacion, Universidad de Cantabria, 39071 Santander,

Espana. {borgesce,montanjl}@unican.es2

Investigacion financiada por los proyectos MTM2004-01167, MTM2007-62799, TIN2007-67466-C02-02 ybecas FPU del Gobierno de Espana

C.E. Borges, J.L. Montana Regresion simbolica con slp′s. 1/18

uc.png

Indice General.

1 Ajuste de Curvas: Problemas de Regresion.

2 SLP: Software para Regresion Simbolica.

uc.png

Ajuste de una Curva a una Muestra.

uc.png

x2 x3x4 x5

uc.png

Si conoces el espacio de busqueda. . .

. . . y es un espacio vectorial3

Muestra sin errores =⇒ Interpolacion.

Muestra con errores =⇒ Mınimos Cuadrados.

. . . y NO es un espacio vectorial

Muestra sin errores =⇒ Interpolacion no lineal.

Muestra con errores =⇒ Descenso de Gradiente.

3de dimension finitaC.E. Borges, J.L. Montana Regresion simbolica con slp′s. 4/18

uc.png

Si NO conoces el espacio de busqueda. . .

La fuerza bruta no es una opcion en un espacio de funciones.

Explorar el espacio de funciones: Regresion Simbolica.

Programacion Genetica.

uc.png

Regresion Simbolica mediante Programacion Genetica I.

Idea General

Emular los procesos de seleccion natural para explorar el espacio defunciones en busca de un optimo.

Poblacion de Individuos.

Mecanismos de Evolucion.

Mecanismo de Calificacion

Solo sobreviven los mejor calificados.

El Teorema de los Esquemas garantiza la convergencia haciaun optimo local.

uc.png

Idea General

uc.png

Idea General

uc.png

Idea General

uc.png

Idea General

uc.png

Idea General

uc.png

Regresion Simbolica mediante Programacion Genetica II.

Crear Poblacion Inicial

Calificar Poblacion Inicial

Mientras no Fin

generaciones

Operadores GeneticosCalificar Nueva Poblacion

Validar Resultado

No Paralelizable

Poco interes en Paralelizar

Paralelizable

uc.png

SLP: un Software para Regresion Simbolica.

Poblacion de slp.

Mecanismos evolutivos:Cruce y Mutacion adaptados.

Multiples mecanismos de calificacion:Error Cuadratico Medio y VC dimension.

uc.png

Poblacion de slp.

uc.png

Poblacion de slp.

uc.png

La estructura de datos slp I.

Propiedades

Grafo Acıclico Dirigido que codifica una aplicacion.

Reutiliza calculos ya hechos.

Equivalentes a Maquina de Turing.

Faciles de Evaluar.

uc.png

Propiedades

Faciles de Evaluar.

uc.png

Propiedades

Faciles de Evaluar.

uc.png

Propiedades

Faciles de Evaluar.

uc.png

La estructura de datos slp II: representacion grafica.

Figura: f1 como arbol.

∗∗

f1 ≡

Figura: f1 como slp.

f1 ≡

uc.png

La estructura de datos slp III: codificacion.

Figura: f1 como arbol.

f1 ≡

u1 := x ∗ xu2 := x ∗ xu3 := u1 ∗ u2

u4 := x ∗ xu5 := u4 ∗ xu6 := x ∗ xu7 := u6 + xu8 := u5 + u3

u9 := u8 ∗ u7

Figura: f1 como slp.

f1 ≡

u1 := x ∗ xu2 := u1 ∗ u1

u3 := u1 ∗ xu4 := u3 + xu5 := u4 + u1

u6 := u5 + u4

uc.png

Mecanismos evolutivos adaptados a slp′s I: cruce.Codificacion

Figura: Padre 1

Γ1 ≡

u1 := x + yu2 := u1 ∗ u1

u3 := u1 ∗ xu4 := u3 + u2

u5 := u3 ∗ u2

Figura: Hijo 1

Γs1 ≡

u1 := x + yu2 := u1 ∗ u1

u3 := x ∗ xu4 := u3 + yu5 := u4 ∗ x

Figura: Padre 2

Γ2 ≡

u1 := x ∗ xu2 := u1 + yu3 := u1 + xu4 := u2 ∗ xu5 := u1 + u4

Figura: Hijo 2

Γs2 ≡

u1 := x ∗ xu2 := x + yu3 := u2 ∗ xu4 := u2 ∗ xu5 := u1 + u4

uc.png

Mecanismos evolutivos adaptados a slp′s II: cruce.Representacion grafica.

Figura: Padre 1

∗Γ1 ≡

Figura: Hijo 1

∗∗

∗Γs1 ≡

Figura: Padre 2

+Γ2 ≡

Figura: Hijo 2

∗∗

+Γs2 ≡

uc.png

Mecanismos de calificacion adaptados a slp′s.

Muestra sin ruido =⇒ Error Cuadratico Medio (mse).

Muestra con ruido =⇒ Dimension Vapnik-Chervonenkis (VC ).

mse =m∑i=1

(Γ(xi )− yi )2.

uc.png

Mecanismos de calificacion adaptados a slp′s.

Muestra sin ruido =⇒ Error Cuadratico Medio (mse).

Muestra con ruido =⇒ Dimension Vapnik-Chervonenkis (VC ).

VC = mse

√√√√√hm

[1− ln

uc.png

Comparativa calificacion mse contra VC Ien muestras con ruido.

Calificacion media obtenida en 100 ejecuciones.

Funcion AIC BIC SRM

f1 1.62E+03 1.57E+03 3.58E-07f2 1.93E+01 2.11E+01 2.63E+00f3 1.62E+00 1.62E+00 1.50E+00f4 5.00E-01 5.00E-01 5.03E-01f5 4.60E-01 4.55E-01 1.66E-01g1 1.23E-01 1.79E-01 4.61E-02g2 2.03E-01 2.05E-01 1.36E-01g3 1.25E-01 1.25E-01 1.33E-01

uc.png

Comparativa calificacion mse contra VC IIen muestras con ruido.

Mejor calificacion obtenida en 100 ejecuciones.

Funcion AIC BIC SRM

f1 2.44E-07 2.40E-07 2.13E-07f2 3.47E+00 1.33E+00 8.29E-02f3 1.26E+00 1.26E+00 6.71E-01f4 4.44E-01 4.44E-01 3.87E-01f5 3.84E-01 2.15E-01 2.64E-02g1 2.94E-02 3.07E-02 1.33E-02g2 1.26E-01 1.15E-01 1.04E-01g3 3.21E-02 3.21E-02 1.85E-02

uc.png

slp′s parametricos: ajuste de constantes.

slp′s con constantes parametricas.

Ajustar los valores de dichos parametros para minimizar elerror:

Algoritmo Evolutivo y Co-evolucion cooperativa heterogenea.Descenso de Gradiente.

uc.png

Comparativa evolucion contra co-evolucion.

Cruz Enrique Borges Hern andezyJos e Luis...

Documents

Transcript of Cruz Enrique Borges Hern andezyJos e Luis...