Post on 11-May-2015
Machine Learning&
Neural Networks
Eric Postma
IKAT
Contenido
Perceptron y perceptrón multicapa
Learning Vector Quantisation
Kohonen Self-Organising Feature Map
Multidimensional Scaling (optional)
Perceptrón
Deducción de la regla delta de aprendizaje
Target output
Actual output
h = i
Perceptrón Multicapa
Función sigmoidal
Puede ser también tanh (<-1,+1> ipv <0,1>) Obteniendo f’(x) = f(x) [1 – f(x)]
Deducción de la regla delta generalizada
Función de error (LMS)
Ajuste del vector de pesos (capa oculta – salida)
Ajuste del vector de pesos (capa de entrada – capa oculta)
Propagación hacia adelante y retropropagación
El problema de muestras dispersas
Los puntos (muestras) dispersos tienen la mayor contribución en el error total
outlier
Solución al problema de los puntos dispersos
Error Minkowsky (R < 2)
Para R = 1 es el mínimo de la función de error de mediana de los datos
( Número de puntos < mediana = Número de puntos > mediana )
El problema de inversión
x
t
x
t
Functional mappingNon-functional inverse mapping
Ejemplo: análisis espectral
Alternativa: modelos mixtos
Entrada de la red: vector de parámetros Una combinación lineal de funciones
kernel parametrizadas (p.e. Funciones Gaussianas) dada como salida
El vector de parámetros determina la forma de las funciones kernel
Solución m.b.v. Modelo mixto
x
t
Non-functional inverse mapping
Weight decay
Conjunción del valor absoluto de los pesos Resulta en un modelo simple El parametro Lambda determina el peso relativo
Regla delta generalizada con Weight Decay
Deducción de la regla delta generalizada para una red con
LMS error + weight decay
Regla de aprendizaje con weight decay
Cushings Dataset
Algunos resultados… Perceptrón multicapa (2-2-3) 1 capa oculta Conexión directa entrada-salida Salida Soft-max Total 21 pesos
2 hidden (perfect fit)
2 hidden (perfect fit)
2 hidden, lambda = 0.001(smoother)
= Lokaal minimum
2 hidden, lambda = 0.01
= Lokaal minimum
5 hidden, lambda = 0.01
20 hidden, lambda = 0.01
Learning Vector Quantisation(LVQ)
Self-organizing Feature Maps
Teuvo Kohonen
Inspiración biológica Imágenes
topográficas en la corteza
Corteza visual Corteza
somatosensorial Corteza motora Corteza
inferotemporal
La diferencia más importante con LVQ
La vecindad
SOM toegepast op tijdreeksen
Matlab SOM toolbox
Los datos (3D)
Unified Distance Matrix
Sammon mapping
Hit histogram 1 (numeric)
Hit histogram 2 (size)