Post on 27-Jun-2015
description
Self-Organizing Maps 101@DhianaDeva
Self-Organizing WHAT?!
Self. Organizing. Maps.
SelfAprendizado não-supervisionado
MapsArranjo topológicoSistema de coordenadas significativo
OrganizingOrganização = ordenação contextual
Aprendizado adaptativo
Redes neurais capazes de transformar adaptativamente padrões de sinais de entrada de dimensão arbitrária em um mapa discreto,
geralmente uni/bidimensional, e topologicamente ordenado
Rede neural???
● Classe especial de redes neurais artificiais● Inerentemente não-linear● Baseado em aprendizado competitivo
A-ha! Motivação biológica!
O cérebro humano é organizado de maneira que diferentes entradas sensoriais são mapeadas em áreas no córtex cerebral de forma topologicamente ordenada
Sim, nós temos neurônios!
● Neurônios são dispostos como nós de uma grade
● Cada neurônio é totalmente conectado à todos os nós da camada de entrada
● Cada neurônio possui, portanto, um vetor de pesos da mesma dimensão do espaço de entrada
Modelo de Kohonen (the father of the son, quer dizer, SOM!)
Mas, como?
Um número suficiente de realizações dos padrões de entrada devem ser apresentados à rede e passar por três processos:● Competição● Cooperação● Adaptação
Entrada (dimensão m):
Pesos sinápticos (rede com l neurônios):
Ps: Notações básicas
● Neurônios competem entre si para serem ativados
● É identificado apenas um vencedor através da discriminação do neurônio de máxima correspondência em relação à entrada:
Processo #1: Competição
Processo #2: Cooperação
Determinação de uma vizinhança topológica:● Simétrica ao redor do
neurônio vencedor● Decaimento suave com
distância lateral● Adivinha??? Gaussiana!
● Atualização dos pesos dos neurônios excitados aumentando a resposta deles para apresentações futuras do mesmo padrão (sintonização seletiva)
● Diferencia-se do aprendizado Hebbiano:○ Taxa de esquecimento para evitar saturação
Processo #3: Adaptação
A formação do mapa se dá em duas fases:● Ordenação● Convergência
“Procurar, depois convergir!”
Ps2: Atualizando as notações
A taxa de aprendizado deve começar com um valor perto de 0.1 e diminuir gradativamente, mas permanecer acima de 0.01
Fase #1: Ordenação
A função de vizinhança deve inicialmente incluir quase todos os neurônios da rede e encolher com o tempo
A partir de um estado inicial de completa desordem, gradualmente é formada uma representação organizada do espaço de entrada
Esta fase é necessária para aperfeiçoar o mapeamento de características, fornecendo uma quantificação estatística precisa do espaço de entrada.
Fase #2: Convergência
A taxa de aprendizado deve ser mantida em um valor baixo, da ordem de 0.01, sem chegar a zero.
A função de vizinhança deve conter apenas os vizinhos próximos, reduzindo eventualmente para um ou até nenhum vizinho.
Propriedades
Aproximação do espaçode entrada
i(x): Projeção de um ponto do espaço contínuo no espaço neural discretowi: Ponteiro de um neurônio de volta ao espaço original de entrada.
Espaço de entrada:bidimensional
Mapeamento:unidimensional
Curva de Peano:preenchedora de espaço
Redução dedimensionalidade
O esquema ótimo de codificação e decodificação é determinado variando as funções c(x) e x’(c) de maneira a minimizar a distorção esperada:
Modelo codificador-decodificador
Mapas contextuais
Um exemplo ANIMAL!
Mapa de características
Mapa semântico
Aplicações
Mapeamento em larga-escala
O Self-Organizing Map é uma poderosa ferramenta para aplicações em larga escala, onde a dimensão do espaço de entrada pode ser da ordem de mil e o número de neurônios chega à ordem de centenas de milhares
Processamento de linguagem natural
Detecção de relações ontológicas em uma imagem
Mapeamento de emoções em expressões faciais
Sistemas de recomendação
Separação cega de fontes
Curtiu? Quer saber mais?
Self-Organizing Maps 201
● Modelo codificador-decodificador ruidoso● Quantizador vetorial hierárquico● Kernel Self-Organizing Maps● Termo de consciência● ...
Referência, imagens e expressões:
Neural Networks and Learning MachinesCapítulo 9 - Self-Organizing Maps3ª ediçãoSimon Haykin
Exemplos de aplicações:www.intechopen.com, ...
Obrigada!