Self-Organizing Maps 101 (Dhiana Deva)

38
Self-Organizing Maps 101 @DhianaDeva

description

Apresentação sobre Self-Organizing Maps para disciplina de Redes Neurais na Universidade Federal do Rio de Janeiro.

Transcript of Self-Organizing Maps 101 (Dhiana Deva)

Page 1: Self-Organizing Maps 101 (Dhiana Deva)

Self-Organizing Maps 101@DhianaDeva

Page 2: Self-Organizing Maps 101 (Dhiana Deva)

Self-Organizing WHAT?!

Page 3: Self-Organizing Maps 101 (Dhiana Deva)

Self. Organizing. Maps.

SelfAprendizado não-supervisionado

MapsArranjo topológicoSistema de coordenadas significativo

OrganizingOrganização = ordenação contextual

Aprendizado adaptativo

Page 4: Self-Organizing Maps 101 (Dhiana Deva)

Redes neurais capazes de transformar adaptativamente padrões de sinais de entrada de dimensão arbitrária em um mapa discreto,

geralmente uni/bidimensional, e topologicamente ordenado

Page 5: Self-Organizing Maps 101 (Dhiana Deva)

Rede neural???

● Classe especial de redes neurais artificiais● Inerentemente não-linear● Baseado em aprendizado competitivo

Page 6: Self-Organizing Maps 101 (Dhiana Deva)

A-ha! Motivação biológica!

O cérebro humano é organizado de maneira que diferentes entradas sensoriais são mapeadas em áreas no córtex cerebral de forma topologicamente ordenada

Page 7: Self-Organizing Maps 101 (Dhiana Deva)

Sim, nós temos neurônios!

● Neurônios são dispostos como nós de uma grade

● Cada neurônio é totalmente conectado à todos os nós da camada de entrada

● Cada neurônio possui, portanto, um vetor de pesos da mesma dimensão do espaço de entrada

Page 8: Self-Organizing Maps 101 (Dhiana Deva)

Modelo de Kohonen (the father of the son, quer dizer, SOM!)

Page 9: Self-Organizing Maps 101 (Dhiana Deva)

Mas, como?

Page 10: Self-Organizing Maps 101 (Dhiana Deva)

Um número suficiente de realizações dos padrões de entrada devem ser apresentados à rede e passar por três processos:● Competição● Cooperação● Adaptação

Page 11: Self-Organizing Maps 101 (Dhiana Deva)

Entrada (dimensão m):

Pesos sinápticos (rede com l neurônios):

Ps: Notações básicas

Page 12: Self-Organizing Maps 101 (Dhiana Deva)

● Neurônios competem entre si para serem ativados

● É identificado apenas um vencedor através da discriminação do neurônio de máxima correspondência em relação à entrada:

Processo #1: Competição

Page 13: Self-Organizing Maps 101 (Dhiana Deva)

Processo #2: Cooperação

Determinação de uma vizinhança topológica:● Simétrica ao redor do

neurônio vencedor● Decaimento suave com

distância lateral● Adivinha??? Gaussiana!

Page 14: Self-Organizing Maps 101 (Dhiana Deva)

● Atualização dos pesos dos neurônios excitados aumentando a resposta deles para apresentações futuras do mesmo padrão (sintonização seletiva)

● Diferencia-se do aprendizado Hebbiano:○ Taxa de esquecimento para evitar saturação

Processo #3: Adaptação

Page 15: Self-Organizing Maps 101 (Dhiana Deva)

A formação do mapa se dá em duas fases:● Ordenação● Convergência

“Procurar, depois convergir!”

Page 16: Self-Organizing Maps 101 (Dhiana Deva)

Ps2: Atualizando as notações

Page 17: Self-Organizing Maps 101 (Dhiana Deva)

A taxa de aprendizado deve começar com um valor perto de 0.1 e diminuir gradativamente, mas permanecer acima de 0.01

Fase #1: Ordenação

A função de vizinhança deve inicialmente incluir quase todos os neurônios da rede e encolher com o tempo

A partir de um estado inicial de completa desordem, gradualmente é formada uma representação organizada do espaço de entrada

Page 18: Self-Organizing Maps 101 (Dhiana Deva)

Esta fase é necessária para aperfeiçoar o mapeamento de características, fornecendo uma quantificação estatística precisa do espaço de entrada.

Fase #2: Convergência

A taxa de aprendizado deve ser mantida em um valor baixo, da ordem de 0.01, sem chegar a zero.

A função de vizinhança deve conter apenas os vizinhos próximos, reduzindo eventualmente para um ou até nenhum vizinho.

Page 19: Self-Organizing Maps 101 (Dhiana Deva)

Propriedades

Page 20: Self-Organizing Maps 101 (Dhiana Deva)

Aproximação do espaçode entrada

i(x): Projeção de um ponto do espaço contínuo no espaço neural discretowi: Ponteiro de um neurônio de volta ao espaço original de entrada.

Page 21: Self-Organizing Maps 101 (Dhiana Deva)

Espaço de entrada:bidimensional

Mapeamento:unidimensional

Curva de Peano:preenchedora de espaço

Redução dedimensionalidade

Page 22: Self-Organizing Maps 101 (Dhiana Deva)

O esquema ótimo de codificação e decodificação é determinado variando as funções c(x) e x’(c) de maneira a minimizar a distorção esperada:

Modelo codificador-decodificador

Page 23: Self-Organizing Maps 101 (Dhiana Deva)

Mapas contextuais

Page 24: Self-Organizing Maps 101 (Dhiana Deva)

Um exemplo ANIMAL!

Page 25: Self-Organizing Maps 101 (Dhiana Deva)

Mapa de características

Page 26: Self-Organizing Maps 101 (Dhiana Deva)

Mapa semântico

Page 27: Self-Organizing Maps 101 (Dhiana Deva)

Aplicações

Page 28: Self-Organizing Maps 101 (Dhiana Deva)

Mapeamento em larga-escala

O Self-Organizing Map é uma poderosa ferramenta para aplicações em larga escala, onde a dimensão do espaço de entrada pode ser da ordem de mil e o número de neurônios chega à ordem de centenas de milhares

Page 29: Self-Organizing Maps 101 (Dhiana Deva)

Processamento de linguagem natural

Page 30: Self-Organizing Maps 101 (Dhiana Deva)

Detecção de relações ontológicas em uma imagem

Page 31: Self-Organizing Maps 101 (Dhiana Deva)

Mapeamento de emoções em expressões faciais

Page 32: Self-Organizing Maps 101 (Dhiana Deva)

E com vocês... DJ SOM!

http://vimeo.com/7714780

Page 33: Self-Organizing Maps 101 (Dhiana Deva)

Sistemas de recomendação

Page 34: Self-Organizing Maps 101 (Dhiana Deva)

Separação cega de fontes

Page 35: Self-Organizing Maps 101 (Dhiana Deva)

Curtiu? Quer saber mais?

Page 36: Self-Organizing Maps 101 (Dhiana Deva)

Self-Organizing Maps 201

● Modelo codificador-decodificador ruidoso● Quantizador vetorial hierárquico● Kernel Self-Organizing Maps● Termo de consciência● ...

Page 37: Self-Organizing Maps 101 (Dhiana Deva)

Referência, imagens e expressões:

Neural Networks and Learning MachinesCapítulo 9 - Self-Organizing Maps3ª ediçãoSimon Haykin

Exemplos de aplicações:www.intechopen.com, ...

Page 38: Self-Organizing Maps 101 (Dhiana Deva)

Obrigada!