Mapas Auto-organizados / Self Organizing Maps

Un modelo muy conocido de aprendizaje no supervisado.

1. Introduction
2. Architecture
3. Learning
4. Self organization
5. Conclusion


1. Introduction

MOTIVATION
Los mapas auto-organizados vienen de una inspiración biológica. En concreto algunas partes de la corteza visual del cerebro de los primates exhiben una estructura característica donde las neuronas que responden a una orientación en particular se agrupan juntas y los grupos juntos responden a orientaciones similares.

OVERVIEW
El mapa auto-organizado de Kohonen (SOM) está inspirado en los mapas computacionales que existen en la corteza visual de los primates. Dicho mapa consiste en una rejilla de neuronas de tal manera que las neuronas que son vecinas en la rejilla responden a patrones o entradas similares. El objetivo es encontrar la estructura de un conjunto de datos con cierta complejidad sin necesidad de ningún tipo de supervisión.


2. Architecture

NEURON STRUCTURE
Cada neurona i almacena un prototipo o centroide que notaremos w_i y que es un vector del espacio R^D,  es decir, el conjunto de todos los vectores de D componentes que son todos números reales.
Cuando se presenta al mapa un vector de entrada X también perteneciente a R^D, la salida es el prototipo que está más próximo a X.
La neurona asociada a ese prototipo se llama la neurona ganadora, y su índice se calcula mediante esta [ecuación].
El campo receptivo F_i de una neurona es el conjunto de vectores del espacio R^D para los cuales esa neurona es la ganadora. El prototipo es un vector representante o centroide de su campo receptivo asociado [ecuación].

TOPOLOGY
Un mapa auto-organizado (SOM) está formado por una rejilla de neuronas que están conectadas entre ellas mediante una topología o conectividad fija que determina que neuronas son vecinas de una neurona dada.
Las topologías más utilizadas son la rectangular y la hexagonal. También se pueden utilizar topologías sin bordes, como es el caso de la topología toroidal.
Se debe definir una distancia topológica entre parejas de neuronas. Si tenemos dos neuronas i y j en las ubicaciones r_i y r_j sobre la rejilla, es decir, que r_i y r_j son vectores de dos números naturales puesto que son parejas de índices sobre la rejilla, podemos definir la distancia topológica delta [ecuación].
También es preciso definir una función de vecindad que es una función decreciente de la distancia topológica que tiende a cero a medida que la distancia tiende a infinito.
Se suele usar un núcleo gaussiano con un parámetro p>0 que se llama radio de vecindad. Cuanto mayor sea p (ro), mayores serán los valores de la función de vecindad [ecuación]


3. Learning

LEARNING RULE
En cada instante de tiempo t, un patrón x(t) que es un vector de R^D se presenta al mapa auto-organizado.
La regla de aprendizaje mueve el prototipo de la neurona ganadora hacia el patrón, y sus vecinas también se mueven pero en un grado menor. La tasa de aprendizaje alfa controla cuando se mueven los prototipos, siendo esa tasa de aprendizaje entre 0 y 1 [ecuación].
La ecuación de actualización es la que se muestra donde i es el índice de la neurona ganadora y j es el índice de una neurona arbitraria del mapa.

LEARNING PARAMETERS
La tasa de aprendizaje normalmente decae siguiendo una regla lineal o exponencial y lo mismo ocurre con el radio de vecindad. Aquí damos unos posibles ejemplos para decidir la caída de la tasa de aprendizaje y el radio de vecindad donde T es el número total de pasos del proceso de entrenamiento [ecuación].
Esta elección de la caída de los parámetros de aprendizaje tiene la motivación de que se busca que la red sea plástica al principio del proceso de aprendizaje y converja al final del proceso de aprendizaje.
A veces se establece una fase de convergencia al final del aprendizaje con una tasa de aprendizaje y un radio de vecindad pequeños y constantes. Si esto se hace así, la primera fase se llama fase de ordenación.


4. Self Organization

CONCEPT
El resultado del proceso de aprendizaje es que las neuronas vecinas en la topología habitualmente tienen prototipos que están cerca en el espacio de datos R^D, es decir, que se forma un mapa computacional en el espacio de datos que refleja la topología de la red y la estructura del conjunto de datos.

EXAMPLES
Así pues, cada neurona representa una región de la distribución de entrada. Vamos a ver dos ejemplos sencillos en dos dimensiones y con una topología rectangular de 8x8 neuronas.
La distribución de entrada se muestra mediante niveles de gris entendiendo que el blanco es densidad de probabilidad cero y el negro es máxima densidad de probabilidad.
Como se puede ver, el mapa auto-organizado progresa desde un estado inicial desordenado a un estado final ordenado. Y la plasticidad de la fase de ordenación inicial viene seguida por un ajusta fino que se realiza en la fase de convergencia.
Aquí podemos observar como el mapa empieza en la fase de ordenación en la que existe una gran plasticidad, y luego en la fase de convergencia se produce un ajuste fino en el que los movimientos de los prototipos que están señalados en rojo no es tan intenso pero se produce una adaptación más estrecha a la distribución de entrada.
Además al principio, los prototipos están desordenados y después se van organizando o auto-organizando conforme a la topología, en este caso rectangular, que se ha impuesto a esas neuronas.
Así pues, podemos observar que las neuronas se adaptan a la distribución de entrada pero al mismo tiempo siguen la topología que se les ha impuesto.

Este otro ejemplo, es un ejemplo en el que no todas las regiones del espacio de entrada tienen la misma densidad. Y observamos que las zonas con mayor densidad de probabilidad, es decir, donde mayor cantidad de muestras aparecen se representan con más neuronas.
Se puede decir entonces que existe una relación entre la densidad de las neuronas y la densidad de la distribución de entrada, aunque esa densidad no es necesariamente lineal.
Observamos aquí de nuevo que al principio existe una gran plasticidad en la fase de ordenación y al final en la fase de convergencia se produce un ajuste fino de las neuronas a la distribución de entrada.


5. Conclusion

Los mapas auto-organizados son redes neuronales artificiales basadas en aprendizaje no supervisado.
Sus neuronas forman una rejilla que se adapta a la estructura de la distribución de entrada.
Auto-organización significa que emerge un orden global a partir de las interacciones locales entre las neuronas.
El proceso de aprendizaje se divide en dos fases:
1- Ordenación -> Fase de plasticidad.
2- Convergencia -> Fase de ajuste fino del mapa.

 Como colofón podemos indicar que los mapas auto-organizados son intensamente usados por toda clase de científicos e ingenieros que no son informáticos dada la facilidad de la interpretación de los resultados que produce.
Una aplicación típica de los mapas auto-organizados es la visualización de datos de alta dimensionalidad.

Cada neurona aprende un prototipo. Las neuronas cercanas tienden a tener prototipos similares.