1 / 22

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES. Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María. SOM/KOHONEN Network Mapas Autoorganizativos. Capítulo 3. Estructura de la Red. SOM (Self-Organization Map o Kohonen Network)

anoush
Télécharger la présentation

REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María

  2. SOM/KOHONEN NetworkMapas Autoorganizativos Capítulo 3 Redes Neuronales Artificiales

  3. Estructura de la Red SOM (Self-Organization Map o Kohonen Network) Teuvo Kohonen Rev. Information Science(1984) • Red de aprendizaje no supervisado. • Posee una única capa, la capa de salida. • Posee un feedback lateral. En general es de forma indirecta ( tipo “Sombrero Mejicano”). • Consiste en K neuronas. • Puede ser unidimensional (K) o multidimensional ( KxK). • La capa adicional de entrada solo distribuye la entrada en la capa de salida. • Consiste en N neuronas (dimensión de la entrada). • No hay procesamiento Redes Neuronales Artificiales

  4. Estructura de la red de Kohonen Redes Neuronales Artificiales

  5. Sombrero mejicano Las Neuronas cercanas reciben un feedback (+) Las Neuronas a mediana distancia reciben feedback (-). Las Neuronas lejanas no son afectadas. Redes Neuronales Artificiales

  6. Estructura de la Red. • Obervaciones: • La distancia entre neuronas es discreta. 0 para la neurona misma, 1 para las neuronas más cercanas etc. • La función de feedback determina la velocidad de aprendizaje. • Vecindad Neuronal: Area afectada por el feedback lateral. • Para grandes vecindades, la distancia puede considerarse función continua. Redes Neuronales Artificiales

  7. El Proceso de aprendizaje • Matriz de pesos: • Vector de entrada: • Entrada es una función paramétrizada x = x(t) • Entrada total: a = W x • La neurona k que tiene un peso asociado tal que: se declara ganadora. Redes Neuronales Artificiales

  8. Proceso de aprendizaje • Todas las neuronas incluidas en la vecindad neuronal incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas. • El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo). • Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo) Redes Neuronales Artificiales

  9. Proceso de aprendizaje • Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona: donde  y  son funciones escalares (no lineales).  : feedback positivo : feedback negativo • A continuación se considera que la vecindad neuronal es toda la red. Redes Neuronales Artificiales

  10. Tipos de aprendizaje • La ecuacion diferencial Trivial: Para t, W(j,:) es un promedio exponencialmente ponderado de X. Redes Neuronales Artificiales

  11. Tipos de Aprendizaje • La ecuación simple: Redes Neuronales Artificiales

  12. Tipos de Aprendizaje • La Solución de la ecuación simple: • La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables. • Para tiempos cortos la solución se aproxima a procesos asintóticamente estables. • Para t ;  relativamente pequeños y 0: Redes Neuronales Artificiales

  13. Tipos de Aprendizaje • La Ecuación diferencial de Riccati: Redes Neuronales Artificiales

  14. Tipos de Aprendizaje • Ecuación de Riccati: • Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma: • Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma Redes Neuronales Artificiales

  15. Tipos de Aprendizaje • Ecuaciones más generales: Teorema: Sea  > 0, a =Wx y (a) una función arbitraria tal que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo: tiene soluciones W acotada para t, entonces debe tener la forma: donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser paralelo a <x> Redes Neuronales Artificiales

  16. Tipos de Aprendizaje Teorema: Sea  > 0, a = Wx y (a) una función arbitraria tal que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo: tiene soluciones no triviales W acotada para t, entonces debe tener la forma: donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax Redes Neuronales Artificiales

  17. Dinámica de la Red • Función de ejecución de la red: Para cada vector de entrada X , la neurona k para la cual se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje. Redes Neuronales Artificiales

  18. Dinámica de la Red • Función de aprendizaje de la red: • El proceso de aprendizaje es no-supervisado. • El aprendizaje se desarrolla en tiempo discreto. • W=W(t) • En t = 0 los pesos son inicializados con valores aleatorios pequeños W(0) = W0 . • Los pesos se actualizan de la siguiente forma: • Para x(t) encontrar la neurona ganadora k. • Actualizar los pesos según modelo elegido: Redes Neuronales Artificiales

  19. Dinámica de la Red • Inicialización y condición de parada: • Los pesos son inicializados con valores aleatorios pequeños. • La condición de parada del proceso de aprendizaje puede ser: • Elegir un número fijo de pasos. • El proceso de aprendizaje continúa hasta que la cantidad de ajuste: wji= wji(t+1)-wji (t)  Redes Neuronales Artificiales

  20. El Algoritmo • Para toda las neuronas en la capa de salida: inicializar los pesos con valores aleatorios • Si se trabaja con vectores normalizados, Normalizar vectores • Elegir el modelo de aprendizaje ( Ecuación diferencial) • Elegir un modelo de vecino neuronal ( fu. de feedback lateral). • Elegir condición de parada. • Construir a partir de la ED, la fórmula de adaptación de los pesos. • Considerando tiempo discreto, repetir los pasos anteriores hasta que la condición de parada se cumpla: • Tomar la entrada x(t) • Para todas las neuronas j en la capa de salida, encontrar la ganadora. • Conociendo la ganadora, actualizar los pesos. Redes Neuronales Artificiales

  21. Fórmula de adaptación de pesos • La ecuacion diferencial Trivial: Para t, W(j,:) es un promedio exponencialmente ponderado de X. Redes Neuronales Artificiales

  22. Fórmula de adaptación de pesos La ecuación Trivial: Redes Neuronales Artificiales

More Related