Otras Técnicas Evolutivas

1. Otras Técnicas Evolutivas Mario Hernández

2. Contenidos • ES: Estrategias Evolutivas (Rechenberg) • PE: Programación Evolutiva (Fogel) • SC: Sistemas Clasificadores • EP: Programas de Evolución (Michalewicz, 94) • PM: Programación Memética

3. Historia (I) I. Rechenberg, H.-P. Schwefel TU Berlin, ‘60s Estrategias Evolutivas John Koza Stanford University ‘80s (1989) Programación Genética John H. Holland University of Michigan, Ann Arbor, ‘60s Algoritmos Genéticos L. Fogel UC S. Diego, ‘60s Programación Evolutiva

4. Historia (II) 1859 Charles Darwin: herencia, variación, selección natural 1957 G. E. P. Box: mutación aleatoria & selección para optimización 1958 Fraser, Bremermann: simulación por computador de la evolución 1964 Rechenberg, Schwefel: mutación & selección 1966 Fogel et al.: Autómatas que evolucionan (evolving automata) – Programación Evolutiva (evolutionary programming) 1975 Holland: cruce (crossover), mutación & selección – “plan reproductivo” 1975 De Jong: Optimización paramétrica - “algoritmos genéticos” 1989 Goldberg: Primer libro de texto 1991 Davis: Primer manual 1993 Koza: evolución de programas LISP - “programación genética”

5. Clasificación Dos dimensiones Generales (débiles) PG AG Una solución Varias soluciones PE ES Particulares (fuertes)

6. Estrategias Evolutivas (ES)

7. Introducción • Surgieron como métodos estocásticos de escalada con paso adaptativo • Diseñados para resolver problemas de optimización paramétrica • Con el tiempo fueron incorporando procedimientos propios de la Computación Evolutiva hasta convertirse en un paradigma más de dicha metodología.

8. Introducción (II) • Actualmente son Algoritmos Evolutivos enfocados preferentemente hacia la optimización paramétrica que trabajan sobre poblaciones de cromosomas que son números reales. • Utilizan selección determinista y operadores específicos de mutación y cruce.

9. Introducción (III) • Hay diversos tipos de estrategias de evolución • En la más común: • Se crean nuevos individuos de la población añadiendo un vector mutación a los cromosomas existentes en la población • En cada generación, se elimina un porcentaje de la población (especificado por los parámetros  y µ), y los restantes generan la población total, mediante mutación y cruce • La magnitud del vector mutación se calcula adaptativamente.

10. Estrategias Evolutivas Simples • Nombre técnico (1+1)-ES • Evoluciona un solo individuo utilizando solamente el operador genético de mutación • Los individuos son bicromosomáticos y se representan a través de un par de vectores reales:

11. Punto en el espacio de búsqueda Vector de desviaciones típicas Se usa parra realizar la mutación Como hay solo un progenitor, no hay selección Criterio de reemplazo:un descendiente reemplaza a su progenitor si y solo si es más apto que este En caso contrario el descendiente es eliminado y la población permanece sin cambios

12. Criterio de reemplazo:un descendiente reemplaza a su progenitor si y solo si es más apto que este. En caso contrario el descendiente es eliminado y la población permanece sin cambios La evolución del cromosoma x se puede sintetizar así: Donde N(0,s) es un vector de números aleatorios gaussianos independientes con media 0 y desviación típica s[t] Salvo indicación en contra:

13. Convergencia Se demuestra (*) que para óptimos finitos y bajo ciertas condiciones de regularidad, el esquema anterior converge al óptimo con probabilidad 1 cuando t (*) Z. Michalewicz, Genetic Algorithms + Data Structures = Evolution Programs, Springer Verlag, 1994.

14. Velocidad de Convergencia • No existen resultados teóricos concluyentes sobre la velocidad de convergencia • Existe una regla semiempírica: Hipótesis de 1/5 de éxitos:la velocidad óptima de convergencia se alcanza cuando [t], la relación de mutaciones con éxito frente al total de mutaciones vale 1/5

15. Estrategia de evolución del 2º cromosoma • Según la hipótesis de 1/5 de éxitos resulta innecesario someterlo a mutación. • La estrategia óptima de evolución del 2º cromosoma es la que proporciona una tasa de éxito en las mutaciones lo más próxima posible a 1/5

16. Ley de adaptación para el 2º cromosoma k[t]  coeficiente de éxito del operador mutación durante las k últimas generaciones (k parámetro) ci > 1 y cd < 1 son coeficientes de regulación de la tasa de adaptación Parametrización típica: k  5 cd  0.82 ci  1/cd

17. Ley de adaptación para el 2º cromosoma • Con esta ley, la búsqueda avanzará con pasos largos cuando tenga éxito y con pasos cortos en caso contrario • NOTA: la mutación sólo afecta al primer cromosoma, ya que el segundo sólo se adapta en función del éxito que haya tenido la mutación del primero

18. Procedimiento (1+1)-ES

19. Resumen de (1+1)-ES • También conocidas como EE de dos miembros • Modelo más sencillo de EE • Características de la estrategia: • Sencilla • Útil en la práctica en problemas de ingeniería • Procedimientos estocásticos de optimización de paso adaptativo. • No son, en esta versión simple, métodos evolutivos propiamente

20. Desventaja de (1+1)-ES Como el resto de métodos de búsqueda simple, esta tiende a converger hacia subóptimos

21. Solución • Para corregir, realizar una búsqueda múltiple y una selección de los mejores descendientes • Además, la mutación por si sola no tiene la capacidad de recombinar información de buenos individuos, por lo que es necesario introducir también operadores de cruce

22. Estrategias Evolutivas Múltiples • ES múltiples o multimiembros • Nombre técnico: (+)-ES tamaño de la población tamaño de la descendencia • Dos tipos de reemplazo determinista: • Tipo “más”: por inclusión • Tipo “coma”:por inserción

23. Métodos y Criterios en (+)-ES • Representación • Tratamiento de Individuos no Factibles • Operadores Genéticos • Criterio de Selección • Criterios de Reemplazo

24. Criterio de Representación • Ya comentado; Mediante parejas de vectores reales • Se utilizan también tríos, de manera que el último vector controla la correlación entre las mutaciones en cada componente

25. Criterio de Tratamiento de Individuos no Factibles • Se ignoran los individuos no factibles (filtrado)

26. Operadores Genéticos Por defecto son: • Cruce • Mutación Se pueden introducir otros

27. Cruce Se suele usar: • Cruce uniforme (para ambos cromosomas) • Cruce intermedio: generando un solo descendiente promediando los dos progenitores • Progenitores: • Descendencia: • A veces se realiza cruce en modo global, es decir, tomando un nuevo par de progenitores para cada componente de la descendencia

28. Mutación • Idem caso (1+1)-ES: • Salvo que ahora no se verifica la hipótesis del 1/5 de éxitos, sino que el segundo cromosoma se somete también a mutación de la siguiente manera: • Donde  es un parámetro del método

29. Criterio de Selección Por muestreo aleatorio simple: cualquier miembro de la población puede ser elegido como progenitor con igual probabilidad

30. Criterios de Reemplazo • Determinista eligiéndose siempre los  mejores miembros • Se puede hacer: • Por inclusión ó (+)-ES: se juntan los  descendientes con los  criadores en una sola población, y de ella se toman los  mejores miembros para la nueva población • Por inserción ó (,)-ES: según el tamaño relativo de la descendencia respecto a la población se distinguen dos casos: •   : se eliminan los  peores miembros de la población de criadores. Su lugar resulta ocupado por los  descendientes •  > : se construye una población con los  mejores miembros de la población de descendientes

31. Criterios de Reemplazo (II) • NOTA:En el criterio (,)-ES (por inserción) la población varía mucho de una generación a otra, por lo que debe usarse con especial cuidado. Este criterio resulta útil para optimizar objetivos no variables en el tiempo o ruidosos.

32. Mejoras en (+)-ES Muchas posibles • Se pueden crear nuevas variedades modificando los anteriores métodos o criterios • Pe: hay una variedad que utiliza representación con vectores enteros y nuevos operadores de mutación adaptados a esa representación

33. ES versus AG Sus orígenes son distintos, pero con el tiempo y los desarrollos se han ido acercando. Hoy día se puede considerar que los ES son un tipo especial AG (o viceversa) distinguiéndose por:

34. Ejemplo

35. Minimización mediante ES de los costes de seguimiento en procesos dinámicos • Resolución de un “problema real” de Teoría de Sistemas en el ámbito empresarial • Las ES permiten resolverlo utilizando una formulación genérica, es decir, sin utilizar información específica • Esto permite particularizar inmediatamente las soluciones obtenidas a una gran variedad de sistemas que se dan en el ámbito empresarial

36. Definición Dada una fábrica modelada como un proceso dinámico realimentado como el de la figura respuesta referencia error Planta - Se trata de diseñar un control que permita minimizar los costes ocasionados por la planta al tratar de seguir la señal de referencia

37. Detalle del modelo: Variables u[k] e[k] y[k] Planta - respuesta referencia error Genérico (caja negra) que se corresponde, entre otras, al siguiente caso: • La planta es una factoría/almacén • u[k]  demanda de un cierto producto • y[k]  oferta capaz de generar la planta La oferta se adecúa a la demanda y, por tanto, el error e[k] := u[k] - y[k] Se hace nulo

38. Detalle del modelo: Respuesta dinámica u[k] e[k] y[k] Planta - Comportamiento: Al producirse variación en la demanda u[k], la planta no puede seguirla instantáneamente, lo que ocasiona un error en el seguimiento de la demandae[k]  0

39. Detalle del modelo: Respuesta dinámica (II) Para la planta estos errores son perjudiciales. Casos: • e < o  la oferta supera a la demanda  Costes de Almacenamiento • e > o  la demanda supera a la oferta  Costes de Oportunidad Costes de Almacenamiento Costes de Oportunidad

40. Objetivo u[k] e[k] y[k] Gestión Planta - demanda oferta error Diseñar un modelo de gestión que corrija la respuesta de manera que haga mínimo el valor de los costes totales de seguimiento

41. Costes de seguimiento Índice que mide los costes totales de seguimiento: Donde: cal[k] costes de almacenamiento en el instante k cop[k] idem de oportunidad Y (k) la función rampa:

42. Restricciones Se imponen para ajustarse lo más posible a la realidad: • Error nulo en régimen permanente: La gestión n o debe alejar a la planta del seguimiento exacto de la señal en estado estacionario, es decir que: • Evolución suave: La gestión no puede someter a la planta a seguir un comportamiento fuertemente variable. Los sistemas reales (y más los empresariales) evolucionan suavemente

43. El proceso de la planta puede ser identificado a través de un modelo discreto de ecuación en diferencias P(q) donde q es el operador de retraso • Pe. para una planta en concreto, con una herramienta de análisis de series temporales: • Y con un índice de costes derivado de cal[k] = cop[k] = 1

44. Respuesta sin corrección Cuando no hay gestión G(q), al producirse variación unitaria de la demanda, la oferta evoluciona según la gráfica Los costes totales en los que se incurren son: CT = 54.1472 unidades monetarias

45. Reducción de costos con modelo de gestión Modelo de Gestión de segundo orden propuesto : Se trata de hallar los valores de los coeficientes a0, a1, a2, b1, b2 que minimicen los costes CT sin violar las restricciones que se establecen en ai bi  [-200, +200]

46. Resolución Tras varios ensayos de tanteo se eligen los siguientes valores iniciales: a0 = 30 a1 = -60 a2 = 25 b1 = 1 b2= -1 Con ellos se ejecuta una implementación de ES que proporciona los siguientes resultados:

47. Al ejecutar el procedimiento se observa que en las primeras etapas de la búsqueda, los controles hallados originan controles altísimos (del orden de 1013), señal de que son inestables o de que no pueden mantener el requisito de seguimiento exacto. • AL ir progresando la búsqueda, la ES proporciona controles estables y de buen comportamiento dinámico que además logran reducir los costes de seguimiento hasta poco más de la quinta parte. • Ahora la oferta responde a una variación unitaria de la demanda a la manera indicada en la figura.

48. FIN

49. Programación Evolutiva (PE) Mario Hernández

50. Programación Evolutiva(PE) • Fogel (años 60) • Constituyen una estrategia de optimización estocástica • Es similar a los algoritmos genéticos y simultánea a ellos