Stochastic Chaotic Simulated Annealing

1. Stochastic Chaotic Simulated Annealing A Noisy Chaotic Neural Network for Solving Combinatorial Optimization Problems Marco Rolando

2. Introduzione • Ottimizzazione Combinatoria • Modello: SCSA • Applicazioni: TSP e CAP2 • Conclusioni Marco Rolando

3. Il neurone ij ha uscita xij=1 se e solo se la risorsa i è assegnata a j. Tutti neuroni sono completamente connessi in modo che l’uscita del neurone ij sia ingresso del neurone kl con peso wijkl. Ottimizzazione combinatoria(1) • Problema: assegnamento di M risorse a N utilizzatori • Rispettando l’insieme di vincoli V. • Minimizzando la funzione obiettivo F(x). • Il problema di ottimizzazione può essere ridotto all’evoluzione di una rete neurale ricorrente NxM con queste caratteristiche: Marco Rolando

4. Ottimizzazione combinatoria(2) • Si definisce una funzione di costo E che tenga conto sia della funzione obiettivo, sia dei vincoli • Si determinano i pesi wij delle rete neurale in modo che l’evoluzione della rete sia nella direzione in cui E si riduce. Marco Rolando

5. Rete di Hopfield • E’ un modello dinamico che presenta diversi tipi di attrattori. Ai fini dell’ottimizzazione combinatoria si semplifica la sua dinamica in modo che presenti solo equilibri. xij uscita del neurone yij stato del neurone Iij soglia di ingresso e parametro di pendenza per la funzione di uscita • Vantaggi: per wijij=0 e wijkl=wkljiè garantita la stabilitàasintotica. • Le condizioni sono sufficienti per dimostrare che è una funzione di Liapunov per il sistema. • Svantaggi: possono esserci molti minimi locali! La rete converge al primo che incontra. Marco Rolando

6. Simulated Annealing • Problema: la funzione E può avere molti minimi locali. • Il simulated annealing consiste nell’introdurre rumore in modo controllato durante l’aggiornamento della soluzione. • Il rumore viene gradualmente ridotto per permettere la convergenza. • Consideriamo due tipi di annealing: • Stocastico: SSA • Caotico: CSA Marco Rolando

7. Stochastic Simulated Annealing • E’ la forma più semplice di annealing. Consiste nell’aggiungere un segnale stocastico in ingresso ad ogni neurone: A[n(t)] massima ampiezza del rumore stocastico n(t) rumore stocastico al tempo, uniformemente distribuito tra –A[n(t)] e A[n(t)] b1parametro di smorzamento del rumore stocastico • Vantaggi: per A[n(0)] sufficientemente grande e b1 piccolo la ricerca avviene in modo esaustivo in tutto lo spazio di ricerca. • Svantaggi: se b1 è piccolo la convergenza può essere molto lenta. Marco Rolando

8. Chaotic Simulated Annealing (1) • Sfrutta l’autoaccoppiamento e porta la rete a funzionare su un attrattore caotico. z(t) ampiezza dell’autoaccoppiamento negativo b2 parametro di smorzamento dell’auto-accoppiammento k smorzamento della membrana nervosa a, I0 parametri positivi Note • La rete esibisce un comportamento caotico per z(0) sufficientemente grande. • Il comportamento caotico è limitato ad un transitorio iniziale, la cui durata dipende dal parametro b2. Marco Rolando

9. Chaotic Simulated Annealing (2) • Si può dimostrare che l’attrattore verso cui tende la rete è uno strano attrattore le cui dimensioni, sotto opportune ipotesi, sono sufficientemente grandi da includere tutti i minimi della funzione. • Vantaggi: • La ricerca della soluzione avviene in modo efficiente perché coinvolge solo una frazione dello spazio delle soluzioni. • Svantaggi: • La rete CSA ha una dinamica completamente deterministica. Quindi, a prescindere dalla lentezza con cui viene ridotto il parametro di annealing (l’autoaccoppiamento), la rete potrebbe non raggiungere un minimo globale, e in generale, un buona soluzione. Marco Rolando

10. Stochastic Chaotic S.A. (SCSA) • Combina gli approcci di SSA e CSA. • L’obiettivo è duplice: • Sfruttare l’efficienza del modello caotico • Garantire l’affidabilità del modello stocastico Marco Rolando

11. Applicazione: TSP(1) “Dato un grafo completo, trovare il percorso di lunghezza minima che attraversa tutti i nodi una sola volta.” • Consideriamo un grafo con n nodi e introduciamo le seguenti variabili • xij: uguale a 1 se la città i è in j-esima posizione, altrimenti 0 • dij: distanza fra la città i e la città j • Il problema può essere mappato su una rete neurale con nxn neuroni che minimizzi una funziona energia composta dai seguenti termini Note: • Questa non è la formulzione più efficace per affrontare il TSP. Marco Rolando

12. Applicazione: TSP(2) • Berlin52: 200 iterazioni • TS70: 20 iterazioni Marco Rolando

13. Applicazione: CAP2(1) “In una rete radiomobile, determinare un assegnamento dei canali che minimizzi le interferenze e rispetti i vincoli di richiesta.” • Consideriamo una rete con N celle e M canali e introduciamo le seguenti variabili • xjk: uguale a 1 se la cella j è assegnata al canale k, altrimenti 0 • Dj: numero di chiamate nella cella j • Pji(m+1): tensore di costo fra la cella i e la cella j per canali a distanza m • Come per TSP, la funzione energia è costituita dalle seguenti componenti Marco Rolando

14. Applicazione: CAP2(2) • 10 iterazioni per ogni problema della famiglia HEX Marco Rolando

15. Conclusioni • SCSA combina gli approcci di SSA e CSA e ne sorpassa i limiti. • E’ più efficiente di SSA: restringe lo spazio di ricerca al sottospazio dell’attrattore caotico, che è molto più piccolo dell’intero spazio di ricerca sfruttato da SSA. • E’ più affidabile di CSA: non ha una dinamica completamente deter-ministica e continua a cercare anche dopo la scomparsa del caos. Marco Rolando

16. Bibliografia • Lipo Wang, Sa Li, Fuyu Tian, Xiuju Fu,A Noisy ChaoticNeural Network for Solving Combinatorial Optimization Problems: Stochastic Chaotic Simulated Annealing, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART B: CYBERNETICS, VOL. 34, NO. 5, OCTOBER 2004 • Luonan Chen, Kazuyuki Aihara,Chaotic dynamics of neural networks and its application to combinatorial optimization, Journal of Dynamical Systems and Differential Equations, invited review paper, vol.9, no.3, pp.139-168, 2001. Marco Rolando