C’est quoi, le Brésil ? François Pachet SONY CSL

C’est quoi, le Brésil ?François Pachet SONY CSL

Dialogue avec Laurière • - FP: Le plus gros pays d’Amérique Latine ? • - JLL: … C’est quoi l’Amérique latine ? • FP: Latitude x, longitude y ? • JLL: … C’est quoi la longitude ? • FP: La seule solution du problème: • Langage (X, Portugais) • not (equal (X, Portugal)) • PartOf (X, LatinAmerica) • JLL: Bof • FP: Je vois pas

C’est çà !

Ancrage • Une des limites de la manipulation de symboles: le manque d’ancrage • Seules des interactions sensori-motrices permettent de donner un sens aux symboles, et donc d’y attacher (solidement) des connaissances • Alice: pas d’ancrage dans le « réel »Mais les prémisses d’un système ancré, via la double représentation des contraintes en extension et en intention, et le jeu entre ces deux niveaux

Double niveau d’Alice • Thèse de Pierre Roy (1998):« Satisfaction de contraintes et programmation par objets” • Filtrage des contraintes subsume bcp des méthodes d’Alice. • Heuristiques puissantes et générales (min size) • Thèse d’Anne Liret (2000): « Intégration de mécanismes de réécriture dans un langage de CSP » • On peut encore « gagner » avec le raisonnement symbolique sur CSP « modernes », • Mais délicat à contrôler, pas d’heuristique systématique

EDS Les nouveaux problèmes de l’I.A. ne concernent plus les domaines strictement symboliques Besoin de catégoriser des signaux bruts issus de l’expérience ordinaire EDS: Extractor Discovery System, tente de trouver de “bons” extracteurs pour catégoriser les sons Influence d’ALICE dans la conception d’EDS

Feature Extraction Le schéma classique Signal Sélection Training Features Centaines d’ algorithmes HMM SVM Neural nets Decision Trees, Etc. • MFCC • Spectral Features • Slope • Roll-Off • Centroid • Spread • Skew • Kurtosis • Odd-to-Even Harmonic Energy Ratio (OER) • Tristimulus • Filters • Temporal features (ZCR, RMS, etc.) • Formants • Etc. Dizaines d’algorithmes Chien, Bossa, Blues, etc.

Généralité vs Efficacité • Alice a montré qu’un algorithme général pouvait être meilleur qu’un algorithme spécifique en exploitant les structures dans les données. • De même, EDS s’adapte aux données en trouvant des features spécifiques au problème. Les algorithmes (classification) sont standards

La communauté d’apprentissage (numérique) se focalise sur les algorithmes Classe Features Classifiers

Au contraire, EDS invente des features ad hoc Classe Features Classifiers

EDS Classifieurs: algorithmes généraux de classification Features: fonctions du signal inventées « Square (Log10 (Abs (Spectral Flatness (BpFilter (Normalize (BpFilter (Blackman (Correlation (Abs (BpFilter (Normalize (Blackman (Correlation (BpFilter (Normalize (Testwav), 308, 965), Testwav))), 232, 1596)), Testwav)), 1256, 244)), 326, 1848))))) » Données: signaux audio Classe 1 Classe 2

Double niveau en ALICE Contraintes redondantes, réécriture… x + y = 2 * z x > y + z Contraintes formelles z > 2 * y Contraintes en extension x {1, 2, 3, 4, 5, 6, …, 100} y {1, 2, 3, 4, 5, 6, …, 100} z {1, 2, 3, 4, 5, 6, …, 100}

Double niveau en EDS Programmation génétique, réécriture Features formelles Max(Autocorrelation(x)) RMS(x) f1 = Zcr (HpFilter (x, 100)) f2 = Max(MFCC (x)) f3 = Max(HpFilter(MFCC(x, 100))) Features en extension f1 {2, 5, 1E-15, 43, .. 3} f2 {…} f3 {…}

Heuristique d’EDSDécision • L’évaluation d’une feature consiste à la calculer sur tous les exemples d’apprentissage. • Ceci est très coûteux. • On peut évaluer sur moins, pour faire une estimation • Si elle est très mauvaise, on ne continue pas • Heuristique “généralement bonne”

Heuristiques d’EDSCréation de fonction Heuristique généralement bonne: « Une fonction compliquée dont le résultat est utilisé comme argument numérique d’un opérateur est rarement intéressante » HpFilter (signal, Max (BandPassFilter (FFt (Hanning (derivation(x), 199), 2048), 200, 2000))

Heuristiques d’EDS Création de fonction Heuristique généralement bonne: « Une fonction utilisant +3 fois le même opérateur est rarement intéressante » Fft (Fft (Fft (signal, 2048), 2048), 2048)

tchi ting tung pa PA tr Pandeiro en musique brésilienne traditionnelle 6 types de sons

tchi ting tr pa tr pa Classification de sons de Pandeiro invente EDS Features apprends Extractors (Classifiers)

Features trouvées par EDS pour le Pandeiro • Rms (Chroma (x)) • Power (Sum (SpectralFlatness (FilterBank (Normalize (x), 5))), -1) • Peaks (Peals (Square (HFC (Mfcc (Blackman (Normalize (x)), 5))))) • Derivation (BarkBands (Hann (Normalize (x)), 5)) • Abs (BarkBands (Bartlett (LpFilter (Normalize (x), 100)), 5)) • Mfcc0 (Blackman (HpFilter (Normalize (x), 100)), 10) • Zcr (LpFilter (x, 100)) • Zcr (HpFilter (x, 20000))

Résultats

Extractors (Classifiers) ting tchi tung tr ting Reconnaissance temps-réel Real-time segmentation Real-time classification Process

food alone stranger play walk Identification d’aboiements de chiens(F. Kaplan et P. Roy) Différentes situations => Différents aboiements

Expérimentations Data Features • 150 best features created with EDS and Praat operators • Feature space optimized using Weka’s GreedyStepwise: • 34 features left • 19 from EDS genetic search • 15 Praat speech operators

EDS fait mieux que les humains …

Reconnaissance d’harmoniesà la guitare (brésilienne)Thèse de Giordano Cabral • Approche standard • Feature bien connue: Chromagram (Hanning (x)) • Moins de 70% de succès • EDS trouve de meilleurs features: • Derivation (Power (Chroma (Blackman (x)), 0.3) • 78% succès sur les mêmes données Majeur renverse Mineur Majeur 7 9 Majeur 7

Classification en genres • Reconnaître le “genre” de la musique en analysant uniquement le signal audio • Base d’apprentissage: 3 classes • Brésilien • Jazz • Blues

Conclusion L’hypothèse feature vs classifier est iconoclaste en traitement du signal. Mais elle est très puissante. Elle est exactement la transposition de l’hypothèse de généralité / adaptation aux données d’ALICE dans le monde du signal. Ça marche parce qu’il existe des heuristiques qui marchent bien de manière générale

Le Brésil, c’est çà !

C’est quoi, le Brésil ? François Pachet SONY CSL