1 / 26

Apprentissage Artificiel Acquis, Enjeux, Limites

Apprentissage Artificiel Acquis, Enjeux, Limites. Michèle Sebag Patrick Gallinari. Introduction. Apprentissage à partir d'exemples. Données Famille de Machines ou d’Hypothèses But : - extraire de l'information à partir des données, expliquer les données (information synthétique)

ariel-moss
Télécharger la présentation

Apprentissage Artificiel Acquis, Enjeux, Limites

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Apprentissage ArtificielAcquis, Enjeux, Limites Michèle Sebag Patrick Gallinari

  2. Introduction

  3. Apprentissage à partir d'exemples • Données • Famille de Machines ou d’Hypothèses • But : - extraire de l'information à partir des données, expliquer les données (information synthétique) - information pertinente pour la tâche étudiée et valide sur d'autres données du même type • CritèreC • Utilisation : Inférence sur de nouvelles données

  4. Espace d’Hypothèses Famille de Machines Données Biais d’apprentissage Critère Algorithme

  5. Grandes Familles • numériques • Espace de représentation (Données) : vecteurs, séquences dans des espaces réels – discrets • Méthodes : modèles statistiques - optimisation • Performances • Symbolique • Espace de représentation (Données) : attribut-valeur, clauses logiques, … • Méthodes : moudèles « logiques », optimisation – satisfaction de contraintes • Intelligibilité – pouvoir explicatif • Convergence • Principes communs fondamentaux • Méthodes communes, algorithmes proches

  6. 1990-2000 • Algorithmes : # Familles de modèles disponibles • Méthodes non linéaires efficaces IA – Statistiques • Réseaux de neurones, arbres, machines à vecteurs support, ... • Apprentissage relationnel • PLI, … • Motifs Fréquents – Règles d’association • Théorie • Généralisation • Difficulté de l’apprentissage : Transition de phase PLI • Nouvelles problématiques : • Data Mining • Très grandes quantités de données • Nouveaux domaines d’utilisation • Nouveaux usages de l’apprentissage

  7. Algorithmes

  8. Machines à noyaux • Machines à vecteurs support  - en discrimination • Projeter -non linéairement- les données dans un espace de "très" grande taille H • Faire une séparation linéaire de bonne qualité dans cet espace • Raisonner dans H, mais résoudre le problème d'optimisation dans l'espace de départ (noyaux)

  9. Recherche de motifs FréquentsAnalyse de grands ensembles de transactions • Cadie de supermarché • Analyse de transactions sur un ensemble d’items (e.g. 10 M transactions) • Motifs fréquents : occurrences de n-uples (i1,..,in), n = 1… • Méthode heuristique construit successivement les n-uples / support (i1,..,in) > s, support » P (i1,..,in) • Règles d’associations • Idem pour générer des règles R : i1,i2 -> i3 / confiance (R) > c, confiance (i1,i2 -> i3 ) » P (i3/i1,i2) • Algorithmes • a priori, Pincer search, Close, Charm … • Relations apprentissage symbolique, statistique

  10. Programmation logique inductive • Apprentissage relationnel • De formules de la logique des prédicats • Espace d’hypothèse très riche • combinatoire !! • Apprentissage difficile • Exemple • Mutagene(m) <- atm(m,m1, carbone), atm(m,m2, carbone), lien(m1,m2) • Apprendre les clauses correctes aussi complètes que possible • Algorithmes • Foil, Progol, etc

  11. Théorie

  12. Généralisation • Généraliser = Ajuster la Complexité du modèle à l'information fournie par les données • Questions : • · Qu'est ce que la complexité d'un modèle ? • · Comment contrôler cette complexité ? • · Comment ajuster automatiquement cette complexité au problème tel qu'il est décrit par les données disponibles, i.e. comment apprendre cette complexité ?

  13. Avec une probabilité (1 - h), pour tous les w possibles : • R(w) < Q(w) + e(VCdim(w), Q(w), h, |App|) Minimisation du risque empirique et généralisation • Risque R(w) = • Risque empirique Q(w) = • Principe d'induction MRE : la fonction qui minimise Q (w) est proche de l'optimum de R (w). • Ce principe est consistent si • 1. Q(w) converge uniformément vers R(w) sur {f(x,w) / w Î W} • 2. On connait le taux de convergence (en fonction de N) • Dimension de Vapnik Chervonenkis – Théorie des bornes • Le MRE n’est pas suffisant : apprendre la classe d’hypothèse en même temps que les paramètres des modèles.

  14. PLI et Transition de phaseComplexité de l’apprentissage en PLI • Probabilité de couverture d’exemples tirés aléatoirement Nb littéraux Foil : carte de compétence + apprend . random Nb constantes

  15. Applications

  16. 1990 – 200X • Emploi massif des méthodes de l’apprentissage dans différents domaines • Génomique, post-génomique • Accès à l’information : texte, multi-média • Robotique mobile – animats • Bases de données • Modélisation utilisateur • …

  17. Biologie

  18. Prédiction structure secondaire des protéinesRéseaux neurones + Alignement(Rost& Sanders, Riis & Krogh)

  19. Séquençes protéines ou ADN e.g. Profil probabiliste d’une famille de protéines ou d’ADN Recherche dans des bases, de membres de la famille Recherche de gènes (prediction introns/ exons)

  20. Essai 1 Essai n Gène 1 … Gène 104 Expression des gènes pour un essai. E.g. 1O4 gènes Puces à ADN Trouver les gènes d’une même famille Classifier des gènes parmi une famille connue Pb : ratio quantité info / taille espace

  21. Information Textuelle

  22. Classification filtrage • Toutes les techniques de classification • Dimension de l’espace O(104) • Naïve bayes, Réseaux de neurones, machines Vecteurs supports, etc. • Exemple : classification de pages web

  23. P(qt/AG) Anglais Général a0 P(qt/d) Fin q Début q a1 Document d Recherche d’information • Requêtes ouvertes - BBN 98 : MMC • score : p(d Pertinent / q) • Point de vue requête : • observation : requête • Modèle de base • 1 modèle MMC par document • Tests TREC 6, TREC 7

  24. Q=q D P(s1|d,q)d,s1Î{R,¬R, …} S1 S2 P1 P2 P3 P4 Recherche d’Information : Bayesian Networks for modeling XML documents and Content Only queries Binary nodes: R (relevant), ØR (not relevant) q : source of evidence RSV (node)= P(node = R|q)

  25. Extraction d'information : Moteur de recherche Cora • Apprentissage • création de hiérarchies (Naïve Bayes) • Extraction de champs pertinents pour l'identification du papier (HMM discrets): • Auteurs, titres, journal, etc • A partir du header et des références.

  26. Challenges • Grandes dimensions • Faible ratio information/dimension • Utilisation de différentes sources de connaissances • Jonction logique-stats • Réseaux bayesiens relationnels • Programmation logique stochastique • Grammaires stochastiques • Machines à apprentissage faciles à utiliser • Domaines d’application

More Related