Introduction à la modélisation bayésienne. Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 30/11/2010 http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr. Bayésien, un mot à la mode ?. Google scholar trend miner.
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation
Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement.Téléchargez la présentation en cliquant sur ce lien.Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.
F I N
Plus de contenu associé
Transcription de la présentation
Introduction à la modélisation bayésienne Julien Diard Laboratoire de Psychologie et NeuroCognition – CNRS UE18S3 Psychophysique et analyse des signaux 30/11/2010 http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr
Êtes-vous « Bayésien » ? • I’m a bayesian if I use the word “probability”. • I’m a bayesian if I use the word “conditional probability”. • I’m a bayesian if I use Bayes’ rule. • I’m a bayesian if I use Bayes’ rule in order to make inference. • I’m a bayesian if I think that probabilities represent states of knowledge. • I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). • I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • En sciences cognitives • Modélisation de la perception et de l’action
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • En sciences cognitives • Modélisation de la perception et de l’action
Intelligence Artificielle • Construire des systèmes qui • pensent / agissent • comme des humains / rationnellement • IA vs. Psychologie • IA ≅ psychologie où on construit le sujet • Psychologie ≅ IA où on tente de deviner comment fonctionne un robot ou programme construit par un autre
Prolog : programmation logique louis therese gedeon aglae |__________| |_________________| | | | isabelle pierre xavier claire |___________________| |________________| | | | | | gaelle axel catherine johan gwenael mere(aglae, xavier) ->; pere(gedeon, xavier) ->; mere(aglae, pierre) ->; pere(gedeon, pierre) ->; mere(therese, isabelle) ->; pere(louis, isabelle) ->; ... • Exemple : système expert en généalogie • Programme = • Base de faits • Base de règles • Requêtes • Inférence logique : principe de Robinson etre_mere(X) -> mere(X,Y); parent(X,Y) -> mere(X,Y); parent(X,Y) -> pere(X,Y); etre_fils(X) -> parent(Y,X); frere_ou_soeur(X,Y) -> pere(P,X) pere(P,Y); soeur_de(X,Y) -> frere_ou_soeur(X,Y) femme(X); grand_pere_de(X,Y) -> pere(X,Z) parent(Z,Y); cousin(X,Y) -> grand_pere_de(Z,X) grand_pere_de(Z,Y); tante(X,Y) -> parent(Z,Y) soeur_de(X,Z); ancetre(X,Y) -> parent(X,Y); /* cas de base, ancetre direct */ ancetre(X,Y) -> parent(Z,Y) ancetre(X,Z); /* ancetre indirect: X est un ancetre du pere de Y */ descendant(X,Y) -> ancetre(Y,X); ancetre(louis, johan);
Problème • 1966 • Marvin Minsky (MIT) donne un projet d’été de maîtrise à Gerald Sussman. • Sujet : « la vision par ordinateur » • Le monde réel n’est pas le « blocks world » • Modèle nécessairement incomplet • Ex : partie d’échecs (Deep Blue) vs. partie de football
Intelligence Artificielle et monde réel • 80s-00s : L’IA symbolique devient la GOFAI • Good old fashioned AI • Méthodes numériques • Réseaux de neurones artificiels • Algorithmes génétiques • Modélisation Bayésienne (probabiliste) • Transforme l’incomplétude du modèle en incertitude, manipulable mathématiquement • Extension de la logique
Modèles de raisonnement humain • Raisonnement déductif (logique) • modus ponens • A implique B, A est vrai : B est vrai • modus tollens • A implique B, B est faux : A est faux • Raisonnement plausible • S’il pleut, alors Jean a son parapluie • Jean a son parapluie • Il pleut, vraisemblablement
Représentation et règles de calcul • Desiderata • Représentation de degrés de plausibilité par des nombres réels • Correspondance qualitative avec le sens commun • Consistance • Si une conclusion peut être atteinte par plusieurs chemins d’inférence, le résultat doit être indépendant du chemin • Toutes les évidences sont utilisées pour une inférence • Des états de connaissances équivalents amènent à des plausibilités équivalentes • Probabilités • Règle du produit et règle de la somme
Règles de calcul • Soient A, B, C, des propositions logiques • Règle du produit • Règle de la somme (de normalisation)
Règles de calcul • Règle du produit Théorème de Bayes • Règle de la somme Règle de marginalisation Reverend Thomas Bayes (~1702-1761)
Probability Theory As Extended Logic • Probabilités « subjectives » • Référence à un état de connaissance d’un sujet • P(« il pleut » | Jean), P(« il pleut » | Pierre) • Pas de référence à la limite d’occurrence d’un événement (fréquence) • Probabilités conditionnelles • P(A | π) et jamais P(A) • Probabilités « fréquentistes » • Une probabilité est une propriété physique d’un objet • Axiomatique de Kolmogorov, théorie des ensembles E.T. Jaynes (1922-1998)
Inférence probabiliste • Théorème • Si on connaît la distribution conjointe P(X1 X2 … Xn | π) • Alors on peut calculer n’importe quelle « question » P(X1 | [Xn = xn] π) P(X2 X4 | [X3 = x3] π)
Êtes-vous « Bayésien » ? • I’m a bayesian if I use the word “probability”. • I’m a bayesian if I use the word “conditional probability”. • I’m a bayesian if I use Bayes’ rule. • I’m a bayesian if I use Bayes’ rule in order to make inference. • I’m a bayesian if I think that probabilities represent states of knowledge. • I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). • I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • En sciences cognitives • Modélisation de la perception et de l’action
P(MS | DC) Bayesian Paradigm in robotics =P(M | SDC)
Preliminary Knowledge + Experimental Data = Probabilistic Representation Maximum Entropy Principle Uncertainty P(AB|C)=P(A|C)P(B|AC)=P(B|C)P(A|BC) P(A|C)+P(¬A|C) = 1 Bayesian Inference Decision Probability as Logic Incompleteness
Programmation Bayésienne des Robots (PBR) Variables Décomposition Formes paramétriques Spécification Description P(X1 … Xn | C) Programme Identification Questions : P(Xi … Xj | Xk … Xl C) (Lebeltel, 99)
Sensor Fusion • Objective • Find the position of a light source • Difficulty • No sensor to directly measure the position of a light source. • Solution • Model of each sensor • Fusion of the 8 models
Lmi Description Utilization Question Model of a Light Sensor Specification • Variables ThetaL, DistL, Lmi • Decomposition • Parametrical Forms Program • Preliminary Knowledge psensor Identification • A priori specification
Description Utilization Question Sensor Fusion Model Specification • Variables ThetaL, DistL, Lm0, …, Lm7 • Decomposition (Conditional Independance Hypothesis) • Parametrical Forms Program Identification • No free parameters
Classes de modèles probabilistes • Réseaux bayésiens • Réseaux bayésiens dynamiques • Filtres bayésiens • Modèles de Markov Cachés • Filtres de Kalman • Processus de décision markovien (partiellement observable) • …
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • En sciences cognitives • Modélisation de la perception et de l’action
Version « simplifiée » • Une seule classe de modèles M = m1 • Un modèle • P(δi | [Θ = θ1]) • Méta-modèle
Sélection de modèle • Quel est le modèle le plus probable, au vu des données ? • Question ubiquitaire en sciences ! • Trouver θ qui maximise
Posterior Vraisemblance Prior • Si P() = uniforme • Modèle de maximum de vraisemblance • Maximum Likelihood (MLE) • Si P() uniforme • Modèle = prior vraisemblance • Modèle de maximum a posteriori (MAP) • Méthode bayésienne
Sélection de modèle Machine learning Identification de paramètres Active learning Design optimization Distinguabilité des modèles data set set of models set of parameters
Êtes-vous « Bayésien » ? • I’m a bayesian if I use the word “probability”. • I’m a bayesian if I use the word “conditional probability”. • I’m a bayesian if I use Bayes’ rule. • I’m a bayesian if I use Bayes’ rule in order to make inference. • I’m a bayesian if I think that probabilities represent states of knowledge. • I’m a bayesian if I think that probabilities represent states of knowledge and I also consider my parameters as random variables. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors (no MaxLikelihood). • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I use priors on priors (hierarchical models). • I’m a bayesian if I think that probabilities represent states of knowledge and I use subjective priors. • I’m a bayesian if I think that probabilities represent states of knowledge and I use priors and I never use MAP. Blog de Pierre Dangauthier
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • En sciences cognitives • Modélisation de la perception et de l’action
Tel monsieur Jourdain… • Un phénomène génère des couples x,y • Un modèle • prédit y = F(x), F linéaire, F = ax + b • autorise du « bruit » dans les mesures • On observe D = {dx1, …, dxn} • Question • Quels sont les paramètres a, b les plus probables ?
Inférence dans les cas non-linéaires Moindres carrés Bayésien Espace de modèles = {3x+2, 4x3-2x2+4} Priors hiérarchiques P( | ) Rasoir d’Occam automatique… Pour aller plus loin…
Plan • Introduction à la modélisation bayésienne • En Intelligence Artificielle • Historique • En robotique • Exemple de Programme Bayésien • En sciences (physiques) • Méthodologie de sélection de modèles • Exemples de « bayésien caché » • Bonus : importance des variables cachées
