SlideServe
Menu
Préférences
© SlideServe · v2026

Improving POMDP Policies with Gradient Ascent Techniques

tiger avatar
3 diapositives · 173 Views · Oct 10, 2014

This paper presents an innovative approach to enhance policies for Partially Observable Markov Decision Processes (POMDPs) using gradient ascent methods. POMDPs serve as a framework to address planning under uncertainty in both actions and observations. Traditional optimal planning requires maintaining the entire event history, often leading to complexity. Our method treats the policy as a probabilistic finite state controller, adjusting node transition and action probabilities using gradient ascent to maximize the value function. This technique draws similarities to backpropagation, offering a novel solution for policy improvement.

Improving POMDP Policies with Gradient Ascent Techniques - slide 1
01 / 3Improving POMDP Policies with Gradient Ascent Techniques
1 / 17

Télécharger la présentation

Improving POMDP Policies with Gradient Ascent Techniques
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation
  1. Policy Improvement for POMDPs using gradient ascent Gaurav Marwah

  2. Introduction • POMDP stands for partially observable markov decision processes. • Framework for planning under uncertainty in actions and observations. • Optimal planning requires storing entire event history. • Existing approaches: Policy iteration, value iteration, gradient ascent, sampling etc.

  3. Approach • Policy as a probabilistic finite state controller. • Probabilities: • Node transition probability • Action probability • The probabilities will be adjusted using gradient ascent to maximize value function. • Similarity to back propagation method.