Hanqing Li Hanqing Li 李汉青

Reinforcement learning

A policy trajectory climbing a value landscape.

Markov decision processes

  1. Markov decision processes
  2. Policies and value functions
  3. Bellman expectation equations
  4. Bellman optimality equations
  5. Contraction and fixed points

Dynamic programming and value learning

  1. Policy evaluation
  2. Policy iteration
  3. Value iteration
  4. Temporal-difference learning
  5. Q-learning

Policy optimization and exploration

  1. Eligibility traces and TD lambda
  2. Policy gradient theorem
  3. Baselines and variance reduction
  4. Actor-critic methods
  5. Exploration and regret

Function approximation and modern variants

  1. Multi-armed bandits
  2. Off-policy evaluation
  3. Function approximation
  4. Approximate dynamic programming
  5. Entropy-regularized reinforcement learning
  6. Partially observable problems

Further control regimes

  1. Linear-quadratic control and continuous actions
  2. Model-based reinforcement learning
  3. Offline reinforcement learning
  4. Constrained and risk-sensitive control
  5. Average reward and ergodic control
  6. Stochastic games and multi-agent learning

Apprentissage par renforcement

A policy trajectory climbing a value landscape.

Processus de décision markoviens

  1. Processus de décision markoviens
  2. Politiques et fonctions de valeur
  3. Équations d’espérance de Bellman
  4. Équations d’optimalité de Bellman
  5. Contraction et points fixes

Programmation dynamique et apprentissage de valeur

  1. Évaluation de politique
  2. Itération de politique
  3. Itération de valeur
  4. Apprentissage par différence temporelle
  5. Q-apprentissage

Optimisation de politique et exploration

  1. Traces d’éligibilité et TD lambda
  2. Théorème du gradient de politique
  3. Références et réduction de variance
  4. Méthodes acteur-critique
  5. Exploration et regret

Approximation fonctionnelle et variantes modernes

  1. Bandits manchots
  2. Évaluation hors politique
  3. Approximation fonctionnelle
  4. Programmation dynamique approchée
  5. Apprentissage par renforcement régularisé par entropie
  6. Problèmes partiellement observables

Autres régimes de contrôle

  1. Contrôle linéaire-quadratique et actions continues
  2. Apprentissage par renforcement fondé sur un modèle
  3. Apprentissage par renforcement hors ligne
  4. Contrôle contraint et sensible au risque
  5. Récompense moyenne et contrôle ergodique
  6. Jeux stochastiques et apprentissage multi-agent

强化学习

A policy trajectory climbing a value landscape.

马尔可夫决策过程

  1. 马尔可夫决策过程
  2. 策略与价值函数
  3. 贝尔曼期望方程
  4. 贝尔曼最优方程
  5. 压缩映射与不动点

动态规划与价值学习

  1. 策略评估
  2. 策略迭代
  3. 价值迭代
  4. 时序差分学习
  5. Q 学习

策略优化与探索

  1. 资格迹与 TD lambda
  2. 策略梯度定理
  3. 基线与方差缩减
  4. 演员-评论家方法
  5. 探索与遗憾

函数逼近与现代变体

  1. 多臂老虎机
  2. 离策略评估
  3. 函数逼近
  4. 近似动态规划
  5. 熵正则化强化学习
  6. 部分可观测问题

进一步的控制框架

  1. 线性二次控制与连续动作
  2. 基于模型的强化学习
  3. 离线强化学习
  4. 约束与风险敏感控制
  5. 平均奖励与遍历控制
  6. 随机博弈与多智能体学习