Hanqing Li Hanqing Li 李汉青

Optimization

A saddle surface with two minimax directions meeting at the saddle point.

Problems and convex geometry

  1. Optimization problems and local minima
  2. Convex sets and separation
  3. Convex functions and subdifferentials
  4. Smoothness, strong convexity, and condition numbers
  5. Existence, coercivity, and error bounds

Duality and constrained optimization

  1. Lagrange multipliers
  2. Fenchel conjugates and Fenchel duality
  3. KKT conditions
  4. Normal cones and projected optimality
  5. Saddle points and minimax formulations

First-order methods

  1. Gradient descent
  2. Accelerated gradient methods
  3. Coordinate descent and block methods
  4. Stochastic gradient methods
  5. Mirror descent and Bregman geometry

Newton and second-order methods

  1. Newton's method
  2. Quasi-Newton and secant methods
  3. Gauss-Newton, Fisher scoring, and iteratively reweighted least squares
  4. Line search and trust regions
  5. Self-concordance and interior-point Newton methods

Proximal and splitting methods

  1. Proximal maps and Moreau envelopes
  2. Proximal gradient methods
  3. Splitting methods and ADMM
  4. Sparse optimization and coordinate-proximal methods
  5. Monotone operators and variational inequalities

Statistical and geometric optimization

  1. EM and MM algorithms
  2. Empirical risk and M-estimation objectives
  3. Natural gradient and information-geometric optimization
  4. Variational inference as optimization
  5. Optimization error and statistical error
  6. Entropic VI and mirror descent

Optimisation

A saddle surface with two minimax directions meeting at the saddle point.

Problèmes et géométrie convexe

  1. Problèmes d’optimisation et minima locaux
  2. Ensembles convexes et séparation
  3. Fonctions convexes et sous-différentiels
  4. Lissité, forte convexité et conditionnement
  5. Existence, coercivité et bornes d’erreur

Dualité et optimisation contrainte

  1. Multiplicateurs de Lagrange
  2. Conjuguées de Fenchel et dualité de Fenchel
  3. Conditions KKT
  4. Cônes normaux et optimalité projetée
  5. Points selle et formulations minimax

Méthodes du premier ordre

  1. Descente de gradient
  2. Méthodes de gradient accéléré
  3. Descente par coordonnées et méthodes par blocs
  4. Méthodes de gradient stochastique
  5. Descente miroir et géométrie de Bregman

Méthodes de Newton et du second ordre

  1. Méthode de Newton
  2. Méthodes quasi-Newton et sécantes
  3. Gauss-Newton, scoring de Fisher et moindres carrés pondérés itératifs
  4. Recherche linéaire et régions de confiance
  5. Auto-concordance et méthodes de point intérieur de Newton

Méthodes proximales et de décomposition

  1. Applications proximales et enveloppes de Moreau
  2. Méthodes de gradient proximal
  3. Méthodes de décomposition et ADMM
  4. Optimisation parcimonieuse et méthodes coordonnées-proximales
  5. Opérateurs monotones et inégalités variationnelles

Optimisation statistique et géométrique

  1. Algorithmes EM et MM
  2. Risque empirique et objectifs de M-estimation
  3. Gradient naturel et optimisation géométrique de l’information
  4. Inférence variationnelle comme optimisation
  5. Erreur d’optimisation et erreur statistique
  6. VI entropique et descente miroir

最优化

A saddle surface with two minimax directions meeting at the saddle point.

问题与凸几何

  1. 优化问题与局部极小
  2. 凸集与分离
  3. 凸函数与次微分
  4. 光滑性、强凸性与条件数
  5. 存在性、强制性与误差界

对偶与约束优化

  1. 拉格朗日乘子
  2. 芬赫尔共轭与芬赫尔对偶
  3. KKT 条件
  4. 法锥与投影最优性
  5. 鞍点与极小极大表述

一阶方法

  1. 梯度下降
  2. 加速梯度方法
  3. 坐标下降与分块方法
  4. 随机梯度方法
  5. 镜像下降与布雷格曼几何

牛顿与二阶方法

  1. 牛顿方法
  2. 拟牛顿与割线方法
  3. 高斯-牛顿、费雪评分与迭代加权最小二乘
  4. 线搜索与信赖域
  5. 自协调与内点牛顿方法

近端与分裂方法

  1. 近端映射与莫罗包络
  2. 近端梯度方法
  3. 分裂方法与 ADMM
  4. 稀疏优化与坐标近端方法
  5. 单调算子与变分不等式

统计与几何优化

  1. EM 与 MM 算法
  2. 经验风险与 M-估计目标
  3. 自然梯度与信息几何优化
  4. 作为优化的变分推断
  5. 优化误差与统计误差
  6. 熵正则 VI 与镜像下降