Hanqing Li Hanqing Li 李汉青

Statistical learning

Two data classes separated by a nonlinear decision margin.

Risk, empirical risk, and complexity

  1. Supervised learning setup
  2. Bayes rules and excess risk
  3. Empirical risk minimization
  4. Concentration inequalities
  5. Bias, variance, and approximation

Uniform convergence and margins

  1. VC dimension
  2. Rademacher complexity
  3. Covering numbers and entropy
  4. Margins in classification
  5. Surrogate losses and calibration

Regularization and kernels

  1. Regularization
  2. Kernel methods and RKHS
  3. Support vector machines
  4. High-dimensional sparsity
  5. Model selection and aggregation

Model selection and modern interfaces

  1. Stability and generalization
  2. Boosting
  3. Deep learning theory interfaces
  4. Distribution shift and domain adaptation
  5. PAC-Bayes bounds

High-dimensional inference refinements

  1. Compatibility, irrepresentability, and support recovery
  2. Nonconvex sparse penalties
  3. Minimax rates and oracle inequalities

Apprentissage statistique

Two data classes separated by a nonlinear decision margin.

Risque, risque empirique et complexité

  1. Cadre de l’apprentissage supervisé
  2. Règles de Bayes et risque excédentaire
  3. Minimisation du risque empirique
  4. Inégalités de concentration
  5. Biais, variance et approximation

Convergence uniforme et marges

  1. Dimension VC
  2. Complexité de Rademacher
  3. Nombres de recouvrement et entropie
  4. Marges en classification
  5. Pertes de substitution et calibration

Régularisation et noyaux

  1. Régularisation
  2. Méthodes à noyaux et RKHS
  3. Machines à vecteurs de support
  4. Parcimonie en grande dimension
  5. Sélection de modèles et agrégation

Sélection de modèles et interfaces modernes

  1. Stabilité et généralisation
  2. Boosting
  3. Interfaces théoriques de l’apprentissage profond
  4. Décalage de distribution et adaptation de domaine
  5. Bornes PAC-Bayes

Raffinements pour la grande dimension

  1. Compatibilité, irrepresentability et récupération du support
  2. Pénalités parcimonieuses non convexes
  3. Vitesses minimax et inégalités oracle

统计学习

Two data classes separated by a nonlinear decision margin.

风险、经验风险与复杂度

  1. 监督学习设定
  2. 贝叶斯规则与超额风险
  3. 经验风险最小化
  4. 集中不等式
  5. 偏差、方差与逼近

一致收敛与间隔

  1. VC 维
  2. 拉德马赫复杂度
  3. 覆盖数与熵
  4. 分类中的间隔
  5. 替代损失与校准

正则化与核方法

  1. 正则化
  2. 核方法与 RKHS
  3. 支持向量机
  4. 高维稀疏性
  5. 模型选择与聚合

模型选择与现代表述

  1. 稳定性与泛化
  2. Boosting
  3. 深度学习理论接口
  4. 分布偏移与领域适应
  5. PAC-贝叶斯界

高维推断细化

  1. 相容性、不可表示条件与支持恢复
  2. 非凸稀疏惩罚
  3. Minimax 速率与 oracle 不等式