Hanqing Li Hanqing Li 李汉青

Information theory

Probability mass passing through a channel into a typical region.

Information measures and inequalities

  1. Entropy and conditional entropy
  2. Relative entropy and the log-sum inequality
  3. Mutual information and conditional mutual information
  4. Data processing and sufficiency
  5. Fano inequality and inverse information bounds
  6. Variational formulas for information

Asymptotic structure

  1. Asymptotic equipartition property
  2. Entropy rates of stochastic processes
  3. Method of types
  4. Sanov theorem and information projections
  5. Information spectrum

Lossless representation

  1. Prefix codes and Kraft-McMillan inequality
  2. Lossless source coding theorem
  3. Redundancy and mismatched coding
  4. Universal source coding and minimax redundancy
  5. Kolmogorov complexity and algorithmic information

Reliable transmission

  1. Channels as stochastic kernels and capacity
  2. Channel coding theorem: achievability
  3. Channel coding theorem: converse
  4. Strong converses and error exponents
  5. Continuous alphabets and differential entropy
  6. Gaussian extremality and Gaussian channels

Distortion and approximation

  1. Rate-distortion function
  2. Rate-distortion theorem
  3. Variational characterization of rate distortion
  4. Source-channel separation

Inequalities, statistics, and synthesis

  1. Entropy power inequality
  2. Entropy and Fisher information
  3. Information in hypothesis testing
  4. Information, estimation, and statistical experiments

Théorie de l'information

Probability mass passing through a channel into a typical region.

Mesures d'information et inégalités

  1. Entropie et entropie conditionnelle
  2. Entropie relative et inégalité log-sum
  3. Information mutuelle et information mutuelle conditionnelle
  4. Traitement des données et suffisance
  5. Inégalité de Fano et bornes inverses d'information
  6. Formules variationnelles pour l'information

Structure asymptotique

  1. Propriété asymptotique d'équipartition
  2. Taux d'entropie des processus stochastiques
  3. Méthode des types
  4. Théorème de Sanov et projections d'information
  5. Spectre d'information

Représentation sans perte

  1. Codes préfixes et inégalité de Kraft-McMillan
  2. Théorème de codage de source sans perte
  3. Redondance et codage mal spécifié
  4. Codage universel de source et redondance minimax
  5. Complexité de Kolmogorov et information algorithmique

Transmission fiable

  1. Canaux comme noyaux stochastiques et capacité
  2. Théorème de codage de canal: atteignabilité
  3. Théorème de codage de canal: réciproque
  4. Réciproques fortes et exposants d'erreur
  5. Alphabets continus et entropie différentielle
  6. Extrémalité gaussienne et canaux gaussiens

Distorsion et approximation

  1. Fonction taux-distorsion
  2. Théorème taux-distorsion
  3. Caractérisation variationnelle du taux-distorsion
  4. Séparation source-canal

Inégalités, statistique et synthèse

  1. Inégalité de puissance entropique
  2. Entropie et information de Fisher
  3. Information dans les tests d'hypothèses
  4. Information, estimation et expériences statistiques

信息论

Probability mass passing through a channel into a typical region.

信息度量与不等式

  1. 熵与条件熵
  2. 相对熵与 log-sum 不等式
  3. 互信息与条件互信息
  4. 数据处理与充分性
  5. Fano 不等式与反向信息界
  6. 信息的变分公式

渐近结构

  1. 渐近等分性
  2. 随机过程的熵率
  3. 类型方法
  4. Sanov 定理与信息投影
  5. 信息谱

无损表示

  1. 前缀码与 Kraft-McMillan 不等式
  2. 无损信源编码定理
  3. 冗余与错配编码
  4. 通用信源编码与极小极大冗余
  5. 柯尔莫哥洛夫复杂度与算法信息

可靠传输

  1. 作为随机核的信道与容量
  2. 信道编码定理：可达性
  3. 信道编码定理：逆定理
  4. 强逆定理与误差指数
  5. 连续字母表与微分熵
  6. 高斯极值性与高斯信道

失真与近似

  1. 率失真函数
  2. 率失真定理
  3. 率失真的变分刻画
  4. 信源-信道分离

不等式、统计与综合

  1. 熵功率不等式
  2. 熵与费雪信息
  3. 假设检验中的信息
  4. 信息、估计与统计实验