Bayesian asymptotics and model uncertainty
This theme studies how Bayesian uncertainty should be understood when the posterior ranges over a large collection of candidate models. The central distinction is whether model uncertainty vanishes through consistent support recovery or remains structurally present because several supports encode nearly the same signal.
When support uncertainty disappears
For a sparse parameter \(\theta\) with support \(S\), a spike-and-slab posterior has both a discrete model component and a continuous within-model component,
\[ \Pi_\alpha(\mathrm{d}S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
Supportwise local asymptotic normality can approximate each continuous component, but a single Gaussian limit requires a separate recovery argument. The project on sparse GLM Bernstein-von Mises theory proves this two-stage result: a Gaussian mixture over candidate supports first emerges, and posterior selection then collapses it to the oracle component.
When support ambiguity is structural
Redundant predictors produce a different regime. Exact supports may remain unstable even when their fitted signals and predictions are almost indistinguishable. If \(P\) is the fitted model-averaged posterior and \(Q\) is a compressed report, the density ratio
\[ r=\frac{\mathrm{d}Q}{\mathrm{d}P} \]
turns the quality of the report into an auditable change-of-measure problem. The project on posterior compression under predictor redundancy constructs hard and soft regions of support space and controls total-variation, Kullback-Leibler, predictive, retained-mass, and fallback distortion without refitting the original posterior.
Selection and reporting answer different questions
The two projects delimit complementary forms of model uncertainty. Sparse Bernstein-von Mises theory asks when posterior mass concentrates on the true support strongly enough to justify oracle uncertainty quantification. Posterior compression starts where exact-support recovery is neither realistic nor scientifically necessary and asks which coarser inferential objects remain stable. Together they separate uncertainty that should disappear asymptotically from ambiguity that should instead be represented faithfully.
High-dimensional geometry behind the posterior
Both projects depend on effective dimension rather than ambient dimension: sparse likelihood curvature, support complexity, beta-min separation, and equivalence induced by correlated predictors. These geometric ingredients connect directly to high-dimensional and structured inference.
Mathematical foundations
The general theory is developed in the notes on Bayesian statistics, especially posterior contraction, local asymptotic normality, Laplace approximation, Bernstein-von Mises theorems, sparse priors, and Bayesian model averaging. Related change-of-measure and divergence arguments appear in information geometry and statistical learning.
Asymptotique bayésienne et incertitude sur les modèles
Ce thème étudie l'interprétation de l'incertitude bayésienne lorsque la loi a posteriori parcourt une vaste collection de modèles candidats. La distinction centrale est de savoir si l'incertitude sur le modèle disparaît par récupération consistante du support ou si elle demeure structurelle parce que plusieurs supports représentent presque le même signal.
Lorsque l'incertitude sur le support disparaît
Pour un paramètre parcimonieux \(\theta\) de support \(S\), une loi a posteriori spike-and-slab possède à la fois une composante discrète sur les modèles et une composante continue conditionnelle au modèle,
\[ \Pi_\alpha(\mathrm{d}S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
La normalité locale asymptotique par support approche chaque composante continue, mais une limite gaussienne unique exige un argument distinct de récupération. Le projet sur la théorie de Bernstein-von Mises pour les GLM parcimonieux établit ce résultat en deux étapes: un mélange gaussien apparaît d'abord sur les supports candidats, puis la sélection a posteriori le réduit à la composante oracle.
Lorsque l'ambiguïté entre supports est structurelle
Les prédicteurs redondants conduisent à un autre régime. Les supports exacts peuvent rester instables alors que leurs signaux ajustés et leurs prédictions sont presque indiscernables. Si \(P\) est la loi a posteriori obtenue par moyenne de modèles et \(Q\) sa représentation comprimée, le rapport
\[ r=\frac{\mathrm{d}Q}{\mathrm{d}P} \]
transforme l'évaluation du résumé en un problème contrôlable de changement de mesure. Le projet sur la compression a posteriori sous redondance des prédicteurs construit des régions dures ou souples dans l'espace des supports et contrôle les distorsions en variation totale, de Kullback-Leibler, prédictives, de masse retenue et de repli, sans réajuster la loi initiale.
La sélection et la représentation répondent à des questions distinctes
Les deux projets décrivent des formes complémentaires d'incertitude sur les modèles. La théorie de Bernstein-von Mises parcimonieuse demande quand la masse a posteriori se concentre assez fortement sur le vrai support pour justifier une quantification oracle. La compression commence lorsque la récupération exacte n'est ni réaliste ni scientifiquement nécessaire et recherche des objets inférentiels plus grossiers mais stables.
Géométrie en grande dimension de la loi a posteriori
Les deux projets reposent sur la dimension effective plutôt que sur la dimension ambiante: courbure parcimonieuse de la vraisemblance, complexité des supports, séparation beta-min et équivalence induite par des prédicteurs corrélés. Ces éléments les relient directement à l'inférence structurée en grande dimension.
Fondements mathématiques
La théorie générale est développée dans les notes de statistique bayésienne, notamment la contraction a posteriori, la normalité locale asymptotique, l'approximation de Laplace, les théorèmes de Bernstein-von Mises, les priors parcimonieux et la moyenne bayésienne de modèles. Les arguments de changement de mesure et de divergence apparaissent aussi en géométrie de l'information et en apprentissage statistique.
贝叶斯渐近理论与模型不确定性
这一方向研究当后验分布遍历大量候选模型时，应当如何理解贝叶斯不确定性。核心区别在于：模型不确定性是否会因支持集的相合恢复而消失，还是会因为多个支持集表达近乎相同的信号而具有结构性、无法消除。
支持集不确定性何时消失
对于支持集为 \(S\) 的稀疏参数 \(\theta\)，尖峰-厚尾后验同时包含模型上的离散部分和给定模型后的连续部分：
\[ \Pi_\alpha(\mathrm{d}S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
逐支持集的局部渐近正态性可以逼近每个连续分量，但要得到单一高斯极限，还必须另行证明支持集恢复。稀疏广义线性模型的 Bernstein-von Mises 理论正是一个两阶段结果：首先在候选支持集上得到高斯混合，随后由后验选择使其收缩为 oracle 分量。
支持集歧义何时具有结构性
冗余预测变量产生另一种情形：精确支持集可能持续不稳定，但它们拟合的信号和预测几乎不可区分。若 \(P\) 是已经拟合的模型平均后验，\(Q\) 是压缩后的表述，则密度比
\[ r=\frac{\mathrm{d}Q}{\mathrm{d}P} \]
把表述质量转化为可审计的测度变换问题。预测变量冗余下的后验压缩在支持空间中构造硬区域与软区域，并在不重新拟合原后验的前提下，控制总变差、Kullback-Leibler 散度、预测泛函、保留质量与回退权重的失真。
模型选择与后验表述回答不同问题
两项工作刻画了互补的模型不确定性。稀疏 Bernstein-von Mises 理论研究后验质量何时足够集中于真实支持集，从而允许 oracle 不确定性量化；后验压缩则从精确支持集恢复既不现实也非科学目标的情形出发，寻找更粗但稳定的推断对象。前者识别应当渐近消失的不确定性，后者忠实表达应当保留的歧义。
后验背后的高维几何
两项工作都取决于有效维数而非环境维数：稀疏似然曲率、支持集复杂度、beta-min 分离条件以及相关预测变量诱导的等价关系。这些几何要素与高维与结构化推断直接相连。
数学基础
一般理论整理在贝叶斯统计笔记中，包括后验收缩、局部渐近正态性、Laplace 近似、Bernstein-von Mises 定理、稀疏先验与贝叶斯模型平均。相关测度变换与散度论证也见于信息几何和统计学习笔记。