Sparse GLM Bernstein-von Mises theory
The classical Bernstein-von Mises theorem is a fixed-dimensional result. In a sparse generalized linear model, the posterior must also decide which coordinates or groups are active, and its local geometry can differ from one candidate support to another. This project separates those two tasks: first approximate the posterior within every relevant support, then prove that model uncertainty disappears strongly enough for the mixture to collapse to the oracle Gaussian law.
Sparse generalized linear models and support uncertainty
Write \(\theta=(\theta_1,\ldots,\theta_p)\), let \(S(\theta)=\{j:\theta_j\ne0\}\), and denote the support-specific log-likelihood by
\[ \ell_{n,S}(\theta_S)=\sum_{i=1}^n \ell_i(\theta_S;Y_i,X_i). \]
The support \(S\) may index individual variables or prespecified groups. A spike-and-slab prior assigns mass \(\pi(S)\) to the support and a continuous slab density \(g_S\) to the active coefficients. For \(0<\alpha<1\), the fractional posterior is
\[ \Pi_\alpha(S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
Fractional likelihood tempering makes it possible to obtain a general oracle theorem under supportwise likelihood assumptions. It does not remove the need to control prior mass, model complexity, misspecified candidate supports, or separation from the true sparse model.
Sparse local asymptotic normality
For each support retained by the posterior, let \(\theta_S^\star\) be its support-specific pseudo-true center and let \(I_S\) be the corresponding local information matrix. The central expansion has the form
\[ \ell_{n,S}\!\left(\theta_S^\star+\frac{h}{\sqrt n}\right) -\ell_{n,S}(\theta_S^\star) = h^\top\Delta_{n,S} -\frac12 h^\top I_Sh +r_{n,S}(h). \]
The difficult point is uniformity: the remainder \(r_{n,S}(h)\) must be negligible over the posterior-relevant supports and over local sets large enough to contain their mass. Sparse score concentration, restricted curvature, and control of the maximal admissible support size are therefore part of the asymptotic-normality argument, not separate decorations.
Supportwise Laplace approximation and the Gaussian mixture
After contraction localizes the posterior and the prior is shown to vary slowly on the local scale, completing the quadratic expansion gives a support-conditional Gaussian approximation. Schematically,
\[ \Pi_\alpha(\mathrm{d}\theta\mid Y^{(n)}) \approx \sum_{S} w_{n,S}\, N_S\!\left(\widehat\theta_S,\, (\alpha n I_S)^{-1}\right)(\mathrm{d}\theta), \]
where \(w_{n,S}=\Pi_\alpha(S\mid Y^{(n)})\), \(N_S\) is embedded in \(\mathbb R^p\) by setting inactive coordinates to zero, and \(\widehat\theta_S\) is the supportwise local center. This mixture is the correct intermediate limit: Gaussianity within a support does not by itself justify replacing model uncertainty by one normal distribution.
Recovery geometry and oracle collapse
Support penalization controls models that are too large. A fixed-prior mass condition prevents the true support from receiving exponentially negligible prior weight. Recovery geometry controls supports that approximate the signal using the wrong coordinates, while a beta-min condition separates omitted active effects from stochastic fluctuations. Under the conditions stated in the paper, these ingredients imply
\[ \Pi_\alpha(S=S_0\mid Y^{(n)})\longrightarrow 1, \]
and hence the Gaussian mixture collapses in total variation to the component on the true support \(S_0\). The word oracle is literal here: asymptotically, the posterior has the same first-order Gaussian form it would have if \(S_0\) had been supplied in advance.
Model-entry verification and limits of the theorem
The abstract theory is verified for Gaussian, logistic, Poisson, probit, Gamma log-link, and negative-binomial log-link regression under model-specific sufficient conditions. These checks identify where score moments, local curvature, and likelihood remainders enter. The ordinary posterior \((\alpha=1)\) is not asserted in the same generality; it is treated through restricted Gaussian and canonical-link extensions. Frequentist coverage also requires additional active-dimension and moment conditions.
Paper. Hanqing Li and Xuewen Lu, “Bernstein-von Mises theorem for sparse generalized linear models”, arXiv:2605.27137, 2026.
Background. Sparse BvM and high-dimensional posterior normality, local asymptotic normality and Laplace approximation, and high-dimensional sparsity.
Théorie de Bernstein-von Mises pour les GLM parcimonieux
Le théorème classique de Bernstein-von Mises est un résultat de dimension fixe. Dans un modèle linéaire généralisé parcimonieux, la loi a posteriori doit aussi déterminer quelles coordonnées ou quels groupes sont actifs, et sa géométrie locale peut varier avec le support candidat. Ce projet sépare les deux tâches: approcher d'abord la loi a posteriori dans chaque support pertinent, puis montrer que l'incertitude de modèle disparaît assez fortement pour que le mélange se réduise à la loi gaussienne oracle.
Modèles linéaires généralisés parcimonieux et incertitude sur le support
Écrivons \(\theta=(\theta_1,\ldots,\theta_p)\), \(S(\theta)=\{j:\theta_j\ne0\}\), et notons
\[ \ell_{n,S}(\theta_S)=\sum_{i=1}^n \ell_i(\theta_S;Y_i,X_i) \]
la log-vraisemblance sur le support \(S\). Celui-ci peut indexer des variables individuelles ou des groupes fixés à l'avance. Un prior spike-and-slab attribue une masse \(\pi(S)\) au support et une densité de slab continue \(g_S\) aux coefficients actifs. Pour \(0<\alpha<1\), la loi a posteriori fractionnaire est
\[ \Pi_\alpha(S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
La puissance fractionnaire permet d'obtenir un théorème oracle général sous des hypothèses de vraisemblance conditionnelles au support. Elle ne dispense pas de contrôler la masse du prior, la complexité des modèles, les supports candidats mal spécifiés et la séparation du vrai modèle parcimonieux.
Normalité locale asymptotique parcimonieuse
Pour chaque support pertinent a posteriori, soit \(\theta_S^\star\) son centre pseudo-vrai et \(I_S\) sa matrice d'information locale. L'expansion centrale s'écrit
\[ \ell_{n,S}\!\left(\theta_S^\star+\frac{h}{\sqrt n}\right) -\ell_{n,S}(\theta_S^\star) = h^\top\Delta_{n,S} -\frac12 h^\top I_Sh +r_{n,S}(h). \]
La difficulté réside dans l'uniformité: le reste \(r_{n,S}(h)\) doit être négligeable simultanément sur les supports pertinents et sur des voisinages locaux contenant leur masse. La concentration parcimonieuse du score, la courbure restreinte et le contrôle de la taille maximale des supports font donc partie intégrante de l'argument.
Approximation de Laplace par support et mélange gaussien
Après localisation par contraction et contrôle de la variation locale du prior, l'expansion quadratique donne, de façon schématique,
\[ \Pi_\alpha(\mathrm{d}\theta\mid Y^{(n)}) \approx \sum_{S} w_{n,S}\, N_S\!\left(\widehat\theta_S,\, (\alpha n I_S)^{-1}\right)(\mathrm{d}\theta), \]
où \(w_{n,S}=\Pi_\alpha(S\mid Y^{(n)})\) et où \(N_S\) est plongée dans \(\mathbb R^p\) en annulant les coordonnées inactives. Ce mélange est la bonne limite intermédiaire: une approximation gaussienne dans chaque support n'autorise pas encore à remplacer l'incertitude de modèle par une seule loi normale.
Géométrie de récupération et réduction oracle
La pénalisation des supports contrôle les modèles trop grands. Une condition de masse fixe du prior empêche le vrai support de recevoir un poids exponentiellement petit. La géométrie de récupération traite les supports qui imitent le signal avec de mauvaises coordonnées, tandis qu'une condition beta-min sépare les effets actifs omis des fluctuations aléatoires. Sous les conditions de l'article,
\[ \Pi_\alpha(S=S_0\mid Y^{(n)})\longrightarrow 1, \]
et le mélange gaussien converge en variation totale vers la composante associée au vrai support \(S_0\). Le qualificatif oracle signifie que la forme gaussienne de premier ordre est celle que l'on obtiendrait si \(S_0\) était connu à l'avance.
Vérification par modèle et portée du résultat
La théorie abstraite est vérifiée pour les régressions gaussienne, logistique, de Poisson, probit, Gamma avec lien logarithmique et binomiale négative avec lien logarithmique, sous des conditions suffisantes propres à chaque modèle. Le résultat pour la loi a posteriori ordinaire \((\alpha=1)\) n'est pas affirmé avec la même généralité; il est obtenu dans des extensions restreintes gaussiennes et à lien canonique. La couverture fréquentiste exige en outre des conditions sur la dimension active et les moments.
Article. Hanqing Li et Xuewen Lu, “Bernstein-von Mises theorem for sparse generalized linear models”, arXiv:2605.27137, 2026.
Fondements. BvM parcimonieux et normalité a posteriori en grande dimension, normalité locale asymptotique et approximation de Laplace, et parcimonie en grande dimension.
稀疏广义线性模型的 Bernstein-von Mises 理论
经典 Bernstein-von Mises 定理是固定维数下的结论。在稀疏广义线性模型中，后验还必须判断哪些坐标或分组是活跃的，而且不同候选支持集具有不同的局部几何。本项目将两项任务分开：先在每个相关支持集内近似后验，再证明模型不确定性消失得足够快，从而使高斯混合收缩为 oracle 高斯分布。
稀疏广义线性模型与支持集不确定性
记 \(\theta=(\theta_1,\ldots,\theta_p)\)、\(S(\theta)=\{j:\theta_j\ne0\}\)，并将支持集 \(S\) 上的对数似然写为
\[ \ell_{n,S}(\theta_S)=\sum_{i=1}^n \ell_i(\theta_S;Y_i,X_i). \]
\(S\) 可以标记单个变量，也可以标记预先给定的变量组。尖峰-厚尾先验给支持集赋予质量 \(\pi(S)\)，并在活跃系数上给出连续厚尾密度 \(g_S\)。对于 \(0<\alpha<1\)，分数后验为
\[ \Pi_\alpha(S,\mathrm{d}\theta_S\mid Y^{(n)}) \propto \pi(S)g_S(\theta_S) \exp\{\alpha\ell_{n,S}(\theta_S)\}\,\mathrm{d}\theta_S . \]
分数似然使我们能够在逐支持集的似然条件下建立一般的 oracle 定理，但它并不会免除对先验质量、模型复杂度、错误候选支持集以及真实稀疏模型可分离性的控制。
稀疏局部渐近正态性
对每个具有相关后验质量的支持集，令 \(\theta_S^\star\) 为逐支持集的伪真中心，\(I_S\) 为相应的局部信息矩阵。核心展开具有如下形式：
\[ \ell_{n,S}\!\left(\theta_S^\star+\frac{h}{\sqrt n}\right) -\ell_{n,S}(\theta_S^\star) = h^\top\Delta_{n,S} -\frac12 h^\top I_Sh +r_{n,S}(h). \]
真正困难的是一致性：余项 \(r_{n,S}(h)\) 必须在所有后验相关支持集上，并在足以容纳其后验质量的局部集合上一致可忽略。因此，稀疏分数的集中、受限曲率以及最大允许支持集大小的控制，都是渐近正态性论证本身的组成部分。
逐支持集 Laplace 近似与高斯混合
后验收缩完成局部化，并证明先验在局部尺度上变化缓慢以后，二次展开给出如下示意性的逐支持集高斯近似：
\[ \Pi_\alpha(\mathrm{d}\theta\mid Y^{(n)}) \approx \sum_{S} w_{n,S}\, N_S\!\left(\widehat\theta_S,\, (\alpha n I_S)^{-1}\right)(\mathrm{d}\theta), \]
其中 \(w_{n,S}=\Pi_\alpha(S\mid Y^{(n)})\)，\(N_S\) 通过将非活跃坐标置零嵌入 \(\mathbb R^p\)，\(\widehat\theta_S\) 是支持集内的局部中心。这个混合才是正确的中间极限：每个支持集内的高斯性并不足以将模型不确定性替换为一个正态分布。
恢复几何与 oracle 收缩
支持集惩罚控制过大的模型；固定先验质量条件防止真实支持集获得指数级微小的先验权重；恢复几何控制使用错误坐标近似信号的支持集；beta-min 条件则将遗漏的活跃效应与随机波动分离。在论文给出的条件下，
\[ \Pi_\alpha(S=S_0\mid Y^{(n)})\longrightarrow 1, \]
因此，高斯混合在总变差距离下收缩为真实支持集 \(S_0\) 上的分量。这里的 oracle 是严格意义上的：后验的一阶高斯形式，与事先已知 \(S_0\) 时得到的形式相同。
逐模型验证与定理的适用范围
论文分别在高斯、Logistic、Poisson、Probit、Gamma 对数连接以及负二项对数连接回归中验证抽象理论，并明确分数矩、局部曲率与似然余项分别在何处起作用。普通后验 \((\alpha=1)\) 并未在同等一般性下被宣称成立，而只在受限的高斯与典范连接扩展中处理。频率学派覆盖性质还需要额外的活跃维数与矩条件。
论文。 Hanqing Li 与 Xuewen Lu，“Bernstein-von Mises theorem for sparse generalized linear models”，arXiv:2605.27137，2026。
数学背景。 稀疏 BvM 与高维后验正态性、局部渐近正态性与 Laplace 近似以及高维稀疏性。