深入理解贝叶斯估计：评价与构造
在统计学的探索中，我们引入了一种全新的评估估计质量的视角，即贝叶斯估计。它不仅是评价标准的革新，也催生了一类独特且实用的估计方法。让我们一起揭开其神秘面纱。
传统的评价体系基于风险函数，但无法直接找到一致最小的风险估计。贝叶斯估计则另辟蹊径，引入了先验概率的概念。定义一个估计 ^θ，其方差扩展为损失函数 L(θ, ^θ) 的期望，我们得到风险函数 R(θ, ^θ)。若设定 R(θ, ^θ) = Var(θ)，则它简化为上一章的方差。
为了找到一个有实际意义的评价标准，我们转而寻求一致方差最小的无偏估计。在贝叶斯估计中，我们考虑先验分布 π(θ)，对风险函数 R(θ, ^θ) 求 θ 的期望，得出贝叶斯风险 B Risk(^θ)。显然，存在一个 ^θ*，使得 B Risk(^θ*) 达到最小，这就是贝叶斯估计的核心理念。
不同的损失函数对应着独特的贝叶斯估计。以平方损失为例，给定先验 π(θ)，贝叶斯估计就是后验分布 π(θ|D) 的均值。在绝对值损失下，贝叶斯估计则是后验分布的中位数。而在0-1损失函数中，当数据稀疏时，最大后验估计成为最优选择。
特别值得一提的是线性最小均方误差估计（LMMSE），它在众多领域大放异彩，如信号处理、时间序列分析。这种估计形式限定了 ^θ 为样本的线性组合，通过最小化贝叶斯风险，LMMSE 成为了一个重要的技术分支。它的广泛应用和高效性，使得它在工程实践中有不可替代的地位。
选择平方损失，我们求得LMMSE的贝叶斯风险，通过导数优化，可以得到最优权重，揭示出LMMSE仅依赖于样本和参数的二阶统计特性。从更高级的视角看，LMMSE等同于在希尔伯特空间中找到参数的正交投影，这为理解其背后的数学原理提供了另一维度的洞察。