数理统计 (16) : 极大似然估计 - 下 - MLE 的渐近正态性

全文概述

本文探讨了极大似然估计（MLE）的渐近正态性，证明了在一定条件下，MLE是渐近有效的估计。通过分析似然方程解的性质，结合大样本理论和中心极限定理，推导出MLE的渐近分布，并讨论了单步MLE的优化方法。

MLE的渐近正态性

在一定的正则性条件下，MLE具有渐近正态性。具体来说，当样本量充分大时，MLE的分布接近于一个正态分布，其均值为真实参数值，协方差矩阵为Fisher信息矩阵的逆。这一结论基于Kolmogorov强大数律和中心极限定理。

正则性条件

为了保证MLE的渐近正态性，需要满足一系列正则性条件，包括似然函数对参数的二阶可微性、Fisher信息矩阵的存在性和正定性等。这些条件确保了似然方程解的稳定性和有效性。

单步MLE优化

通过Newton法进行一步迭代，可以从任意相合估计出发，得到一个渐近有效的估计。这种方法称为单步MLE，能够在保持计算效率的同时提升估计的精度。对于某些复杂分布，如Cauchy分布，单步MLE提供了一种有效的初始估计优化方案。

应用实例

以Bernoulli分布为例，展示了MLE的具体计算过程及其渐近正态性的验证。结果表明，样本均值作为MLE，在大样本下服从正态分布，与中心极限定理一致。此外，还讨论了Cauchy分布中使用样本分位数作为初始估计的情况。