第1个回答 2022-06-21
现实情况中 我们可能会遇到这样的一些例子，需要得到一所高校有车学生的分布情况（假定符合参数为p的伯努利分布），某地区成年男性的身高分布情况（假定符合参数为u1，σ1的正态分布），南极洲成年帝企鹅的体重分布（假定符合参数为u2，σ2的正态分布）等等。
由于时间和经费的限制，不可能进行全面统计，我们只能通过一定的观察，得到一系列的观察值，在上述假定概率分布模型上，现在需要求出是哪个具体的概率分布生成了这些观察值。要解决这个问题，就需要用到参数估计方法，即估计出上述的参数p，（u，σ），而最大似然估计就是这样一种方法。
最大似然估计 是一个在已知观察结果（即样本）和给定概率分布模型的基础上，估计概率分布模型的参数，并使得在该参数下，生成这个已知样本的可能性最大的方法。
举第一个例子，设我们已经获得了一个样本集{X1,X2,…,Xn}，其中Xi=0表示选取的学生没有车，Xi= 1表示选取的学生有车。 Xi服从概率为未知参数p的伯努利分布，那么根据伯努利分布的定义，每个Xi的概率质量函数为：
f(xi;p)=pxi(1−p)1−xi
其中Xi=0或1。 首先，要通过极大似然估计方法求出参数p，需要定义似然函数。前面提到，最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大。既然这些样本已经实现了，其发生概率最大才符合逻辑。这就是求所有观测值样本的联合概率最大化。因此，似然函数在形式上，其实就是样本的联合概率。对连续型随机变量和离散型随机变量，样本的似然函数分别是概率密度和概率质量函数的连乘形式。
对于本例，似然函数为：
L(p)=∏i=1nf(xi;p)=px1(1−p)1−x1×px2(1−p)1−x2×...×pxn(1−p)1−xn
将上式化简，我们得到：
L(p)=p∑xi(1−p)n−∑xi
在实际应用中，为了求解方便，一般使用似然函数的对数。
ln(L(p))=ln(p∑xi(1−p)n−∑xi)=(∑xi)ln(p)+(n−∑xi)ln(1−p)
我们知道，对数函数是单调递增的。这意味着使得ln(L(p))获得极大值的p也是使得L(p)获得极大值的p。下图为对数函数的图像。
利用一元函数求极大值的方法，对上式两边求p的导数，并令其等于0：
∂ln(L(p))∂p=∑xip−(n−∑xi)1−p≡0
两边乘以p(1-p)，得到：
(∑xi)(1−p)−(n−∑xi)p=0
化简后：
∑xi−np=0
需要说明的是，这里的p实际上是我们估计的p，因此使用如下的符号：
p̂=∑xin=∑ni=1xin
假设我们随机观察了30个学生的样本，样本集为：
{0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0}
通过上述的极大似然估计方法，可以求出预估的参数为：
p̂=∑ni=1xin=530=0.167
再来看另一个例子：
假定该高校男生的体重呈均值为μ，标准差为σ的正态分布。我们获得了随机采样10个男学生的体重如下（单位：斤）：
序号体重
1115
2122
3130
4127
5149
6160
7152
8138
9149
10180
正态分布的概率密度函数为：
f(xi;μ,σ2)=1σ2π‾‾‾√exp[−(xi−μ)22σ2]
根据上面的定义，似然函数是概率质量函数（离散随机变量）或概率密度函数（连续随机变量）的乘积，因此：
L(μ,σ)=1σn(2π‾‾‾√)nexp[−12σ2∑i=1n(xi−μ)2]
我们把上式的似然函数可以看作是参数θ1和θ2的函数，其中：
θ1=μ,θ2=σ2
因此，似然函数可以改写为：
L(θ1,θ2)=∏i=1nf(xi;θ1,θ2)=θ−n/22(2π)−n/2exp[−12θ2∑i=1n(xi−θ1)2]
而相应的对数似然函数则为：
logL(θ1,θ2)=−n2logθ2−n2log(2π)−∑ni=1(xi−θ1)22θ2
这是一个关于θ1和θ2的二元函数，根据二元函数求极值的方法，先求θ1的偏导数（partial derivative），然后设偏导数为0。我们得到：
∂logL(θ1,θ2)∂θ1=−2∑ni=1(xi−θ1)2θ2=0
∑i=1n(xi−θ1)=0
∑i=1nxi−nθ1=0
由此我们得到参数θ1的极大似然估计是：
θ1^=μ̂=∑ni=1xin=x¯
现在对θ2求偏导数（partial derivative），然后设偏导数为0。我们得到：
∂logL(θ1,θ2)∂θ2=−n2θ2+∑ni=1(xi−θ1)22θ22=0
两边同时乘以2θ22：
−nθ2+∑i=1n(xi−θ1)2=0
由此得到参数θ2的极大似然估计是：
θ2^=σ̂2=∑(xi−θ1)2n=∑(xi−x¯)2n
概括起来，我们已经求出了均值μ和方差σ2的最大似然估计：
μ̂=∑xin=x¯,σ̂2=∑(xi−x¯)2n
你发现没有，这实质上就是教科书中均值和方差的计算公式！
最后我们根据样本数据，计算μ和方差σ：
μ̂=∑xin=142.2,σ̂2=∑(xi−x¯)2n=18.654
于是，我们得到求极大似然估计的一般步骤：
- 根据设定概率模型，写出联合概率形式的似然函数
- 对似然函数取对数，并整理
- 求导数或偏导数，并赋值为0
- 求解方程
最后，谈谈“似然估计”的使用前提：
- 已经假定了概率模型，如二项分布，正态分布等；
- 已经有了一些观察结果的集合。