第1个回答 2022-06-21
现实情况中 我们可能会遇到这样的一些例子,需要得到一所高校有车学生的分布情况(假定符合参数为p的伯努利分布),某地区成年男性的身高分布情况(假定符合参数为u1,σ1的正态分布),南极洲成年帝企鹅的体重分布(假定符合参数为u2,σ2的正态分布)等等。
由于时间和经费的限制,不可能进行全面统计,我们只能通过一定的观察,得到一系列的观察值,在上述假定概率分布模型上,现在需要求出是哪个具体的概率分布生成了这些观察值。要解决这个问题,就需要用到参数估计方法,即估计出上述的参数p,(u,σ),而最大似然估计就是这样一种方法。
最大似然估计 是一个在已知观察结果(即样本)和给定概率分布模型的基础上,估计概率分布模型的参数,并使得在该参数下,生成这个已知样本的可能性最大的方法。
举第一个例子,设我们已经获得了一个样本集{X1,X2,…,Xn},其中Xi=0表示选取的学生没有车,Xi= 1表示选取的学生有车。 Xi服从概率为未知参数p的伯努利分布,那么根据伯努利分布的定义,每个Xi的概率质量函数为:
f(xi;p)=pxi(1−p)1−xi
其中Xi=0或1。 首先,要通过极大似然估计方法求出参数p,需要定义似然函数。前面提到,最大似然估计就是去找参数估计值,使得已经观察到的样本值发生概率最大。既然这些样本已经实现了,其发生概率最大才符合逻辑。这就是求所有观测值样本的联合概率最大化。因此,似然函数在形式上,其实就是样本的联合概率。对连续型随机变量和离散型随机变量,样本的似然函数分别是概率密度和概率质量函数的连乘形式。
对于本例,似然函数为:
L(p)=∏i=1nf(xi;p)=px1(1−p)1−x1×px2(1−p)1−x2×...×pxn(1−p)1−xn
将上式化简,我们得到:
L(p)=p∑xi(1−p)n−∑xi
在实际应用中,为了求解方便,一般使用似然函数的对数。
ln(L(p))=ln(p∑xi(1−p)n−∑xi)=(∑xi)ln(p)+(n−∑xi)ln(1−p)
我们知道,对数函数是单调递增的。这意味着使得ln(L(p))获得极大值的p也是使得L(p)获得极大值的p。下图为对数函数的图像。
利用一元函数求极大值的方法,对上式两边求p的导数,并令其等于0:
∂ln(L(p))∂p=∑xip−(n−∑xi)1−p≡0
两边乘以p(1-p),得到:
(∑xi)(1−p)−(n−∑xi)p=0
化简后:
∑xi−np=0
需要说明的是,这里的p实际上是我们估计的p,因此使用如下的符号:
p̂=∑xin=∑ni=1xin
假设我们随机观察了30个学生的样本,样本集为:
{0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0}
通过上述的极大似然估计方法,可以求出预估的参数为:
p̂=∑ni=1xin=530=0.167
再来看另一个例子:
假定该高校男生的体重呈均值为μ,标准差为σ的正态分布。我们获得了随机采样10个男学生的体重如下(单位:斤):
序号体重
1115
2122
3130
4127
5149
6160
7152
8138
9149
10180
正态分布的概率密度函数为:
f(xi;μ,σ2)=1σ2π‾‾‾√exp[−(xi−μ)22σ2]
根据上面的定义,似然函数是概率质量函数(离散随机变量)或概率密度函数(连续随机变量)的乘积,因此:
L(μ,σ)=1σn(2π‾‾‾√)nexp[−12σ2∑i=1n(xi−μ)2]
我们把上式的似然函数可以看作是参数θ1和θ2的函数,其中:
θ1=μ,θ2=σ2
因此,似然函数可以改写为:
L(θ1,θ2)=∏i=1nf(xi;θ1,θ2)=θ−n/22(2π)−n/2exp[−12θ2∑i=1n(xi−θ1)2]
而相应的对数似然函数则为:
logL(θ1,θ2)=−n2logθ2−n2log(2π)−∑ni=1(xi−θ1)22θ2
这是一个关于θ1和θ2的二元函数,根据二元函数求极值的方法,先求θ1的偏导数(partial derivative),然后设偏导数为0。我们得到:
∂logL(θ1,θ2)∂θ1=−2∑ni=1(xi−θ1)2θ2=0
∑i=1n(xi−θ1)=0
∑i=1nxi−nθ1=0
由此我们得到参数θ1的极大似然估计是:
θ1^=μ̂=∑ni=1xin=x¯
现在对θ2求偏导数(partial derivative),然后设偏导数为0。我们得到:
∂logL(θ1,θ2)∂θ2=−n2θ2+∑ni=1(xi−θ1)22θ22=0
两边同时乘以2θ22:
−nθ2+∑i=1n(xi−θ1)2=0
由此得到参数θ2的极大似然估计是:
θ2^=σ̂2=∑(xi−θ1)2n=∑(xi−x¯)2n
概括起来,我们已经求出了均值μ和方差σ2的最大似然估计:
μ̂=∑xin=x¯,σ̂2=∑(xi−x¯)2n
你发现没有,这实质上就是教科书中均值和方差的计算公式!
最后我们根据样本数据,计算μ和方差σ:
μ̂=∑xin=142.2,σ̂2=∑(xi−x¯)2n=18.654
于是,我们得到求极大似然估计的一般步骤:
- 根据设定概率模型,写出联合概率形式的似然函数
- 对似然函数取对数,并整理
- 求导数或偏导数,并赋值为0
- 求解方程
最后,谈谈“似然估计”的使用前提:
- 已经假定了概率模型,如二项分布,正态分布等;
- 已经有了一些观察结果的集合。