2.3 四种基本参数估计方法
代价函数
不同，平均代价
最小获得的估计也就不同，为此，对应有下列四种基本的参数估计方法，即最大后验估计（MAP）、最大似然估计（ML）、最小均方误差估计（MMSE）和最小二乘估计（LS），根据待估计参数是否看作是随机变量又分为以下两种模型：
（1）非随机模型：待估计参数看作是非随机变量，其有一个未知的真实值x0，该类参数常用的估计方法为非贝叶斯方法，包括最大似然估计（ML）、最小二乘估计（LS）；
（2）随机模型：待估计参数看作是非随机变量，且其先验概率密度函数为p（x），该类参数常用的估计方法为贝叶斯方法，包括最大后验估计（MAP）、最小均方误差估计（MMSE）。
1.最大后验估计
将均匀代价函数代入条件平均代价函数的表达式中可得
要使
达到极小，就要使等式右边积分项达到最大，当Δ→0时，使积分项达到最大又等价于选择
使后验概率密度p（x|z）达到最大，因此可以等价地使后验概率密度函数p（x|z）达到最大作为估计准则，称为最大后验估计。
如果把待估计的时常参数看作随机变量，则利用随机参数x的先验概率密度函数p（x），由贝叶斯准则
可求得其后验概率密度函数，使后验概率密度函数达到最大的x值称为参数x的最大后验估计（MAP），即
意义：在给定量测Zk的条件下，参数x落在最大后验估计
某个邻域内的概率要比落在其他任何值相同邻域内的概率要大，如图2.6所示。
图2.6 后验概率密度函数图
最大后验估计需要知道被估计参数x的先验分布p（x），当p（x）未知或被估计参数x为非随机参量时，此时无法获得最大后验估计，上述方程退化为最大似然估计。
2.最大似然估计
使似然函数p（Zk|x）达到最大的x值称为参数x的最大似然（ML）估计，即
意义：当
时，输入累积量测集合Zk的出现概率达到最大，而现在观测到输入量测集合Zk，则可判断这些观测量是由使它最可能出现的那个参量
引起的。
由于最大似然估计没有充分利用待估计参量的先验知识，所以其估计性能一般来说要比最大后验估计差。但最大似然估计可以简便地实现复杂估计问题的求解，如果待估计参量的先验概率密度无法获得，或者计算待估参量后验概率密度比计算似然函数要困难得多时，该情况下最大似然估计仍不失为一种性能优良的、实用的估计方法[7，8]。当观测数据足够多时，最大似然估计的性能也是非常好的，因此最大似然估计在实际中也得到了广泛的应用[9]。
例2.1 设观测数据为
z=x+w
式中，x为待估计的参数，w为量测噪声，且w～N（0，σ2），参数x与噪声w是不相关的。问：①当参数x为未知常数时，求它的最大似然估计；②当参数x具有单边指数先验概率密度函数，即p（x）=ae-ax，x≥0，求它的最大后验估计。
解：①参数x的最大似然估计。当参数x为未知常数时，量测z的均值和方差分别为
即z～N（x，σ2）。则似然函数
进而参数x的最大似然估计为
②参数x的最大后验估计。
方法1：将式（2.17）的似然函数和先验概率密度函数p（x）=ae-ax（x≥0）代入贝叶斯准则中可得
定义
则参数x的后验PDF可表示为
由于指数是x的二次方，所以上述后验PDF是高斯分布的，由于先验PDF是单边指数函数，即x≥0，所以它是截尾的，这样可求得
方法2：设
由f′（x）=0可得当x=z-aσ2时，f（x）达到最小，进而可获得和方法1相同的结论。
方法3：
由
可得当x=z-aσ2时，ln p（x|z）达到最小，进而可获得和方法1相同的结论。
最大后验方程
或
由最大后验方程确定的估计即为最大后验估计。
类似地，可得似然方程为
或
3.最小均方误差估计
将误差平方代价函数代入条件平均代价函数的表达式中可得
选取
使
达到极小，即可得到最小均方误差估计（MMSE）。
对式（2.33）中的条件平均代价函数求一阶和二阶导数可得
和
由于二阶导数大于零，所以条件平均代价函数存在极小值，由一阶导数等于零可得
综上所述，使均方误差
达到极小的x值的估计称为最小均方误差估计，即
它的解是条件均值，用条件概率密度函数可表示为
最小均方估计的均方误差阵小于或等于任何其他估计准则所得到的均方误差阵，所以最小均方估计具有最小的估计误差方差阵。
4.最小二乘估计
前面介绍的几种估计方法中，最小均方估计和最大后验估计需要知道被估计量的先验概率密度，最大似然估计需要知道似然函数，如果这些概率密度或似然函数未知，就不能采用这些方法。而最小二乘估计对统计特性没有任何假定，因此它的应用非常广泛。
对于量测
k时刻参数x的最小二乘估计（LS）是指使该时刻误差的平方和达到最小的x值，即
最小二乘估计是把信号参量估计问题作为确定性的最优化问题来处理，完全不需要知道噪声和待估计参量的任何统计知识。
例2.2 假定接收到的目标量测数据为k个，即
z(j)=x+w(j),j=1,2,…,k
式中，x为待估计的目标位置，w（j）为独立、同分布的零均值高斯分布随机变量，方差为σ2，求参数x的最大似然估计和最小二乘估计。
解：由最小二乘估计的定义有
设
，对其求一阶和二阶导数有
令一阶导数等于零可得
即当
误差的平方和达到最小，此时的估计叫做样本均值。
由于w（j）为均值为零、方差为σ2的独立、同分布高斯随机变量，那么
即z～N（x，σ2）。
高斯分布情况下，随机变量X和Y相互独立的充要条件为相关系数ρ=0（ρ=0，X和Y不相关，高斯分布情况下X和Y不相关与X和Y相互独立是等价的）。
由于ρ=0，所以不同时刻的测量数据之间是统计独立的。进而可求得似然函数为
可求得此时的ML估计和LS估计是相同的，即
例2.3 考虑有附加量测噪声情况下的量测方程
z=x+w
式中，x为待估计的参数，w为量测噪声，且w～N（0，σ2），参数x与噪声w是不相关的。要求：
①当参数x为未知常数时，求它的最大似然估计和最小二乘估计；
②当参数x是具有均值
、方差
的高斯随机变量时，求它的最大后验估计和最小均方误差估计。
解：
①参数x的最大似然估计。由例2.1可知
②参数x的最小二乘估计。利用最小二乘估计的定义有
即
和
是相同的，因为极大化似然函数式（2.17）和极小化它的指数中的平方是等价的。
③参数x的最大后验估计。由已知条件知道
，而w～N（0，σ2），且x与w不相关，所以此时有
即量测z的概率密度函数为
由已知条件知参数x的先验概率密度函数
，将似然函数p（z|x）、p（x）和p（z）代入贝叶斯公式中，通过对x配平方和重新排列指数，可得参数x后验概率密度函数为
式中
由式（2.58）可知参数x的最大后验估计为
④参数x的最小均方误差估计。由于式（2.58）给出的后验概率密度函数形式为高斯分布的，由该式可看出这个高斯概率密度函数的均值即为f（z），因此
由此可见，在高斯分布情况下参数x的ML估计与LS估计是相同的，而MMSE估计和MAP估计也是相同的，并且仅与待估计参数x和量测噪声的w的均值和方差有关。
参数x的最大似然估计和最大后验估计一般情况下是不同的，但当参数x具有扩散的先验信息时最大似然估计和最大后验估计是相同的。那么，什么是扩散的先验信息呢？若在体积为1/ε的充分大的区域内，参数x具有一致的先验概率密度函数，即p（x）=ε，则当ε→0时，参数x是在体积趋近于无穷大的区域内具有一致的先验概率密度函数，也就是说参数x具有扩散的先验信息。
下面具体看一下在参数x具有扩散的先验概率密度函数时，由例2.3求得的最大似然估计和最大后验估计是否相同。
由例2.3可知参数x的先验概率密度函数为
当σ0→∞时，上式是参数x具有扩散的先验概率密度函数。而且当σ0→∞时，参数x的最大后验估计的极限形式为
所以
和
是相同的。
例2.4 考虑在白噪声中接收目标信号s，噪声w是均值为零、方差为σ2的高斯白噪声，若得到的一个量测数据为
要求：
①当目标信号s为未知常数时，求它的最大似然估计和最小二乘估计；
②若已知信号s是在-SM与+SM之间服从均匀分布，求它的最大后验估计和最小均方误差估计。
解：①信号s的最大似然估计。量测z的均值和方差分别为
即
，进而可求得似然函数为
则信号s的最大似然估计为
②信号s的最小二乘估计。利用最小二乘估计的定义有
即
和
是相同的。
③信号s的最大后验估计，有
已知信号s在-SM与SM之间服从均匀分布，即
所以当-SM＜s＜SM时，有
此时
当s≥SM或s≤-SM时，信号s的先验概率密度函数p（s）=0，即信号s具有扩散的先验概率密度函数，此时
。从而有
进而可得
所以有
④信号s的最小均方误差估计。由最小均方误差估计的定义有
式中，概率函数为
