最小二乘估计

最小二乘估计 (least-squares estimation)

什么是最小二乘估计

　　最小二乘估计是高斯,C.F.(Gauss,Carl Friedrich) 在1974年提出的参数估计法，其特点是算法简单，不必知道被估计量及量测量有关的统计信息。

　　设第i次量测 $Z i$ 为

　　 $Z i = H i X + V i$

　　式中： $Z i$ 为 $m i$ 维向量； $H i$ 、 $V i$ 为第i次量测的量测矩阵和随机量测噪声。

　　描述r次量测的量测方程为

　　 $Z = H X + V$

　　式中：Z、V为 $m_1+m_2+\ldots+m_i=m$ 维向量，H为m×n矩阵。

　　最小二乘估计指标是，使各次量测 $Z i$ 与由估计 $\widehat{X}$ 确定的量测的估计 $\widehat{Z}_iH_i\widehat{X}$ 均方和最小，即

　　 $J\widehat{X}=(Z-H\widehat{X})^T(Z-H\widehat{X})=min$

　　X的最小二乘估计为

　　 $\widehat{X}=(H^TH)^{-1}H^TZ$

　　最小二乘估计的性质是，若量测噪声V是均值为零，方差为R的随机向量，则

　　（1）最小二乘估计是无偏估计，即

　　 $E[\widehat{X}]=X$

　　或

　　 $E[\widehat{X}]=0$

　　式中： $\widehat{X}=X-\widehat{X}$ 为 $\widehat{X}$ 的估计误差。

　　（2）最小二乘估计的均方误差阵为

　　 $E[\widehat{X}\widehat{X}^T]=(H^TH)^{-1}H^TRH(H^TH)^{-1}$