在满足基本假设的前提下,利用最小二乘法对线性回归模型进行估计得到的估计量是最优线性无偏估计量和一致估计量,这一定理也被称为高斯-马尔可夫定理。
无偏估计量意味着通过最小二乘法所得到的估计量的期望值等于参数的真实值,说明这一估计量以参数真实值为中心分布;最优线性的含义是,通过最小二乘法所得到的估计量的方差是所有线性估计量中方差最小的,方差最小意味着波动性最小,即这一估计量是最稳定的;而一致估计量则意味着,通过不断增加样本量,参数估计值会不断收敛于参数的真实值。
这一定理表明,在标准的假设条件下,最小二乘估计量是一种最佳的估计方式。但值得注意的是,这并不意味着根据这一方式计算的每一个具体的估计值都比根据其他方式计算的具体估计值更接近真实值,而只是表明如果反复多次进行估计值计算,或者是扩大样本的容量进行估计值计算,按最小二乘法计算的估计值接近参数真实值的可能性或概率最大。