【最小二乘法的公式是什么】在数据分析和数学建模中，最小二乘法是一种常用的统计方法，用于寻找最佳拟合曲线或直线，以最小化观测数据与模型预测值之间的平方误差总和。它广泛应用于回归分析、参数估计等领域。
一、最小二乘法的基本原理
最小二乘法的核心思想是：通过调整模型中的参数，使得所有数据点与模型预测值之间的平方误差之和达到最小。
设我们有 $ n $ 个数据点 $(x_i, y_i)$，其中 $ i = 1, 2, ..., n $，并假设这些数据点可以用一个线性模型来拟合：
$$
y = a x + b
$$
我们的目标是找到合适的参数 $ a $ 和 $ b $，使得所有数据点与该直线的垂直距离的平方和最小。
二、最小二乘法的公式推导
对于线性模型 $ y = ax + b $，定义误差函数为：
$$
E(a, b) = \sum_{i=1}^{n} (y_i - (a x_i + b))^2
$$
为了求得最小值，对 $ a $ 和 $ b $ 求偏导，并令其等于零：
$$
\frac{\partial E}{\partial a} = -2 \sum_{i=1}^{n} (y_i - a x_i - b) x_i = 0
$$
$$
\frac{\partial E}{\partial b} = -2 \sum_{i=1}^{n} (y_i - a x_i - b) = 0
$$
整理后得到两个方程：
$$
\sum_{i=1}^{n} x_i y_i = a \sum_{i=1}^{n} x_i^2 + b \sum_{i=1}^{n} x_i
$$
$$
\sum_{i=1}^{n} y_i = a \sum_{i=1}^{n} x_i + n b
$$
这是一个关于 $ a $ 和 $ b $ 的线性方程组，可以通过解这个方程组得到最小二乘法的最优参数。
三、最小二乘法的公式总结
| 公式名称 | 公式表达式 |
| 误差函数 | $ E(a, b) = \sum_{i=1}^{n} (y_i - (a x_i + b))^2 $ |
| 偏导数（对 a） | $ \sum_{i=1}^{n} x_i y_i = a \sum_{i=1}^{n} x_i^2 + b \sum_{i=1}^{n} x_i $ |
| 偏导数（对 b） | $ \sum_{i=1}^{n} y_i = a \sum_{i=1}^{n} x_i + n b $ |
| 参数解（线性模型） | $ a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2} $ $ b = \frac{\sum y_i - a \sum x_i}{n} $ |
四、总结
最小二乘法是一种通过最小化误差平方和来寻找最佳拟合模型的方法，适用于线性或非线性模型。其核心公式包括误差函数、偏导数方程以及参数求解公式。掌握这些公式有助于理解数据拟合的基本原理，并在实际应用中进行参数估计和模型优化。
如需进一步了解非线性最小二乘法或其他扩展形式，可继续深入学习相关统计学与数值计算内容。