机器学习回归的基础概念。

1.监督学习 VS 无监督学习

• 监督学习不仅给出了输入，还给出了输出，用处是，给出一个新的输入，预测出新的输入
  • 回归：对于预测模型是线性的，称之为回归
  • 分类：对于预测模型是非线性的，称之为分类
• 无监督学习：只给出了输入，由模型自动更加输入数据的特征进行聚类。

2.线性回归

线性模型的公式为：

$$
h(\theta)=\theta_1x+\theta_0
$$
那么其代价函数函数(Cost Function)就为：

$$
J(\theta_0,\theta_1)={\frac{1}{2m}}=\sum_{i=1}^m(h_{\theta}(\theta^i)-y^i)^2
$$

3.梯度下降

3.1定义

求参数的偏微分 repeat until convergence {
$$
\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)
$$
}
这个公式的含义就是在偏微分为正时，为上升趋势，我们减少$\theta$。我们让每一个影响参数都朝着输出的方向进行，最终得到最小值。

注意事项：
$\theta_j$ 应该是在同时更新的，不能用上一周期的$\theta_j$来计算当前周期的 $\theta_{j-n}$

正确方式：
temp0 =$=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)$
temp1 =$=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)$
$\theta_0$=temp0
$\theta_1$=temp1

错误方式：
temp0 =$=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)$
$\theta_0$=temp0
temp1 =$=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)$
$\theta_1$=temp1

3.2推导

$\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=\frac{\partial}{\partial\theta_j}\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})$
则上面的梯度下降算法对于两个参数来说，就变成了：
Repeat{

$$
\theta_0:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})
$$
$$
\theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^m((h_{\theta}(x^{(i)})-y^{(i)})*x^{(i)})
$$
}

由上可知，在每一个循环周期内，我们使用到了所有的样本数据，所以这个算法也被成为批量梯度下降。

4.多维特征定义

多维特征模型： $h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_2x_3+…$}
用矩阵表示为：
$h(\theta)=
\begin{equation}
\left[ \begin{array}{ccc}
x_1 & x_2 & x_3
\end{array}
\right ]
*
\left[ \begin{array}{ccc}
\theta_1 &
\theta_2 &
\theta_3
\end{array}
\right ]^T
\end{equation}$

• $x^{(i)}$：表示第i个训练实例
• $x_j^{(i)}$ :第i个训练实例的参数j

版权声明：本文为博主原创文章，转载需声明为转载内容并添加原文地址。

原文地址：https://coderdock.com