TensorFlow-1-概念0

机器学习回归的基础概念。

1.监督学习 VS 无监督学习

  • 监督学习不仅给出了输入,还给出了输出,用处是,给出一个新的输入,预测出新的输入
    • 回归:对于预测模型是线性的,称之为回归
    • 分类:对于预测模型是非线性的,称之为分类
  • 无监督学习:只给出了输入,由模型自动更加输入数据的特征进行聚类。

2.线性回归

线性模型的公式为:

那么其代价函数函数(Cost Function)就为:

3.梯度下降

3.1定义

求参数的偏微分 repeat until convergence {

}
这个公式的含义就是在偏微分为正时,为上升趋势,我们减少$\theta$。我们让每一个影响参数都朝着输出的方向进行,最终得到最小值。

注意事项:
$\theta_j$ 应该是在同时更新的,不能用上一周期的$\theta_j$来计算当前周期的 $\theta_{j-n}$

正确方式:
temp0 =$=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)$
temp1 =$=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)$
$\theta_0$=temp0
$\theta_1$=temp1

错误方式:
temp0 =$=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)$
$\theta_0$=temp0
temp1 =$=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)$
$\theta_1$=temp1

3.2推导

$\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=\frac{\partial}{\partial\theta_j}\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})$
则上面的梯度下降算法对于两个参数来说,就变成了:
Repeat{

}

由上可知,在每一个循环周期内,我们使用到了所有的样本数据,所以这个算法也被成为批量梯度下降

4.多维特征定义

多维特征模型: $h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_2x_3+…$}
用矩阵表示为:
$h(\theta)=
\begin{equation}
\left[ \begin{array}{ccc}
x_1 & x_2 & x_3
\end{array}
\right ]
*
\left[ \begin{array}{ccc}
\theta_1 &
\theta_2 &
\theta_3
\end{array}
\right ]^T
\end{equation}$

  • $x^{(i)}$:表示第i个训练实例
  • $x_j^{(i)}$ :第i个训练实例的参数j

版权声明:本文为博主原创文章,转载需声明为转载内容并添加原文地址。

原文地址:http://coderdock.com

Dock wechat
欢迎您扫一扫上面的微信公众号,订阅我的公众号