TensorFlow-2-概念1

机器学习分类的基础概念。

1.特征缩放

1.1 调节比例(Rescaling)

这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下:

1.2 标准化(Standardization)

方差

2.正规方程求解

有时使用正规方程求解会是更好地方案:

3.逻辑回归

3.1模型

estimate probability that y=1 on input x

Sigmod(Logistic) function:

3.2判定边界

决定何时的模型和参数,能够对进行分类操作。

在这种情况下,平方差的代价函数就不再适用,我们重新定义代价函数:

其中:

代价函数说明:
当实际的y=1并且$h_\theta$也是1时,误差为0,当y=1但$h_\theta$不为1时误差随着$h_\theta$的变小而变大;当实际的y=0且$h_\theta$也为0时代价为0,当y=0,但$h_\theta$不为0时误差随着$h_\theta$的变大而变大。

再次进行简化,那么我们的代价函数Cost为:

代入到代价函数得到:

那么在我们得到代价函数后,我们就能够使用梯度下降算法来使得我们的代价函数最小:
Repeat{

}
同样在此处也需要注意同时更新的问题。

4.简化代价函数

$\theta$更新过程:
推导过程
所以最后$\theta$为:

梯度下降并不是唯一的算法,还存在:

  • 共轭梯度法
  • BFGS(变尺度法)
  • L-BFGS(限制变尺度法)

5.分类1 VS N

版权声明:本文为博主原创文章,转载需声明为转载内容并添加原文地址。

原文地址:http://coderdock.com

Dock wechat
欢迎您扫一扫上面的微信公众号,订阅我的公众号