线性回归的回顾明了

2020-01-23 18:17栏目:龙竞技官网
TAG:

我们的第一个学习算法是线性回归算法。在这段视频中,你会看到这个算法的概况,更重要的是你将会了解监督学习过程完整的流程。

该系列文章为,观看“吴恩达机器学习”系列视频的学习笔记。虽然每个视频都很简单,但不得不说每一句都非常的简洁扼要,浅显易懂。非常适合我这样的小白入门。

前面说到逻辑回归,这篇就总结一下自己对线性回归的认识吧。文中截图均来自Andrew Ng 视频,文字总结部分全为原创。

让我们通过一个例子来开始:这个例子是预测住房价格的,我们要使用一个数据集,数据集包含俄勒冈州波特兰市的住房价格。比方说,如果你朋友的房子是 1250 平方尺大小,你要告诉他们这房子能卖多少钱

本章含盖

  • 2.1 模型表示
  • 2.2 代价函数
  • 2.3 代价函数
  • 2.4 代价函数
  • 2.5 梯度下降
  • 2.6 梯度下降的直观理解
  • 2.7 线性回归的梯度下降

1 从例子说起

以房价预测为案例进行展开:

它被称作监督学习是因为对于每个数据来说,我们给出了“正确的答案”,即告诉我们:根据我们的数据来说,房子实际的价格是多少,而且,更具体来说,这是一个回归问题。回归一词指的是,我们根据之前的数据预测出一个准确的输出值,对于这个例子就是价格,同时,还有另一种最常见的监督学习方式,叫做分类问题,当我们想要预测离散的输出值,例如,我们正在寻找癌症肿瘤,并想要确定肿瘤是良性的还是恶性的,这就是 0/1 离散输出的问题。更进一步来说,在监督学习中我们有一个数据集,这个数据集被称训练集。

2.1 模型表示

图片 1

a)我们向学习算法提供训练集b)学习算法的任务是输出一个函数,h代表假设函数c)假设函数的作用是,把房子的大小作为输入变量,而它试着输出相应房子的预测y值h:是一个引导从x得到y的函数

图片 2

当我们设计一个机器学习算法时,第一个需要做的是:决定怎么表达这个假设函数h

一种可能的表达方式为:图片 3

,因为只含有一个特征/输入变量,因此这样的问题叫作单变量线性回归问题。这个模型叫做“线性回归”,这个例子是一元线性回归。这个模型的另一个名字“单变量线性回归”

1.1 一元线性概念

1、假设函数h(x):关于x(户型)的函数
2、拟定代价函数J(θ):是关于θ参数的函数,并且θ可能有多个,例如:θ0,θ1
表示预测值与实际值的平方和误差
3、大多数回归问题的代价函数以误差平方和为基准
如下图所示:

图片 4

上述分析后得到我们的目标函数以及代价函数,我们的目的就是使得代价函数的损失降到最小。

我将在整个课程中用小写的 m 来表示训练样本的数目。

2.2 代价函数

那么我们要如何选择θ_1和θ_2这两个参数。

图片 5

我们要选择能使h,也就是输入x时我们预测的值最接近该样本对应的y值的参数θ_1和θ_2。所以,在我们的训练集中我们会得到一定数量的样本。我们知道x表示卖出哪所房子,并且知道这所房子的实际价格。所以,我们要尽量选择参数值,使得在训练集中,给出训练集中的x值,我们能合理准确的预测y值。

标准的定义:在线性回归中,我们要解决的是一个最小化问题,所以我们要写出关于θ_1和θ_2的最小化。而且,我们希望这个式子极小,我想要h和y之间的差异要小。我要做的是:尽量减少假设的输出与房子真实价格之间的差的平方。

线性回归的代价函数:图片 6

m :训练样本数量,

版权声明:本文由龙竞技官网发布于龙竞技官网,转载请注明出处:线性回归的回顾明了