手机网站单页网站的主要内容

当前位置： 首页 > news >正文

手机网站单页,网站的主要内容,申请注册公司费用,洛阳小程序开发公司1 线性回归基础 1.1 什么是线性 例如#xff1a;汽车每小时60KM#xff0c;3小时可以行使多长距离#xff1f;已知汽车的速度#xff0c;则汽车的行使距离只与时间唯一相关。在二元的直角坐标系中#xff0c;描出这一关系的图是一条直线#xff0c;所以称为线性关系。 线…1 线性回归基础 1.1 什么是线性 例如汽车每小时60KM3小时可以行使多长距离已知汽车的速度则汽车的行使距离只与时间唯一相关。在二元的直角坐标系中描出这一关系的图是一条直线所以称为线性关系。 线性特点是一个事物唯一由另一个事物决定。 1.2 什么是回归 那么这个回归究竟是什么意思呢其实回归算法是相对分类算法而言的与我们想要预测的目标变量y的值类型有关。如果目标变量y是分类型变量如预测用户的性别男、女预测月季花的颜色红、白、黄……预测是否患有肺癌是、否那我们就需要用分类算法去拟合训练数据并做出预测如果y是连续型变量如预测用户的收入4千2万10万……预测员工的通勤距离500m1km2万里……预测患肺癌的概率1%50%99%……我们则需要用回归模型。 有时分类问题也可以转化为回归问题例如刚刚举例的肺癌预测我们可以用回归模型先预测出患肺癌的概率然后再给定一个阈值例如50%概率值在50%以下的人划为没有肺癌50%以上则认为患有肺癌。这种分类型问题的回归算法预测最常用的就是逻辑回归后面我们会讲到。 2 一元线性回归 线性回归可以说是用法非常简单、用处非常广泛、含义也非常容易理解的一类算法作为机器学习的入门算法非常合适。我们上中学的时候都学过二元一次方程我们将y作为因变量x作为自变量得到方程 yβ0β1x 当给定参数β0和β1的时候画在坐标图内是一条直线这就是“线性”的含义。当我们只用一个x来预测y就是一元线性回归也就是在找一个直线来拟合数据。比如我有一组数据画出来的散点图横坐标代表广告投入金额纵坐标代表销售量线性回归就是要找一条直线并且让这条直线尽可能地拟合图中的数据点。 ​ 这里我们得到的拟合方程是y 0.0512x 7.1884此时当我们获得一个新的广告投入金额后我们就可以用这个方程预测出大概的销售量。 数学理论的世界是精确的譬如你代入x0就能得到唯一的 y^ y^7.1884y上面加一个小帽子hat表示这个y^不是我们真实观测到的而是估计值。但现实世界中的数据就像这个散点图我们只能尽可能地在杂乱中寻找规律。用数学的模型去拟合现实的数据这就是统计。统计不像数学那么精确统计的世界不是非黑即白的它有“灰色地带”但是统计会将理论与实际间的差别表示出来也就是“误差”。因此统计世界中的公式会有一个小尾巴 μ 用来代表误差即 yβ0β1xμ 3.损失函数 那既然是用直线拟合散点为什么最终得到的直线是y 0.0512x 7.1884而不是下图中的y 0.0624x 5呢这两条线看起来都可以拟合这些数据啊毕竟数据不是真的落在一条直线上而是分布在直线周围所以我们要找到一个评判标准用于评价哪条直线才是最“合适”的。 ​ 我们先从残差说起。残差说白了就是真实值和预测值间的差值也可以理解为差距、距离用公式表示是 ey−y^ ​ 对于某个广告投入 xi 我们有对应的实际销售量 yi 和预测出来的销售量yi^音yihat通过将xi代入公式yβ0β1x计算得到计算 eiyi−y^i 的值再将其平方为了消除负号对于我们数据中的每个点如此计算一遍再将所有的 ei2相加就能量化出拟合的直线和实际之间的误差。用公式表示就是 Q∑1n(yi−y^i)2∑1n(yi−(β^0β^1xi))2 这个公式是残差平方和即SSESum of Squares for Error在机器学习中它是回归问题中最常用的损失函数。 现在我们知道了损失函数是衡量回归模型误差的函数也就是我们要的“直线”的评价标准。这个函数的值越小说明直线越能拟合我们的数据。如果还是觉得难理解我下面就举个具体的例子。 假设我们有一组样本建立了一个线性回归模型f(x) 样本A公司投入了x1000元做广告销售量为y60f(x1000)算出来是50有-10的偏差。样本Bx2000销售量为y95f(x2000)100偏差为5。样本Cx3000销售量为y150f(x2000)150偏差为0哦没有偏差 要计算A、B、C的整体偏差因为有正有负所以做个平方都弄成正的然后再相加得到总偏差也就是平方损失是125。 4 最小二乘法与梯度下降法 4.1 最小二乘法 我们不禁会问这个β0和β1的具体值究竟是怎么算出来的呢我们知道两点确定一线有两组xy的值就能算出来β0和β1。但是现在我们有很多点且并不正好落在一条直线上这么多点每两点都能确定一条直线这到底要怎么确定选哪条直线呢 当给出两条确定的线如y 0.0512x 7.1884y 0.0624x 5时我们知道怎么评价这两个中哪一个更好即用损失函数评价。那么我们试试倒推一下 给定一组样本观测值xiyii1,2,…n要求回归函数尽可能拟合这组值。普通最小二乘法给出的判断标准是残差平方和的值达到最小。我们再来看一下残差平方和的公式 Q∑1n(yi−y^i)2∑1n(yi−(β^0β^1xi))2 这个公式是一个二次方程我们知道一元二次方程差不多长下图这样 ​ 上面公式中 β^0 和 β^1 未知有两个未知参数的二次方程画出来是一个三维空间中的图像类似下面 ​ 还记得微积分知识的话就知道导数为0时Q取最小值因此我们分别对β^0和β^1求偏导并令其为0 ∂Q∂β02∑1n(yi−β0^−β1^xi)0 ∂Q∂β12∑1n(yi−β0^−β1^xi)xi0 xiyii1,2,…n都是已知的全部代入上面两个式子就可求得β^0和β^1的值啦。这就是最小二乘法“二乘”是平方的意思。 线性回归是对一个或多个自变量之间关系进行建模的方法。以上举的例子是一维的例子x只有一个如果有两个特征就是二元线性回归要拟合的就是二维空间中的一个平面。如果有多个特征那就是多元线性回归 yβ0β1x1β2x2⋯βpxp 最后再提醒一点做线性回归不要忘了前提假设是y和x呈线性关系如果两者不是线性关系就要选用其他的模型啦。 4.2 梯度下降法  梯度下降法的基本思想可以类比为一个下山的过程如下图所示函数看似为一片山林红色的是山林的高点蓝色的为山林的低点蓝色的颜色越深地理位置越低则图中有一个低点一个最低点。 假设这样一个场景一个人被困在山上图中红圈的位置需要从山上下来(找到山的最低点也就是山谷)但此时山上的浓雾很大导致可视度很低。因此下山的路径就无法确定他必须利用自己周围的信息去找到下山的路径。这个时候他就可以利用梯度下降算法来帮助自己下山。具体来说就是以他当前的所处的位置为基准寻找这个位置最陡峭的地方然后朝着山的高度下降的方向走然后每走一段距离都反复采用同一个方法最后就能成功的抵达山谷。 假设这座山最陡峭的地方是无法通过肉眼立马观察出来的而是需要一个复杂的工具来测量同时这个人此时正好拥有测量出最陡峭方向的工具。所以此人每走一段距离都需要一段时间来测量所在位置最陡峭的方向这是比较耗时的。那么为了在太阳下山之前到达山底就要尽可能的减少测量方向的次数。这是一个两难的选择如果测量的频繁可以保证下山的方向是绝对正确的但又非常耗时如果测量的过少又有偏离轨道的风险。所以需要找到一个合适的测量方向的频率多久测量一次来确保下山的方向不错误同时又不至于耗时太多在算法中我们成为步长。 按照梯度下降算法的思想它将按如下操作达到最低点 明确自己现在所处的位置找到相对于该位置而言下降最快的方向沿着第二步找到的方向走一小步到达一个新的位置此时的位置肯定比原来低回到第一步终止于最低点 按照以上5步最终达到最低点这就是梯度下降的完整流程。当然你可能会说上图不是有不同的路径吗是的因为上图并不是标准的凸函数往往不能找到最小值只能找到局部极小值。所以你可以用不同的初始位置进行梯度下降来寻找更小的极小值点。 4.3 总结 最小二乘法和梯度下降法都是经典的学习算法在给定已知数据的前提下利用求导算出一个模型函数使得损失函数值最小后对给定的新数据进行估算预测。两者的区别 损失函数不同梯度下降可以选取其它损失函数而最小二乘法一定是平方损失函数。实现方法不同最小二乘法是直接求导找出全局最小而梯度下降是一种迭代法。效果不同最小二乘法一定是全局最小但计算繁琐且复杂情况下未必有解梯度下降迭代计算简单但找到的一般是局部最小只有在目标函数是凸函数时才是全局最小到最小点附近收敛速度会变慢且对初始点的选择极为敏感。