求网站懂的说下开车安仁网站制作

当前位置： 首页 > news >正文

求网站懂的说下开车,安仁网站制作,网站主机有什么用,wordpress如何设置中文机器学习#xff1a;从数据中学习知识#xff1b; 原始数据中提取特征#xff1b;学习映射函数f#xff1b;通过映射函数f将原始数据映射到语义空间#xff0c;即寻找数据和任务目标之间的关系#xff1b; 机器学习#xff1a; 监督学习#xff1a;数据有标签#x… 机器学习从数据中学习知识 原始数据中提取特征学习映射函数f通过映射函数f将原始数据映射到语义空间即寻找数据和任务目标之间的关系 机器学习 监督学习数据有标签一般为回归或分类等任务无监督学习数据无标签一般为聚类或若干降维任务强化学习序列数据决策学习一般为从环境交互中学习 4.1 监督学习 监督学习的重要元素 标注数据表示了类别信息的数据学习模型如何学习得到映射模型损失函数如何对学习结果进行度量 损失函数 训练集中一共有n个标注数据第i个标注数据记为xiyi其中第i个样本数据为xiyi是xi的标注信息。从训练数据中学习得到的映射函数记为ff对xi的预测结果记为f(xi)。损失函数就是用来计算xi真实值yi与预测值f(xi)之间差值的函数。很显然在训练过程中希望映射函数在训练数据集上得到的损失之和最小。经验风险训练集中数据产生的损失。经验风险越小说学习模型对训练数据拟合程度越好。 期望风险当测试集中存在无穷多数据时产生的损失。期望风险越小学习所得模型越好。 映射函数训练目标经验风险最小化期望风险最小化期望风险是模型关于联合分布期望损失经验风险是模型关于训练样本集平均损失。根据大数定律当样本容量趋于无穷时经验风险趋于期望风险。所以在实践中很自然用经验风险来估计期望风险。由于现实中训练样本数目有限用经验风险估计期望风险并不理想要对经验风险进行一定的约束。 过学习与欠学习 经验风险小训练集上表现好期望风险小测试集上表现好泛化能力强经验风险小训练集上表现好期望风险大测试集上表现不好过学习模型过于复杂经验风险大训练集上表现不好期望风险大测试集上表现不好欠学习经验风险大训练集上表现不好期望风险小测试集上表现好神仙算法或黄粱美梦判别模型与生成模型 监督学习方法又可以分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型。 判别方法直接学习判别函数f(X)或者条件概率分布P(Y|X)作为预测的模型即判别模型判别模型关心在给定输入数据下预测该数据的输出是什么。经典判别模型包括回归模型、神经网络、支持向量机和Ada boosting等。生成模型从数据中学习联合概率分布P(X,Y)通过似然概率P(X|Y)和类概率P(Y)的乘积来求取P(Y|X) P(X,Y) / P(X) 或者P(Y|X) P(X|Y) * P(Y) / P(X)联合分布概率P(X,Y) 或似然概率P(Y|X)求取很困难贝叶斯方法P(Y|X) P(X|Y) * P(Y) / P(X)4.2 线性回归分析 线性回归 在现实生活中往往需要分析若干变量之间的关系如碳排放量与气候变暖之间的关系、商品广告投入量与该商品销售量之间的关系等这种分析不同变量之间存在关系的研究叫回归分析刻画不同变量之间关系的模型被称为回归模型。如果这个模型是线性的则称为线性回归模型。一旦确定了回归模型就可以进行预测等分析工作。 参数学习回归模型参数求取yi axi b (1 i n) 4.3 提升算法adaptive boosting自适应提升 对于一个复杂的分类任务可以将其分解为若干子任务然后将若干子任务完成方法综合最总完成该复杂任务。将弱分类器组合起来形成强分类器。 计算学习理论 霍夫丁不等式 概率近似正确 对于统计电视节目收视率这样的任务可以通过不同的采样方法即不同模型来计算收视率每个模型会产生不同的误差。 在概率近似正确背景下有强可学习模型和弱可学习模型。 强可学习学习模型能够以较高精度对绝大多数样本完成识别分类任务弱可学习学习模型仅能完整若干部分样本识别与分类其精度略高于随机猜测强可学习和弱可学习是等价的也就是说如果已经发现了弱学习算法可将其提升为强学习算法。Ada Boosting算法就是这样的方法。具体而言Ada Boosting将一系列弱分类器组合起来构成一个强分类器。 Ada Boosting Ada Boosting中两个核心问题 在每个弱分类器学习过程中如何改变训练数据的权重提高在上一轮中分类错误样本的权重。如何将一系列弱分类器组合成强分类器通过加权多数表决方法来提高分类误差小的弱分类器的权重让其在最终分类中起到更大作用。同时减少分类误差大的弱分类器的权重让其在最终分类中仅起到较小作用。 算法描述 算法解释 回归与分类的区别 两者均是学习输入变量和输出变量之间潜在关系模型基于学习所得模型将输入变量映射到输出变量。监督学习分为回归和分类两个类别。在回归分析中学习得到一个函数将输入变量映射到连续输出空间值域是连续空间在分类模型中学习得到一个函数将输入变量映射到离散输出空间值域是离散空间4.4 无监督学习 K均值聚类K-means聚类 输入n个数据无任何标注信息 输出k个聚类结果 目的将n个数据聚类到k个集合也成为类簇 算法描述 算法 1.初始化聚类质心 2.将每个待聚类数据放入唯一一个聚类集合中 3.根据每个聚类集合中所包含的数据更新该聚类集合质心值 4.算法循环迭代直到满足条件 在新聚类质心基础上根据欧式距离大小将每个待聚类数据放入唯一一个聚类集合中根据新的聚类结果、更新聚类质心聚类迭代满足以下条件则聚类停止已经达到了迭代次数上线在前后两次迭代中聚类质心保持不变。 K均值聚类算法的另一个视角最小化每个类簇的方差 欧式距离与方差量纲相同最小化每个类簇方差将使得最终每个聚类结果中每个聚类集合中所包含的数据呈现出来的差异最小 不足 需要实现确定聚类数目很多时候我们并不知道数据应被聚类的数目需要初始化聚类质心初始化聚类中心对聚类结果有较大的影响算法是迭代执行时间开销非常大欧式距离假设数据每个维度之间的重要性是一样的 主成分分析 主成分分析是一种特征降维方法降维后的结果要保持原始数据固有结构。 原始数据中的结构 图像数据中结构视觉对象区域构成的空间分布文本数据中解雇单词之间的共现相似或不相似 方差 方差等于各个数据与样本均值之差的平方和之平均数方差描述了样本数据的波动程度协方差 衡量两个变量之间的相关度当协方差cov(X, Y) 0称X与Y正相关当协方差cov(X, Y) 0称X与Y负相关当协方差cov(X, Y) 0称X与Y不相关线性意义下 相关系数 我们可以通过皮尔孙相关系数将两组变量之间的关联度规整到一定的取值范围内 主要性质 绝对值小于等于1corr(X, Y) 1的充要条件是存在常数a和b使得Y aX b相关系数是对称的相关值越大相关程度越大 算法动机 在数理统计中方差被经常用来度量数据和其数学期望即均值之间的偏离程度这个偏离程度反映了数据分布结构在许多实际问题中研究数据和其均值之间的偏离程度有着很重要的意义在降维之中需要尽可能将数据向方差最大方向进行投影使得数据所蕴含信息没有丢失展现个性主成份分析思想是将n维特征数据映射到l维空间n l去除原始数据之间的冗余性通过去除相关性达到这一目的将原始数据向这些数据方差最大的方向进行投影。一旦发现了方差最大的投影方向则继续寻找保持方差第二的方向且进行投影将每个数据从n维高位空间映射到l维低维空间每个数据所得到最好的k维特征就是使得每一维上样本方差都尽可能大。算法描述 输入n个d维样本数据所构成的矩阵X降维之后的维数l 输出映射矩阵 算法步骤 特征人脸算法 特征人脸方法是一种应用主成份分析来实现人脸图像降维的方法其本质使用一种特征人脸的特征向量按照线性组合形式来表达每一张原始人脸图像进而实现人脸识别。用特征人脸表示人立案而非用像素点表示人脸 算法描述 将每幅人脸图像转换成列向量将一幅32 * 32 的人脸图像转成1024 * 1的列向量 输入n个1024维人脸样本所构成的矩阵X降维后的维数l 输出映射矩阵 算法步骤 每个人脸特征向量与原始人脸数据的维数是一样的均为1024可将每个特征向量还原为32 * 32的人脸图像称之为特征人脸因此可得到l个特征人脸。 基于特征人脸的降维 将每幅人脸分别与每个特征人脸做矩阵乘法得到一个相关系数每幅人脸得到l个相关系数从n维降到l维由于每幅人脸是所有特征人脸的线性组合因此就实现人脸从像素点表达到特征人脸表达的转变。使用l个特征人脸的线性组合来表达原始人脸数据在后续人脸识别分类中就使用l个系数来表示原始人脸图像。即计算两张人脸是否相似不是去计算两个32 * 32矩阵是否相似而是计算两个人脸所对应的l个系数是否相似 人脸表达方式对比 聚类表示用待表示人脸最相似的聚类质心来表示特征人脸表示使用l个特征人脸的线性组合来表达原始人脸数据非负矩阵人脸分解方法表示通过若干个特征人脸的线性组合来表达原始人脸数据体现了部分组成整体。统计机器学习算法应用 逻辑斯蒂回归与分类 回归和分类均是挖掘和学习输入变量和输出变量之间的潜在关系模型基于学习所得模型将输入变量映射到输出变量。 在回归分析中学习得到一个函数将输入变量映射到连续输出空间即值域是连续空间。在分类模型中学习得到一个函数将输入变量映射到离散输出空间即值域是离散空间。 逻辑斯蒂回归就是在回归模型中引入sigmoid函数的一种非线性回归模型。 Logistic回归模型 sigmoid函数 概率形式输出。sigmoid函数是单调递增的其值域为(0, 1)因此使sigmoid函数输出可作为概率值。数据特征加权累加。对输入z取值范围没有限制但当z大于一定数值后函数输出无限趋近于1而小于一定数值后函数输出无限趋近于0。当z 0时函数输出为0.5。这里z时输入数据x和回归函数的参数w相乘结果可视作x各维度进行加权叠加非线性变化。x各维度加权叠加之和结果取值在0附近时函数输出值的变化幅度比较大函数值变化陡峭且时非线性变化。但是各维度加权叠加之和结果取值很大或很小时函数输出值几乎不变化这是基于概率的一种认识与需要。回归到分类概率输出 对数几率回归模型的输出y可作为输入数据x分类为某一类别概率的大小输出值越接近于1说明输入数据x分类为该类别的可能行越大。与此相反输出值越接近0输入数据x不属于该类别的概率越大。根据具体应用设置一个阈值将大于该阈值的输入数据x都归属到某个类别小于该阈值的输入数据都归属到另外一个类别。如果输入数据x属于正例的概率大于属于负例的概率则输入数据x可被判断属于正例。logistic回归是一个线性模型在预测时们可以通过计算线性函数取值是否大于0来判断输入数据x的类别归属。 从回归到分类参数求取 从回归到分类softmax分类从两类分类到多类分类 logistic回归只能用于解决二分类问题将他进行推广为多项逻辑斯蒂回归模型用于处理多类分类问题可以得到处理多类分类问题的softmax回归。 潜在语义分析 潜在语义分析LSI时一种从海量文本数据中学习单词-单词、单词-文档以及文档-文档之间隐性关系进而得到文档和单词表达特征的方法。该方法的基本思想时综合考虑某些单词在哪些文档中同时出现以此来决定该词语的含义与其他的词语的相似度。 潜在语义分析先构建一个单词-文档矩阵A进而寻找该矩阵的低秩逼近来挖掘单词-单词、单词-文档以及文档-文档之间的关联关系。 构造与分解 歧义值分解将一个矩阵分解为两个正交矩阵与一个对角矩阵的乘积。 A UDVt单词个数为M、文档个数为N将每个单词映射到维度为R的隐性空间将每个文档映射到维度为R的隐性空间统一空间隐性空间可视为主题空间线性区别分析及分类 线性区别分析LDA是一种基于监督学习的降维方法也成为FIsher线性区别分析FDA。 对于一组具有标签信息的高维数据样本LDA利用其类别信息将其线性投影到一个低维空间上在低维空间中同一类别样本尽可能靠近不同类别样本尽可能彼此远离。 协方差矩阵s1和s2可用来衡量同一类别数据样本之间分散程度。为了使得归属于同一类别的样本数据在投影后的空间中尽可能靠近需要最小化s1 s2主成份分析PCA是一种无监督学习的降维方法无需样本类别标签线性区别分析LDA是一种监督学习的降维方法需要样本类别标签。PCA和LCA均是优化寻找一定特征向量w来实现降维其中PCA寻找投影后数据之间方差最大的投影方向、LDA寻找类内方差小、类间距离大的投影方向。PCA对高维数据降维后的维数是与原始数据特征维度相关与数据类别标签无关。假设原始数据维度是d那么PCA多的数据的降维维度可以为小于d的任意维度。LDA降维后所得到的维度是与数据样本的类别个数K有关与数据本身的维度无关。假设原始数据一共有k个类别那么LDA所得数据的降维维度小于或等于k - 1. 高维数据降维方法的种类 如何从高维数据中获取其蕴含的本质属性信息即将高维数据转换到低维空间同时保留其高维空间所具有的属性是当前学术界的研究热点问题。按照不同的标准高维数据的降维算法可分为如下不同种类 线性降维与非线性降维。这一方法根据降维算法是否通过线性映射或非线性映射实现而区分。线性降维方法主要包括主成分分析Principal Component Analysis, PCA、多维尺度分析Metric multidimensional scaling, MDS、线性判别分析Linear Discriminant Analysis, LDA其主要思路是在原始空间设计得到一系列特征向量然后通过对这些特征向量进行线性组合来达到高维特征降维目的。线性降维的优点在于其通过简单变换函数实现原始高维数据降维。但是原始高维数据往往分布在一个“非线性特征”空间中如数据分布在曲线中或曲面上等原始数据的非线性分布将使得直接应用线性降维变得不合时宜也就是说线性降维将失效。为了解决这一问题相应地出现了一些非线性高维特征降维方法如等距映射Isometric MappingISOMAP、局部线性嵌入Locally Linear EmbeddingLLE、拉普拉斯特征映射Laplacian Eigenmap和局部不变投影Locally Preserving Projections, LPP等方法这些非线性降维方法通过挖掘高维数据在原始空间中所具有的流形、拓扑和几何等属性进而形成保持这些属性的非线性降维方法。局部保持降维与全局保持降维。局部保持降维意味着该类降维方法将使得降维后数据之间局部信息与原始数据之间局部信息得以保持比如任意两个高维数据在原始空间相互邻近则在降维后的空间中这两个高维数据之间距离仍然相近这类方法包括局部线性嵌入LLE和局部不变投影LPP等降维方法。与局部保持降维相反全局保持降维则意味着任意两个高维数据在原始空间全局距离较近则在降维后的空间中这两个高维数据之间的全局距离仍较近。全局保持降维的方法包括等距映射ISOMAP和主成份分析PCA等。监督学习降维和非监督学习降维。监督学习降维是指在降维过程中利用了样本所具有的类别信息而非监督学习则未利用样本具有的类别信息。主成份分析PCA和局部不变投影LPP等可归属为无监督降维算法线性区别分析Linear Discriminant Analysis, LDA则为监督降维算法。