高新公司网站建设电话企业管理平台登录

当前位置： 首页 > news >正文

高新公司网站建设电话,企业管理平台登录,珠海网站空间注册,wordpress阿里云图片目录 1、简介 2、⭐为什么需要特征工程 3、特征抽取 3.1、简介 3.2、特征提取主要内容 3.3、字典特征提取 3.4、one-hot编码 3.5、文本特征提取 3.5.1、英文文本 3.5.2、结巴分词 3.5.3、中文文本 3.5.4、Tf-idf ⭐所属专栏#xff1a;人工智能 文中提…目录 1、简介 2、⭐为什么需要特征工程 3、特征抽取 3.1、简介 3.2、特征提取主要内容 3.3、字典特征提取 3.4、one-hot编码 3.5、文本特征提取 3.5.1、英文文本 3.5.2、结巴分词 3.5.3、中文文本 3.5.4、Tf-idf ⭐所属专栏人工智能 文中提到的代码如有需要可以私信我发给你噢 1、简介 特征工程是使用专业背景知识和技巧处理数据使得特征能在机器学习算法上发挥更好的作用的过程。 意义会直接影响机器学习的效果 特征工程是机器学习中至关重要的一步它涉及将原始数据转换为适合机器学习模型的特征也称为变量或属性。好的特征工程可以显著提高模型性能因为它能够揭示数据中的有用信息降低噪音影响甚至帮助模型更好地泛化到新数据。 特征工程包含内容 特征抽取特征预处理特征降维 以下是特征工程的一些常见方法和技巧 特征选择Feature Selection从原始特征集中选择最相关、最有用的特征以降低模型的复杂性和过拟合风险。特征提取Feature Extraction通过数学变换将原始特征转换为更具信息量的特征例如主成分分析PCA、独立成分分析ICA等。特征转换Feature Transformation对原始特征进行变换以使其更适合模型如对数、指数、归一化、标准化等。多项式特征扩展Polynomial Feature Expansion将原始特征的多项式组合添加到特征集中以捕获特征之间的非线性关系。时间序列特征处理针对时间序列数据可以提取滞后特征lag features、移动平均、指数加权移动平均等。文本特征处理对文本数据进行词袋模型Bag-of-Words、TF-IDFTerm Frequency-Inverse Document Frequency处理或者使用词嵌入Word Embeddings等技术。类别特征编码将类别型特征转换为数值型特征例如独热编码One-Hot Encoding、标签编码Label Encoding等。缺失值处理处理缺失值的方法包括删除含有缺失值的样本、填充缺失值、使用模型预测缺失值等。特征交互与组合通过对特征进行交互、组合创建新的特征来捕获更高级的信息。数据降维使用降维技术如PCA减少数据维度以减少计算复杂性和噪音的影响。领域知识引导利用领域专业知识来设计和选择特征以更好地捕获问题的本质。 在进行特征工程时需要注意以下几点 理解数据深入了解数据的含义、结构和背景以便做出更明智的特征工程决策。避免过拟合特征工程可能导致过拟合问题因此需要谨慎选择和处理特征。实验和迭代尝试不同的特征工程方法并使用交叉验证等技术来评估模型性能以确定哪些方法有效。自动化一些自动化特征选择和提取工具可以帮助你快速尝试不同的特征工程技术。 总之特征工程是机器学习中一个关键且有创造性的阶段它能够显著影响模型的性能和泛化能力。 2、⭐为什么需要特征工程 机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ” 业界广泛流传数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限而已。 以下是特征工程的重要性和原因 提取有用信息原始数据可能包含大量的冗余或无关信息特征工程能够通过选择、提取或转换特征从中抽取出对问题有用的信息提高模型的预测能力。降低维度某些问题可能涉及大量的特征而高维度数据会导致计算成本的增加和过拟合的风险。特征工程可以通过降维技术如主成分分析减少数据维度从而提高模型效率和泛化性能。改善模型泛化好的特征工程有助于降低模型在新数据上的错误率提高模型的泛化能力使其能够更好地适应未见过的数据。处理缺失值和异常值特征工程可以帮助处理数据中的缺失值和异常值选择合适的填充策略或移除异常值从而减少对模型的不良影响。解决非线性关系原始数据可能包含复杂的非线性关系特征工程可以通过多项式特征扩展、特征交互和转换等方法使模型能够更好地捕获这些关系。提高模型解释性通过特征工程可以将数据转换为更易解释的形式使模型的预测结果更具可解释性有助于理解模型的决策依据。适应不同模型不同的机器学习模型对特征的需求不同通过特征工程可以根据模型的特点和假设来调整特征提高模型性能。利用领域知识特征工程可以融入领域专业知识根据问题背景和领域特点选择和设计适用的特征更好地捕获数据的本质。 总之特征工程是机器学习流程中的关键步骤它可以帮助我们将原始数据转化为更有意义、更适合模型的特征从而提高模型的性能、泛化能力和解释性。特征工程的好坏直接影响着模型的效果因此在实际应用中合适的特征工程往往能够为机器学习任务带来显著的提升。 3、特征抽取 3.1、简介 特征抽取Feature Extraction是指从原始数据中自动或半自动地提取出具有代表性和信息丰富度的特征以用于机器学习和数据分析任务。在特征抽取过程中原始数据的维度可能会被降低从而减少计算成本并提高模型的性能和泛化能力。 特征抽取的目标是将原始数据转换为更具有判别性和表达力的特征表示以便更好地捕获数据中的模式、关系和变异。这有助于提高模型的训练效果并且可以使模型更好地适应新的未见过的数据。 特征抽取的方法可以包括以下几种 主成分分析PCAPCA是一种降维技术通过线性变换将原始特征投影到一个新的坐标系中使得投影后的特征具有最大的方差。这样可以将数据的维度减少同时保留最重要的信息。独立成分分析ICAICA是一种用于提取独立信号的技术适用于信号分离和降噪等场景可以用于音频处理、图像处理等领域。特征选择器Feature Selectors通过选择最相关或最重要的特征来降低维度例如选择方差较大的特征、基于统计方法的特征选择等。词袋模型Bag-of-Words在自然语言处理中将文本数据转换为一个表示每个单词频次的向量从而构建文本的特征表示。傅里叶变换Fourier Transform用于将信号从时间域转换到频率域常用于信号处理和图像处理领域。小波变换Wavelet Transform类似于傅里叶变换但可以同时提供时间和频率信息适用于分析非平稳信号。自编码器Autoencoders是一种神经网络结构通过训练模型来学习数据的低维表示常用于无监督学习任务。 特征抽取的选择取决于问题的性质、数据的类型以及任务的要求。它在处理高维数据、降低计算成本、提高模型泛化能力等方面具有重要作用是特征工程的一个关键组成部分。 3.2、特征提取主要内容 1、将任意数据如文本或图像转换为可用于机器学习的数字特征 特征值化是为了计算机更好的去理解数据 字典特征提取(特征离散化)文本特征提取图像特征提取深度学习将介绍 2、特征提取APIsklearn.feature_extraction 3.3、字典特征提取 作用对字典数据进行特征值化 sklearn.feature_extraction.DictVectorizer(sparseTrue,…) DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值返回sparse矩阵 DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式 DictVectorizer.get_feature_names() 返回类别名称 from sklearn.feature_extraction import DictVectorizer # 实例化 sklearn.feature_extraction.DictVectorizer(sparseTrue,…)DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值返回sparse矩阵DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式DictVectorizer.get_feature_names() 返回类别名称def dict_demo():对字典类型的数据进行特征抽取:return: Nonedata [{city: 北京, temperature: 100},{city: 上海, temperature: 60},{city: 深圳, temperature: 30}]# 1、实例化一个转换器类transfer1 DictVectorizer(sparseFalse)transfer2 DictVectorizer()# 2、调用fit_transformdata2 transfer2.fit_transform(data)data1 transfer1.fit_transform(data)print(返回的结果(稀疏矩阵):\n, data2)print(返回的结果(原始矩阵):\n, data1)# 打印特征名字print(特征名字\n, transfer1.get_feature_names_out())if name main:dict_demo() 结果 3.4、one-hot编码 One-Hot编码是一种常用的分类变量也称为类别变量、离散变量到数值变量的转换方法用于将类别型数据表示为二进制向量的形式。这种编码方法在机器学习中广泛应用于处理类别型特征以便将其用于各种算法和模型中。 在One-Hot编码中每个类别被转换为一个唯一的二进制向量其中只有一个元素为1其余元素为0。这个元素的位置表示类别的索引或标签。这样做的目的是消除类别之间的顺序关系以及用离散的0和1表示类别信息使算法能够更好地处理类别型特征。 以下是一个简单的示例来解释One-Hot编码 假设我们有一个表示动物种类的类别特征包括猫、狗和鸟。One-Hot编码将这三个类别转化为如下形式的向量 猫[1, 0, 0]狗[0, 1, 0]鸟[0, 0, 1] 这样每个类别都被表示为一个唯一的二进制向量其中对应的位置为1其余位置为0。 在Python中可以使用各种工具和库来进行One-Hot编码其中最常用的是Scikit-Learnsklearn库的OneHotEncoder类。 以下是一个简单的代码示例 from sklearn.preprocessing import OneHotEncoder# 创建OneHotEncoder对象 encoder OneHotEncoder()# 假设有一个包含动物种类的数组 animal_categories [[猫], [狗], [鸟]]# 进行One-Hot编码 encoded_categories encoder.fit_transform(animal_categories).toarray()# 打印编码结果 print(encoded_categories) 结果 3.5、文本特征提取 作用对文本数据进行特征值化 sklearn.feature_extraction.text.CountVectorizer(stop_words[]) 返回词频矩阵 CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值返回sparse矩阵 CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格 CountVectorizer.get_feature_names() 返回值:单词列表 sklearn.feature_extraction.text.TfidfVectorizer 3.5.1、英文文本 下面对以下文本进行分析[life is short,i like python,life is too long,i dislike python] 流程分析 实例化类CountVectorizer 调用fit_transform方法输入数据并转换 注意返回格式利用toarray()进行sparse矩阵转换array数组 from sklearn.feature_extraction.text import CountVectorizer # 文本特征提取 sklearn.feature_extraction.text.CountVectorizer(stop_words[]) 返回词频矩阵CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值返回sparse矩阵CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格CountVectorizer.get_feature_names() 返回值:单词列表sklearn.feature_extraction.text.TfidfVectorizerdef text_count_demo():对文本进行特征抽取countvetorizer:return: Nonedata [life is short,i like like python,life is too long,i dislike python]# 1、实例化一个转换器类transfer CountVectorizer()# 2、调用fit_transformdata transfer.fit_transform(data)print(文本特征抽取的结果\n, data.toarray())print(返回特征名字\n, transfer.get_feature_names_out())if name main:text_count_demo() 输出结果 如果替换成中文则会出问题人生苦短我喜欢Python 生活太长久我不喜欢Python 为什么会得到这样的结果呢仔细分析之后会发现英文默认是以空格分开的。 其实就达到了一个分词的效果所以我们要对中文进行分词处理。 这里需要用到“结巴分词” 3.5.2、结巴分词 结巴分词jieba是一个流行的中文文本分词工具被广泛应用于自然语言处理NLP任务中如文本分析、信息检索、情感分析、机器翻译等。结巴分词是基于Python开发的开源项目它提供了一种可靠高效的中文分词解决方案。 以下是结巴分词的一些特点和功能 中文分词结巴分词可以将中文文本切分成一个一个有意义的词语词汇从而为后续的文本处理和分析提供基础。支持多种分词模式结巴分词提供了不同的分词模式包括精确模式、全模式、搜索引擎模式等以适应不同的分词需求。支持用户自定义词典用户可以根据需要添加自定义的词典用于识别领域特定的术语、词汇从而提高分词的准确性。高性能结巴分词在分词速度上表现出色可以处理大规模的文本数据。支持繁体字分词除了简体中文结巴分词还支持繁体中文文本的分词。词性标注结巴分词可以对分词结果进行词性标注帮助识别每个词语的词性如名词、动词等。适应多种任务结巴分词不仅可以用于分词还可以用于关键词提取、文本去重、文本相似度计算等任务。 3.5.3、中文文本 案例分析 对以下三句话进行特征值化 今天很残酷明天更残酷后天很美好 但绝对大部分是死在明天晚上所以每个人不要放弃今天。 我们看到的从很远星系来的光是在几百万年之前发出的 这样当我们看到宇宙时我们是在看它的过去。 如果只用一种方式了解某样事物你就不会真正了解它。 了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。 分析 准备句子利用jieba.cut进行分词 实例化CountVectorizer 将分词结果变成字符串当作fit_transform的输入值 from sklearn.feature_extraction.text import CountVectorizer # 文本特征提取 import jieba # 结巴分词 使用结巴分词对中文特征进行提取def text_chinese_count_demo2():对中文进行特征抽取:return: Nonedata [一种还是一种今天很残酷明天更残酷后天很美好但绝对大部分是死在明天晚上所以每个人不要放弃今天。,我们看到的从很远星系来的光是在几百万年之前发出的这样当我们看到宇宙时我们是在看它的过去。,如果只用一种方式了解某样事物你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。]# 将原始数据转换成分好词的形式text_list []for sent in data:text_list.append( .join(list(jieba.cut(sent)))) # 这里使用结巴分词print(text_list)# 1、实例化一个转换器类# transfer CountVectorizer(sparseFalse)transfer CountVectorizer()# 2、调用fit_transformdata transfer.fit_transform(text_list)print(文本特征抽取的结果\n, data.toarray())print(返回特征名字\n, transfer.get_feature_names_out())if name main:text_chinese_count_demo2() 结果 但如果把这样的词语特征用于分类会出现什么问题 该如何处理某个词或短语在多篇文章中出现的次数高这种情况? 这种情况下我们需要用到Tf-idf文本特征提取。 3.5.4、Tf-idf TF-IDFTerm Frequency-Inverse Document Frequency是一种常用的文本特征提取方法用于将文本数据转换为数值特征表示以便用于机器学习和信息检索任务。 TF-IDF反映了一个词在文本中的重要性同时考虑了词频和文档频率的影响。 TF-IDF文本特征提取的原理如下 词频Term FrequencyTF表示一个词在一篇文档中出现的频率。计算方法为一个词在文档中出现的次数除以文档的总词数。逆文档频率Inverse Document FrequencyIDF表示一个词在所有文档中的普遍程度。计算方法为总文件数目除以包含该词语之文件的数目再将得到的商取以10为底的对数。IDF的目的是降低常见词对文档区分能力的影响。TF-IDF将词频和逆文档频率相乘得到一个词在文档中的重要性得分。高频出现但在其他文档中不常见的词得分会相对较高。 公式 TF-IDF的优点在于它可以凸显文本中的关键词过滤掉一些无意义的常见词并为文本赋予数值特征使得文本数据适用于各种机器学习算法。 案例 from sklearn.feature_extraction.text import TfidfVectorizer # TF-IDF特征提取 import jieba # 结巴分词 提取TF-IDF特征def text_chinese_tfidf_demo():对中文进行特征抽取:return: Nonedata [一种还是一种今天很残酷明天更残酷后天很美好但绝对大部分是死在明天晚上所以每个人不要放弃今天。,我们看到的从很远星系来的光是在几百万年之前发出的这样当我们看到宇宙时我们是在看它的过去。,如果只用一种方式了解某样事物你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。]# 将原始数据转换成分好词的形式text_list []for sent in data:text_list.append( .join(list(jieba.cut(sent)))) # 这里使用结巴分词print(text_list)transfer TfidfVectorizer(stop_words[一种, 不会, 不要])# 2、调用fit_transformdata transfer.fit_transform(text_list)print(文本特征抽取的结果\n, data.toarray())print(返回特征名字\n, transfer.get_feature_names_out())if name main:text_chinese_tfidf_demo() TF-IDF特征提取如下 这段输出表示TF-IDF文本特征抽取的结果是一个特征矩阵其中每一行代表一个文本样本每一列表示一个单词的TF-IDF得分。 TF-IDF词频-逆文档频率是一种用于衡量一个词在文本中的重要性的指标结合了词频TF和逆文档频率IDF。TF-IDF越高说明该词在当前文本中越重要且越不常见于其他文本。 以下是对输出矩阵的解释 第一行表示第一篇文本样本的TF-IDF特征向量。特征向量中的每个元素表示对应单词的TF-IDF得分。例如今天的TF-IDF得分是0.43643578很的得分是0.21821789。第二行表示第二篇文本样本的TF-IDF特征向量。例如我们的TF-IDF得分是0.2410822光的得分是0.55004769。第三行表示第三篇文本样本的TF-IDF特征向量。例如了解的TF-IDF得分是0.644003事物的得分是0.3220015。 在这个特征矩阵中每一行表示一个文本样本每一列对应一个单词词汇表中的词。 每个元素表示对应单词在对应文本中的TF-IDF得分。 这个矩阵将文本数据转换为数值特征表示可以作为机器学习算法的输入。 通常情况下为了方便理解这些得分会在实际应用中进行归一化或者规范化处理。 Tf-idf的重要性分类机器学习算法进行文章分类中前期数据处理方式