门户网站建设计入什么科目wordpress 许愿墙

当前位置： 首页 > news >正文

门户网站建设计入什么科目,wordpress 许愿墙,网站拒绝了您的访问,交易猫钓鱼网站制作教学各位大佬好 #xff0c;这里是阿川的博客#xff0c;祝您变得更强 个人主页#xff1a;在线OJ的阿川 大佬的支持和鼓励#xff0c;将是我成长路上最大的动力 阿川水平有限#xff0c;如有错误#xff0c;欢迎大佬指正 数据采集与预处理前 必看 【大数据导论】—大数据序… 各位大佬好 这里是阿川的博客祝您变得更强 个人主页在线OJ的阿川 大佬的支持和鼓励将是我成长路上最大的动力 阿川水平有限如有错误欢迎大佬指正 数据采集与预处理前 必看 【大数据导论】—大数据序言 【大数据导论】—大数据、人工智能、云计算、物联网、区块链序言 【大数据导论】—大数据基础知识 【大数据导论】—大数据应用 目录 大数据步骤其中数据采集其中数据清洗其中数据转换其中数据脱敏 大数据步骤 数据采集数据清洗数据处理数据分析数据可视化
其中数据采集 通过数据采集可以获取传感器、互联网、日志文件、企业系统等数据再通过数据预处理数据清洗 数据转换 数据脱敏从而便于后一步的分析 被采集数据类型
结构化数据半结构化数据非结构化数据
大数据特点 数据量大数据类型丰富处理速度快
数据采集比较
数据采集特点 全面性 多维性 高效性
主要数据源 日志文件数据 传感器数据 互联网数据 企业业务系统数据
数据采集工具 Chukwa Flume Scribe 分布式消息订阅分发 Kafka 实时在线处理低延迟批量离线处理高吞吐量 ETL 实现大规模数据加载 网络数据采集 通过网络爬虫、API接口从网站上获取非结构化数据信息且储存为统一的本地结构化数据文件 当中网络爬虫 爬虫节点控制节点资源库 控制节点与爬虫节点关系 网络爬虫的类型 通用网络爬虫又称全网爬虫 主要为 门户站点搜索引擎 大型Web服务提供商采集数据 通用网络爬虫结构 页面爬行 页面分析 连接过滤 页面数据库 URL队列 初始URL集合 爬行策略 深度优先策略 广度优先策略 聚焦网络爬虫又称主题网络爬虫 选择性爬取与预先定好的主题相关页面的网络爬虫 爬虫步骤 过滤主题无关链接 有用链接放入等待抓取URL队列 根据一定搜索策略 选择下一步抓取的网页URL 增量式网络爬虫 对已下载的网页采取增量式更新和只爬行新产生或已发生变化网页爬虫且保证所爬行页面是尽可能新的页面 爬行策略 广度优先策略PageRank优先策略 优点 有效减少数据下载量及时更新已爬行的网页减少时间和空间耗费 深层网络爬虫 利用一些关键词将搜索表达后的页面提取出来 基本功能模块 爬行控制器 LVS控制器 解析器 响应分析器 表单分析器 表单处理器 内部数据结构 URL列表LVS表 爬虫框架 Scrapy爬虫 基于Python实现的框架该框架可以运行在Linux、Windows、macOS上该框架速度快、扩展性强、使用简便且可以运行在本地或者云端用户只需要开发几个模块就可以实现爬虫效果常常被用于监测、数据挖掘、自动化测试 市面上基于Python的爬虫框架还有Crawley、Portia、Newspaper、Python-goose、Beautiful Soup、Mechanize、Selenium、Cola 反爬机制 数据是宝贵的资源拥有数据方不愿意他人获取自己的数据为了保护企业网站和网站数据从而运用了反扒技术 缺点反爬机制过于严格可能会误伤到真正的用户请求
其中数据清洗 按照一定的规则发现并纠正含有错误值、缺失值、异常值、可疑数据使脏的数据变成干净的数据的步骤
数据清洗步骤 检查数据一致性处理缺失值、重复值、异常/无效值、数据类型有误数据 当中 处理缺失值 估算 样本均值中位数众数 整例删除 直接剔除缺失值但可能导致有效样本量大大减少更适合关键变量缺失因为这样异常值或缺失值的样本比重很小 变量删除 变量缺失值很多且删除该变量对问题影响不大从而减少共分析的变量数目且没有改变样本量 成对删除 采用一些特殊码替换缺失值且保留全部变量和样本从而最大限度地保留可用信息 处理异常/无效值 根据每个变量合理的取值范围和相互关系检查数据是否合乎要求 处理重复值 对于数据要进行重复性检验否则重复值的存在会影响数据分析和挖掘结果的准确性
数据清洗注意事项 注意数据类型转换数据类型会影响到后面的数据处理分析环节所以要明确每个字段的数据类型 优先缺失值、异常/无效值和数据类型转换操作最后重复值处理 在对缺失值、异常/无效值进行处理时候要根据业务需求进行填充处理统计值填充、零值填充、前后值填充 进行数据清洗前要对数据表进行查看要了解表的结构从而发现要处理的值 数据量大小关系也决定着数据处理方式当总数据量较大选择直接删除处理;当总数据量较小认真对数据进行处理 当数据导入数据表之后需要将所有列一个个进行清洗从而保证数据处理的彻底性
其中数据转换 将数据转化成适合处理的形式
数据转换策略 平滑处理聚集处理数据泛化处理数据规范化处理属性构造处理 当中 平滑处理 除去数据中的噪声被测量的变量随机错误的变化 平滑处理方法 分箱 被平滑数据点的近邻点对一组排序数据进行平滑处理排序后的数据分配到若干个箱子中 分配方法有 等高方法 每个箱子中元素的个数相同 例子 等宽方法 每个箱子的间距 取值相同 例子 回归 可以使用拟合函数对数据进行平滑处理 聚类 通过聚类分析方法可以帮助发现异常数据 聚集处理 对数据进行汇总操作 获得每月或每年总额构建数据立方体进行多粒度分析 数据泛化处理 用更抽象的概念来取代低层次的数据对象 例如 用街道属性来取代城市、国家 用年龄属性来取代年轻、中年、老年 适用场景 神经网络基于距离计算的最近邻分类聚类挖掘的数据预处理 数据规范化处理 将属性值按比例缩放使之落入一个特定的区间从而消除数值型数据因大小不一而造成结果偏差 方法 Max-Min 对被转换的数据进行线性转换 例子 注意当有新的值加入或删除的时候可能会导致新的最大值或最小值Z-Score 将不同量级的数据 统一转化成 同一量级的数据不需要知道数据集中的最大值最小值且对离群点规范化效果好统一用计算出的真实值衡量不受数据量级的影响从而保证数据间的可比性消除量级给分析带来的不便 例子 注意规范化处理 需要数据分布符合正态分布且该处理会消除数据具有的实际意义小数定标 通过直观简单的移动数据值的小数位数来达到规范化的目的 例子 注意小数定标法并没有消除属性间的权重差异 属性构造处理 根据已有属性集及构造新属性后续数据处理直接使用新增的属性 例如 利用质量、体积属性构建出新属性密度
其中数据脱敏 在给定的规则策略下对敏感数据进行变换修改从而在很大程度上解决敏感数据在非可信环境中使用问题
数据脱敏原则 当中 开发、测试以及大数据类业务不受脱敏的影响 数据一致性和有效性 数据漂白 抹去数据中的敏感内容 保持原有的数据特征 数据脱敏前后必须保证数据特征的保持 例如身份证 业务规则和数据关联性 数据脱敏时数据关联性主外键关联性、关键字段的业务语义关联性及业务保持不变
数据脱敏方法 数据替换 用设置的固定虚构值替换真值 无效化 对数据值的截断、加密、隐藏 随机化 随机数据代替真值 偏移和取整重要 随机移位改变数字数据 掩码屏蔽 针对账户类数据银行卡号、身份证号部分信息进行脱敏 灵活编码 需要特殊脱敏规则时可采用灵活编码满足各种可能的脱敏规则
好的到此为止啦祝您变得更强 想说的话 学习来源厦门大学林子雨老师的 《大数据导论》反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写 实不相瞒写的这篇博客要写六个小时以上加上自己学习和纸质笔记共八小时吧很累希望大佬支持一下 道阻且长 行则将至个人主页在线OJ的阿川大佬的支持和鼓励将是我成长路上最大的动力