旅游网站做精准营销的建站之星怎么使用

当前位置： 首页 > news >正文

旅游网站做精准营销的,建站之星怎么使用,中宁建设局网站,网站建设维护费摊销1. HDFS HDFS#xff08;Hadoop Distributed File System#xff09;–Hadoop分布式文件存储系统 源自于Google的GFS论文#xff0c;HDFS是GFS的克隆版 HDFS是Hadoop中数据存储和管理的基础 他是一个高容错的系统#xff0c;能够自动解决硬件故障#xff0c;eg#xff1a…1. HDFS HDFSHadoop Distributed File System–Hadoop分布式文件存储系统 源自于Google的GFS论文HDFS是GFS的克隆版 HDFS是Hadoop中数据存储和管理的基础 他是一个高容错的系统能够自动解决硬件故障eg硬盘损坏HDFS可以自动修复可以运行于低成本的通用硬件上低廉的硬盘4TB是1200元左右 【Hadoop是一个由Apache基金会所开发的分布式系统基础架构。】 2. YARN Hadoop中另一个核心组件YARN这个组件对Hadoop的发展起到了至关重要的作用。YARN Yet Another Resource Negotiator,另一种资源协调者Hadoop2中新增加的一种资源管理器。 YARN是一种通用资源管理系统和调度平台可以为上层应用提供统一的资源管理和调度。 YARN的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大的好处。 hadoop1.0中的资源调度管理由MapReduce来负责为了降低MR的工作复杂度在2.0中新增了YARN组件来专门负责资源的调度和管理。 另一个搜索结果 Yarn 是一个软件包管理器还可以作为项目管理工具。无论你是小型项目还是大型单体仓库monorepos无论是业余爱好者还是企业用户Yarn 都能满足你的需求。 npmNode Package Manager和 yarn 是两个常用的包管理工具用于在 Node.js 项目中安装、管理和更新依赖项。 npm全称 Node Package Manager是一个软件包管理系统专门管理用 JavaScript 编写的软件包。可以免费下载别人写好的 js软件包并用到项目中当然也可以上传共享自己写的 js软件包。安装及使用看这里 yarn 也是一个软件包管理系统同样用于管理 用 JavaScript 编写的软件包yarn 的出现是为了弥补 npm 的一些缺陷。 3. hive hive是基于Hadoop的一个数据仓库工具用来进行数据提取、转化、加载这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表并提供SQL查询功能能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低可以通过类似SQL语句实现快速MapReduce统计使MapReduce变得更加简单而不必开发专门的MapReduce应用程序。 最初Hive是由Facebook开发后来移交由Apache软件基金会开发并作为一个Apache开源项目。 4. HBase Hbase是一个开源的非关系型分布式数据库它参考了谷歌的BigTable建模实现的编程语言为Java。它是Apache软件基金会Hadoop项目的一部分运行于HDFS文件系统之上为Hadoop提供类似于BigTable规模的服务。 HBase 是一个面向列式存储的分布式数据库其设计思想来源于 Google 的 BigTable 论文。HBase 底层存储基于 HDFS 实现集群的管理基于 ZooKeeper 实现。 5.ZooKeeper ZooKeeper是一个分布式的开放源码的分布式应用程序协调服务是Google的Chubby一个开源的实现是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件提供的功能包括配置维护、域名服务、分布式同步、组服务等。 简单来说zookeeper 文件系统 监听通知机制 6.Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架Spark拥有Hadoop MapReduce所具有的优点但不同于MapReduce的是——Job中间输出结果可以保存在内存中从而不再需要读写HDFS因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境但是两者之间还存在一些不同之处这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越换句话说Spark 启用了内存分布数据集除了能够提供交互式查询外它还可以优化迭代工作负载。 7.Flink Apache Flink是由Apache软件基金会开发的开源流处理框架其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序Flink的流水线运行时系统可以执行批处理和流处理程序。此外Flink的运行时本身也支持迭代算法的执行。 Flink是一个批处理和流处理结合的统一计算框架其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理Data Processing场景高并发pipeline处理数据时延毫秒级且兼具可靠性。 8.Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台是一种高吞吐量的分布式发布订阅消息系统由Scala和Java编写。 Kafka可以处理消费者在网站中的所有动作流数据这种动作网页浏览搜索和其他用户的行动是在现代网络上的许多社会功能的一个关键因素这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统但又要求实时处理的限制这是一个可行的解决方案Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理也是为了通过集群来提供实时的消息。Kafka具有高吞吐量支持通过kafka服务器和消费机集群来分区消息支持 Hadoop并行数据加载等特点。 9.ELK ELK是三个软件的统称即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件通常配合使用并且都先后归于Elastic.co企业名下故被简称为ELK协议栈。ELK主要用于部署在企业架构中收集多台设备上多个服务的日志信息并将其统一整合后提供给用户。ELK官网网址如下https://www.elastic.co/cn/ 10.ansible ansible是新出现的自动化运维工具基于Python开发。ansible是基于模块工作的本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块ansible只是提供一种框架。https://zhuanlan.zhihu.com/p/387360214
hadoop的概念 网上会经常遇到各种hadoop的概念HiveHBaseHdfs都各是什么呢首先从hdfs说起hdfs是分布式文件系统它把集群当作单机一样做文件操作文件可能存在于多个机器上具体的存储细节会对使用者隐藏。map_reduce是一个计算框架google提出的用于大规模数据计算它们的主要思想是从函数式编程中借来的特性。hdfs和map_reduce统称为我们常说的Hadoop架构这个架构能存储PB级别的数据也能进行成千上万的独立计算。好现在已经有了这个框架了这个框架包含了底层的存储结构但是却并不是那么好用我们大家还是擅长于使用sql语句来进行数据精炼查询和分析的。这个时候就出现了Hive。Hive的功能是把sql语句解析成map_reduce的计算任务当然这样的拆分会导致查询变慢可能一个sql查询需要分钟甚至小时级别的不像mysql那样秒级以内查询出结果。基于Hadoop框架Powerset公司提出了另外一种非关系行分布式数据库HBase。它是使用JAVA实现的最大的特点是基于列存储的。列存储的好处是什么列存储就是把不同行相同的数据存储在一起这样比如有的行没有的属性在行存储中还需要留空余空间但是在列存储中就完全不需要。列存储也能把相同属性的字段存储在一起这样对数据压缩也有好处。所以列存储很适合大数据领域。我们经常看到文章比较HBase和Hive一般都是比较他们的查询效率其实他们并不是一个维度的东西。HBase的查询效率会优于Hive而Hive一般用于做离线的数据分析。本文转自轩脉刃博客园博客原文链接http://www.cnblogs.com/yjf512/p/5166296.html如需转载请自行联系原作者