当前位置： 首页 > news >正文

凡客建站,东莞市建筑工程,短视频公司网站建设方案,三层别墅设计图片大全 效果图Hadoop3.0快速入门 学习步骤#xff1a; 三大组件的基本理论和实际操作Hadoop3的使用#xff0c;实际开发流程结合具体问题#xff0c;提供排查思路 开发技术栈#xff1a; Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQL Hadoop简介 Hadoop是一个适合海量数据存…Hadoop3.0快速入门 学习步骤 三大组件的基本理论和实际操作Hadoop3的使用实际开发流程结合具体问题提供排查思路 开发技术栈 Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQL Hadoop简介 Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。 分布式存储介绍 分布式计算介绍 移动数据数据 - 计算程序移动计算计算程序 - 数据分布式计算各个节点局部计算 - 第二阶段汇总程序 Hadoop三大核心组件 HDFS分布式存储系统 架构分析 HDFS负责海量数据的分布式存储。支持主从架构主节点支持多个NameNode从节点支持多个DataNode。NameNode负责接收用户请求维护目录系统的目录结构。DataNode主要负责存储数据。 MapReduce分布式计算框架 架构分析 MapReduce是一个编程模型主要负责海量数据计算主要由两个阶段组成Map和Reduce。Map阶段是一个独立的程序会在很多个节点上同时执行每个节点处理一部分数据。Reduce节点也是一个独立的程序在这先把Reduce理解为一个单独的聚合程序即可。 Yarn资源管理与调度 架构分析 主要负责集权资源的管理和调度支持主从架构主节点最多可以有2个从节点可以有多个。主节点ResourceManager进程主要负责集群资源的分配和管理。从节点NodeManager主要负责单节点资源管理。 大数据生态圈 Hadoop安装部署 Hadoop发行版介绍 官方版本Apache Hadoop开源集群安装维护比较麻烦第三方发行版Cloudera HadoopCDH商业收费使用Cloudera Manager安装维护比较方便第三方发行版HortonWorksHDP开源使用Ambari安装维护比较方便。 伪分布式集群安装部署使用1台Linux虚拟机安装伪分布式集群

1. 静态IP设置 192.168.56.101

2. 主机名设置临时、永久 cent7-1

3. hosts文件修改配置IP与主机名映射关系 cent7-1 localhost

4. 关闭防火墙临时、永久 systemctl status firewalld.service systemctl stop firewalld systemctl status firewalld.service5. ssh免密登录 ssh-keygen -t rsa cd /root cd .ssh/ cat id_rsa cat id_rsa.pub authorized_keys ssh cent7-16. JDK1.8安装 tar -zxvf jdk-8u191-linux-x64.tar.gz vi /etc/profile source /etc/profile# profile配置内容 export JAVA_HOME/home/jdk8 export PATH.:\(JAVA_HOME/bin:\)PATH7. Hadoop伪分布式安装

   解压Hadoop

   tar -zxvf hadoop-3.2.4.tar.gz

   进入配置文件目录

   cd /home/hadoop-3.2.4/etc/hadoopvi core-site.xml vi hdfs-site.xml 配置core-site.xml propertynamefs.defaultFS/namevaluehdfs://cent7-1:9000/valuefinaltrue/final /property propertynamehadoop.tmp.dir/namevalue/home/hadoop_repo/value /property配置hdfs-site.xml !– 指定HDFS副本的数量,伪分布式集群最多一个也不支持多个 – propertynamedfs.replication/namevalue1/value /property配置hdfs-site.xml !– 指定MR运行在Yarn上 – propertynamemapreduce.framework.name/namevalueyarn/value /property配置yarn-site.xml !– Reducer获取数据的方式 – propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value /property !– 指定YARN的ResourceManager白名单 – propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property配置 hadoop-env.sh export JAVA_HOME/home/jdk8 export HADOOP_LOG_DIR/home/hadoop_repo/logs/hadoop初始化hdfs

   在Hadoop的目录下执行以下命令

   bin/hdfs namenode -format看到以下内容说明执行成功注意hdfs格式化只能执行一次如果失败需要删除文件夹后再进行格式化。
   启动 [rootcent7-1 hadoop-3.2.4]# sbin/start-all.sh Starting namenodes on [cent7-1] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. Starting secondary namenodes [cent7-1] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation. Starting resourcemanager ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation. Starting nodemanagers ERROR: Attempting to operate on yarn nodemanager as root ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

   提示缺少hdfs、yarn的用户信息配置start-dfs.sh、stop-dfs.sh

   vi sbin/start-dfs.sh vi sbin/stop-dfs.sh #增加配置 HDFS_DATANODE_USERroot HADOOP_SECURE_DN_USERhdfs HDFS_NAMENODE_USERroot HDFS_SECONDARYNAMENODE_USERroot配置 vi sbin/start-yarn.sh vi sbin/stop-yarn.sh #增加配置 YARN_RESOURCEMANAGER_USERroot HADOOP_SECURE_DN_USERyarn YARN_NODEMANAGER_USERroot再次启动 [rootcent7-1 hadoop-3.2.4]# sbin/start-all.sh WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER. Starting namenodes on [cent7-1] 上一次登录三 8月 30 19:05:12 CST 2023从 192.168.56.1pts/1 上 Starting datanodes 上一次登录三 8月 30 21:02:51 CST 2023pts/0 上 localhost: Warning: Permanently added localhost (ECDSA) to the list of known hosts. Starting secondary namenodes [cent7-1] 上一次登录三 8月 30 21:02:56 CST 2023pts/0 上 Starting resourcemanager 上一次登录三 8月 30 21:03:49 CST 2023从 192.168.56.1pts/3 上 Starting nodemanagers 上一次登录三 8月 30 21:04:13 CST 2023pts/0 上 [rootcent7-1 hadoop-3.2.4]# jps 10146 NameNode 10386 DataNode 10883 SecondaryNameNode 11833 ResourceManager 12954 Jps 12155 NodeManager

   展示除了jps外的五个Hadoop组件进程表示启动成功浏览器确认启动成功 访问HDFShttp://192.168.56.101:9870/ 访问Hadoophttp://192.168.56.101:8088/

   停止 sbin/stop-all.sh分布式集群安装部署使用3台Linux虚拟机安装分布式集群 客户端节点安装介绍 HIVE安装部署 mysql安装部署 yum install mysqlhive下载与部署 apache-hive-hive-3.1.3安装包下载_开源镜像站-阿里云 (aliyun.com) source /etc/profile export HIVE_HOME/home/hive export PATH\(HIVE_HOME/bin:\)PATH配置hive/conf/hive-site.xml文件 configuration
   property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://cent7-1:3306/hive?createDatabaseIfNotExisttrueamp;useSSLfalse/value
   /property
   property namejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value
   /property
   property namejavax.jdo.option.ConnectionUserName/namevaluehdp/value
   /property
   property namejavax.jdo.option.ConnectionPassword/namevalueadmin/value
   /property
   !–自定义远程连接用户名和密码– propertynamehive.server2.authentication/namevalueCUSTOM/value!–默认为none修改成CUSTOM– /property !–指定解析jar包– propertynamehive.server2.custom.authentication.class/namevaluecom.ylw.CustomHiveServer2Auth/value /property
   propertynamehive.server2.custom.authentication.file/namevalue/home/hive/user.pwd.conf/value /property !–设置用户名和密码– propertynamehive.jdbc_passwd.auth.root/name!–用户名为最后一个:root–valueadmin/value /property
   propertynamehive.metastore.port/namevalue9083/valuedescriptionHive metastore listener port/description /property propertynamehive.server2.thrift.port/namevalue10000/valuedescriptionPort number of HiveServer2 Thrift interface when hive.server2.transport.mode is binary./description /property property!– value新的最大工作线程数/value–namehive.server2.thrift.max.worker.threads/namevalue200/value /property propertynamehive.metastore.local/namevaluefalse/valuedescriptioncontrols whether to connect to remote metastore server or open a new metastore server in Hive Client JVM/description /property propertynamehive.server2.transport.mode/namevaluebinary/valuedescriptionExpects one of [binary, http].Transport mode of HiveServer2./description /property /configuration 启动与停止hive nohup hive –server metastore nohup hive –service hiveserver2 jps #看到是否有两个runJar 如果有说明启动成功

   查看端口占用

   netstat -anop |grep 10000 ps -aux|grep hive