当前位置： 首页 > news >正文

网站建设培训公司哪家好,wordpress企业网站插件,wordpress 仿头条主题,网站服务器ip更换文章目录 CentOS7安装部署CDH6.2.1一、前言1.简介2.架构3.环境 二、环境准备1.部署服务器2.安装包准备3.修改机器名4.关闭防火墙5.关闭 SELinux6.Hosts文件7.limits文件8.设置swap空间9.关闭透明巨页内存10.免密登录 三、安装CM管理端1.安装第三方依赖包2.安装Oracle的JDK3.安装… 文章目录 CentOS7安装部署CDH6.2.1一、前言1.简介2.架构3.环境 二、环境准备1.部署服务器2.安装包准备3.修改机器名4.关闭防火墙5.关闭 SELinux6.Hosts文件7.limits文件8.设置swap空间9.关闭透明巨页内存10.免密登录 三、安装CM管理端1.安装第三方依赖包2.安装Oracle的JDK3.安装lrzsz4.安装ntp5.安装MySQL6.配置CM的yum源7.CDH parcel包安装8.CM 组件安装 四.配置CDH集群1.CM欢迎页2.集群安装欢迎页 五、高可用1.Zookeeper高可用2.HDFS高可用3.添加服务 六、告警1.CM 告警2.集群告警 七、报错报错1报错2报错3报错4报错5报错6 CentOS7安装部署CDH6.2.1 一、前言 1.简介 Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。Cloudera Manager 设定了标准 通过提供对 CDH 集群每个部分的精细可见性和控制实现企业部署使运营商能够提高性能、提高服务质量、增加 合规性并降低管理成本。借助 Cloudera Manager您可以轻松部署和集中操作完整的 CDH 堆栈和其他托管服务。该应用程序自动执行 安装过程将部署时间从几周缩短到几分钟;为您提供集群范围内正在运行的主机和服务的实时视图;提供单个中央控制台来制定配置 集群中的更改;并集成了全套报告和诊断工具可帮助您优化性能和利用率。本入门书介绍了基本概念、结构、 和Cloudera Manager的功能。 2.架构 Cloudera Manager Server 可与其他几个组件配合使用 代理Agent安装在每台主机上。代理负责启动和停止进程、解压缩配置、触发安装以及 监视主机。管理服务Management Service由一组执行各种角色组成的服务 监视、警报和报告功能。数据库Database存储配置和监视信息。Cloudera Repository 由ClouderaManager分发的软件存储库。客户端Clients是与服务器交互的接口 Admin Console 基于 Web 的 UIAdmin 可用于管理集群和 Cloudera Manager 。API开发人员用来创建自定义 Cloudera 的 API 管理器应用程序。
3.环境 Linux 发行版CentOS-7-x86_64-DVD-1804.isoJDK 版本Java SE Development Kit 11.0.19CDH 版本6.2.1 Cloudera Manager Overview | 6.2.xhttps://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_intro_primer.html Cloudera Installation Guide | 6.2.xhttps://docs.cloudera.com/documentation/enterprise/6/6.2/topics/installation.html CDH 6.2.1 Packaginghttps://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_packaging.html#cdh_621_packaging CentOS基础操作命令https://blog.csdn.net/u011424614/article/details/94555916 CentOS7安装部署Dorishttps://blog.csdn.net/u011424614/article/details/132419397 二、环境准备 1.部署服务器 机器名IP角色硬件配置cdh001192.168.249.121主节点4核 16Gcdh002192.168.249.122从节点4核 8Gcdh003192.168.249.123从节点4核 8G 2.安装包准备 百度云盘 链接: https://pan.baidu.com/s/1ToePLghssMMxFnk-AiEkhQ 提取码: xvgx 所有节点创建目录 mkdir /root/download将下载的文件夹上传到 cdh001 的 /root/download 目录 3.修改机器名 执行机器所有节点 修改 3 台服务器的机器名 #– cdh001 hostnamectl set-hostname cdh001 –static hostnamectl set-hostname cdh001 –transient#– cdh002 hostnamectl set-hostname cdh002 –static hostnamectl set-hostname cdh002 –transient#– cdh003 hostnamectl set-hostname cdh003 –static hostnamectl set-hostname cdh003 –transient4.关闭防火墙 执行机器所有节点 systemctl stop firewalld systemctl disable firewalld# 状态 systemctl status firewalld5.关闭 SELinux 执行机器所有节点 临时关闭 setenforce 0永久关闭 vim /etc/selinux/config编辑内容

SELINUXenforcing 改为 SELINUXdisabled

SELINUXdisabled6.Hosts文件 执行机器所有节点 配置IP和机器名的映射 cat /etc/hosts EOF 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.249.121 cdh001 192.168.249.122 cdh002 192.168.249.123 cdh003 EOF7.limits文件 执行机器所有节点 设置用户最多可打开的文件数、进程数、内存占用 cat /etc/security/limits.conf EOF

• soft nofile 32728

• hard nofile 1024999

• soft nproc 65535

• hard noroc unlimited

• soft memlock unlimited

• hard memlock unlimited EOF更新参数 sysctl -p8.设置swap空间 执行机器所有节点 输出交换分区的使用情况 cat /proc/sys/vm/swappiness修改文件内容 echo 10 /proc/sys/vm/swappiness echo vm.swappiness 0 /etc/sysctl.confCloudera 建议将交换空间设置为 0过多的交换空间会引起 GC 耗时激增 9.关闭透明巨页内存 执行机器所有节点 echo never /sys/kernel/mm/transparent_hugepage/enabled echo never /sys/kernel/mm/transparent_hugepage/defrag配置到文件 echo echo never /sys/kernel/mm/transparent_hugepage/defrag /etc/rc.local echo echo never /sys/kernel/mm/transparent_hugepage/enabled /etc/rc.local #避免重启后不生效设置执行权限 chmod x /etc/rc.d/rc.local10.免密登录 执行机器zdb001

  生成公钥和私钥如果不设置密码三次回车

  ssh-keygen -t rsa# 复制公钥和私钥输入对应机器的root用户密码 ssh-copy-id rootcdh001 ssh-copy-id rootcdh002 ssh-copy-id rootcdh003三、安装CM管理端 1.安装第三方依赖包 执行机器所有节点 yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_sslyum -y install bind-utils psmisc cyrus-sasl-plain libaio cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt2.安装Oracle的JDK 执行机器所有节点 将 cdh001 的 JDK 安装包拷贝到其它两台机器

  拷贝到 192.168.249.122

  scp /root/download/cdh6.2.1/cloudera-repos-6.2.1/oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm root192.168.249.122:/root/download/oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm# 拷贝到 192.168.249.123 scp /root/download/cdh6.2.1/cloudera-repos-6.2.1/oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm root192.168.249.123:/root/download/oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm安装 JDK

  查询已安装的java

  rpm -qa | grep java# 卸载 yum -y remove java*# cdh001执行 cd /root/download/cdh6.2.1/cloudera-repos-6.2.1/ rpm -ivh oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm# cdh002 和 cdh003 执行 cd /root/download rpm -ivh oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm配置环境变量 vim /etc/profile写入内容 export JAVA_HOME/usr/java/jdk1.8.0_181-cloudera export PATH\(PATH:\)JAVA_HOME/bin更新环境变量 source /etc/profile3.安装lrzsz 执行机器所有节点 类似 ftp 的上传和下载工具 rpm -qa | grep lrzsz# 如果已安装可忽略 yum -y install lrzsz4.安装ntp 1设置中国时区 修改时区如已修改过可跳过 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime验证 date2安装 ntp 执行机器所有节点 用于各个机器的时间同步 rpm -qa | grep ntp# 如果已安装可忽略 yum -y install ntp管理 ntp 服务

  启动

  systemctl start ntpd.service systemctl enable ntpd.service

  重启

  systemctl restart ntpd.service

  关闭

  systemctl stop ntpd.service systemctl disable ntpd.service

  状态

  systemctl status ntpd.service3选一台机器作为 ntp 服务端 执行机器cdh001 vim /etc/ntp.conf注释其它 server , 采用本地时间作为集群时间且允许内网时间同步

  server 0.centos.pool.ntp.org iburst

  server 1.centos.pool.ntp.org iburst

  server 2.centos.pool.ntp.org iburst

  server 3.centos.pool.ntp.org iburst

  server 127.127.1.0 fudge 127.127.1.0 stratum 104其它机器作为 ntp 客户端同步服务端的时间 执行机器cdh002、cdh003 使用 crontab 实现每隔 30 分钟同步一次内网一台机器的时间 crontab -e30 * * * * /usr/sbin/ntpdate cdh001; /sbin/hwclock -wcrontab 格式

• *　 *　 *　 *　　command 分　时　日　月　周　 命令5.安装MySQL 执行机器cdh001 MySQL connector 包

  创建目录

  mkdir -p /usr/share/java# 安装包目录 cd /root/download/cdh6.2.1

  解压

  tar -zxvf mysql-5.7/mysql-connector-java-5.1.47.tar.gz# 移动到新建目录下并改文件名为 mysql-connector-java.jar cd mysql-connector-java-5.1.47 mv mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

  设置权限

  chmod 755 /usr/share/java/mysql-connector-java.jar安装 MySQL 服务

  检查 mariadb 是否安装

  rpm -qa|grep mariadb# 卸载 mariadb rpm -e –nodeps mariadb-libs-5.5.56-2.el7.x86_64# 解压 MySQL 安装包 cd /root/download/cdh6.2.1 tar -xvf mysql-5.7/mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar# rpm 安装 rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm rpm -ivh mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm配置 MySQL 参数 cat /etc/my.cnf EOF [mysqld] basedir /usr/local/mysql datadir /var/lib/mysql port 3306 socket/var/lib/mysql/mysql.sock character-set-serverutf8transaction-isolation READ-COMMITTED

  Disabling symbolic-links is recommended to prevent assorted security risks;

  to do so, uncomment this line:

  symbolic-links 0server_id1 max-binlog-size 500M log_bin/var/lib/mysql/mysql_binary_log #binlog_format mixed binlog_format Row expire-logs-days 14max_connections 550 read_buffer_size 2M read_rnd_buffer_size 16M sort_buffer_size 8M join_buffer_size 8M# InnoDB settings innodb_file_per_table 1 innodb_flush_log_at_trx_commit 2 innodb_log_buffer_size 64M innodb_buffer_pool_size 4G innodb_thread_concurrency 8 innodb_flush_method O_DIRECT innodb_log_file_size 512M[client] default-character-setutf8 socket/var/lib/mysql/mysql.sock[mysql] default-character-setutf8 socket/var/lib/mysql/mysql.sock[mysqld_safe] log-error/var/log/mysqld.log pid-file/var/run/mysqld/mysqld.pidsql_modeSTRICT_ALL_TABLES skip-ssl EOF启动 MySQL

  注意保存初始化生成的临时密码

  [Note] A temporary password is generated for rootlocalhost: q5TP/wdFjN?i

  mysqld –initialize –usermysql# 启动 systemctl start mysqld.service systemctl enable mysqld修改密码和远程访问权限 mysql -u root -p

  设置密码

  set password for rootlocalhost password(cdh123Z);

  设置远程权限

  use mysql; update user set host% where userroot and hostlocalhost; flush privileges;

  备用

  quit;创建默认数据库 CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;查询现有数据库 show databases;6.配置CM的yum源 执行机器cdh001 安装和启动 http 服务器 yum install httpd

  启动

  service httpd start systemctl enable httpd.service创建 CM 的 yum 源

  创建 yum 源目录

  mkdir -p /var/www/html/cloudera-repos/repodata# 安装包目录 cd /root/download/cdh6.2.1

  复制 CM 的文件夹

  cp -r cloudera-repos-6.2.1/. /var/www/html/cloudera-repos/cd /var/www/html/cloudera-repos/# 安装 createrepo yum -y install yum-utils createrepo

  创建 repodata

  createrepo .# yum 清理 yum clean all访问 yum 源http://cdh001/cloudera-repos/ 或 http://192.168.249.121/cloudera-repos/ 如无法访问请注意配置 Hosts 文件 7.CDH parcel包安装 执行机器cdh001

  创建 parcel 包存放目录

  mkdir -p /opt/cloudera/parcel-repo# 安装包目录 cd /root/download/cdh6.2.1 cp -r parcel-6.2.1/. /opt/cloudera/parcel-repo# 创建 cloudera-scm 用户 useradd –system –home/opt/cloudera-manager/cm-6.2.1/run/cloudera-scm-server –no-create-home –shell/bin/false –comment Cloudera SCM User cloudera-scm

  修改用户组

  chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/cd /opt/cloudera/parcel-repo #校验 parcel 文件 sha1sum CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel

  查看.sha1 内容

  cat CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1

  如果一样直接将后缀 .sha1 改为 .sha

  如果不一样将 sha1sum 后的值替换到 .sha1 文件中 并改为 .sha

  mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha8.CM 组件安装 执行机器cdh001 安装 CM 组件

  主节点cdh001导入 GPGkey

  rpm –import http://cdh001/cloudera-repos/RPM-GPG-KEY-cloudera# 顺序安装

  所有节点安装 daemons

  yum -y localinstall http://cdh001/cloudera-repos/cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm

  主节点cdh001安装 server

  yum -y localinstall http://cdh001/cloudera-repos/cloudera-manager-server-6.2.1-1426065.el7.x86_64.rpm

  所有节点安装 agent

  yum -y localinstall http://cdh001/cloudera-repos/cloudera-manager-agent-6.2.1-1426065.el7.x86_64.rpm# 主节点cdh001初始化数据库

  /opt/cloudera/cm/schema/scm_prepare_database.sh 数据库类型 数据库名 用户名 密码

  /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root cdh123Z修改 CM Agent 配置文件 执行机器cdh002、cdh003

  配置CM Server的Host

  sed -i /server_host/cserver_hostcdh001 /etc/cloudera-scm-agent/config.ini启动 CM 服务

  启动server主节点 cdh001 执行

  systemctl start cloudera-scm-server systemctl enable cloudera-scm-server

  启动agent所有节点执行

  systemctl start cloudera-scm-agent systemctl enable cloudera-scm-agent

  服务状态

  systemctl status cloudera-scm-server systemctl status cloudera-scm-agent四.配置CDH集群 执行机器cdh001 1.CM欢迎页 CM管理端配置CDH集群 登录 CM 管理端http://cdh001:7180 或 http://192.168.249.121:7180/默认账号和密码admin || admin 欢迎页 用户协议 选择免费版 2.集群安装欢迎页 填写集群名称 切换到【当前管理的主机】勾选所有主机 点击【更多选项】按钮填写 “远程 Parcel 存储库 URL” 远程 Parcel 存储库 URL【http://cdh001/cloudera-repos/cm6】其它链接可删除 等待 CDH 安装完成点击 【Inspect Network Performance】 按钮 和 【Inspect Hosts】按钮检查集群网络环境和主机状态 根据需要选择要安装的服务这里选择 【自定义服务】 自定义角色分配 数据库设置填写数据库信息后点击【测试连接】按钮 审核更改默认存储目录 等待安装完成 安装完成 五、高可用 1.Zookeeper高可用 点击 zookeeper 实例 - 添加角色实例 选择主机 勾选 cdh002 和 cdh003 安装之后重启服务 2.HDFS高可用 提前清理目录cdh001执行 rm -rf /dfs/nn点击 HDFS 操作 - 启用 HighAvailability 修改 nameservice 名称 选择角色的主机 编辑 NameNode 数据目录和 JournalNode 目录注意设置的目录与前面清理目录关联 等待部署完成后重启服务 3.添加服务 集群操作 - 添加服务 选择服务 六、告警 1.CM 告警 2.集群告警 点击蓝色文字根据提示修改配置 七、报错 报错1 提示信息

  集群配置 - 数据库设置

  JDBC driver cannot be found. Unable to find the JDBC database jar on host : cdh003.解决方法 方案一查看 Hive、Activity Monitor、Hue 是否已选择 cdh001因为 cdh001 安装了 MySQL 方案二/usr/share/java/mysql-connector-java.jar 是否有 MySQL 连接驱动 报错2 提示信息 对当前 NameNode 的名称目录进行格式化。如果名称目录不为空此操作将失败。解决方法 rm -rf /dfs/nn报错3 提示信息 Failed to start namenode. java.io.IOException: NameNode is not formatted.at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1084)at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:709)at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:665)at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:727)at org.apache.hadoop.hdfs.server.namenode.NameNode.init(NameNode.java:950)at org.apache.hadoop.hdfs.server.namenode.NameNode.init(NameNode.java:929)at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1653)at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1720)解决方法 hdfs namenode -format报错4 提示信息 场景说明终端执行 hdfs dfs -ls /tmp 时提示一下信息 ls: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error原因 HDFS 高可用模式下执行的 NameNode 处于 standby 状态 解决方法 编辑配置文件 vim /etc/hadoop/conf/core-site.xml vim /etc/hadoop/conf.cloudera.hdfs/core-site.xml将配置改成 active 状态的 NameNode propertynamefs.defaultFS/namevaluehdfs://cdh002:8020/value /property重启 HDFS 配置才会生效 报错5 提示信息 不良 : Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。解决方法 创建 /tmp 目录 创建完成后HDFS 会自动创建 .cloudera_health_monitoring_canary_files 文件夹
  hdfs dfs -ls /tmpsudo -u hdfs hdfs dfs -mkdir /tmp报错6 报错提示 场景说明在 NameNode 的 Web UI 中创建文件夹时提示一下信息 Permission denied: userdr.who, accessWRITE, inode/:hdfs:supergroup:drwxr-xr-x解决方法 HDFS 配置 - 搜索 hdfs-site - hdfs-site.xml 的 HDFS 服务高级配置代码段安全阀 配置 dfs.permissions.enabled false