网站步骤做网站里面内容编写

当前位置： 首页 > news >正文

网站步骤,做网站里面内容编写,拼多多网站建设方案,招聘代做网站背景#xff1a;近期在研发大数据中台#xff0c;需要研究Hadoop hive 的各种特性#xff0c;需要搭建一个Hadoop的虚拟环境#xff0c;本来想着使用dock #xff0c;但突然发现docker 公共仓库的镜像 被XX 了#xff0c;无奈重新使用vm 搭建虚拟机。 大概经历了6个小时完…背景近期在研发大数据中台需要研究Hadoop hive 的各种特性需要搭建一个Hadoop的虚拟环境本来想着使用dock 但突然发现docker 公共仓库的镜像 被XX 了无奈重新使用vm 搭建虚拟机。 大概经历了6个小时完成hadoop 3.3.6 环境的搭建分享步骤给大家需要搭建好的虚拟机镜像私信联系提供百度网盘下载链接。(需要请一杯奶茶)。
操作系统版本centos 7 本次实践实践2024年未来2年内有效。 目录 一、准备工作1、安装vmware2、centos配置固定IP重启网络服务关闭防火墙修改主机名永久更改修改IP映射配置免密登录 二、Hadoop3.3.6 伪分布安装步骤1、 安裝JDK下载jdk 到服务器解压安裝jdk配置 java 环境变量/etc/profile 2、hadoop 3.3.6 安装修改 hadoop 配置文件配置core-site.xml 配置hdfs-site.xml配置hadoop-env.sh启动hadoop格式化 namenode 3、启动集群启动 namenode 和 datanode 4、 查看服务5、验证文件存储存储文件查看文件 6、浏览器查看Hadoop 一、准备工作 1、安装vmware vmware 已经免费个人在官方下载自行安装即可。 2、centos配置固定IP 首先找到/etc/sysconfig/network-scripts/下的ifcfg-ens33配置文件 vi /etc/sysconfig/network-scripts/ifcfg-ens33把 BOOTPROTO “dhcp” 改成 BOOTPROTO “static” 表示静态获取然后把 UUID 注释掉把 ONBOOT 改为 yes表示开机自动静态获取然后在最后追加比如下面的配置 IPADDR192.168.226.129 #自己的ip地址 NETMASK255.255.255.0 GATEWAY192.168.226.2 DNS18.8.8.8重启网络服务 centos6的网卡重启方法service network restart centos7的网卡重启方法systemctl restart network 关闭防火墙 查看防火墙状态 systemctl status firewalld.service 执行关闭命令 systemctl stop firewalld.service 执行开机禁用防火墙自启命令 systemctl disable firewalld.service 修改主机名永久更改 方法一 可以通过命令 hostnamectl set-hostname “主机名” 来永久修改主机名 [roothadoop ~]# hostnamectl set-hostname hadoop 方法二 使用 vi 编辑器打开 /etc/ hostname 文件 vi /etc/hostname删除文件中原有内容添加主机名hadoop保存退出 修改IP映射 使用 vi 编辑器打开 /etc/hosts 文件 vi /etc/hosts在文件尾部添加内容格式IP地址 主机名中间用空格分隔保存退出,例如 192.168.226.129 hadoop设置完成后重启网路服务: systemctl restart network 使用 ping 命令 ping 一下主机名如果可以ping 通表示设置成功。 配置免密登录 本地机器生成公私钥上传公钥到目标机器测试免密登录 在本地机器用 ssh-keygen 生成一个公私钥对进入. ssh 目录 cd .ssh 发起公钥请求 ssh-keygen -t rsa在. ssh / 目录下会新生成两个文件id_rsa.pub 和 id_rsa 上传公钥到目标机器 ssh-copy-id root192.168.226.129测试免密登录 ssh hadoop二、Hadoop3.3.6 伪分布安装步骤 1、 安裝JDK centos 本身自帶java 仅仅是jre需要自己下载jdk 安装包自己安装替换。 下载jdk 到服务器 推荐使用wget 下载命令或者你下载到你的电脑然后通过ftp 工具上传到对应服务器。 推荐使用国内的镜像下载网站我这里使用了 https://repo.huaweicloud.com/java/jdk/8u192-b12/自己选择一个版本 解压安裝jdk tar -zxf jdk-8u212-linux-x64.tar.gz -C /usr/local/ mv /usr/local/jdk1.8.0_212/ /usr/local/java 配置 java 环境变量/etc/profile vim /etc/profile文件末尾添加 export JAVA_HOME/usr/local/java export PATH\(JAVA_HOME/bin:\)PATH export CLASSPATH.:\(JAVA_HOME/lib/dt.jar:\)JAVA_HOME/lib/tools.jar刷新配置文件 source /etc/profile 校验Java 安装是否成功 java -version2、hadoop 3.3.6 安装 下载Hadoop 安装包 推荐国内镜像https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/ 选择Hadoop 版本wget下载到服务器 -rw-r–r–. 1 root root 730107476 Jun 25 2023 hadoop-3.3.6.tar.gz -rw-r–r–. 1 root root 191757099 Oct 8 2018 jdk-8u192-linux-x64.tar.gz -rw-r–r–. 1 root root 820043264 Jul 6 2022 mysql-8.0.30-el7-x86_64.tar -rw-r–r–. 1 7161 31415 492490461 Jul 6 2022 mysql-8.0.30-el7-x86_64.tar.gz -rw-r–r–. 1 7161 31415 22006040 Jul 6 2022 mysql-router-8.0.30-el7-x86_64.tar.gz -rw-r–r–. 1 7161 31415 305543348 Jul 6 2022 mysql-test-8.0.30-el7-x86_64.tar.gz解压 sudo tar -zxf hadoop-3.3.6.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-3.3.6/ /usr/local/hadoop3.修改环境变量 sudo gedit /etc/profile文件末尾添加 export PATH\(JAVA_HOME/bin:\)PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbinsource /etc/profile修改 hadoop 配置文件 配置core-site.xml vim /usr/local/hadoop/etc/hadoop/core-site.xmlconfigurationpropertynamefs.defaultFS/namevaluehdfs://hadoop:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/home/huangqifa/data/hadoop/tmp/value/property /configuration配置hdfs-site.xml vim /usr/local/hadoop/etc/hadoop/hdfs-site.xmlconfigurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalue/home/huangqifa/data/hadoop/namenode/value/propertypropertynamedfs.datanode.data.dir/namevalue/home/huangqifa/data/hadoop/datanode/value/property /configuration配置hadoop-env.sh vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh #文档末尾添加 export JAVA_HOME/usr/local/java启动hadoop 格式化 namenode hadoop namenode -format 3、启动集群 sh /usr/local/hadoop/sbin/start-all.sh 启动 namenode 和 datanode hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode4、 查看服务 jps5、验证文件存储 存储文件 [roothadoop /]# cd data/ [roothadoop data]# ls [roothadoop data]# touch demo.txt [roothadoop data]# ls demo.txt [roothadoop data]# vim demo.txt [roothadoop data]# ls demo.txt [roothadoop data]# hdfs dfs -put demo.txt /user [roothadoop data]# hdfs dfs -ls / Found 1 items drwxr-xr-x - root supergroup 0 2024-11-17 03:33 /user [roothadoop data]# hdfs dfs -ls /user Found 1 items -rw-r–r– 1 root supergroup 12 2024-11-17 03:33 /user/demo.txt hdfs dfs -put demo.txt /user 查看文件 hdfs dfs -ls /user6、浏览器查看Hadoop http://192.168.226.129:9870/dfshealth.html#tab-datanode 参考资料https://blog.csdn.net/qq_52584391/article/details/127450206