当前位置： 首页 > news >正文

网站网速慢,艾特软件 网站建设,做网站骗老外的钱,能利用双股铜芯电话线做网站吗目录一、Elasticsearch简介二、Linux单节点部署1、软件下载解压2、创建用户3、修改配置文件4、切换到刚刚创建的用户启动软件5、测试三、Linux集群配置1、拷贝文件2、修改配置文件3、分别修改文件所有者4、启动三个软件5、测试四、问题总结1、在elasticsearch启动时如果报错内存… 目录一、Elasticsearch简介二、Linux单节点部署1、软件下载解压2、创建用户3、修改配置文件4、切换到刚刚创建的用户启动软件5、测试三、Linux集群配置1、拷贝文件2、修改配置文件3、分别修改文件所有者4、启动三个软件5、测试四、问题总结1、在elasticsearch启动时如果报错内存不足1问题原因2解决办法2、Exception in thread “main” org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore Likely root cause: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore1问题原因2解决办法3、如果所有配置完成并且全都可以正常启动只是node.total不等于31问题原因2解决办法一、Elasticsearch简介 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤首先用户将数据提交到Elasticsearch 数据库中再通过分词控制器去将对应的语句分词将其权重和分词结果一并存入数据当用户搜索数据时候再根据权重将结果排名打分再将返回结果呈现给用户。 Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案称为“Elastic Stack”以前称为“ELK stack”。 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索具有接近实时的搜索并支持多租户。Elasticsearch是分布式的这意味着索引可以被分成分片每个分片可以有0个或多个副本。每个节点托管一个或多个分片并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引就不能更改主分片的数量。 Elasticsearch使用Lucene并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating如果新文档与注册查询匹配这对于通知非常有用。另一个特性称为“网关”处理索引的长期持久性例如在服务器崩溃的情况下可以从网关恢复索引。Elasticsearch支持实时GET请求适合作为NoSQL数据存储但缺少分布式事务。 二、Linux单节点部署 官方地址https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 具体下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz 1、软件下载解压

下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

解压

tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module

改名

mv elasticsearch-7.8.0 es2、创建用户 因为安全问题Elasticsearch 不允许 root 用户直接运行所以要创建新用户在 root 用户中创建新用户。 useradd es #新增 es 用户 passwd es #为 es 用户设置密码 userdel -r es #如果错了可以删除再加 chown -R es:es /opt/module/es #文件夹所有者3、修改配置文件 修改 /opt/soft/es/config/elasticsearch.yml 文件加入一下配置 cluster.name: elasticsearch node.name: node-1 network.host: 0.0.0.0 http.port: 9200 cluster.initial_master_nodes: [node-1]修改 /etc/security/limits.conf 在文件末尾加上如下配置

每个进程可以打开的文件数的限制

es soft nofile 65536 es hard nofile 65536修改 /etc/security/limits.d/20-nproc.conf在文件末尾加上如下配置

每个进程可以打开的文件数的限制

es soft nofile 65536 es hard nofile 65536

操作系统级别对每个用户创建的进程数的限制

• hard nproc 4096

  注* 带表 Linux 所有用户名称修改 /etc/sysctl.conf在文件末尾加上如下配置

  一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536

  vm.max_map_count655360重新加载配置 sysctl -p4、切换到刚刚创建的用户启动软件

  切换用户

  su es

  启动软件

  ./bin/elasticsearch

  后台启动

  ./bin/elasticsearch -d启动时会动态生成文件如果文件所属用户不匹配会发生错误需要重新进行修改用户和用户组。 chown -R es:es /opt/module/es5、测试 关闭Linux的防火墙 systemctl stop firewalld在浏览器中访问http://linxuip:9200/ 注意linxuip修改为自己Linux的IP地址 如果浏览器中出现如下JSON即为部署成功 {name : node-1,cluster_name : elasticsearch,cluster_uuid : T4Lhwgb1QZCRXQf3mWHbbg,version : {number : 7.8.0,build_flavor : default,build_type : tar,build_hash : 757314695644ea9a1dc2fecd26d1a43856725e65,build_date : 2020-06-14T19:35:50.234439Z,build_snapshot : false,lucene_version : 8.5.1,minimum_wire_compatibility_version : 6.8.0,minimum_index_compatibility_version : 6.0.0-beta1},tagline : You Know, for Search }三、Linux集群配置 下面我们开始配置Elasticsearch集群环境 1、拷贝文件 首先我们讲es文件夹拷贝三份并分别命名 cp -r es esA cp -r es esB cp -r es esC2、修改配置文件 修改 /opt/soft/esA/config/elasticsearch.yml 文件

  集群名称保证唯一每个集群中相同不同集群间唯一

  cluster.name: icoding-course

  节点名称必须不一样

  node.name: icoding-1

  是不是有资格成为主节点

  node.master: true

  是否存储数据

  node.data: true

  最大集群节点数

  node.max_local_storage_nodes: 3

  ip地址0.0.0.0为允许所有地址访问

  network.host: 0.0.0.0

  端口

  http.port: 9100

  内部节点之间沟通端口

  transport.tcp.port: 9301 #es7.x 之后新增的配置节点发现 discovery.seed_hosts: [localhost:9301,localhost:9302,localhost:9303] #es7.x 之后新增的配置初始化一个新的集群时需要次配置来选举master cluster.initial_master_nodes: [icoding-1] #数据和存储路径 path.data: /opt/data path.logs: /opt/logs#如果是CentOS 6版本 加入以下两行 bootstrap.memory_lock: false bootstrap.system_call_filter: false注意以上配置以esA为实例另外两台的node.name、http.port、transport.tcp.port要注意修改不可重复 集群部署中也应该配置单节点配置文件的后三步但修改的配置完全相同所以这里就不再赘述了 重新加载 sysctl -p3、分别修改文件所有者 将上面三个es文件的所有者都修改为我们单节点部署时创建的新用户 chmod -R es:es esA chmod -R es:es esB chmod -R es:es esC4、启动三个软件 /opt/soft/seA/bin/elasticsearch /opt/soft/seB/bin/elasticsearch /opt/soft/seC/bin/elasticsearch5、测试 访问http://[Linux IP地址]:[端口号]/_cat/health?v 如果返回的node.total是3代表集群搭建成功 四、问题总结 1、在elasticsearch启动时如果报错内存不足 1问题原因 默认情况下ES启动JVM最小内存1G最大内存1G通常情况下我们在安装Linux虚拟机是不会分配过多的内存所以导致es启动时内存不足 2解决办法 vim /opt/soft/esA/config/jvm.options vim /opt/soft/esB/config/jvm.options vim /opt/soft/esC/config/jvm.options修改为以下配置如果太小也可能运行不了视自己的情况而定 -Xms256m -Xmx256m2、Exception in thread “main” org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore Likely root cause: java.nio.file.AccessDeniedException: /soft/es/config/elasticsearch.keystore 1问题原因 当前用户没有 elasticsearch.keystore 这个动态文件的权限 2解决办法 使用root用户删除 elasticsearch.keystore 文件后用创建的用户重新启动即可 3、如果所有配置完成并且全都可以正常启动只是node.total不等于3 1问题原因 3个es库中的数据不同步相互影响 2解决办法 将三个es文件夹中 data 下的文件全部删除再重新启动即可 注意如果data下有重要数据记得备份后再进行删除操作