东莞网站模板呼伦贝尔网站开发

当前位置： 首页 > news >正文

东莞网站模板,呼伦贝尔网站开发,哈尔滨自助模板建站,如何设计网页内容目录 前言 一、概述 二、组件介绍 1、elasticsearch 2、logstash 3、kibana 三、架构类型 四、ELK日志收集集群实验 1、实验拓扑 2、在node1和node2节点安装elasticsearch 3、启动elasticsearch服务 4、在node1安装elasticsearch-head插件 5、测试输入 6、node1服…目录 前言 一、概述 二、组件介绍 1、elasticsearch 2、logstash 3、kibana 三、架构类型 四、ELK日志收集集群实验 1、实验拓扑 2、在node1和node2节点安装elasticsearch 3、启动elasticsearch服务 4、在node1安装elasticsearch-head插件 5、测试输入 6、node1服务器安装logstash 7、logstash日志收集文件格式默认存储在/etc/logstash/conf.d 8、node1节点安装kibana 五、配置http节点 前言 ELK是指Elasticsearch、Logstash和Kibana的组合。它们是一套开源的日志收集、存储、搜索和可视化系统常用于集中管理和分析日志数据。

1. Elasticsearch一个分布式的实时搜索和分析引擎。它能够处理大规模的数据并提供快速的搜索、聚合和数据分析功能。
2. Logstash一个用于日志收集、处理和传输的工具。它支持从多种来源收集日志数据可以进行数据清洗、转换和过滤并将数据发送到Elasticsearch等目标存储。
3. Kibana一个用于数据可视化和分析的工具。它可以通过图表、仪表盘和报表等方式直观地展示Elasticsearch中的数据帮助用户理解和分析日志。 ELK日志收集系统的工作流程如下 1. Logstash配置在Logstash中配置输入插件指定日志数据的来源如文件、网络或消息队列等。 2. 数据处理通过Logstash的过滤插件对日志数据进行清洗、转换和过滤使其符合需要然后将处理后的数据发送到Elasticsearch。 3. 数据存储Elasticsearch将接收到的日志数据进行索引并存储以便快速搜索和分析。 4. 数据可视化使用Kibana创建图表、仪表盘和报表等可视化组件通过搜索和聚合数据展示日志数据的统计信息和趋势。 5. 实时搜索和分析通过Kibana提供的搜索功能可以实时搜索和分析日志数据帮助发现问题、监控系统和进行性能优化。 ELK日志收集系统的优点包括 - 高效处理大规模日志数据Elasticsearch作为存储和搜索引擎能够处理大规模的日志数据。 - 灵活的数据处理和过滤Logstash提供了丰富的插件和过滤器可以对日志数据进行灵活的处理和转换。 - 直观的数据可视化Kibana提供了图形化的界面以直观的方式展示日志数据的统计信息和趋势。 - 实时搜索和分析ELK系统支持实时搜索和分析可以帮助快速定位和解决问题。 总之ELK日志收集系统是一个功能强大的工具组合可以帮助企业集中管理、存储、搜索和可视化大量的日志数据提高系统的监控和故障排查能力。 一、概述 1、ELK由三个组件构成Elasticsearch、Logstash和Kibana的组合 日志收集Logstash日志分析Elasticsearch日志可视化Kibana 2、 为什么使用     日志对于分析系统、应用的状态十分重要但一般日志的量会比较大并且比较分散。     如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此一些集中式的日志系统也就应用而生。目前比较有名成熟的有Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。      二、组件介绍 1、elasticsearch 作用日志分析、开源的日志收集、分析、存储程序 特点 分布式 零配置 自动发现 索引自动分片 索引副本机制 Restful风格接口 多数据源 自动搜索负载 2、logstash 作用日志收集 、搜集、分析、过滤日志的工具 工作的过程 一般工作方式为c/s架构Client端安装在需要收集日志的服务器上Server端负责将收到的各节点日志进行过滤、修改等操作再一并发往Elasticsearch上去 Inputs → Filters → Outputs 输入–过滤–输出 inputs输入 File从文件系统的文件中读取类似于tail -f命令Syslog在514端口上监听系统日志消息并根据RFC3164标准进行解析Redis从redis service中读取Beats从filebeat中读取 FILETER过滤 Grok解析任意文本数据Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串转换成为具体的结构化的数据配合正则表达式使用。官方提供的grok表达式logstash-patterns-core/patterns at main · logstash-plugins/logstash-patterns-core · GitHubGrok在线调试Grok DebuggerMutate对字段进行转换。例如对字段进行删除、替换、修改、重命名等。Drop丢弃一部分Events不进行处理。Clone拷贝Event这个过程中也可以添加或移除字段。Geoip添加地理信息(为前台kibana图形化展示使用) OUTPUTS输出 Elasticsearch可以高效的保存数据并且能够方便和简单的进行查询。File将Event数据保存到文件中。Graphite将Event数据发送到图形化组件中踏实一个当前较流行的开源存储图形化展示的组件。 3、kibana 作用日志可视化 为Logstash和ElasticSearch在收集、存储的日志基础上进行分析时友好的Web界面可以帮助汇总、分析和搜索重要数据日志。 三、架构类型 1、ELK     es     logstash     kibana 2、ELKK     es     logstash     kafka     kibana 3、ELFK     es     logstash  重量级 、占用系统资源较多     filebeat    轻量级、占用系统资源较少     kibana 4、ELFKK     es     logstash     filebeat     kafka     kibana 四、ELK日志收集集群实验 1、实验拓扑 在进行本实验时至少每台主机给到2核4G。不然嘿嘿~~你懂得。 下载地址 https://elasticsearch.cn/download/ 在node1和node2设置主机名 ####分别修改主机名##### ###node1 hostnamectl set-hostname node1 echo 192.168.115.131 node1 192.168.115.136 node2 /etc/hosts scp /etc/hosts 192.168.115.136:/etc/hosts bash ###node2 hostnamectl set-hostname node2 bash ######测试通联####### ###node1 ping node2 ###node2 ping node1 2、在node1和node2节点安装elasticsearch 2.1、首先检查Java环境Java-version如果没有就装一个yum install -y java-1.8.0-openjdk 2.2、安装elasticsearch 如下所示这是本次实验用到的安装包 ##安装elasticsearch rpm -ivh elasticsearch-5.5.0.rpm ##配置 vim /etc/elasticsearch/elasticsearch.yml ###进去解开注释 cluster.name:my-elk-cluster #集群名称
   node.name:node1 #节点名字 path.data: /var/lib/elasticsearch #数据存放路径 path.logs/var/log/elasticsearch/ #日志存放路径 bootstrap.memory_lock:false #在启动的时候不锁定内存 network.host:192.168.115.131 #提供服务绑定的IP地址0.0.0.0代表所有地址 http.port:9200 #侦听端口为9200 discovery.zen.ping.unicast.hosts[node1node2] #群集发现通过单播实现 ###同理安装node2的elasticsearch ###把这份配置文件传输给node2修改一下节点名字和IP就好了 scp /etc/elasticsearch/elasticsearch.yml 192.168.115.136:/etc/elasticsearch/elasticsearch.yml3、启动elasticsearch服务 3.1、启动命令systemctl start elasticsearch.service node1 node2 3.2、浏览器访问查看节点信息 192.168.115.131:9200 192.168.115.136 :9200 查看集群健康状态192.168.115.131:9200/cluster/health 192.168.115.136:9200/cluster/health Green 健康   yellow  警告    red  集群不可用严重错误 ​ ​ 4、在node1安装elasticsearch-head插件 ####编译安装 cd elktar xf node-v8.2.1.tar.gzcd node-v8.2.1./configure make make install ###等待安装完毕。安装完毕后会生成命令npm ###拷贝命令 cd elk tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin ##安装elasticsearch-head cd elk tar xf elasticsearch-head.tar.gz cd elasticsearch-head npm install ​ ###修改elasticsearch配置文件node1、2都要改 vim /etc/elasticsearch/elasticsearch.yml# Require explicit names when deleting indices: # #action.destructive_requires_name:true http.cors.enabled: true //开启跨域访问支持默认为false http.cors.allow-origin: * //跨域访问允许的域名地址 ​4.1、重启服务 systemctl restart elasticsearch两个节点都检查一下9200端口起来了吗 ###启动elasticsearch-head cd /root/elk/elasticsearch-head npm run start ##查看监听 netstat -anput | grep :9100 4.2、访问192.168.115.136:9100 5、测试输入 5.1、curl  -XPUT  192.168.115.131:9200/index-demo/test/1?prettypretty -H  Content-Type: application/json -d {user:hy,mesg:hello} 访问192.168.115.131:9100可以看到我们的测试数据 “hy hello” 6、node1服务器安装logstash cd elk rpm -ivh logstash-5.5.1.rpm systemctl start logstash.service In -s /usr/share/logstash/bin/logstash /usr/local/bin/ 测试1 标准输入与输出logstash -e input{ stdin{} }output { stdout{} } 测试2 使用rubydebug解码logstash -e input { stdin{} } output { stdout{ codecrubydebug }} 测试3输出到elasticsearch logstash -e input { stdin{} } output { elasticsearch{ hosts[192.168.115.131:9200]} } OK测试完了我们去192.168.115.131:9100查看一下 elasticsearch已经在分析了这就是测得内容而且多了一个索引了 7、logstash日志收集文件格式默认存储在/etc/logstash/conf.d 7.1、介绍 Logstash配置文件基本由三部分组成input、output以及 filter根据需要。标准的配置文件格式如下 input (…) 输入 filter {…} 过滤 output {…} 输出 在每个部分中也可以指定多个访问方式。例如若要指定两个日志来源文件则格式如下 input { file{path /var/log/messages type syslog} file { path /var/log/apache/access.log type apache} } 7.2、配置 通过logstash收集系统信息日志 ##因为要收集日志root用户可以操作其他用户是没权限的所以加个读取的权限否则是收集不到日志的 chmod or /var/log/messagesvim /etc/logstash/conf.d/system.conf
   ##system.conf是自定义的因为我搜集的是系统日志若其他的应用的话可以取对应的名字来作为区分 ##插入 input { file{ ##类型文件 path /var/log/messages ##系统日志文件路径 type system ##类型自定义 start_position beginning } } output { elasticsearch{ hosts [192.168.115.131:9200] ##给谁处理 index system-%{YYYY.MM.dd} ##自定义索引 } }重启日志服务 systemctl restart logstash 浏览器查看 192.168.115.131:9100 8、node1节点安装kibana 8.1、安装配置 ####安装kibana cd elk rpm -ivh kibana-5.5.1-x86_64.rpm ##配置kibana vim /etc/kibana/kibana.yml server.port5601 #Kibana打开的端口 server.host0.0.0.0 #Kibana侦听的地址 elasticsearch.url http//192.168.115.131:9200 #和Elasticsearch 建立连接 kibana.index.kibana #在Elasticsearch中添加.kibana索引##启动kibana systemctl start kibana 8.2、访问kibana 访问192.168.115.131:9100 访问192.168.115.131:5601  可以添加索引可以添加上图中有的索引 这里我添加一个系统的索引 五、配置http节点 1、配置192.168.115.140的http服务 yum -y install httpd systemctl start httpd netstat -anput | grep 80 访问httpd 2.在此节点上配置我们的logstash来收集我们的http服务器的访问日志 http访问日志的路径/var/log/httpd/access_log ##安装logstash rpm -ivh logstash-5.5.1.rpm 3、修改配置文件 vim /etc/logstash/conf.d/httpd.conf ###插入 input { file{ ##类型文件 path /var/log/httpd/access_log ##系统日志文件路径 type access ##类型自定义 start_position beginning } } output { elasticsearch{ hosts [192.168.115.131:9200] ##给谁处理 index httpd-%{YYYY.MM.dd} ##自定义索引 } }启动日志收集systemctl start logstash.service 使用logstash命令导入配置 创建软连接In -s /usr/share/logstash/bin/logstash  /usr/local/bin/ 导入logstash -f  /etc/logstash/conf.d/httpd.conf 4、访问192.168.115.131:9200 kibana 192.168.115.131:5601 查看httpd的访问日志情况 OK至此实验结束