Centos7下ELK+Redis日志分析平台的集群环境部署记录

之前的文档介绍了ELK架构的基础知识，日志集中分析系统的实施方案：
- ELK+Redis
- ELK+Filebeat
- ELK+Filebeat+Redis
- ELK+Filebeat+Kafka+ZooKeeper

ELK进一步优化架构为EFK，其中F就表示Filebeat。Filebeat即是轻量级数据收集引擎，基于原先Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是ELK Stack在shipper端的第一选择。

这里选择ELK+Redis的方式进行部署，下面简单记录下ELK结合Redis搭建日志分析平台的集群环境部署过程，大致的架构如下：

+ Elasticsearch是一个分布式搜索分析引擎，稳定、可水平扩展、易于管理是它的主要设计初衷
+ Logstash是一个灵活的数据收集、加工和传输的管道软件
+ Kibana是一个数据可视化平台，可以通过将数据转化为酷炫而强大的图像而实现与数据的交互将三者的收集加工，存储分析和可视转化整合在一起就形成了ELK。

基本流程：
1）Logstash-Shipper获取日志信息发送到redis。
2）Redis在此处的作用是防止ElasticSearch服务异常导致丢失日志，提供消息队列的作用。[注意,测试时如果写到redis里的日志量比较小,则很快就会被输送到elasticsearch,输送完之后,届时在redis里的key就没有了,也就查看不到了.]
3）logstash是读取Redis中的日志信息发送给ElasticSearch。
4）ElasticSearch提供日志存储和检索。
5）Kibana是ElasticSearch可视化界面插件。

1）机器环境

2）部署ElasticSearch集群环境

比如用elk-node01节点的ip地址访问这三个插件，分别是http://192.168.10.213:9200/_plugin/head、http://192.168.10.213:9200/_plugin/kopf、http://192.168.10.213:9200/_plugin/bigdesk，如下：

 3）Redis+Keepalived高可用环境部署记录

4）Kibana及nginx代理访问环境部署（访问权限控制）。在elk-node03节点机上操作

5）客户机日志收集操作（Logstash）

访问head插件就可以看到收集的日志信息（在logstash程序启动后，当有新日志数据写入时，才会在head插件访问界面里展示）

 添加财务系统kibana日志展示

 添加租赁系统kibana日志展示

========Logstash之multiline插件（匹配多行日志）使用说明========
在处理日志时，除了访问日志外，还要处理运行时日志，该日志大都用程序写的，比如log4j。运行时日志跟访问日志最大的不同是，运行时日志是多行，也就是说，连续的多行才能表达一个意思。如果能按多行处理，那么把它们拆分到字段就很容易了。这里就需要说下Logstash的multiline插件，用于匹配多行日志。首先看下面一个java日志：

再看看这些日志信息在kibana界面里的展示效果：

可以看到，每一行at其实都属于一个事件的信息，但是Logstash却使用了多行显示出来，这样会造成阅读不便。为了解决这个问题，可以使用Logstash input插件中的file插件，其中还有一个子功能是Codec-->multiline。官方对于multiline插件的描述是“Merges multiline messages into a single event”，翻译过来就是将多行信息合并为单一事件。

登录客户机器查看Java日志，发现每一个单独的事件都是以“[ ]”方括号开始的，所以可以把这个方括号当做特征，再结合multiline插件来实现合并信息。使用插件的语法如下，主要含义是“把任何不以[开头的行，都与前面不是[开头的行合并成一个事件”：

解释说明：
pattern => "^\["         这是正则表达式，用来做规则匹配。匹配多行日志的方式要根据实际日志信息进行正则匹配，这里是以"["，也可以是正则匹配，以日志具体情况而定。
negate => true         这个negate是对pattern的结果做判断是否匹配，默认值是false代表匹配，而true代表不匹配，这里并没有反，因为negate本身是否定的意思，在这里就是不以大括号开头的内容才算符合条件，后续才会进行合并操作。
what => previous     next或者previous二选一，previous代表codec将把匹配内容与之前的内容合并，next代表之后的内容。

经过插件整理后的信息在kibana界面里查看就直观多了，如下图：

multiline 字段属性
对multiline 插件来说，有三个设置比较重要：negate、pattern 和 what。
negate
- 类型是 boolean
- 默认为 false
否定正则表达式（如果没有匹配的话）。

pattern
- 必须设置
- 类型为 string
- 没有默认值
要匹配的正则表达式。

what
- 必须设置
- 可以为 previous 或 next
- 没有默认值
如果正则表达式匹配了，那么该事件是属于下一个或是前一个事件？

==============================================
再来看一例：

如上调整后，登录kibana界面，就可以看到匹配的多行合并的展示效果了（如果多行合并后内容过多，可以点击截图中的小箭头，点击进去直接看message信息，这样就能看到合并多行后的内容了）：

=======================================================
从上面的例子中可以发现，logstash收集的日志在kibana的展示界面里出现了中文乱码。

这就需要在logstash收集日志的配置中指定编码。使用"file"命令去查看对应日志文件的字符编码：
1）如果命令返回结果说明改日志为utf-8，则logstash配置文件中charset设置为UTF-8。（其实如果命令结果为utf-8，则默认不用添加charset设置，logstash收集日志中的中文信息也会正常显示出来）
2）如果命令返回结果说明改日志不是utf-8，则logstash配置文件中charset统一设置为GB2312。

具体操作记录：

=============================================================
logstash收集那些存在"以当天日期为目录名"下的日志,如下：

====================ELK收集IDC防火墙日志======================