1.ELK简介
Elaticseach、logstash、kibana三个软件首字母缩写。新增一个FileBeat（轻量级的日志收集处理工具Agent，占用资源少），
适合于在各服务器上搜集日志后传输给Logstash，官方也推荐此工具。
Elasticsearch： 日志检索和存储
Logstash： 日志的搜集、分析、处理
Kibana： 日志的可视化
ELK解决分布式日志数据集中式查询 管理、故障排查系统监控
ELK用途：（在大数据运维系统中，主要可解决的问题如下）
日志查询，问题排查，故障恢复，故障自愈；
应用日志分析，错误报警；性能分析，用户行为分析
2.ELK架构
管理节点：部署ELK服务
节点服务器：filebeat收集日志
此架构将收集端logstash替换为beats，更灵活，消耗资源更少，扩展性更强。同时可配置Logstash 和Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询
3.ES(elasticsearch)
基于Lucene,分布式全文搜索引擎，基于restful API的web接口。实时分析、分布式实时文件存储，将每个字段编入索引；文档导向，所有对象全部是文档，高可用、高扩展性，
支持集群、分片、复制， 支持json（关系型数据库）
没有典型意义的事务，面向文档的数据库，没有提供授权认证的特性
支持集群，集群有多个节点，一个主节点（主节点选举产生），集群状态所有节点都有
安装配置：
安装jdk，导入key，yum -y install elasticsearch ,openpfile修改
配置文件：elasticsearch.yml
cluster.name 集群名称 node.name 节点名称
path.data: /data/es-data //数据存储路径，需赋权给elasticsearch:elasticsearch
path.logs //日志路径定义
bootstrap.mlockall: true //锁定内存，不会分配到swap分区上
network.host: 0.0.0.0
http.port：9200 //指定端口，默认9200
常用插件head（ES图形化插件）、bigdesk（监控）、kopf
集群配置：其他同单节点配置，只是集群名称一致即可
Elasticsearch和关系型数据库对比：
在ES中，文档归属一种类型（type），而这些类型存在于索引（index）中，类比传统关系型数据库。（文档类数据库）
DB -> Databases -> Tables -> Rows -> Columns 关系型数据库表 行 列
ES -> Indices -> Types -> Documents -> Fields ES索引 类型 文档 域(字段)
搭建ES流程安装第一台ES服务器?
设置主机名称和IP对应关系--解决依赖关系openjdk1.8-->安装软件包elasticsearch-->修改配置文件elasticsearch.yml-->启动服务-->检查服务 netstat -lutunp (9200 9300)、curl:htttp://192.168.4.1:9200/
4.Logstash
数据采集、加工处理及传输的工具。所有类型数据集中处理，不同模式和格式数据正常化，自定义日志格式的迅速扩展，为自定义数据源轻松添加插件
Logstash事件处理有三个阶段：inputs → filters → outputs。是一个接收，处理，转发日志的工具（支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型）
Input：输入数据到logstash；Filters：数据中间处理，对数据进行操作；Outputs：outputs是logstash处理管道的最末端组件 json：使用json格式对数据进行编码/解码
安装配置：导入key，配置yum源，yum -y install logstash
启动：/opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }' 或/opt/logstash/bin/logstash -f logstash.conf （自定义配置文件，配置文件方式启动）
配置文件配置：input--path/type/start_postion output--hosts/indexs
添加if可以同时收集多个日志
应用：收集系统日志、Nginx日志、Java项目日志(elasticsearch日志)
常用插件：file、moltline
5.kibana
数据可视化平台工具。灵活的分析和可视化平台、实时总结和流数据图表，为不同用户展示直观的界面，即时分享和嵌入的仪表板。
安装配置：下载安装包，配置文件:kibana.yml
server.port:5601 //端口配置 ealsticsearch.url: //ES URL配置
Kibana.index //索引配置
kibana启动后，需要创建ES索引，kibana不会自动创建
ELK默认端口：elasticsearch 9200 logstash 9600 kibana 5601