ELK Stack生产实践第八篇:—ES索引配置与写入性能优化

发布时间 2023-08-11 10:01:41作者: 哈喽哈喽111111

转载自:https://www.cuiliangblog.cn/detail/article/65

在前面的实验案例中,我们已经顺利的完成了自定义日志的采集与过滤清洗操作,并将日志内容存储到ES集群。但只是把数据存储到ES集群还远不够,应该根据实际情况合理配置索引策略和参数,这样才能保障ES集群长期稳定运行。

采集管道

虽然在先前的案例中已经使用Logstash对原始数据进行了清洗处理,但是实际存入ES中发现部分字段仍存在问题。我们除了重新调试Logstash的filter过滤规则外,还可以通过es的ingest pipeline,交由es的ingest节点在存入es前做最后的处理工作。

更多ingest相关的内容,可参考文章:https://www.cuiliangblog.cn/detail/section/76304999

查看es存储数据字段

除了使用discover查看文档json信息外,我们也可以通过dev tools工具查看