关于搭建ELK的一些问题--filebeat收集旧日志时,旧日志不全(被截断等问题)

发布时间 2023-09-25 11:54:14作者: 真老白菜

由于我只是简单搭建日志监测平台,logstash比较吃系统资源,我用filebeat代替了logstash日志收集的职能(也没有做日志筛选)

用的是7.5.1版本 

由于搭建时已经存在旧日志,在导入时出现了日志不全的问题也就是说旧日志传输到elasticsearch时被截断了。

解决办法:

1.检查一下filebeat.yml 配置文件,属性 max_lines(默认为500)。

2.filebeat默认配置是一次读取前500行数据,而我们有些旧日志文件如果较大肯定超过500行,那么超出的部分就会被截断

3.把max_lines属性设置为合适的数值,(自己查看旧日志文件有多少行,就设置多少行)