Fluentd

9.6-1-日志收集组件Fluentd高级配置(1) 一、配置文件 在 Fluentd 的配置文件中，有几个常用的关键字和组件，包括 source 、 match 、filter 、 system 、 label 和 @include 。 source ：用于定义 Fluentd 接收数据的来源。 ......

9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......

fluentd示例配置： apiVersion: v1 data: containers.input.conf: |- <source> @type tail path /var/log/containers/*.log pos_file /var/log/fluentd-containers.lo ......

背景： 有场景会出现因没有关注到，导致es-data的磁盘使用占用超过85%，es 集群的默认配置是当集群中的某个节点磁盘达到使用率为 85% 的时候，就不会在该节点进行创建副本，当磁盘使用率达到 90% 的时候，尝试将该节点的副本重分配到其他节点。当磁盘使用率达到95% 的时候，当前节点的所有索引 ......