percona日志elk
percona toolkit之pt-slave-restart使用
pt-slave-restart是一款监控replica端主从复制状态，当replica端SQL_THREAD出现异常后，跳过问题事务后重新启动SQL_THREAD线程。 ......
【实战分享】使用 Go 重构流式日志网关
# **项目背景** 分享之前，先来简单介绍下该项目在流式日志处理链路中所处的位置。 与MySQL慢查询日志(MySQL Slow Log)，一般不会自动清理，也不会轮转/切换，这个跟MySQL的二进制日志(binlog)有所不同，所以如果数据库管理员对其不维护的话，这些日志随着时间的推移以及一些特 ......
docker elk 修改jvm大小
参考文档：es文档地址 docker es 默认jvm为1g 打开配置： vim /etc/elasticsearch/jvm.options 当前默认为1g： 修改后（可根据自己需求进行配置）： 重启后： service elasticsearch restart ......
flume传输日志文件到hdfs笔记
1、flume官网 https://flume.apache.org/ 2、安装kerberos客户端 由于我在hdfs开启了kerberos认证，所以要先装kerberos客户端： yum install krb5-devel krb5-workstation -y再将kerberos serve ......
（转）直击痛点，详解 K8s 日志采集最佳实践
原文：https://developer.aliyun.com/article/749468 导读：上一篇文章主要介绍 Kubernetes 日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在 Kubernetes 中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也 ......
（转）常见日志收集方案及相关组件
原文：https://www.cnblogs.com/hujinzhong/p/15005523.html 一、常见日志收集方案 1.1、EFK 在Kubernetes集群上运行多个服务和应用程序时，日志收集系统可以帮助你快速分类和分析由Pod生成的大量日志数据。Kubernetes中比较流行的 ......
mysql日志
# mysql三大日志 ## redo log **redo组成**：表空间号+数据页号+偏移量+修改数据长度+具体修改的数据 `redo log` 它是物理日志，记录内容是“**在某个数据页上做了什么修改**”，属于 `InnoDB` 存储引擎特有。 mysql的数据是以页为单位的，当我们查询数据 ......
Linux 日志收集器：syslog，syslog-ng，rsyslog
### 一 参考：https://www.cnblogs.com/zhaoyong631/p/14441090.html 基本上，它们都是相同，它们都允许在中央存储库中记录来自不同类型系统的数据。 但是它们是三个不同的项目，每个项目都试图通过更多的可靠性和功能性来改进前一个项目。 ### 二 参考： ......
ELK部署中_
ELK_8.2.0 安装及部署手册 目录 1 安装环境 3 1.1 系统环境 3 安装环境 系统环境 操作系统：CentOS 7 软件环境 基础软件 ELK所需基础服务及版本信息，如下表所示： 序号 软件名称 软件版本 备注 1 jdk jdk-11.0.18 2 elasticsearch 8.2 ......
自定义logger写入日志到kafka中
# 1.引入开源组件logback-kafka-appender ```xml com.github.danielwegener logback-kafka-appender 0.2.0-RC2 ch.qos.logback logback-classic ``` # 2.logback-sprin ......
基于 log4j2 插件实现统一日志脱敏，性能远超正则替换
# 前言 [金融用户敏感数据如何优雅地实现脱敏？](https://mp.weixin.qq.com/s/ljChFiNLzV6GLaUDjehA0Q) [日志脱敏之后，无法根据信息快速定位怎么办？](https://mp.weixin.qq.com/s/tZqOH_8QTKrD1oaclNoewg ......
Spring Web 日志记录切面
# Spring Web 日志记录切面 应用： 在我们进行 rest 接口编写时需要对该接口的耗时、参数、请求路径、返回值进行对应的记录 ## 日志注解 把日志封装成注解的形式可以更好的供使用者使用，同时也利于解耦合 - 代码 ```java @Target({ElementType.TYPE, E ......
异步日志登录
# 异步日志登录 > 项目亮点 ： 放在公司的通用组件库中： 日志记录组件库 - 系统的用户操作日志记录【解耦合】 自定义注解 + AOP + 异步多线程/MQ + 数据模型设计 + 设计模式【单例模式+工厂模式】 - 效果： - 开发者只需要在业务方法上，添加一个注解 @Log 就可以实现执行这个 ......
Day01学习日志
Day01学习日志 Markdown的一些使用方法 一.标题 想要打出标题，先输#，然后按一下空格 ，就可以输入标题内容了，回车即可看见写好的标题。 输入一个#就是一级标题，输入两个#就是二级标题，以此类推。 二.字体 需要字体加粗，可以在该字段两端加上** 需要字体斜体 ，可以在该字段两端加上* ......
使用Loki收集监控linux日志
简介 Loki 是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。它的设计非常具有成本效益且易于操作。它不索引日志的内容，而是索引每个日志流的一组标签。 系统架构 1、Promtail收集并将日志发送给Loki的 Distributor 组件 2、Distributor会对接收到 ......
使用定时任务+脚本方式对nginx进行日志切分
使用定时任务+脚本方式对nginx进行日志切分 nginx路径：/home/nf/nginx nginx日志路径：/home/nf/nginx/logs 切分目标文件：access.log error.log 创建脚本： 1 vim /home/nf/cut_nginx_log.sh 1 #！/bi ......
一个基于C++11的异步安全日志库
# 0 源码获取 - [gitee](https://gitee.com/mohistH/async-log) # 1 概述 - 这是一个基于`c++11`的异步日志库 - 目前仅支持windows - 已通过 VS2019 + windows11 测试。 - 支持自动清理距今指定天数的日志 - 支 ......
从日志记一次Spring事务完整流程
spring事务一次完整流程，创建 》确认获取连接 》完成 》提交》释放链接 DataSourceTransactionManager //Step1. 进入业务方法前，依据事物切面创建事务对象 2019-07-06 22:34:24,819 [main] DEBUG o.s.j.d.DataSou ......
配置elk
docker network create itmentu-net docker run -d \ --name elasticsearch \ -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \ -e "discovery.type=single-node" \ -v es ......
【Python】如何在FastAPI中使用UUID标记日志，以跟踪一个请求的完整生命周期
## 为什么要使用uuid标记日志？ 在分布式系统中，一个请求可能会经过多个服务，每个服务都会生成自己的日志。如果我们只使用普通的日志记录，那么很难将这些日志串联在一起，以至难以跟踪一个请求的完整生命周期。 如果能够使用uuid标记日志，为每个请求生成一个唯一的uuid，且这个日志可以在不同的系统间 ......
Nginx日志
nginx.conf中有关访客日志定义如下 #log_format 创建日志格式，名为main log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$ht ......
02_重要的两个日志 redo log 和 binlog
# 02_重要的两个日志 redo log 和 binlog MySQL 45 讲Note： 课程专栏名称：《MySQL实战45讲》课程 笔记参考：[MYSQL45 讲](https://gitee.com/moxi159753/LearningNotes/tree/master/MySQL/MyS ......
logging 模块因权限问题写入日志失败
哈喽大家好，我是咸鱼 今天跟大家分享一个使用 Python 的 logging 模块写入日志文件时遇到的权限问题，不知道你们有没有遇到过 ## 1.案例现象 今天上班的时候手机短信收到了 zabbix 告警，但是发现了不对劲的地方：微信没有收到告警信息，按理说短信跟微信应该是同时收到告警信息的 咸鱼 ......
nginx四层代理日志配置
配置在stream段： log_format proxy '$remote_addr [$time_local]' '$protocol $status $bytes_sent $bytes_received' '$session_time "$upstream_addr" ' '"$upstrea ......