promtail grafana日志loki
【RocketMQ】Dledger日志复制源码分析
消息存储 在 【RocketMQ】消息的存储一文中提到，Broker收到消息后会调用CommitLog的asyncPutMessage方法写入消息，在DLedger模式下使用的是DLedgerCommitLog，进入asyncPutMessages方法，主要处理逻辑如下： 调用serialize方法 ......
grafana展示的CPU利用率与实际不符的问题探究
问题描述 最近看了一个虚机的CPU使用情况，使用mpstat -P ALL命令查看系统的CPU情况(该系统只有一个CPU core)，发现该CPU的%usr长期维持在70%左右，且%sys也长期维持在20%左右： 03:56:29 AM CPU %usr %nice %sys %iowait %ir ......
日志打印的碎碎念总结
众所周知，日子作为最强的甩锅神器，合理合适的记录日志就是一个问题。今天我想总结下我对日志的看法 1、有意义的日志信息——为日志消息添加上下文 写这一行日志的时候思考下，生产出现异常的时候，这一行日志是否能提供有效的帮助去解决问题 这是最重要，也是最难做到的一个总结。在处理问题的时候，尤其是难以复现的 ......
Django日志配置
Django使用Python内建的logging模块打印日志,配置由四个部分组成 记录器:Logger 处理程序:Handler 过滤器:Filter 格式化:formatter 记录器-Logger Logger为日志系统的入口,每个logger命名都是bucket,可以向bucket写入需要处理 ......
普冉PY32系列(五) 使用JLink RTT代替串口输出日志
JLink RTT(Real Time Transfer) 是用于嵌入式系统监控和交互的工具, 类似于SWO, 可以双向通信, 特点是性能很高, 基本上不影响嵌入式应用的实时行为, 可以对比一下使用printf输出日志时的各种限制. 而且因为和 JLink 接口集成, 不需要再浪费一个串口输出 pr... ......
Grafana 系列文章（十五）：Exemplars
Exemplars 简介 Exemplar 是用一个特定的 trace，代表在给定时间间隔内的度量。Metrics 擅长给你一个系统的综合视图，而 traces 给你一个单一请求的细粒度视图；Exemplar 是连接这两者的一种方式。 假设你的公司网站正经历着流量的激增。虽然超过百分之八十的用户能够 ......
Grafana 系列文章（十二）：如何使用Loki创建一个用于搜索日志的Grafana仪表板
概述 创建一个简单的 Grafana 仪表板, 以实现对日志的快速搜索. 有经验的直接用 Grafana 的 Explore 功能就可以了. 但是对于没有经验的人, 他们如何能有一个已经预设了简单的标签搜索的仪表板，以帮助一些团队在排除故障时快速找到他们正在寻找的东西。虽然 Explore 很适合这 ......
Grafana 系列文章（九）：开源云原生日志解决方案 Loki 简介
简介 Grafana Labs 简介 Grafana 是用于时序数据的事实上的仪表盘解决方案。它支持近百个数据源。 Grafana Labs 想从一个仪表盘解决方案转变成一个可观察性 (observability) 平台，成为你需要对系统进行调试时的首选之地。 完整的可观察性 可观察性。关于这意味着 ......
Grafana 系列文章（十一）：Loki 中的标签如何使日志查询更快更方便
👉️URL: https://grafana.com/blog/2020/04/21/how-labels-in-loki-can-make-log-queries-faster-and-easier/ 📝Description: 关于标签在 Loki 中如何真正发挥作用，你需要知道的一切。它可 ......
Grafana 系列文章（十四）：Helm 安装Loki
前言 写或者翻译这么多篇 Loki 相关的文章了, 发现还没写怎么安装 😓 现在开始介绍如何使用 Helm 安装 Loki. 前提 有 Helm, 并且添加 Grafana 的官方源: helm repo add grafana https://grafana.github.io/helm-cha ......
Grafana 系列文章（十）：为什么应该使用 Loki
👉️URL: https://grafana.com/blog/2020/09/09/all-the-non-technical-advantages-of-loki-reduce-costs-streamline-operations-build-better-teams/ 📝Descript ......
Grafana 系列文章（十三）：如何用 Loki 收集查看 Kubernetes Events
前情提要 IoT 边缘集群基于 Kubernetes Events 的告警通知实现 IoT 边缘集群基于 Kubernetes Events 的告警通知实现（二）：进一步配置 概述 在分析 K8S 集群问题时，Kubernetes Events 是超级有用的。 Kubernetes Events 可 ......
Grafana 系列文章（六）：Grafana Explore 中的日志
👉️URL: https://grafana.com/docs/grafana/latest/explore/logs-integration/#labels-and-detected-fields 📝Description: Explore 中的日志 除了指标之外，Explore 还允许你在以 ......
Grafana 系列文章（二）：使用 Grafana Agent 和 Grafana Tempo 进行 Tracing
👉️URL: https://grafana.com/blog/2020/11/17/tracing-with-the-grafana-cloud-agent-and-grafana-tempo/ ✍Author: Robert Fratto • 17 Nov 2020 📝Description ......
Grafana 系列文章（四）：Grafana Explore
👉️URL: https://grafana.com/docs/grafana/latest/explore/ 📝Description: Explore Grafana 的仪表盘 UI 是关于构建可视化的仪表盘。Explore 剥离了仪表盘和面板选项，这样你就可以。.. Grafana 的仪表 ......
Grafana 系列文章（五）：Grafana Explore 查询管理
👉️URL: https://grafana.com/docs/grafana/latest/explore/query-management/ 📝Description: Explore 中的查询管理 为了帮助调试查询，Explore 允许你调查查询请求和响应，以及查询统计数据，... Exp ......
Grafana 系列文章（七）：Grafana Explore 中的 Tracing
👉️URL: https://grafana.com/docs/grafana/latest/explore/trace-integration/ 📝Description: Tracing in Explore Explore 允许你将 tracing 数据源的痕迹可视化。这在 Grafana ......
Grafana 系列文章（八）：Grafana Explore 中的 Inspector
👉️URL: https://grafana.com/docs/grafana/latest/explore/explore-inspector/ 📝Description: Explore 中的检查器 (Inspector). 检查器可以帮助你理解你的查询并排除故障。你可以检查原始数据，把这些 ......
Grafana 系列文章（三）：Tempo-使用 HTTP 推送 Spans
👉️URL: https://grafana.com/docs/tempo/latest/api_docs/pushing-spans-with-http/ 📝Description: 有时，使用追踪系统是令人生畏的，因为它似乎需要复杂的应用程序仪器或 span 摄取管道，以便 ... 有时，使 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息
Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
SQLSERVER 事务日志的 LSN 到底是什么？
一：背景 1. 讲故事 大家都知道数据库应用程序 它天生需要围绕着数据文件打转，诸如包含数据的 .mdf，事务日志的 .ldf，很多时候深入了解这两类文件的合成原理，差不多对数据库就能理解一半了，关于 .mdf 的合成前面的文章已经有所介绍，这篇我们来聊一下 .ldf 的一些内部知识，比如 LSN。 ......
Grafana 系列文章（一）：基于 Grafana 的全栈可观察性 Demo
📚️Reference: https://github.com/grafana/intro-to-mlt 这是关于 Grafana 中可观察性的三个支柱的一系列演讲的配套资源库。 它以一个自我封闭的 Docker 沙盒的形式出现，包括在本地机器上运行和实验所提供的服务所需的所有组件。 Grafan ......
结构化日志组件 Serilog
什么是结构化日志 我们记录日志惯常使用 log4j2、NLog 等日志组件，这些组件提供了输出到多种终端的能力，但是大部分时候我们选择将日志输出到操作系统的文件系统中，为什么呢？至少有一部分原因是记录的每条日志为字符串格式，且按时间由远往进顺序记录，打开文件可以直接人肉检索；如果这些日志记录到其它终 ......
如何在多个应用程序中共享日志配置
有的时候你有多个应用程序，它们需要使用相同的日志配置。在这种情况下，你可以将日志配置放在一个共享的位置，然后通过项目文件快速引用。方便快捷，不用重复配置。 Directory.Build.props 通过在项目文件夹中创建一个名为 Directory.Build.props 的文件，可以将配置应用于 ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
项目中引进这玩意，排查日志又快又准！
大家好，我是三友~~ 背景 随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候，因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难。 这时候可能有的小伙伴就会想到使用SkyWalking，Pinpoint等分布式追踪系统来解决，并 ......
微服务系列之服务监控 Prometheus与Grafana
1.为什么需要监控服务 监控服务的所属服务器硬件(如cpu,内存，磁盘I/O等)指标、服务本身的(如gc频率、线程池大小、锁争用情况、请求、响应、自定义业务指标)，对于以前的小型单体服务来说，确实没什么必要，但对于中大型项目，尤其那些群集部署显得尤为重要、尤其是现在的微服务架构，服务众多，而且很多服 ......
vivo大数据日志采集Agent设计实践
作者：vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为 ......