日志 队列elasticsearch filebeat
lumberjack转储klog日志
go.mod module lumberjack go 1.19 require ( gopkg.in/natefinch/lumberjack.v2 v2.2.1 k8s.io/klog/v2 v2.100.1 ) require github.com/go-logr/logr v1.2.0 // ......
python实现监控站点目录，记录每天更新内容，并写入操作日志，以便查找病毒恶意修改
问题描述：站点需要追溯代码的修改时间，以便尽早发现病毒恶意修改迹象，及时处理 运行环境：linux服务器，宝塔面板 示例代码：一、读取txt的文件路径，依次遍历所有目录下面的文件，并记录文件信息 paths.txt路径示例 # encoding: utf-8import osimport timei ......
day28 基于Loki的日志收集系统-基于Loki特性的场景变现及优化 (9.8-9.9)
9.8-基于Loki的日志收集系统 一、EFK vs LPG 架构和组件 Loki：Loki是一个开源的水平可扩展日志聚合系统，由Promtail、Loki和Grafana组成。 EFK：EFK是一个集成的解决方案，由Elasticsearch、Fluentd和Kibana组成。 存储和查询： Lo ......
代码随想录 day10 栈模拟队列 队列模拟栈
栈模拟队列 大概了解一下思路自己就可以很快写出来了 我们需要第二个辅助栈帮助我们把stackIn的顺序颠倒，这样FILO的栈颠倒后 pop的顺序就和FIFO的队列顺序一致了 大概就是这张图 队列模拟栈 题目要求使用两个队列模拟栈 其实可以只需要一个队列就可以模拟 栈的出栈顺序是最后一个先出栈，那么队 ......
如何使用loki查询日志中大于某一数字的值的日志
简介 loki是一款轻量级的日志收集中间件，比elk体系占用的内存更小，采用go语言开发，可以利用grafana来查询loki中存储的日志，loki存储日志只对提前预设的标签做索引，所以日志存储空间占用比elk小很多。 方法 loki只对提前预设的标签做索引，但如果我们想给标签之外的文本根据其值代表 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
日志模块
日志模块 1. 什么是日志? # 记录你的代码在执行过程中的一些变化(记录的是一些有意义的变化) 2. 日志如何学习? # 只需要回CV即可，复制代码会改代码即可 3. 日志的等级 import logging logging.debug('debug message') # 10 logging. ......
【云计算】在springboot项目在华为云CCE容器中启动日志时间和系统时间不一致
问题背景： 在springboot项目在华为云CCE容器中启动日志时间和系统时间不一致，会快8个小时 解决： 在环境变量中加入TZ=Asia/Shanghai ......
（五十一）C#编程基础复习——C#队列
在C#中，队列类与堆栈类类似，它代表了一个先进先出的对象结合，当你需要对项目进行先进先出访问时，则可以使用队列。向队列中添加元素称为入队，从堆栈中移除元素称为出队。 ......
MySQL三大日志，mvcc、DateTime 类型等
1、MySQL事务隔离级别详解 解决幻读的方法 解决幻读的方式有很多，但是它们的核心思想就是一个事务在操作某张表数据的时候，另外一个事务不允许新增或者删除这张表中的数据了。解决幻读的方式主要有以下几种： 将事务隔离级别调整为 SERIALIZABLE 。 在可重复读的事务级别下，给事务操作的这张表添 ......
oracle 删除日志
在 ADRCI 中，purge 命令用于删除诊断数据。purge 命令包含两个参数：-age 和 -type。其中，-age 指定要保留的小时数，-type 指定要删除的诊断数据类型。以下是常用的几种数据类型： alert：alert log 文件，记录了数据库实例的运行状况、事件和错误信息。 in ......
RabbitMQ-死信队列
一、什么是死信队列 rabbitmq.com/dlx.html 死信交换机绑定的队列就叫死信队列。什么叫死信交换机？接收死信消息的交换机叫做死信交换机。什么叫做死信消息？ 消息被拒绝，又没有重新入队的消息（basic.nack | basic.reject & requeue = false） 消息 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
收缩数据库日志SqlServer
ALTER DATABASE EICJT SET RECOVERY SIMPLE --将“恢复模式”设置为“简单” GO USE EICJT GO DBCC SHRINKFILE (N'EIC_log' , 1, TRUNCATEONLY)--收缩日志文件大小到1M EIC_log 在sys.dat ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......
栈与队列
栈与队列 栈 1.特点:先进后出。 2.存储结构：顺序结构和链式结构。 2.1顺序结构：开始建立栈是，指示器top赋值为-1，在入栈时，指示器先先进行加加的操作，再赋值。 A[++top]=x; 2.2链式结构：在入栈时，采用头插法的操作，插入元素，目的是为了方便删除可以让工作指针向尾部移动。 3. ......
P9247 [集训队互测 2018] 完美的队列题解
题目链接：[集训队互测 2018] 完美的队列 神仙数据结构题，看了很多题解才搞懂。在做此题之前，最好对分块很熟悉，对各类标记非常熟练。考虑题意说的种类是相对于全局的。我们可以考虑局部影响对全局影响。 人为规定：在第 \(m+1\) 时刻，无论队列中还有无元素，我们都把所有队列清空，便于后续的描述 ......
day27 初识日志收集组件Fluentd-日志收集组件Fluentd高级配置 （9.6-9.7）
9.6-1-日志收集组件Fluentd高级配置(1) 一、配置文件 在 Fluentd 的配置文件中，有几个常用的关键字和组件，包括 source 、 match 、filter 、 system 、 label 和 @include 。 source ：用于定义 Fluentd 接收数据的来源。 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
Elasticsearch对接MinIO存储Snapshot快照
服务器配置 MinIO集群节点(4节点) IP 节点1 miniotest1.ip.tp-link.com 172.29.145.80 生产环境需要增加一个Nginx负载均衡前端用于ELK对接，此处直接对接节点1 ELK集群（3节点） Elasticsearch版本为7.17.12 iamdemo1 ......
云消息队列 Kafka 版生态谈第一期：无代码转储能力介绍
为了提升研发效率，云消息队列 Kafka 版联合阿里云产品支持到无代码、全托管、Serverless 化的功能特性，支持从云消息队列 Kafka 版到 OSS 的转储。 ......
Kafka高级应用：如何配置处理MQ百万级消息队列？
在大数据时代，Apache Kafka作为一款高性能的分布式消息队列系统，广泛应用于处理大规模数据流。本文将深入探讨在Kafka环境中处理百万级消息队列的高级应用技巧。 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理配置分区 // 自定 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
程序启动添加全局异常捕获和Dump日志记录
Dump日志记录 /// <summary> /// 功能描述：程序全局异常捕获Dump文件记录 /// </summary> public static class MiniDump { [Flags] public enum Option : uint { // From dbghelp.h: ......