链路 日志

文件系统和日志分析

目录文件系统与日志分析1. 文件系统1.1 文件系统概念1.2 inode是什么?1.3 查看硬盘的inode1.4 如何查看文件的inode号1.5 inode号可能相同吗1.6 如何理解文件的时间戳1.7 block(块)1.8 指针1.9 用户访问文件的过程1.10 inode的特殊性1.10 ......
文件 系统 日志

容器日志采集的三种方式实战操作讲解(Filebeat)

目录一、概述二、K8s 集群部署三、ElasticSearch 和 kibana 环境部署1)部署 docker2)部署 docker-compose3)创建网络4)修改 Linux 句柄数和最大线程数5)下载部署包开始部署四、容器日志采集的三种方式实战操作1)【第一种方式】:Filebeat 与 ......
容器 实战 Filebeat 方式 日志

Linux学习日志

Linux学习日志 1、常见基本命令 1.1、基本属性 十个字母 ;1 类型 1.1.1、看懂文件属性 Linux系统是一种典型的多用户系统,不同的用户处于不同的地位,拥有不同的权限。为了保护系统的安全性,Linux系统对不同的用户访问同一文件(包括目录文件)的权限做了不同的规定。 在Linux中我 ......
Linux 日志

Util应用框架基础(六) - 日志记录(四) - 写入 Exceptionless

本文是Util应用框架日志记录的第四篇,介绍安装和写入 Exceptionless 日志系统的配置方法. Exceptionless 是一个日志管理系统,使用 Asp.Net Core 开发,比 Seq 的模糊搜索能力弱,使用它可能需要一些技巧. Util应用框架目前主要使用 Seq 和 Excep ......
Exceptionless 框架 基础 日志 Util

Java 面试题之 Logback 打印日志是如何获取当前方法名称的?

在 Java 中,有四种方法可以获取当前正在执行方法体的方法名称,分别是: 使用 Thread.currentThread().getStackTrace() 方法 使用异常对象的 getStackTrace() 方法 使用匿名内部类的 getClass().getEnclosingMethod() ......
名称 Logback 方法 日志 Java

Util应用框架基础(六) - 日志记录(三) - 写入 Seq

本文是Util应用框架日志记录的第三篇,介绍安装和写入 Seq 日志系统的配置方法. 安装 Seq Seq是一个日志管理系统,对结构化日志数据拥有强大的模糊搜索能力. Util应用框架目前主要使用 Seq 和 Exceptionless 管理日志. 你可以从中选择一个合适的. 本节介绍使用 Dock ......
框架 基础 日志 Util Seq

Util应用框架基础(六) - 日志记录(二) - 写入日志文件

本文是Util应用框架日志记录的第二篇,介绍写入日志文件的配置方法. 概述 将日志写入文本文件,不方便查看和管理,但在开发阶段可以作为临时查看日志的手段. 日志配置 引用Nuget包 Nuget包名: Util.Logging.Serilog AddSerilog 使用 AddSerilog 扩展方 ......
日志 框架 文件 基础 Util

Util应用框架基础(六) - 日志记录(一) - 正文

本文介绍Util应用框架如何记录日志. 日志记录共分4篇,本文是正文,后续还有3篇分别介绍写入不同日志接收器的安装和配置方法. 概述 日志记录对于了解系统执行情况非常重要. Asp.Net Core 抽象了日志基础架构,支持使用日志提供程序进行扩展,提供控制台日志等简单实现. Serilog 是 . ......
框架 基础 正文 日志 Util

logback日志框架

logback 是 springboot默认自带的日志框架。只要引入springboot依赖即可使用。具体的 配置(输出格式,存储位置,级别等)可通过 logback.xml(放在 resource 下)进行配置 logback.xml ` <!-- Console 输出设置 --> <append ......
框架 logback 日志

Spring Gateway 同时拦截输入输出做日志操作

Spring Gateway 同时拦截输入输出做日志操作,包括request body, 和response body 主要靠代理模式,参考 https://stackoverflow.com/questions/47182961/copy-of-the-request-response-body- ......
同时 Gateway Spring 日志

日志系统搭建

1.定义docker-compose version: '3' services: elasticsearch: image: elasticsearch:7.6.2 container_name: elasticsearch privileged: true user: root environm ......
系统 日志

当前大数据时代的一个流式日志采集工具——Flume

1.什么是流式日志? 大数据时代的数据大概的说可以分为流式的data以及批式的data 什么意思呢? 顾名思义就是,对data进行处理的方式不一样,流式就是像流水一样,不断流入,它是每时每刻都有的,实时的都需要进行收集然后处理; 反观批式data,它是一批一批的来,等到收集到一批(达到某个阈值)da ......
工具 时代 数据 Flume 日志

Python:logging日志模块

Python:logging日志模块 1、logging日志的介绍 ,在现实生活中,记录日志非常重要,比如:银行转账时会有转账记录;飞机飞行过程中,会有个黑盒子(飞行数据记录器)记录着飞机的飞行过程,那在咱们python程序中想要记录程序在运行时所产生的日志信息,怎么做呢? 可以使用 logging ......
模块 logging Python 日志

MySQL学习(14)redo日志

前言 InnoDB存储引擎以页为单位从磁盘中加载到内存中,进行数据的管理。我们进行增删改查操作本质上是访问页面,其中包括读页面、写页面、创建新页面等操作。在访问页面之前,需要将页从磁盘中加载到Buffer Pool中才可以访问。在Buffer Pool中修改了数据后,会加入到flush链表中,但是f ......
MySQL 日志 redo 14

Linux Media 子系统链路分析

一、概述 Media 子系统是一个用于处理多媒体设备的框架,它提供了一组 API 和驱动程序,用于管理和控制视频、音频和其他多媒体设备。而 V4L2 是 media 子系统的一部分,用于处理视频相关的功能。 了解 MIPI 摄像头后,发现 linux 系统下的流媒体驱动很复杂,而 MIPI 摄像头主 ......
链路 子系统 Linux Media

Kubernetes日志采集Sidecar模式介绍

Kubernetes(K8S)作为CNCF(cloud native computing foundation)的一个核心项目,背靠Google和Redhat的强大社区,近两年发展十分迅速,在成为容器编排领域中领导者的同时,也正在朝着PAAS底座标配的方向发展。 日志采集方式 日志作为任一系统不可或 ......
Kubernetes Sidecar 模式 日志

elfk收集k8s日志-sidecar

本文介绍通过elk + filebeat方式收集k8s日志,其中filebeat以sidecar方式部署。elfk最新版本:7.6.2 k8s日志收集方案3种日志收集方案:1. node上部署一个日志收集程序 Daemonset方式部署日志收集程序,对本节点 /var/log 和 /var/lib/ ......
sidecar 日志 elfk k8s 8s

python的日志模块logging

logging模块是系统自带的无需安装直接导入使用 在日志配置中,stream=sys.stdout 为控制台输出日志,filename="devops.log"为日志写入到文件,filemode="w"为每次执行代码覆盖写,filemode = 'a'为追加日志,format="%(asctime ......
模块 logging python 日志

查看linux日志

# 显示尾部的最新10行日志 journalctl -n # 显示尾部指定行数的日志 journalctl -n 15 # 实时滚动显示最新日志 journalctl -f 与tail -f类似 # 查看指定服务的日志 journalctl /usr/local/bin/clash journalc ......
linux 日志

linux文件系统与日志分析

Linux文件系统 inode表结构 每一个inode表记录对应的保存了以下信息: inode number 节点号 文件类型 权限 UID GID 链接数(指向这个文件名路径名称个数) 该文件的大小和不同的时间戳 指向磁盘上文件的数据块指针 有关文件的其他数据 ls -i:查看inode号 sta ......
文件 系统 linux 日志

ELK日志收集&&日志收集方案

31. ELK日志收集 日志分析系统 - k8s部署ElasticSearch集群 - 帝都攻城狮 - 博客园 (cnblogs.com) https://blog.csdn.net/miss1181248983/article/details/113773943 31.1 日志收集方式 1.nod ......
日志 amp 方案 ELK

k8s通过sidecar模式收集pod的容器日志至ELK

架构: 已完成的部署1、ES集群及kibana部署 https://blog.51cto.com/yht1990/6080981 2、kafaka+zookeeper集群 https://blog.51cto.com/yht1990/6081518 准备sidecar镜像(filebeat)找一台服 ......
容器 sidecar 模式 日志 k8s

通过日志恢复SQL Server的历史数据

通过日志还原 方案一: 前提条件 1.必须有一个完整的备份,且这个备份必须是在修改、删除数据之前做的。 2.在更新、删除数据之后,做日志备份,该log备份将用于还原之前的数据 建议使用备份数据库进行还原操作,确认无误再对原库进行操作,或同步数据 开始还原操作: 此处使用SQL management界 ......
历史数据 数据 Server 历史 日志

mysql8.x通过备份文件及binlog日志恢复数据

问题简述 记一次mysql数据库被误删(是整个库被删了)后的还原 前提条件 数据库版本为mysql8.x以上 具有库被删除前的完整备份 数据库开启binlog 还原步骤 第一步:通过完整备份还原被删的库 注意事项:还原后切勿让其他用户连接,操作数据库。待使用binlog日志恢复数据后再对库进行操作, ......
备份 文件 数据 mysql8 binlog

MySQL开启二进制日志

MySQL的二进制日志(Binary Log)是一个记录数据库所有更改的日志文件,用于数据复制和恢复等操作。在MySQL的配置文件my.cnf(或my.ini)中,可以配置二进制日志的相关参数。以下是一些常见的MySQL二进制日志配置项: log-bin:此选项用于启用二进制日志功能。可以在选项后指 ......
二进制 MySQL 日志

文件系统和日志分析

文件系统 查看inode号 ls -i /stat +文件名 atime 最后一次查看文件 需要打开文件才会变更 mtime 最近修改文件内容时间 注意(更改完内容之后,ctime也会改变) ctime 最近更改文件元信息的时间 比如改变时间 查看日志 是为了关注里面的内容 相同设备上 inode ......
文件 系统 日志

docker日志收集docker插件+loki+grafna

实现收集docker容器日志方式: dokcer安装插件,将日志发送到loki,grafna展示日志。 1、安装loki wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yam ......
docker 插件 grafna 日志 loki

防止DOS攻击(检测nignx日志若某个IP短时间的PV过大则使用防火墙将其禁掉)

#!/bin/bash time=`date|awk '{print $3"\\\\/"$2"\\\\/"$6}'` awk '$4~/'"${time}"'/{print $0}' access.log |awk '{ip[$1]++}END{for (i in ip)print i,ip[i]} ......
防火墙 时间 nignx 日志 DOS

学习进度日志

2023 7.14-9.1 学术: 动手学深度学习,ChatGLM部署使用与微调 9.1-11.8 学术: 玩转 Pytorch,环境配置,需求分析 就业: 一刷《代码随想录》 ......
进度 日志

理解GC日志

输出GC日志 通过阅读GC日志,我们可以了解Java虚拟机内存分配与回收策略。 先来看一个简单的示例。 下面是GC日志: 0.115: [GC (System.gc()) [PSYoungGen: 3020K->600K(38400K)] 3020K->608K(125952K), 0.001229 ......
日志