access nginx日志awk
Django日志配置
Django使用Python内建的logging模块打印日志,配置由四个部分组成 记录器:Logger 处理程序:Handler 过滤器:Filter 格式化:formatter 记录器-Logger Logger为日志系统的入口,每个logger命名都是bucket,可以向bucket写入需要处理 ......
DaemonSet方式部署nginx-ingress
前言 nginx-ingress是k8s官方维护的一个Ingress Controller，具体使用，官方有详细的文档：https://kubernetes.github.io/ingress-nginx/deploy/ 直接按照官方文档进行安装，一般都会失败，本文将帮助你成功安装他。 官方的安装方 ......
Asp.Net Core中利用过滤器控制Nginx的缓存时间
前言 Web项目中很多网页资源比如html、js、css通常会做服务器端的缓存，加快网页的加载速度 一些周期性变化的API数据也可以做缓存，例如广告资源位数据，菜单数据，商品类目数据，商品详情数据，商品列表数据，公共配置数据等，这样就可以省去很多在服务端手动实现缓存的操作 最早资源缓存大部分都用Ex ......
普冉PY32系列(五) 使用JLink RTT代替串口输出日志
JLink RTT(Real Time Transfer) 是用于嵌入式系统监控和交互的工具, 类似于SWO, 可以双向通信, 特点是性能很高, 基本上不影响嵌入式应用的实时行为, 可以对比一下使用printf输出日志时的各种限制. 而且因为和 JLink 接口集成, 不需要再浪费一个串口输出 pr... ......
Grafana 系列文章（六）：Grafana Explore 中的日志
👉️URL: https://grafana.com/docs/grafana/latest/explore/logs-integration/#labels-and-detected-fields 📝Description: Explore 中的日志 除了指标之外，Explore 还允许你在以 ......
Grafana 系列文章（九）：开源云原生日志解决方案 Loki 简介
简介 Grafana Labs 简介 Grafana 是用于时序数据的事实上的仪表盘解决方案。它支持近百个数据源。 Grafana Labs 想从一个仪表盘解决方案转变成一个可观察性 (observability) 平台，成为你需要对系统进行调试时的首选之地。 完整的可观察性 可观察性。关于这意味着 ......
Grafana 系列文章（十一）：Loki 中的标签如何使日志查询更快更方便
👉️URL: https://grafana.com/blog/2020/04/21/how-labels-in-loki-can-make-log-queries-faster-and-easier/ 📝Description: 关于标签在 Loki 中如何真正发挥作用，你需要知道的一切。它可 ......
Grafana 系列文章（十二）：如何使用Loki创建一个用于搜索日志的Grafana仪表板
概述 创建一个简单的 Grafana 仪表板, 以实现对日志的快速搜索. 有经验的直接用 Grafana 的 Explore 功能就可以了. 但是对于没有经验的人, 他们如何能有一个已经预设了简单的标签搜索的仪表板，以帮助一些团队在排除故障时快速找到他们正在寻找的东西。虽然 Explore 很适合这 ......
部署实战-Docker+nginx部署前后端分离项目
本文是基于Docker、Docker-compose、nginx、centos7、springboot进行前后端分离项目部署 关于Docker相关知识，可以查看文章：应用容器引擎-Docker Dockerfile的文章链接：Dockerfile详解 @Author：Akai-yuan @更新时间： ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息
Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
SQLSERVER 事务日志的 LSN 到底是什么？
一：背景 1. 讲故事 大家都知道数据库应用程序 它天生需要围绕着数据文件打转，诸如包含数据的 .mdf，事务日志的 .ldf，很多时候深入了解这两类文件的合成原理，差不多对数据库就能理解一半了，关于 .mdf 的合成前面的文章已经有所介绍，这篇我们来聊一下 .ldf 的一些内部知识，比如 LSN。 ......
在 NGINX 中根据用户真实 IP 进行限制
需求 需要根据用户的真实 IP 进行限制, 但是 NGINX 前边还有个 F5, 导致 deny 指令不生效. 阻止用户的真实 IP 不是 192.168.14.* 和 192.168.15.* 的访问请求. 实现 最简单的实现如下: :notebook: 前置条件: 需要 nginx 前边的 lo ......
Git + Jenkins 自动化 NGINX 发布简易实现
概述 之前基于 GitLab + Jenkins 实现了简单的 NGINX 的自动化发布。 具体包含如下的组件： GitLab 包括 GItLab 的 WebHook； Jenkins 及其插件： Generic Webhook Trigger Publish Over SSH 🧠疑问： 为什么不 ......
结构化日志组件 Serilog
什么是结构化日志 我们记录日志惯常使用 log4j2、NLog 等日志组件，这些组件提供了输出到多种终端的能力，但是大部分时候我们选择将日志输出到操作系统的文件系统中，为什么呢？至少有一部分原因是记录的每条日志为字符串格式，且按时间由远往进顺序记录，打开文件可以直接人肉检索；如果这些日志记录到其它终 ......
如何在多个应用程序中共享日志配置
有的时候你有多个应用程序，它们需要使用相同的日志配置。在这种情况下，你可以将日志配置放在一个共享的位置，然后通过项目文件快速引用。方便快捷，不用重复配置。 Directory.Build.props 通过在项目文件夹中创建一个名为 Directory.Build.props 的文件，可以将配置应用于 ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
项目中引进这玩意，排查日志又快又准！
大家好，我是三友~~ 背景 随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候，因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难。 这时候可能有的小伙伴就会想到使用SkyWalking，Pinpoint等分布式追踪系统来解决，并 ......
基于Nginx搭建WebDAV服务
title: 基于Nginx搭建WebDAV服务 categories: [IT,网络,服务] tags: WebDAV Nginx comments: true date: 2022-11-09 17:19:46 description: 基于Nginx搭建WebDAV服务 在搭建 Joplin ......
在windows下导入react项目并且打包编译后部署到nginx上
在windows下导入react项目并且打包编译后部署到nginx上 一、安装npm 二、创建react项目 三、安装nginx 四、总结 最近接手了公司的一个django项目，这是应该前后端分离的项目，前端使用react编写，由于之前没用过react，所以在配置时遇到了一些问题，现在记录下来。 一 ......
NGINX的配置和基本使用
Linux NGINX NGINX：engine X ，2002年开发，分为社区版和商业版(nginx plus ) 社区版：分为主线版（开发版，奇数），稳定版（偶数） Nginx官网：http://nginx.org NGINX的两大功能：web服务器、反向代理服务器 NGINX和APACHE一样 ......
高可用系列文章之三 - NGINX 高可用实施方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 高可用系列文章之二 - 传统分层架构技术方案 - 东风微鸣技术博客 (ewhisper.cn) 四 NGINX 高可用实施方案 高可用的实施, 主要步骤概述如下: NGINX 的安装及基础配置 负载均衡层高可用 ......
Nginx 防盗链
Nginx 防盗链 本篇主要介绍一下 nginx 中 防盗链的具体配置 , 以及http 的 referer 头 概述 防盗链其实就是 防止别的站点来引用你的 资源, 占用你的流量 在了解nginx 防盗链之前 我们先了解一下 什么是 HTTP 的头信息 Referer,当浏览器访问网站的时候,一般 ......
Nginx rewrite 详解
Nginx rewrite 详解 本篇主要介绍 nginx 的 rewrite 重定向这个功能进行 详解介绍, 以及介绍它的使用场景 1. rewrite 基本介绍 rewrite是实现URL重写的关键指令，根据regex (正则表达式)部分内容,重定向到replacement，结尾是flag标记。 ......
keepalived + nginx 实现高可用
keepalived + nginx 实现高可用 本篇主要介绍一下 keepalived + nginx 来实现 对于nginx的高可用, 还是简单的主备模式 1.概述 前面有了解keepalived 的主备的基本使用, 但是那种是针对宕机等情况 停止了keepalived 的进程实现的 vip的漂 ......
vivo大数据日志采集Agent设计实践
作者：vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为 ......
mysql基础问题三问（底层逻辑;正在执行;日志观察）
背景：经常面试会遇到且实际工作中也会应用到的三个场景： 目录： 一.mysql查询时的底层原理是什么？ 二.如何查看正在执行的mysql语句？ 三.如何观察mysql运行过程中的日志信息？ - - - - - - - - - -分割线- - - - - - - - - - -一.mysql查询时的底 ......
Thrift RPC添加access log
前言： 当我们在部署web服务的时候，web容器通常都会记录来自客户端的访问日志。而当我们使用Thrift RPC服务的时候，Thrift服务则不会给我们自动记录客户端的访问日志。 通过这篇文章，你可以学习到如何使用在Thrift服务器端添加客户端的访问日志。 面临的问题： 要在Thrift服务器端 ......
聊一聊如何截获 C# 程序产生的日志
一：背景 1.讲故事 前段时间分析了一个dump，一顿操作之后，我希望用外力来阻止程序内部对某一个com组件的调用，对，就是想借助外力实现，如果用 windbg 的话，可以说非常轻松，但现实情况比较复杂，客户机没有windbg，也不想加入任何的手工配置，希望全自动化来处理。 真的很无理哈。。。不过这 ......