链路 场景 日志mdc
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
手把手教你分析IIS日志——IP访问次数,URI访问统计等
配置IIS网站的日志 下载日志分析工具 https://gitee.com/tangdd369098655/open-network-disk 解压打开 选择文件 指定分析规则（还可以自己写规则哦~~） 运行规则进行分析 今天就写到这里啦~ 小伙伴们，(￣ω￣(￣ω￣〃 (￣ω￣〃)ゝ我们明天再见啦 ......
大数据案例分析--日志分析————可视化
详情参考这位博主的代码，但是具体的格式我进行了修改，总体就是，前方jsp界面使用echarsts渲染，后面的只有一个servlet 进行跳转到dao.java ，这里面的是进行查询 在这里要说一点，我进行觉错的时候发现无论怎么改，查询文章的数据的时候都不显示，期初认为前端界面的问题，一系列复制粘贴后 ......
大数据案例分析--日志分析--数据清洗
开始的日期格式转化是如此操作的：采用python进行清洗数据，用到了正则表达式 首先获取原先的result.txt将这份文件复制到pycharm的一个项目中，然后新建一个py文件写入下面代码 import re from datetime import datetime # 读取文件 with op ......
大数据分析案例--日志分析
具体操作和上次课堂测试类似，可视化代码更是比上次简单 这里只展示datagrip里的sql语句 这里不包括日期的清洗，日期的清洗有些困难，请教同学后知道怎样清洗，具体写在下一节 create table `past`( `ip` string, `Date` string, `day` string ......
Vector多行日志读取，解析
官方记录：https://github.com/vectordotdev/vector/issues/2137 目前只支持file、docker [sources.multiline_logs] type = "file" include = [ "/opt/multiline.log" ] [so ......
Python如何在日志中隐藏明文密码
Python如何在日志中隐藏明文密码 前言 在项目开发中，有的时候会遇到一些安全需求，用以提升程序整体的安全性，提高外来非法攻击的门槛，而在日志中隐藏明文密码打印便是最典型的安全需求之一。 在Python中，明文密码往往发生于命令执行参数、debug日志、依赖库打印等场景中。对于程序自身的明文密码打 ......
VictoriaLogs 要凭什么革了各家日志存储的命
如果大家对时序指标的存储方案有些了解，那大概率会听过 VictoriaMetrics，VictoriaMetrics 号称 Prometheus 的升级版，在性能和成本方面也确实做得很好，如果是夜莺新用户，我都是推荐直接使用 VictoriaMetrics 来作为存储。前几天 Victoria 发布 ......
Linux 日志文件查找命令
Linux 日志文件查找技巧 一、tail 命令简介 下面列出一些常用的参数： -f：实时监控文件内容变化； -n：指定输出文件末尾的行数，默认为10行； -q：不显示文件名； -s：指定输出每行间隔的时间（秒数）； -c：指定输出末尾的字节数； -v：显示详细的输出信息。 使用示例 查看文件fil ......
高并发场景下的 HttpClient 优化方案，QPS 大大提升！
HttpClient优化思路： 池化 长连接 httpclient和httpget复用 合理的配置参数（最大并发请求数，各种超时时间，重试次数） 异步 多读源码 1.背景 我们有个业务，会调用其他部门提供的一个基于http的服务，日调用量在千万级别。使用了httpclient来完成业务。之前因为qp ......
xcode15在appstore上显示的更新日志-机翻
swift macro support brings inline expansions and breakpoint debugging in the source editor Git staging helps craft your next commit without leaving yo ......
Windows使用filebeat+ELK搭建日志搜集系统
Jdk与Elastic版本对应关系：https://www.elastic.co/cn/support/matrix#matrix_jvm 下载地址： Elasticsearch：https://www.elastic.co/cn/downloads/elasticsearch Logstash：h ......
SpringBoot学习05(2.1整合项目2:升级点文件上传阿里云OSS，分页插件以及日志信息)
在项目一的基础开发上升级点： 1.（表现层）不再使用systemout输出一些信息，而是在日志中输入，lombok中有提供响应的方法可以通过加入注解@Slf4j，就可以直接使用log.info("")更新日志信息。 2.（分页）配置新插件Pagehelper 在pom.xml中引入依赖，要根据自己的 ......
分布式场景
一、分布式文件系统 常用的分布式文件系统：HDFS（Hadoop Distributed File System） HDFS是Apache Hadoop生态系统中的分布式文件系统，用于存储和管理大规模数据集。它是为了支持大数据处理和分析而设计的，具有高容错性、高可靠性和高可扩展性的特点。它采用了主从 ......
视频监控场景新花样——密室逃脱监控平台
近日，《社会单位和重点场所消防安全管理规范 第6部分：密室逃生场所》这一新标准在市市场监管局网站上公开征求意见。征求意见的新标准提出，密室逃生场所不应布置在地下二层及以下楼层，应设置场控室，场控室应对主题单元内每个房间进行全方位、无死角的监控，并能随时进行语音对讲。此外，场控室还应具备一键开启所有房 ......
浅述TSINGSEE视频技术与视频智能分析能力在城市治理中的典型应用场景
对重点区域施行全方位智能监控，能识别未戴安全帽，未穿工作服等不符合规定的行为并产生告警信息，以避免安全事故的发生。 ......
TSINGSEE青犀视频AI分析/边缘计算/AI算法·厨师帽检测功能——多场景高效运用
在餐饮厂房等场景中，为保障食品安全与卫生，后厨操作人员规范着装要求是必不可少的。由于后厨温度较高，环境较为恶劣，很多后厨人员为自身方便不按照规定佩戴厨师帽和着厨师服，为切实解决此问题，TSINGSEE青犀智能分析网关厨师帽/厨师服检测算法即可从容解决。 TSINGSEE青犀智能分析网关厨师帽厨师服检 ......
Docker启动jaeger链路追踪，并在kratos中使用jaeger
1. 拉取并启动docker镜像 docker run --rm --name jaeger \ -e COLLECTOR_ZIPKIN_HOST_PORT=:9411 \ -p 6831:6831/udp \ -p 6832:6832/udp \ -p 5778:5778 \ -p 16686:1 ......
K8s部署EFK日志收集
K8s部署EFK（elasticsear + filebeat + kibana）日志收集 一.准备镜像 # 在本机拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.2 docker pull docker.ela ......
Linux 日志按时间、按行截取方式
Linux 日志按时间、按行截取方式 代码脚本之家 2023-10-08 12:53 发表于上海 收录于合集 #linux2个 #日志1个 1.截取catalina.out某段时间内的日志信息： sed -n '/2023-09-23 14:00:/,/2023-09-23 15:00:/p' ca ......
忽视日志吃大亏，手把手教你玩转 SpringBoot 日志
一、日志重要吗 程序中的日志重要吗？ 在回答这个问题前，笔者先说个事例： ❝ 笔者印象尤深的就是去年某个同事，收到了客户反馈的紧急bug。尽管申请到了日志文件，但因为很多关键步骤没有打印日志，导致排查进度很慢，数个小时都没能排查到问题，也无法给出解决对策。导致了客户程序一直阻断，最终产生了不少损失。 ......
JVM调优工具和GC日志
一、JDK自带调优工具jvisualvm 1、启动jvisualvm，打开cmd，输入jvisualvm就会打开jvisualvm工具 启动好是这样的。左侧可以看到本地Test类在运行 双击打开可以看到JVM基本参数设置和运行环境 安装Visual GC插件，打开工具》插件，点击编辑 打开Visua ......
K8s部署轻量级日志收集系统EFK（elasticsear + filebeat + kibana）
目录K8s部署EFK（elasticsear + filebeat + kibana）日志收集一.准备镜像二.搭建Elasticsearch + kibana1.在可执行kubectl命令的服务器准备安装的yml文件2.在elasticsearch-kibana目录下创建配置文件elasticsea ......
AI算法平台及智能视频智能分析系统在高速公路场景中的智能化应用
一、行业背景 当前高速公路视频联网运行监测体系的建设思路，主要是改变过去烟筒式的建设模式，搭建以视频数据为核心的视频综合管理云服务中台，在全面汇聚基础数据的基础上通过数据智能支撑各部门和公司的应用需求。当前面临的建设需求如下： 1）交通流量大：日常交通流量大，尤其是重大节假日的交通流量已超过设计流量 ......
服务器上清理Docker容器运行日志的正确姿势
文章目录 @[toc] 1. 为啥要清理服务器上docker容器的日志？ 2. docker容器日志限制 2.1 容器范围内 2.2 全局范围内 3. 删除Docker容器日志的正确姿势 3.1 方式一： 3.2 方式二： 1. 为啥要清理服务器上docker容器的日志？ 因为是服务器的磁盘空间资源 ......
Docker 日志自动轮转和清理配置
设置 Docker 日志大小和自动删除旧日志：通过配置 Docker 使用 json-file 日志驱动，同时使用 logrotate 工具，可以设置日志的最大大小（例如100MB），并在达到该大小时自动删除旧日志。这可帮助管理 Docker 日志文件大小和保持存储空间整洁。 步骤 1：配置 Doc ......
安防监控系统LiteCVR在各个行业场景中的应用汇总分析
安防视频监控系统是利用视频技术探测、监视设防区域并实时显示、记录现场图像的电子系统或网络。安防监控先后经历了模拟化、网络化、高清化等三个阶段。 目前，安防视频平台已经成为各个行业中不可或缺的一部分了，可以面向应急指挥、教育系统、公安政法、智慧农业、智慧工地、数据物联、智慧社区、移动监控等行业。有时用 ......
查询数据库慢排查、获取当前数据库连接数，sql执行很快但是日志记录接口确很慢
获取当前数据库连接数 @Resource private DruidDataSource druidDataSource; int activeCount = druidDataSource.getActiveCount(); int activePeak = druidDataSource.get ......
maven打包日志乱码解决
打包报错同时乱码看不懂怎么办 idea配置 -DarchetypeCatalog=internal -Dfile.encoding=GBK，第一个意思时使用本地maven仓库依赖加快打包 第二个意思是使用GBK编码 ......