sqlserver事务 日志lsn
SpringBoot的多数据源以及事务解决方案(上篇)
SpringBoot的多数据源以及事务解决方案 背景 一个主库和N个应用库的数据源，并且会同时操作主库和应用库的数据，需要解决以下两个问题： 如何动态管理多个数据源以及切换？ 如何保证多数据源场景下的数据一致性（事务）？ 数据切换原理 通过扩展Spring提供的抽象类AbstractRoutingD ......
day27 初识日志收集组件Fluentd-日志收集组件Fluentd高级配置 （9.6-9.7）
9.6-1-日志收集组件Fluentd高级配置(1) 一、配置文件 在 Fluentd 的配置文件中，有几个常用的关键字和组件，包括 source 、 match 、filter 、 system 、 label 和 @include 。 source ：用于定义 Fluentd 接收数据的来源。 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
AT事务模型使用
机制 两阶段提交协议的演变： 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。 二阶段： 提交异步化，非常快速地完成。 回滚通过一阶段的回滚日志进行反向补偿。 集成过程 参考Seata客户端集成 工作机制 一阶段 根据update语句的条件组成select脚本，查询得到更 ......
程序启动添加全局异常捕获和Dump日志记录
Dump日志记录 /// <summary> /// 功能描述：程序全局异常捕获Dump文件记录 /// </summary> public static class MiniDump { [Flags] public enum Option : uint { // From dbghelp.h: ......
基于ETLCloud的MySQL到SqlServer实时同步解决方案
背景 在以下场景下会用到不同数据库的实时同步问题，比如：数据备份与容灾、多地域数据同步、数据共享与协作、数据分析与报表生成、实时监控与报警系统等等。大多数情况用到的就是数据备份了吧，相同的数据库还好，不同的数据库不能完全兼容就很麻烦，所以会用到SymmetricDS、Maxwell、Debezium ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
Spring 七种事务传播性介绍
本文主要介绍了Spring事务传播性的相关知识。在Spring环境中，含有事务的方法嵌套调用，事务是如何传递的规则，以及每种规则是如何开展工作的。文章还提到每种事务传播性是如何使用的，方便读者依据实际的场景，使用不同的事务规则。 ......
营业日志 —— FFT
Q: 【模板】多项式乘法（FFT） 给定一个 \(n\) 次多项式 \(F(x)\)，和一个 \(m\) 次多项式 \(G(x)\)。 请求出 \(F(x)\) 和 \(G(x)\) 的卷积。 暴力很容易实现，但是时间复杂度为 \(O(n^2)\) 如何优化？ 使用 FFT 可以有效将复杂度降至 \ ......
2024了，我不想再用AOP收集业务操作日志了 | 京东云技术团队
0.背景 在近期的项目中，系统涉及到针对系统的业务操作日志统计功能，由于本系统位于业务链路的中心环节，负责接收上游系统的数据，并将基于用户操作产生的数据传递至下游系统，鉴于业务链路的复杂性和操作场景的多样性，我们计划通过对核心业务数据进行全生命周期的日志记录来提升问题解决的效率，并为用户提供更多的工 ......
【ASP.NET Core】使用SignalR推送服务器日志
【ASP.NET Core】使用SignalR推送服务器日志 一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代 ......
python pip更新异常日志
解决pip升级导致的ERROR: Could not install packages due to an EnvironmentError问题今天执行pip install -U pip命令想更新pip的时候，遇到了下面的问题： 后来上网查了一下发现很多方法都是让直接执行 ！！（必须在管理员模式去 ......
docker部署ELK日志系统
第一步：部署ES docker pull elasticsearch:7.17.0 创建ES目录与配置文件 mkdir -p /opt/es/config mkdir -p /opt/es/data echo "http.host: 0.0.0.0" >>/opt/es/config/elastic ......
AOP用于日志管理
我在项目中使用AOP作日志管理，首先自定义注解syslog，再写一个aspect切面类，使用@around环绕通知，通过参数中的joinpoint切点，通过动态代理获取当前类的对象，这样就可以获取到类名等信息，可以通过一些别的方法比如getArgs，获取方法的参数等等 @Aspect@Compone ......
关于SqlServer触发器调试
tags: author: zhanglei date: 2024-01-03 创建触发器调试临时表 创建临时表 #代表会话临时表, 当前会话链接断开, 表删除 ## 代表全局临时表, 所有会话断开链接, 表删除 create table #t_trigger_debug( line varchar ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
日志记录升级(中间件全局日志)
1.继承IExceptionFilter只是用于记录全局异常异常日志，现在我想记录每个请求的日志并且入库。 需要用到IAsyncActionFilter，继承该接口，用于记录每一个action方法的请求信息，作用是记录每个操作的记录，简单点来讲就是记录哪个人调用了哪个方法。 添加一个继承该接口的过滤 ......
linux安装sqlserver
https://learn.microsoft.com/zh-cn/sql/linux/sql-server-linux-setup?view=sql-server-linux-ver15 https://learn.microsoft.com/zh-cn/sql/linux/sql-server- ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
【2023-12-28】家庭事务
20:00 积极勇敢地面对现实，我们还应团结起来，面对困难、渡过难关。困难是存在的，留得青山在不怕没柴烧。记住中国是中国人的中国，解决问题只能靠自己。 ——曹德旺 如上用所预测，奶奶今天就要老家，开始帮堂哥进行婚事打理。昨晚回到家后，奶奶便跟我商量要买今天几点的车票回去。近期我确实忙，希望她能傍晚再 ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
如何在iPhone设备中查看崩溃日志
如何在iPhone设备中查看崩溃日志 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么？ 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志，以便调查崩溃的原因。我们将展示三种不 ......
本地事件总线和事务
本地事件总线和事务 通过重写Ef Core的SaveChanges/SaveChangesAsync来实现事务。当然，如果您愿意实现仓储层，可以在仓储层实现展开对应实体包含的事件，并且调整事件的处理顺序。 Github仓库地址：soda-event-bus 实现AggregateRoot类 Aggr ......
logrotate日志压缩配置
默认Linux自带了logrotate和crontabs。 配置logrotate日志压缩 设置定时压缩时间 # 每小时第10分钟执行一次压缩 vim /etc/crontab 追加 10 * * * * /usr/sbin/logrotate /etc/logrotate.d/test_logro ......
SQLServer命令行备份数据库
SQLServer命令行备份数据库 背景 SQLServer on linux 想设置计划任务自动备份数据库 感觉sqlcmd应该是最简单快捷的方式了 所以进行一下处理. 安装必备软件 sudo curl -o /etc/yum.repos.d/msprod.repo https://package ......
【ASP.NET Core】使用SignalR推送服务器日志
一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代码，其他的基本重写。如今上位机的启动时间在网络状态良好的条件下 ......
MySQL三大日志(binlog、redo log和undo log)详解
MySQL三大日志(binlog、redo log和undo log)详解 MySQL 日志 主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。其中，比较重要的还要属二进制日志 binlog（归档日志）和事务日志 redo log（重做日志）和 undo log（回滚日志）。 re ......