数据分析 星空 能力 功能
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
如何优雅地校验后端接口数据，不做前端背锅侠
背景 最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？ 这我能忍？我立刻截图发到群里，用红框加大加粗重点标出。后端同学也积极响应，答应改正。 第二天，同样的事情又在其他的项目上演，我只是 ......
SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel
一、前言 今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！ 市面上常见的导入导出Excel分为三种： hutool easyExcel poi hutool和easyExcel都是对poi的封装，使用起来更加方便！ 如果想使用poi和hu ......
AI换脸实战教学（FaceSwap的使用）---------第二步Tools：处理输入数据集。
续上篇：https://www.cnblogs.com/techs-wenzhe/p/12936809.html 第一步中已经提取出了源视频的人脸照片以及对应人脸遮罩(landmark以及其他自选遮罩) 第二步：利用Tools处理提取号好的数据集，使其对模型的训练产生正向收益。 步骤1：剔除不需要的 ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
巧用Fiddler开启运营商定制版路由器被阉割的功能，免去刷公版固件的风险
前言： 三大运营商都有自己的定制版路由器，一般会在自家营销活动中作为赠品送给用户 正巧我家里就有两台电信定制版的华为路由器，都是这两年双十一在某宝上买宽带时送的 两台路由器型号分别是TC7001和TC7102，分别对应华为官方公版路由器型号是AX2和AX3 这两台在我家里都是作为从路由使用的，增强下 ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
【RocketMQ】消息拉模式分析
RocketMQ有两种获取消息的方式，分别为推模式和拉模式。 推模式 推模式在【RocketMQ】消息的拉取一文中已经讲过，虽然从名字上看起来是消息到达Broker后推送给消费者，实际上还是需要消费向Broker发送拉取请求获取消息内容，推模式对应的消息消费实现类为DefaultMQPushCons ......
【RocketMQ】负载均衡源码分析
RocketMQ在集群模式下，同一个消费组内，一个消息队列同一时间只能分配给组内的某一个消费者，也就是一条消息只能被组内的一个消费者进行消费，为了合理的对消息队列进行分配，于是就有了负载均衡。 接下来以集群模式下的消息推模式DefaultMQPushConsumerImpl为例，看一下负载均衡的过程 ......
RealWorld CTF 5th ShellFind 分析
前言 RealWorld CTF 5th 里的一道iot-pwn，根据真实设备固件改编而成，觉得题目贴近iot实战且很有意思，故在此记录一下复现过程。 题目分析 题目描述 Hello Hacker. You don't know me, but I know you. I want to play ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
表格集算表高性能原理——怎样实现纯前端百万行数据秒级响应
集算表 （Table Sheet）是一个具备高性能渲染、数据绑定功能、公式计算能力的数据表格，通过全新构建的关系型数据管理器结合结构化公式，在高性能表格的基础上提供排序、筛选、样式、行列冻结、自动更新、单元格更新等功能。 什么是集算表（Table Sheet）? 集算表是一个具有网络状行为和电子表格 ......
Jasypt与Apollo一起使用造成Apollo热更新失效问题分析
背景 近日业务同学反映在Apollo界面更改配置后, 服务中对应变量的值却没有改变 相关配置key定义如下: @ApolloJsonValue("${apollo.config.map:{}}") private Map<String, List<String>> apolloConfigMap; ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
企业应用架构研究系列二十四：SQL Server 数据库调优之XEvent 探查器
如果入职一些中小型公司，往往需要接手一些很“坑”的项目，到底多坑就不牢骚了，只讲一下，如果破解这些历史遗留的项目问题。项目代码可能短时间无法进行通读研究，我们就需要从底层数据库进行挖掘问题，有经验的老开发工程师，他会开启Sql Server Profiler 这个功能，进行语句的跟踪。这个是一个很好 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南（离线同步数据）
离线迁移 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。 存在的问题 由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做? 涉及到数据源变动，原有数据如何平滑迁移到 ......
【深入浅出Spring原理及实战】「源码调试分析」结合DataSourceRegister深入分析ImportBeanDefinitionRegistrar的源码运作流程
每日一句 人的一生中不可能会一帆风顺，总会遇到一些挫折，当你对生活失去了信心的时候，仔细的看一看、好好回想一下你所遇到的最美好的事情吧，那会让你感觉到生活的美好。 注入案例代码 如何通过实现SpringBoot框架带有的ImportBeanDefinitionRegistrar注册器，注入我们想要注 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（scan模式迁移）
在线数据迁移方式 对于大多数场景下的Redis的数据迁移，还是比较推荐大家参考我之前的前两篇文章。 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（在线同步数据） 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线 ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
精华推荐 | 【JVM深层系列】「GC底层调优系列」一文带你彻底加强夯实底层原理之GC垃圾回收技术的分析指南（GC原理透析）
前提介绍 很多小伙伴，都跟我反馈，说自己总是对JVM这一块的学习和认识不够扎实也不够成熟，因为JVM的一些特性以及运作机制总是混淆以及不确定，导致面试和工作实战中出现了很多的纰漏和短板，解决广大小伙伴痛点，我写了本篇文章，希望可以帮助大家夯实基础和锻造JVM技术功底。 什么是垃圾收集（GC) 在JV ......
【Dubbo3终极特性】「云原生三中心架构」带你探索Dubbo3体系下的配置中心和元数据中心、注册中心的原理及开发实战（上）
Dubb3的应用级服务发现 Dubbo3提供了全新的应用级服务发现模型，该模型在设计与实现上区别于 Dubbo2 的接口级服务发现模型。 概括来说，Dubbo3 引入的应用级服务发现主要有以下优势 适配云原生微服务变革。云原生时代的基础设施能力不断向上释放，像 Kubernetes 等平台都集成了微 ......
【Dubbo3 终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（中）
承接上文 通过之前的【Dubbo3终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（上），让我们对Dubbo3的三中心架构体系有了一定的认识和了解。 Dubbo3的三中心部署架构 回顾一下部署架构（注册中心、配置中心、元数据中心），了解Du ......
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南（在线同步数据）
从实战出发使用RedisShake进行Redis数据在线+离线模式迁移指南 RedisShake基本介绍 RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Red ......
【前端调试】- 借助Performance分析并优化性能
欢迎阅读本系列其他文章 【前端调试】- 更好的调试方式 VSCode Debugger 【前端调试】- 断点调试的正确打开方式 介绍 首先简单过一下Performance的使用，打开网页点击控制台Performance,录制5s的数据 其中 Main 这部分就是网页的主线程，也就是执行 Event ......
【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南
前提概要 在大规模互联网应用中，负载均衡设备是必不可少的组成部分，源于互联网应用的高并 发和大流量的冲击压力场景下，通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）实现高可用特点和机制。 LVS的介绍说明 官方站点：http://www.linuxvirtuals ......
ING国际银行基于Volcano的大数据分析平台应用实践
摘要：ING集团发表了《Efficient Scheduling Of High Performance Batch Computing For Analytics Workloads With Volcano - Krzysztof Adamski & Tinco Boekestijn, ING》 ......
Vue+echart 展示后端获取的数据
最近在合作做一个前后端分离项目时，为了测试我写的后端部分获取数据的效果，自己也学了一下 vue 的知识，在获取 json 信息这里也踩了很多坑。 这里列举下我返回的 json 部分信息： { "house_basic": [ { "HOUSE_ID": "00001", "HOUSE_NAME": ......