高性能 特性 数据redis
【Go并发编程】Go使用协程批量获取数据，加快接口返回速度
服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。 使用Go语言后，可以并发获取，极大提升效率。 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := ......
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
R数据分析：孟德尔随机化中介的原理和实操
中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
杨辉三角的5个特性，一个比一个牛皮！
作者：小傅哥 博客：https://bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 一、前言 杨辉三角的历史 杨辉三角按照杨辉于1261年所编写的《详解九章算法》一书，里面有一张图片，介绍此种算法来自于另外一个数学家贾宪所编写的《释锁算书》一书，但这本书早已失传无从考证。但 ......
Redis之key的淘汰策略
淘汰策略概述 redis作为缓存使用时，在添加新数据的同时自动清理旧的数据。这种行为在开发者社区众所周知，也是流行的memcached系统的默认行为。 redis中使用的LRU淘汰算法是一种近似LRU的算法。 淘汰策略 针对淘汰策略，redis有一下几种配置方案： 1、noeviction：当触发内 ......
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
如何优雅地校验后端接口数据，不做前端背锅侠
背景 最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？ 这我能忍？我立刻截图发到群里，用红框加大加粗重点标出。后端同学也积极响应，答应改正。 第二天，同样的事情又在其他的项目上演，我只是 ......
SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel
一、前言 今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！ 市面上常见的导入导出Excel分为三种： hutool easyExcel poi hutool和easyExcel都是对poi的封装，使用起来更加方便！ 如果想使用poi和hu ......
.NET 7新特性
2022年11月份微软推出了带有STS（标准期限支持）的.NET版本7，仅提供18个月的支持。 微软今年推出了STS版本，因为它已经在2019年提到，它将在每年11月左右发布一个新版本的.NET。 但是，考虑到新的官方.NET7功能和更新，它仍然为用户带来了大量变化和.NET7性能改进。今天给大家分 ......
C#11新特性整理
假期中有时间，整理了C#11的各个新特性，简单分享给大家。 一、使用VSCode新建一个.NET7.0的Console工程 <Project Sdk="Microsoft.NET.Sdk"> <PropertyGroup> <OutputType>Exe</OutputType> <TargetFr ......
AI换脸实战教学（FaceSwap的使用）---------第二步Tools：处理输入数据集。
续上篇：https://www.cnblogs.com/techs-wenzhe/p/12936809.html 第一步中已经提取出了源视频的人脸照片以及对应人脸遮罩(landmark以及其他自选遮罩) 第二步：利用Tools处理提取号好的数据集，使其对模型的训练产生正向收益。 步骤1：剔除不需要的 ......
Redis缓存何以一枝独秀？——从百变应用场景与热门面试题中感受下Redis的核心特性与使用注意点
在分布式盛行的今天，本地缓存明显无法满足分布式场景的缓存诉求。作为应对之法，集中式缓存被广泛的使用在各中分布式系统中，而使用最广泛的莫过于大家耳熟能详的Redis了，本篇开始聊一聊Redis相关的内容。 ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
.NetCore下基于FreeRedis实现的Redis6.0客户端缓存之缓存键条件优雅过滤
前言 众所周知内存缓存(MemoryCache)数据是从内存中获取，性能表现上是最优的，但是内存缓存有一个缺点就是不支持分布式，数据在各个部署节点上各存一份，每份缓存的过期时间不一致，会导致幻读等各种问题，所以我们实现分布式缓存通常会用上Redis 但如果在高并发的情况下读取Redis的缓存，会进行 ......
探讨下如何更好的使用缓存 —— Redis缓存的特殊用法以及与本地缓存一起构建多级缓存的实现
本篇文章，我们就一起聊一聊如何来更好的使用缓存，探寻下如何降低缓存交互过程的性能损耗、如何压缩缓存的存储空间占用、如何保证多个操作命令原子性等问题的解决策略，让缓存在项目中可以发挥出更佳的效果。 ......
表格集算表高性能原理——怎样实现纯前端百万行数据秒级响应
集算表 （Table Sheet）是一个具备高性能渲染、数据绑定功能、公式计算能力的数据表格，通过全新构建的关系型数据管理器结合结构化公式，在高性能表格的基础上提供排序、筛选、样式、行列冻结、自动更新、单元格更新等功能。 什么是集算表（Table Sheet）? 集算表是一个具有网络状行为和电子表格 ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
高性能 Java 框架。Solon v1.12.3 发布（春节前兮的最后更）
一个更现代感的 Java "生态型"应用开发框架：更快、更小、更自由。不是 Spring，没有 Servlet，也无关 JavaEE；新兴独立的轻量生态 （已有150来个生态插件） 。主框架仅 0.1 MB。 相对于 Spring Boot 和 Spring Cloud 的项目： 启动快 5 ～ 1 ......
从面试题入手，畅谈 Vue 3 性能优化
前言 今年又是一个非常寒冷的冬天，很多公司都开始人员精简。市场从来不缺前端，但对高级前端的需求还是特别强烈的。一些大厂的面试官为了区分候选人对前端领域能力的深度，经常会在面试过程中考察一些前端框架的源码性知识点。Vuejs 作为世界顶尖的框架之一，几乎在所有的面试场景中或多或少都会被提及。 笔者之前 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息
Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
企业应用架构研究系列二十四：SQL Server 数据库调优之XEvent 探查器
如果入职一些中小型公司，往往需要接手一些很“坑”的项目，到底多坑就不牢骚了，只讲一下，如果破解这些历史遗留的项目问题。项目代码可能短时间无法进行通读研究，我们就需要从底层数据库进行挖掘问题，有经验的老开发工程师，他会开启Sql Server Profiler 这个功能，进行语句的跟踪。这个是一个很好 ......
【Redis实战专题】「性能监控系列」全方位探索Redis的性能监控以及优化指南
Redis基本简介 Redis是一个开源（BSD 许可）、内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合等数据类型。内置复制、Lua 脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过 Redis Sentinel 提供高可用，通过 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南（离线同步数据）
离线迁移 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。 存在的问题 由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做? 涉及到数据源变动，原有数据如何平滑迁移到 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（scan模式迁移）
在线数据迁移方式 对于大多数场景下的Redis的数据迁移，还是比较推荐大家参考我之前的前两篇文章。 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（在线同步数据） 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线 ......
【Dubbo3终极特性】「云原生三中心架构」带你探索Dubbo3体系下的配置中心和元数据中心、注册中心的原理及开发实战（上）
Dubb3的应用级服务发现 Dubbo3提供了全新的应用级服务发现模型，该模型在设计与实现上区别于 Dubbo2 的接口级服务发现模型。 概括来说，Dubbo3 引入的应用级服务发现主要有以下优势 适配云原生微服务变革。云原生时代的基础设施能力不断向上释放，像 Kubernetes 等平台都集成了微 ......
【Dubbo3 终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（中）
承接上文 通过之前的【Dubbo3终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（上），让我们对Dubbo3的三中心架构体系有了一定的认识和了解。 Dubbo3的三中心部署架构 回顾一下部署架构（注册中心、配置中心、元数据中心），了解Du ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......