数据管理 火山bytehouse airflow
Fabric2.x中Raft共识算法核心数据结构
一、共识算法可插拔的代码体现Chain接口 Hyperledger Fabric的共识算法是可插拔的，在代码上体现为Chain接口，所有不同的共识算法均可根据Chain接口进行具体实现，目前fabric支持solo、kafka、raft、sbft等共识算法。Chain接口的代码在fabric/ord ......
【Go并发编程】Go使用协程批量获取数据，加快接口返回速度
服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。 使用Go语言后，可以并发获取，极大提升效率。 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := ......
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
R数据分析：孟德尔随机化中介的原理和实操
中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
JavaScript 内存管理及垃圾回收
JavaScript 中的内存管理主要由 JavaScript 引擎负责，开发人员不需要手动管理内存。JavaScript 引擎使用垃圾回收算法来实现自动垃圾回收。
JavaScript 垃圾回收算法是指在 JavaScript 程序中，用来回收不再使用的内存的算法。 ......
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
如何优雅地校验后端接口数据，不做前端背锅侠
背景 最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？ 这我能忍？我立刻截图发到群里，用红框加大加粗重点标出。后端同学也积极响应，答应改正。 第二天，同样的事情又在其他的项目上演，我只是 ......
SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel
一、前言 今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！ 市面上常见的导入导出Excel分为三种： hutool easyExcel poi hutool和easyExcel都是对poi的封装，使用起来更加方便！ 如果想使用poi和hu ......
AI换脸实战教学（FaceSwap的使用）---------第二步Tools：处理输入数据集。
续上篇：https://www.cnblogs.com/techs-wenzhe/p/12936809.html 第一步中已经提取出了源视频的人脸照片以及对应人脸遮罩(landmark以及其他自选遮罩) 第二步：利用Tools处理提取号好的数据集，使其对模型的训练产生正向收益。 步骤1：剔除不需要的 ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
【深入浅出 Yarn 架构与实现】4-4 RM 管理 Application
在 YARN 中，Application 是指应用程序，它可能启动多个运行实例，每个运行实例由 —个 ApplicationMaster 与一组该 ApplicationMaster 启动的任务组成，它拥有名称、队列、优先级等属性，是一个比较宽泛的概念，可以是一个 MepReduce 作业、一个 D... ......
Debian 软件包管理
帮助了解 Debian 软件包管理，如何使用 APT 管理软件包，如何配置 apt 源，获得更好的体验
对于部分问题 apt 源配置问题，比如 GPG error
apt, apt-get 的关系 ... ......
表格集算表高性能原理——怎样实现纯前端百万行数据秒级响应
集算表 （Table Sheet）是一个具备高性能渲染、数据绑定功能、公式计算能力的数据表格，通过全新构建的关系型数据管理器结合结构化公式，在高性能表格的基础上提供排序、筛选、样式、行列冻结、自动更新、单元格更新等功能。 什么是集算表（Table Sheet）? 集算表是一个具有网络状行为和电子表格 ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
如何管理项目干系人
一、什么是项目干系人？ 项目干系人是指积极参与项目或其利益可能受项目积极或消极影响的个人、组织。我们以软件项目为例，大家也可以将项目干系人视为在软件项目中拥有既得利益的任何人，包括员工、客户、供应商、投资者、合作伙伴，甚至竞争对手。他们的目标和优先级可能会与团队不同。 二、什么是项目干系人管理？ 我 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
企业应用架构研究系列二十四：SQL Server 数据库调优之XEvent 探查器
如果入职一些中小型公司，往往需要接手一些很“坑”的项目，到底多坑就不牢骚了，只讲一下，如果破解这些历史遗留的项目问题。项目代码可能短时间无法进行通读研究，我们就需要从底层数据库进行挖掘问题，有经验的老开发工程师，他会开启Sql Server Profiler 这个功能，进行语句的跟踪。这个是一个很好 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移Redis数据实战指南（离线同步数据）
离线迁移 与在线迁移相比，离线迁移适宜于源实例与目标实例的网络无法连通的场景，或者源端实例部署在其他云厂商Redis服务中，无法实现在线迁移。 存在的问题 由于生产环境的各种原因，我们需要对现有服务器进行迁移，包括线上正在运行的redis集群环境 如何去做? 涉及到数据源变动，原有数据如何平滑迁移到 ......
【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（scan模式迁移）
在线数据迁移方式 对于大多数场景下的Redis的数据迁移，还是比较推荐大家参考我之前的前两篇文章。 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南（在线同步数据） 【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线 ......
day05-Spring管理Bean-IOC-03
Spring管理Bean-IOC-03 2.基于XML配置bean 2.15bean的生命周期 bean对象的创建是由JVM完成的，然后执行如下方法： 执行构造器 执行set相关方法 调用bean的初始化方法（需要配置） 使用bean 当容器关闭时，调用bean的销毁方法（需要配置） 例子 Hous ......
day07-Spring管理Bean-IOC-05
Spring管理Bean-IOC-05 3.基于注解配置bean 3.3自动装配 基本说明： 基于注解配置bean，也可以实现自动装配，使用的注解是：@AutoWired或者@Resource @AutoWired 的规则说明 （1）在IOC容器中查找待装配的组件的类型，如果有唯一的bean装配（按 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【Dubbo3终极特性】「云原生三中心架构」带你探索Dubbo3体系下的配置中心和元数据中心、注册中心的原理及开发实战（上）
Dubb3的应用级服务发现 Dubbo3提供了全新的应用级服务发现模型，该模型在设计与实现上区别于 Dubbo2 的接口级服务发现模型。 概括来说，Dubbo3 引入的应用级服务发现主要有以下优势 适配云原生微服务变革。云原生时代的基础设施能力不断向上释放，像 Kubernetes 等平台都集成了微 ......
【Dubbo3 终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（中）
承接上文 通过之前的【Dubbo3终极特性】「云原生三中心架构」带你探索 Dubbo3 体系下的配置中心和元数据中心、注册中心的原理及开发实战（上），让我们对Dubbo3的三中心架构体系有了一定的认识和了解。 Dubbo3的三中心部署架构 回顾一下部署架构（注册中心、配置中心、元数据中心），了解Du ......
【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南（在线同步数据）
从实战出发使用RedisShake进行Redis数据在线+离线模式迁移指南 RedisShake基本介绍 RedisShake是基于redis-port基础上进行改进的是一款开源的Redis迁移工具，支持Cluster集群的在线迁移与离线迁移（备份文件导入）。数据可平滑迁移，当部署在其他云厂商Red ......
通过Google Cloud Storage(GCS)管理Terraform的状态State
管理Terraform状态文件的最佳方式是通过云端的统一的存储，如谷歌云就用GCS。 首先要创建一个Bucket： $ gsutil mb -p pkslow -l us-west1 -b on gs://pkslow-terraform Creating gs://pkslow-terraform ......
Vue+echart 展示后端获取的数据
最近在合作做一个前后端分离项目时，为了测试我写的后端部分获取数据的效果，自己也学了一下 vue 的知识，在获取 json 信息这里也踩了很多坑。 这里列举下我返回的 json 部分信息： { "house_basic": [ { "HOUSE_ID": "00001", "HOUSE_NAME": ......