分布式 原理 数据库 数据
屏幕图像渲染原理
对于一个客户端开发来说，平时做的的最多的就是写页面，所以有必要了解从视图代码到图像显示到屏幕上的整个过程和原理。 下面以从视图代码到显示器图像的中间产物帧缓冲区图像位图为目标，分析从视图代码到帧缓冲区位图和从帧缓冲区位图到显示器图像这2个过程。 这里把这2个过程命名为：帧缓冲区数据怎么来的、帧缓冲区 ......
Dubbo2.7的Dubbo SPI实现原理细节
总结/朱季谦 本文主要记录我对Dubbo SPI实现原理的理解，至于什么是SPI，我这里就不像其他博文一样详细地从概念再到Java SPI细细分析了，直接开门见山来分享我对Dubbo SPI的见解。 Dubbo SPI的机制比较类似Spring IOC的getBean()加载，当传入一个存在的bea ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
分布式配置nacos搭建踩坑指南(下)
上一篇介绍了在配置nacos中的碰到的坑，这一篇介绍一下如何正确进行nacos的环境搭建和配置，所以本文分为两部分，第一部分为环境搭建，介绍如何安装和运行。第二部分为alibaba Sprint Boot配置，介绍如何正确配置。 注意：本文基于nacos 2.2.0,alibaba Spring B ......
Dubbo 中 Zookeeper 注册中心原理分析
本文通过分析Dubbo中ZooKeeper注册中心的实现ZooKeeperResitry的继承体系结构，详细介绍了Dubbo中ZooKeeper注册中心的实现原理。 ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
为什么 响应式数据被重新赋值了三次，但是监听回调只执行了一次
代码例子 const { createApp } = Vue const app = createApp({ components: [], template: ` <div> <button @click="handleClick">toggle</button> </div> `, data() ......
【动画笔记】数据结构-AVL树的插入操作
本笔记主要围绕AVL树的平衡因子、纸上做题思路、失衡类型(LL/RR/LR/RL)、失衡调整方法、插入后回溯这几部分知识点展开。 ......
分布式事务 | 使用DTM 的Saga 模式
DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式
本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
.NET与大数据
前言 当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。 写的并不全面，但都是实际工作中的内容。 .NET在大数据项目中，可以做什么？ 写脚本（使用控制台程序+顶级语句） 写工具（使用Winform） 写接口、写服务 使用C#写代码的优点是什么？ ......
借助Radamsa变异数据（初探）
Radamsa 介绍 Radamsa是一款测试用例生成器，通常用来测试程序对格式错误和潜在恶意输入的承受能力（对程序进行模糊测试）。它通过你的输入来返回变异后的数据。它的主要卖点是，它已经在真正重要的程序中发现了许多错误。 Radamsa 使用方法 1、可以直接喂给它字符，它就会返回变异之后的数据给 ......
Android IO 框架 Okio 的实现原理，如何检测超时？
本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 在上一篇文章里，我们聊到了 Square 开源的 I/O 框架 Okio 的三个优势：精简且全面的 API、基于共享的缓冲区设计以及超时机制。前两个优势已经分析过了，今天我们来分析 ......
Android IO 框架 Okio 的实现原理，到底哪里 OK？
本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 今天，我们来讨论一个 Square 开源的 I/O 框架 Okio，我们最开始接触到 Okio 框架还是源于 Square 家的 OkHttp 网络框架。那么，OkHttp 为什么要 ......
Jenkins搭建与数据迁移实践
概述 本文主要介绍内容如下： 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
数据结构-详解优先队列的二叉堆（最大堆）原理、实现和应用-C和Python
一、堆的基础 1.1 优先队列和堆 优先队列（Priority Queue）：特殊的“队列”，取出元素顺序是按元素优先权（关键字）大小，而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列，代价高。依靠数组，基于完全二叉树结构实现优先队列，即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景： 某台MongoDB服务器，没有配置用户名密码，放到公网不到一天，遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
Nacos服务注册原理分析
在分布式服务中，原来的单体服务会被拆分成一个个微服务，服务注册实例到注册中心，服务消费者通过注册中心获取实例列表，直接请求调用服务。 服务是如何注册到注册中心，服务如果挂了，服务是如何检测？带着这些问题，我们从源码上对服务注册进行简单的源码分析。 版本 2.1.1 Nacos Server:2.1. ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
文本数据预处理:可能需要关注这些点
要进行自然语言处理相关工作，文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理，主要包括以下4个方面内容：文本数据获取、常规文本数据预处理、任务相关的文本数据预处理、文本预处理工具。 ......
图解B树及C#实现（3）数据的删除
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历 数据的删除 阅读本文前，建议先复习前两篇文章，以便更好的理解本文。 从删除的数据所在的节点可分为两种情况： 从叶子节点删除数据 从非叶子节点删除数据 无论从叶子节点还是非叶子节点删除数据时都需要保证B树的特性：非根节点每个节点的 key ......
（数据科学学习手札149）用matplotlib轻松绘制漂亮的表格
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，matplotlib作为数据可视化的强力工具，可以帮助我们自由创作各式各样的数据可视化作品，其中matplotlib.pyplot ......