主从 哨兵 集群 原理
Redis 分片集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍了 Redis 哨兵集群的搭建，虽然已经解决了 master 在宕机后，与 slave 之间会自动切换的问题，但是其承载的数据量天花板仍然是单机的最大内存容量，无法承载更多的数据量。 本篇博客介绍 Redis 分片集群的搭建，集群内部拥有多个 master 节点，每个 master 存放 ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器（server） 01、服务器是一台独立的计算机或计算机系统（物理设备）， 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体， 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求，并提供所需的服务，如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行，具有自己 ......
MappingJackson2HttpMessageConverter使用及jackson配置原理和避坑说明
转载自：https://blog.csdn.net/Heron22/article/details/109512976 MappingJackson2HttpMessageConverter 消息转换器创建和生效原理 HttpMessageConverters对象的创建 使用WebMvcConfig ......
RIPEMD加密算法：原理、应用与安全性
一、引言 在信息时代，数据安全愈发受到重视，加密算法作为保障信息安全的关键技术，其性能和安全性备受关注。RIPEMD（RACE Integrity Primitives Evaluation Message Digest）加密算法作为一种著名的哈希函数，广泛应用于网络安全、数据完整性等领域。本文将从 ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
Spring的事务实现原理
Spring事务 Spring本身并不实现事务，Spring事务的本质还是底层数据库对事务的支持，没有数据库事务的支持，Spring事务就不会生效。 例如：使用JDBC操作数据库，使用事务的步骤主要分为如下5步: 第一步：获取连接Connection con = DriverManager.getC ......
ICEE-家电-电饭锅原理: MCU交互与程控(弱电)+强电(NTC温控+继电器+电阻发热管)
客户需求与竞争情报、董事会决策、 市场调研、试制预研、商业计划、 组织管理、人才招聘培训、 样品与采购、研发生产与量产、 市场营销与推广、客户服务与反馈。 firmware、软件、电路硬件、机械与材料及加工工艺、产品设计，持续改进、 满足客户需求，是实现商业计划的有组织成果； ICEE-家电-电饭锅 ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建，有一个缺点就是 master 和 slave 的角色是固定的，不会发生变化。一旦 master 节点宕机，那么集群就只能提供读服务，无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建，可以监控 Redis 集群的 master 和 slave 节点，最 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘：https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码：h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下： 一、以下步骤在新增机器上面执行：1、检查audit服务（Mysql版本特有）：systemc ......
redis_原理
redis_原理 数据结构 1.动态字符串SDS C语言字符串存在的问题： 获取字符串长度需要通过运算 非二进制安全 不可修改 redis构建了一种新的字符串结构，简单动态字符串Simple Dynamic String SDS Redis是C语言实现的，其中SDS是一个结构体，属性包括： uint ......
短视频app开发，集群容错策略的代码分析
短视频app开发，集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略，当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用，直到达到重试次数。即使业务代码没有显示重试，也有可能多次执行消费逻辑从而造成重复数据： public class ......
ARP攻击与欺骗的原理与复现
arp概述 1、arp地址解析协议，把一个已有的ip地址解析成对应的mac地址 2、arp工作在三层，有交换机进行转发，路由器是不会转发ARP协议 arp工作原理 1、现局域网有三台主机A、B、C，一台交换机，三台主机都未互相访问过 2、A主机arp缓存表里没有C主机的MAC地址，A会发送arp广播 ......
Grpc的内部原理、优缺点
gRPC 是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP/2 设计。gRPC 默认使用protocol buffers，这是Google开源的一套成熟的结构数据序列化机制（也可使用其他数据格式如JSON） 基于go的一种远程过程调用，RPC 框架的目标就是让远程服务调用更加简单、透明 ......
ThreadLocal和InheritableThreadLocal详解,基本原理及注意项 父子线程数据共享
一、ThreadLocal介绍 在多线程环境下访问同一个线程的时候会出现并发问题，特别是多个线程同时对一个变量进行写入操作时，为了保证线程的安全，通常会进行加锁来保证线程的安全，但是加锁又会造成效率的降低；ThreadLocal是jdk提供的除了加锁之外保证线程安全的方法，其实现原理是在Thread ......
YARN集群中应用程序的执行流程
Hello，各位“极客”好，上一篇文章中介绍了YARN集群架构的基本内容，那么，在YARN集群中应用程序的执行流程是怎样的呢？这个问题很重要，就要好好说道说道了...... 客户端提交应用程序（可以是MapReduce程序、Spark程序等）到ResourceManager。 ResourceMan ......
《TVM编译器原理与实践》新书出版发行
《TVM编译器原理与实践》新书出版发行 《TVM编译器原理与实践》新书推荐 作者：吴建明，吴一昊；出版社：机械工业出版社；出版时间：2023年12月 本书已经出版，目前在淘宝天猫，京东，当当上可以购买。谢谢！ 天猫： https://detail.tmall.com/item.htm?abbucke ......
《TVM编译器原理与实践》新书推荐
《TVM编译器原理与实践》新书推荐 作者：吴建明，吴一昊；出版社：机械工业出版社；出版时间：2023年12月 本书已经出版，目前在淘宝天猫，京东，当当上可以购买。谢谢！ 天猫： https://detail.tmall.com/item.htm?abbucket=8&id=757068341348& ......
k8s集群搭建-2
一、前面做过k8s的集群搭建主要是1.24版本一下的，1.24版本后"弃用docker"改用CRI了。所以这里就之前的集群安装做一下补充。 老版集群地址：https://www.cnblogs.com/ll409546297/p/16718681.html 二、k8s版本选择：docker-ce:2 ......
[转]如何安全存储口令？了解下Hash加盐的原理
原文地址:如何安全存储口令？了解下Hash加盐的原理 - 简书 最近要开发一个项目，其中涉及到了用户口令存储（大家习惯称之为密码），毫不夸张的说，如果方案设计的不合格，未来再想补救就会困难重重。 记得在写《深入浅出HTTPS：原理到实战》这本书的时候，也研究了很多密码学算法，和口令加密有关的算法也有 ......
SAP-DB-服务器组-003-pacemaker集群-在AWS平台里-创建及配置-SAPHanaTopology资源及SAPHana及VIP
关于基础环境的安装，还是可以参考笔者另一篇文章，APP的部分 《SAP-APP-服务器组-001-pacemaker集群的基础环境的安装部署》 https://www.cnblogs.com/5201351/p/17899446.html 1、DB需要多安装 resource-agents-sap- ......
Hive-mapjoin详解（mapjoin原理）
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 一 .Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作 ......
Zookeeper-快速入门、服务搭建、集群搭建教程
官网：https://zookeeper.apache.org/ zookeeper常用用途： 集群管理，zookeeper作为注册中心，管理服务提供方的ip地址端口号url信息，并在服务消费方请求需要时发送给服务消费方。 配置中心（不过一般用阿波罗apollo或者阿里的Nacos来做） 多个app ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
k8s组件、工作原理详解
1.k8s组件 Master 组件：kube-apiserver（API Server）: 角色： 提供集群的唯一入口，处理所有 API 请求。 原理： 接收来自客户端（kubectl、UI 界面）和其他组件的请求，验证和授权请求，然后将其转发到其他组件或更新 etcd 中的数据。etcd: 角色： ......
postgresql13.6流复制主从同步
安装好PG之后，如果给线上业务使用，至少得弄个主从，否则主库挂了，就可能导致业务长时间受影响。下面来看看怎么配置PG主从。 环境描述： PG版本：13.6 主库IP：172.16.103.225 从库IP：172.16.103.226 数据目录：/postgresql/pgdata 搭建主从（流复制 ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
YARN集群架构
玩Hadoop的不知道YARN？这简直是天大的笑话！之前介绍Hadoop核心组件的时候（详见《Hadoop的“前世今生”》那篇博文）就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”，那么本文就对YARN集群架构做进一步的介绍。 YARN集群总体上是经典的Master/Slave架构，主要 ......
基于rv1126 rkmeida 一路多出 原理
基于rv1126 rkmeida 一路多出的坑 首先说要的是介绍一下rkmedia 相关内容 RKMedia提供了一种媒体处理方案，可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装，简化了应用开发难度。该平台支持以下功能：VI(输入视频捕获)、VENC(H.265/H.26 ......