分布式 费用 能源
分布式计算框架-MapReduce
MapReduce是分散->汇总模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。 MapReduce提供了2个编程接口:Map Reduce 其中 Map功能接口提供了分散的功能，由服务器分布式对数据进行处理。 Reduce功能接口提供了汇总（聚合）的功能，将分布式的处理结果汇总统 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记14_稳态
 # 1. 最大限度地避免直接对生产系统进行人为操作最为妥善 ## 1.1. 人为干预生产环境会导致问题 ### ......
MinIO——分布式文件系统
对象如图片、视频、文档等存储方式对比： 优点 缺点 服务器磁盘： 开发便捷、成本低 扩展困难 分布式文件系统： 容易实现扩容 复杂度高 第三方存储：开发简单，功能强大，免维护 收费 docker拉取镜像，创建容器 docker run -p 9000:9000 --name minio -d --r ......
分布理论读书笔记1
# 1:分布的定义和性质 ## 1.1: 基本空间$\mathscr{D}(X)$. 设$X$是$\mathbb{R}^n$空间中的一个开集,$u$是$X$上的一个函数,称: $$ F=\{x|u(x)\ne 0\} $$ 的闭包为$u$关于$X$的支集,记为$\mathrm{supp}u$. 对$ ......
AT模式【分布式事务】
1、导入 maven 依赖 <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-seata</artifactId> <exclusions> <!--版本较低，1.3. ......
青海打造清洁能源发展新引擎
安科瑞虞佳豪 走进青海省海南藏族自治州共和县塔拉滩，一排排光伏发电板有序排列。塔拉滩如今已是光伏发电高地——以光伏为主的新能源装机总量达到1478万千瓦，2022年完成发电量212.6亿千瓦时。 塔拉滩上建成占地逾600平方公里的光伏发电园区，靠的是“水光互补”——塔拉滩东边坐落着黄河上游龙羊峡水电 ......
redis-分布式锁优化思路
1.加锁的代码块，粒度越小越好，语句越少越好，更不容易出现"插队"的现象 2.分段锁思路：以"超卖"为例，原本是待促销200件商品，一把锁，现改成10款20件商品的促销，改成10把锁，当并发小于10的时候，甚至都不需要锁，就可以并发安全 ......
redis-分布式锁样例
redisTemplate： ``` string lockKey = "product_101" string clientID = UUID.randomUUID().toString() bool result = redisTemplate.opsForValue().setIfAbsent ......
分布式锁的实现方式介绍和代码示例
分布式锁的实现方式介绍 分布式锁是一种用于分布式系统中实现互斥访问的机制。在分布式系统中，多个进程或线程可能同时访问共享资源，为了保证数据的一致性和正确性，需要使用分布式锁来实现资源的互斥访问。 分布式锁的基本原理是通过在分布式环境下协调各个节点之间的操作，确保同一时间只有一个节点可以获取到锁，从而 ......
redis-分布式锁注意事项
lockKey:商品标识 value:当前线程标识 1.确保每把锁同一时间能且仅能上一次 setnx(set if not exists):当锁不存在时才上锁 redisTemplate.opsForValue().setIfAbsent(lockKey,value) 没加上锁需要返回错误码 直接让 ......
jmeter分布式压测
Jmeter分布式压测 一、环境准备 1.克隆虚拟机 2.在所有linux系统/etc/hosts文件中增本机的ip和主机名 Vi /etc/hosts 添加ip地址和主机名 3.检查每台压力机是否都有安装，jdk和jmeter 4.把执行的脚本文件，上传到主压力机的/home目录下，参数文件放在每 ......
爬虫：爬到的数据存到mysql中、爬虫和下载中间件、加代理，cookie、header、加入selenium、集成selenium、==去重规则源码分析(布隆过滤器)、布隆过滤器、scrapy-redis实现分布式爬虫
[toc] ### 爬到的数据存到mysql中 ```python class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root' ......
分布式任务elasticjob整合springboot本地多服务启动（附源码）
Elastic-Job是一个分布式调度的解决方案，由当当网开源，它由两个相互独立的子项目Elastic-Job-Lite和ElasticJob-Cloud组成，使用Elastic-Job可以快速实现分布式任务调度。 Elastic-Job的github地址：https://github.com/el ......
读发布！设计与部署稳定的分布式系统（第2版）笔记13_断路器与舱壁
断路器能有效防止集成点、层叠失效、系统容量失衡和响应缓慢等危及稳定性的反模式出现，它能与超时模式紧密协作，跟踪调用超时失败 ......
智能化工：提高生产效率和减少能源消耗
[toc] 《智能化工：提高生产效率和减少能源消耗》 1. 引言 1.1. 背景介绍 随着全球经济的快速发展，对化学工业的需求不断增加，同时也面临着日益严格的环保和安全要求。为了满足这些要求，智能化工应运而生，它通过提高生产效率和减少能源消耗，实现可持续生产。智能化工是一种利用先进的技术手段和模式， ......
如何设计和优化并行计算中的大规模分布式系统和网络
[toc] 《如何设计和优化并行计算中的大规模分布式系统和网络》技术博客文章 1. 引言 1.1. 背景介绍 随着互联网和物联网等技术的快速发展，计算需求日益增长，对计算性能的要求也越来越高。传统的单机计算已经难以满足大规模计算的需求，分布式系统和网络技术逐渐成为主流。并行计算作为一种重要的分布式计 ......
redis分布式锁实现
```java @Autowired private RedisTemplate redisTemplate; //有死锁问题，设置锁的过期时间防止死锁 public void incr() { Boolean lock = redisTemplate.opsForValue().setIfAbse ......
分布式事务、CAP理论、BASE理论
# 分布式事务、CAP理论、BASE理论 ## 什么是分布式事务？ ### 首先理解什么是本地事务？ 平常我们在程序中控制事务是利用数据库本身的事务特性来实现的，比如spring中的@Transactional注解，因此叫**数据库事务**。由于应用主要靠关系数据库来控制事务，此数据库只属于该应用， ......
Jenkins 分布式节点控制-6
Jenkins 分布式节点控制一．打开代理1.系统管理-安全-全局安全设置2.打开代理二.创建节点1.进入创建节点页面系统管理-系统配置-节点管理2.创建节点名称3.填写节点信息4．启动slave1-apitest节点启动名称参考，节点内第一条提示curl -sO http://10.196.131 ......
单体架构、分布式架构与微服务的区别
一、优缺点对比 优点 缺点 案例 单体架构 架构简单、部署成本低 高度耦合(维护困难、升级困难)、扩展性差 学生管理系统 分布式架构 松耦合(服务耦合)、扩展性好(利于升级和扩展) 架构复杂(服务调用关系复杂)、难度大 京东、淘宝 微服务 服务拆分粒度更小、服务更独立、耦合度更低 架构非常复杂、运维 ......
设计模式之适配器模式--新能源的发展
# 前言 本文主要讲述**适配器模式**，文中使用通俗易懂的案例，使你更好的学习本章知识点并理解原理，做到有道无术。 # 一.什么是适配器模式 适配器模式是23种设计模式中**结构型模式**的一种，将一个类的接口转换成客户希望的另外一个接口。适配器模式使得原本由于接口不兼容而不能一起工作的那些类可以 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记12_超时模式
 # 1. “模式采用量”绝不是好的质量指标 ## 1.1. 应该形成一种“面向恢复”的思维模式 ## 1.2. 良 ......
Microsoft Message Queuing（MSMQ）是由微软开发的一种消息队列服务，用于在分布式应用程序之间进行异步通信。它提供了一种可靠的方式来在不同的应用程序之间发送消息，并确保消息的可靠传递
Microsoft Message Queuing（MSMQ）是由微软开发的一种消息队列服务，用于在分布式应用程序之间进行异步通信。它提供了一种可靠的方式来在不同的应用程序之间发送消息，并确保消息的可靠传递。 MSMQ基于消息队列的原理，应用程序可以将消息发送到队列中，然后其他应用程序可以从队列中接 ......
在 lightdb 中如何创建分布式表
通过[这篇文章](https://www.cnblogs.com/lddcool/p/lightdb_node_script.html)，我搭建了一个单机分布式集群。在该集群内，可以通过下面这条 sql 语句将普通的带有主键的表改为分布式表： ```sql -- 'id' 为表 'test_tabl ......
MSDTC（Microsoft Distributed Transaction Coordinator）是微软的分布式事务协调器，它是Windows操作系统中的一个组件。MSDTC 提供了跨多个资源管理器（如数据库、消息队列等）执行事务的能力，确保事务的原子性、一致性、隔离性和持久性。
MSDTC（Microsoft Distributed Transaction Coordinator）是微软的分布式事务协调器，它是Windows操作系统中的一个组件。MSDTC 提供了跨多个资源管理器（如数据库、消息队列等）执行事务的能力，确保事务的原子性、一致性、隔离性和持久性。 MSDTC ......
分布式架构通信方式
# 分布式通信方式 分布式通信是指在分布式系统中，不同节点之间进行消息传递和交互的方式。 以下是常见的分布式通信方式： 1. **消息队列（Message Queue）**：使用消息队列作为中间件，节点之间通过发送和接收消息来实现通信。消息队列提供了异步、解耦和可靠性的通信机制，常见的消息队列系统包 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记11_无限长的结果集
 # 1. 无限长的结果集是导致响应缓慢的常见原因 ## 1.1. 当违反稳态模式时，就可能产生无限长的结果集 # ......
智能电网中的数据挖掘：挖掘和分析能源需求的最佳模式
[toc] 智能电网中的数据挖掘：挖掘和分析能源需求的最佳模式 摘要 智能电网是一种以能源互联网为背景，将清洁能源、传统能源和能源消耗管理等相关知识进行整合，实现能源资源高效、智能、高效地利用的新型电网。在智能电网中，数据挖掘技术 played an increasingly important r ......
强化学习从基础到进阶-常见问题和面试必知必答[4]：：深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN
强化学习从基础到进阶-常见问题和面试必知必答[4]：：深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN ......