分布式 理论
大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解 ......
分布式系统原理
参考： 《数据库系统内幕》 《数据密集型应用系统》及[DDIA 逐章精读](https://ddia.qtmuniao.com/#/) [分布式系统的8个谬误](https://dzone.com/articles/understanding-the-8-fallacies-of-distribut ......
git学习一：版本控制软件基础功能以及集中式和分布式版本控制软件
虽然已经工作一段时间并且在工作中也经常用到git，但是还没系统学习过git，特此学习一下并且记录笔记。 功能： 1.保存和管理文件 2.提供客户端工具进行访问 3.提供不同版本的比对功能 集中式版本控制：每一行会记录谁修改的，但是多个人修改同一行还是需要人工操作 分布式版本控制：先上传到本地，再上传 ......
"Management" by Stephen P. Robbins and Mary Coulter现代管理科学理论
现代管理科学理论： **Major Approaches to Management** 3000 BC – 1776: Early Management 1911 – 1947 Late: Classical Approach 1700s – 1950s: Behavioral Approach ......
RLChina理论三：强化学习基础
###强化学习基础  ：将元素 ......
Scrapy-redis组件，实现分布式爬虫
安装包 ```Python pip install -U scrapy-redis ``` settings.py ```Python ##### Scrapy-Redis ##### ### Scrapy指定Redis 配置 ### # 其他默认配置在scrapy_redis.default.py ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记24_互联层之负载均衡
 # 1. 水平扩展 ## 1.1. 有助于提高系统的整体容量和韧性 ## 1.2. 现阶段构建的几乎所有系统，都 ......
Java开发大型互联网-架构师必须掌握的分布式技术
Java开发大型互联网-架构师必须掌握的分布式技术 摘要：在当今互联网行业，随着用户量和业务的不断增长，大型互联网系统的设计和开发已经成为了一项头等重要的任务。作为架构师，要能够应对这样的挑战，就必须掌握一些关键的分布式技术。本文将介绍Java开发大型互联网系统时，架构师必须要掌握的分布式技术。 一 ......
高级java高并发，高性能，分布式，高可用，负载均衡，系统架构实战
提到锁，大家肯定想到的是sychronized关键字。是用它可以解决一切并发问题，但是，对于系统吞吐量要求更高的话，我们这提供几个小技巧。帮助大家减小锁颗粒度，提高并发能力。 初级技巧-乐观锁乐观锁使用的场景是，读不会冲突，写会冲突。同时读的频率远大于写。 悲观锁的实现： 悲观的认为所有代码执行都会 ......
卡方检验与卡方分布
卡方检验的公式如下： 1. 计算观察频数（Observed Frequencies）和期望频数（Expected Frequencies）： 观察频数（O）：实际观测到的数据中每个类别的频数。 期望频数（E）：根据假设的独立性，在每个类别中预期的频数。 2. 计算卡方统计量（Chi-square S ......
Redis分布式锁问题
通过SET原子操作来设置key和过期时间 // 加锁// 如果key不存在，那么设置它的值，否则什么也不做SETNX lock 1// 10s后自动过期EXPIRE lock 10 // 2者合一，一条命令保证原子性执行SET lock 1 EX 10 NX 问题1：无法评估准确的加锁时间（自动续期 ......
微服务或分布式场景，如何设计和使用分布式锁
光谈论方式的话，太多了，数据库、jvm内存、redis、zookeeper都可以，最常用的是基于redis实现的redission框架 核心原理众多博客讲的很清楚，面试说个大概应该没问题了 第一点，用的reids的setex命令，因为这个命令是原子操作，不会在设置锁的过程中出现意外 第二点，锁过期问 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记23_互联层之DNS
 # 1. 互连层是可以真正构建高可用性的地方 ## 1.1. 流量管理 ## 1.2. 负载均衡 ## 1.3. ......
聊聊我认为的分布式、集群实现关键点
基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， ......
推荐一款.NET开源的轻量级分布式服务框架
前言 今天要给大家推荐一款由新生命开发团队开源的.NET轻量级分布式服务框架：星尘分布式平台（NewLife.Stardust）。 项目介绍 星尘是一个轻量级分布式服务框架。它的功能包含配置中心、集群管理、远程自动发布、服务治理、服务自动注册和发现、负载均衡、动态伸缩、故障转移、性能监控。 核心功能 ......
CAP & BASE 理论
参考： java guide : https://javaguide.cn/distributed-system/protocol/cap-and-base-theorem.html 凤凰架构：https://icyfenix.cn/distribution/consensus/ CAP CAP 定 ......
注册中心的可用性和一致性，分区容错性。CAP理论
https://juejin.cn/post/6961201114343538724 CAP理论 什么是CAP? C代表Consistency（一致性）一致性是指所有服务节点在同一时刻的数据是完全一致的 A代表Availability（可用性）可用性是指所有的请求都必须得到响应 P代表Partiti ......
LightDB分布式高可用+负载均衡部署
## 软件版本 LightDB 13.8-22.3 ## 安装分布式多机单实例模式 根据LightDB安装文档6.3节, 安装分布式多机单实例模式。 安装后，确认环境变量`$LTDATA`, `$LTHOME`正确配置，工作节点正确添加。 本文假设CN（协调节点, primary）安装在`机器186 ......
Linux下Jmeter分布式压测
一、背景介绍 二、分布式压测Linux配置 三、实操 四、踩过的坑及注意事项 五、压测指标 一、背景介绍 基于运行架构，可以分为两种： 单机模式：JMeter安装在一台服务器上，这台机器也是负载机，所有请求都从该机器发出 分布式模式 单机模式存在的问题： 1）JMeter运行时，产生的众多线程会消耗 ......
JVM七大核心系统精讲 从基础理论到高级应用
第1章 从这里开始全面提升技术深度–课前准备 试看1 节 | 15分钟从这里开始全面提升技术深度–课前准备 第2章 JVM基础原理篇-透彻理解类加载子系统11 节 | 132分钟本章是关于装载器原理的，主要围绕类加载子系统展开。在本章，你将能够轻松理解类加载的基本过程，从源码层面理解类加载器的工作原 ......
snowflake（雪花算法） 生成分布式 ID
## snowflake（雪花算法） 生成分布式 ID ### 1、常见的分布式 ID 实现 在如今的环境下，对于分布式 ID 的实现有以下几种方式： 1. UUID 2. Redis 3. snowflake 4. 美团 leaf - 雪花算法的变形 5. 百度 UidGenerator - x雪 ......
安装Hadoop单节点伪分布式集群
[toc] # 安装Hadoop单节点伪分布式集群 操作系统：Ubuntu server 20.04 参考文档：`http://apache.github.io/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html` ## 系统准备 ......
推荐分布式系统案例课
你将获得一线大厂分布式系统设计方法论；分布式核心技术详解；系统架构师面试技巧；百万年薪架构师成长路径。 演示地址：www.runruncode.com/houduankaifa/19452.html 课程介绍 是否具备分布式系统的架构和设计能力，是区分普通程序员和高级程序员，尤其是架构师的一个分水岭 ......
分布式多协议接入网关FluxMQ-2.0功能说明
FluxMQ—2.0版本更新内容 前言 FLuxMQ是一款基于java开发，支持无限设备连接的云原生分布式物联网接入平台。FluxMQ基于Netty开发，底层采用Reactor3反应堆模型，具备低延迟，高吞吐量，千万、亿级别设备连接；方便企业快速构建其物联网平台与应用。 FluxMQ官网：https ......
分布式爬虫
要实现分布式爬虫，您需要将爬取任务分配给多个爬虫节点，并协调它们的工作。在Python中，您可以使用分布式任务队列和消息传递机制来实现这一目标。 以下是一个简单的示例，展示了如何使用Python中的Celery库来实现分布式爬虫： 1. 安装Celery库：请运行以下命令来安装Celery库。 `` ......
springcloud -分布式事务解决方案 seata 分布式id生成方案
使用三个服务来进行演示 三个服务的共同部分 pom相关依赖 <!--nacos--> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-discovery< ......
Jmeter+Influxdb+garafana分布式压测+平台监控
Jmeter+Influxdb+garafana分布式压测+平台监控 一、Jmeter 1、修改配置文件 主机：remote_hosts 部分，修改内容为：remote_hosts=xx，xx代表的是压力机的ip:port 执行机：remote_hosts=本机ip+端口号、server_port= ......
css文字水平均匀分布
应用场景 希望在某个元素内文字水平均匀分布 代码 .avg_dis_box{ border: 1px solid tomato; padding: 20px; width: 300px; /* text-align CSS 属性定义行内内容（例如文字）如何相对它的块父元素对齐。text-align ......