分布式 黑马 实战redis
Python 之 爬虫实战 -- 爬取某宝商品数据，附加某宝秒杀脚本
爬取某宝商品数据，附加某宝秒杀脚本 爬取某宝商品数据 源码 """ import requests # 第三方模块 import re import json import csv f = open('taobao.csv', mode='a', newline='', encoding='utf- ......
MySQL实战实战系列 04 深入浅出索引（上）
提到数据库索引，我想你并不陌生，在日常工作中会经常接触到。比如某一个 SQL 查询比较慢，分析完原因之后，你可能就会说“给某个字段加个索引吧”之类的解决方案。但到底什么是索引，索引又是如何工作的呢？今天就让我们一起来聊聊这个话题吧。 数据库索引的内容比较多，我分成了上下两篇文章。索引是数据库系统里面 ......
使用 redis 实现分布式接口限流注解 RedisLimit
前言 很多时候,由于种种不可描述的原因,我们需要针对单个接口实现接口限流,防止访问次数过于频繁。这里就用 redis+aop 实现一个限流接口注解 @RedisLimit 代码 点击查看RedisLimit注解代码 import java.lang.annotation.*; /** * 功能:分布 ......
MinIO分布式部署
目录先决条件网络和防火墙网络防火墙负载均衡顺序的主机名驱动器要求XFS格式性能最优最小IO顺序的驱动器名任意迁移时间同步考虑相同的硬软件环境存储容量规划推荐的操作系统预先存在的数据部署分布式MinIO在每一个节点上安装MinIO创建服务文件minio.service创建环境文件添加TLS/SSL证书 ......
分布式一致性算法——Raft
Raft Leader Election 背景介绍 Raft是一种用于管理Log的分布式一致性算法，在了解Raft之前首先需要了解为什么需要Log? 对于不同的系统，无论是中间件疑惑是其余的系统，我们如果想要求其满足CAP协议中的一致性，需要尽量保证多节点的数据是相同的，也就是所谓的“共识”。下文中 ......
Redis学习之共享session(单点登录)
介绍 为什么需要共享session？ 防止多个后端服务器的数据存储不一致，导致用户访问时出现未登录的情况。 如何实现共享session？ 使用独立的内存存储来存放session 实现 key如何设计? 为了安全性，随机生成token，而不是拼接用户信息，防止恶意伪造或爆破。 选择何种value数据结 ......
Verilog 随机数及概率分布
转载：7.3 Verilog 随机数及概率分布 | 菜鸟教程 (runoob.com) 随机数 Verilog 中使用系统任务 $random(seed) 产生随机数，seed 为随机数种子。 seed 值不同，产生的随机数也不同。如果 seed 相同，产生的随机数也是一样的。 可以为 seed 赋 ......
分布式系统设计
1. 分布式系统组件 消息队列 RocketMq (重要特性: 事务消息, 半事务机制首选方案, 最终一致性, 死信队列, 补偿方案) 2. 分布式系统组件 消息队列 Kafka 3. 高并发系统,提升QPS,提升并发能力利器 Redis集群高可用方案 4. 大型分布式数据库系统选型和研究 TiDB ......
redis主从复制
相关配置 a. replica-read-only yes: 从节点开启只读模式 b. master-auth xxxx: 主节点访问密码 c. replicaof ip 端口：从哪个主节点进行复制 相关命令 info replication查看主从信息 主从复制分类 主从刚连接的时候，会进行全量同 ......
分布式系统的主键生成方案对比
UUID（通用唯一识别码）是由32个十六进制数组成的无序字符串，通过一定的算法计算出来。为了保证其唯一性，UUID规范定义了包括网卡MAC地址、时间戳、名字空间（Namespace）、随机或伪随机数、时序等元素，以及从这些元素生成UUID的算法。一般来说，算法可以保证任何地方产生的任意一个UUID都... ......
python对于redis连接参数与不同模块版本的粗糙记录
在python中使用redis模块对redis进行连接时，有时候为了符合安全，需要使用用户名和密码登录，对于不同redis模块版本做如下记录(前提：Redis服务器是密码保护通过requirepass选项)： 1.password参数不使用或者参数为空，均不会触发该验证 2. 如果要使用userna ......
Git之实战命令使用
[版本回退] · git reset：回退版本，可指定某一次提交的版本。git reset [--soft | --mixed | --hard] commitId。 · git revert：撤销某个提交，做反向操作，生成新的commitId，原有提交记录保留。git revert commitI ......
CPU/内存/磁盘/网络/redis/MQ测试工具合集
闲余时间为大家整理了CPU性能测试、内存带宽测试、内存延迟测试、磁盘IOPS测试、网络测试、数据库测试、Kafka/rabbitMQ性能测试工具合集，后续也会对工具进行简单使用说明。 序号 工具名称 监控策略及内容 1 UnixBench-5.1.4 CPU性能测试 2 stream 内存带宽测试 ......
python对于redis的有序集合操作注意事项
针对于不同版本的redis模块版本。使用zadd方法有相对应的注意事项 redis模块版本低于3.0 result= redis_class.zadd(Name, score,'key') 参数类型：string，float，string redis模块版本高于3.0 mapping = {"k ......
MySQL实战实战系列 03 事务隔离：为什么你改了我还看不见？
提到事务，你肯定不陌生，和数据库打交道的时候，我们总是会用到事务。最经典的例子就是转账，你要给朋友小王转 100 块钱，而此时你的银行卡只有 100 块钱。 转账过程具体到程序里会有一系列的操作，比如查询余额、做加减法、更新余额等，这些操作必须保证是一体的，不然等程序查完之后，还没做减法之前，你这 ......
GaussDB（for Redis）游戏实践：玩家下线行为上报
Redis是游戏数据库重要选型之一，华为云GaussDB(for Redis)能及时上报用户下线行为，被广泛应用于排行榜等多种业务场景。 ......
Spring Boot + Vue3前后端分离实战wiki知识库系统<十三>--单点登录开发二
接着https://www.cnblogs.com/webor2006/p/17608839.html继续往下。 登录功能开发： 接下来则来开发用户的登录功能，先准备后端的接口。 后端增加登录接口： 1、UserLoginReq： 先来准备用户登录的请求实体： package com.cexo.wi ......
MySQL实战实战系列 02 日志系统：一条SQL更新语句是如何执行的？
前面我们系统了解了一个查询语句的执行流程，并介绍了执行过程中涉及的处理模块。相信你还记得，一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎。 那么，一条更新语句的执行流程又是怎样的呢？ 之前你可能经常听 DBA 同事说，MySQL 可以恢复到半个月内任意一秒 ......
Trino 权限控制讲解与实战操作（资源分组）
目录一、概述二、系统访问权限控制1）系统访问权限控制介绍2）测试验证三、资源分组四、基于文件的访问控制1）基于文件的访问控制介绍2）测试验证1）部署 Trino（docker-compose.yaml）2）启动服务3）测试验证 一、概述 Trino支持两种主要类型的权限控制：系统权限控制和文件权限控 ......
【小睿的ML之路】Pandas自定义函数（含泰坦尼克号数据分析案例实战）
import pandas as pd titanic_survival = pd.read_csv("titanic_train.csv") # 返回第一百行数据 def hundredth_row(column): hundredth_item = column.loc[99] return h ......
delphi 如何实现将MSSQL的数据缓存到REDIS的例子
以下是一个简单的示例，演示如何使用 DelphiRedisClient（https://github.com/danieleteti/delphiredisclient）将 MSSQL 数据缓存到 Redis 中： ```delphiuses Redis.Client, Redis.NetLib.I ......
MySQL——分布式锁
锁 锁是一种抽象概念，是一种思想。并发环境下，多个线程会对同一资源争抢，可能导致数据不一致的问题。因此，很多编程语言都引入了锁。 Java中的锁 互斥锁（悲观锁（有锁同步）） 操作系统悲观地认为如果不严格同步线程调用，那么一定会产生异常，互斥锁将会将资源锁定，只供一个线程调用，阻塞其他线程（独占资源 ......
分布式
单机服务器常发生的问题 在单机服务器中，常常会面临以下几个问题： 服务器电脑宕机：这是最常见的问题之一，当服务器的硬件或者软件出现故障时，可能导致服务器无法正常运行。这种情况下，系统管理员需要及时排查故障原因，并修复问题，以保证服务器的稳定性和可用性。 网络异常：网络连接是服务器正常运行的基础，但有 ......
elk分布式日志系统
概述： 1.1什么是Eastic (ELK)Stack)(ELKB) “ELK"是三个开源项目的首字母缩写，这三个项目分别是: Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集 ......
Mysql慢查询优化实战
Mysql慢查询优化实战 效果：效率提升十倍左右 优化前 mysql> use test_old; Database changed mysql> set profiling = 'ON'; Query OK, 0 rows affected mysql> show variables like ' ......
Redis主从架构环境搭建(一主二从 + 3个sentinel)
安装Redis Server sudo add-apt-repository ppa:redislabs/redissudo apt updatesudo apt install redis-server redis-cli -h 127.0.0.1 -p 6379 pingsudo systemc ......
Linux安装部署Redis(超级详细)
前言 网上搜索了一筐如何在Linux下安装部署Redis的文章，各种文章混搭在一起勉强安装成功了。自己也记录下，方便后续安装时候有个借鉴之处。 Redis版本 5.0.4 服务器版本 Linux CentOS 7.6 64位 下载Redis 进入官网找到下载地址 https://redis.io/d ......
Trino HTTPS 与密码认证介绍与实战操作
目录一、概述二、安装 Trino三、配置 HTTPS1）生成证书2）配置 Trino3）修改 Trino docker-compose yaml 文件4）开始部署 Trino5）测试验证四、密码认证1）开启密码认证2）创建密码认证配置文件3）修改 Trino docker-compose yaml ......
RocketMQ 入门实战(4)--Java 操作 RocketMQ
本文主要介绍使用 Java 来操作 RocketMQ，文中所使用到的软件版本：Java 1.8.0_341、RocketMQ 5.1.3、rocketmq-client-java 5.0.5。 1、引入依赖 <dependency> <groupId>org.apache.rocketmq</gro ......