爬虫 中间件 分布式 过滤器
MQTT 主题通配符和过滤器Topic Wildcards & Topic Filters
主题名称中引入了级别分隔符 /, 用于分割主题级别，如果存在，它将主题名称划分为多个“主题级别”。 订阅的主题过滤器可以包含特殊的通配符，可以一次订阅多个主题。 特殊字符的通配符可以用在订阅过滤器中，但是不能用于主题名称 1. 主题级别 "/" 用于分割主题级别，并为主题名称提供层次结构。 当订阅客 ......
Xxl-job 分布式调度任务使用
Xxl-job 分布式调度任务使用 一．XXL-job 产品介绍 1.简介： XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单， ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
VSCode 设置文件显示和搜索过滤
打开 setting.json { "search.exclude": { "**/node_modules": true, "**/bower_components": true, "dist/": true, "build/": true, "temp/": true, "library/": ......
爬虫实践07 | 爬取香港展会客户名单
完整代码 import requests import time import pandas as pd url = 'https://www.globalsources.com/api/gsol-trade-show-bff/hk-online/v1/search-all-exhibitors' ......
分布式ID
参考： JavaGuide：《分布式 id》 1、数据库主键自增 优点 ：实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 ： 支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单 ......
浅谈分布式事务及解决方案
1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元，里面的操作要么全部执行成功，要么全部执行失败，不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作，那么这两次数据库操作要么全部执行成功，要么全部回滚 ......
前端本地使用node作为中间层解决跨域
const express = require('express'); const timeout = require('connect-timeout'); const { createProxyMiddleware } = require('http-proxy-middleware'); co ......
为什么不建议用redis做金融级分布式锁
最主要的问题是： 1.redis是AP而非CP的，所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的； 2.redis的key过期机制，可能加锁后业务执行了很长时间（STW或者IO很久）导致加锁区域的代码可能被另外一个进程/线程进来了； 3.目前金融级的分布式锁应该 ......
SAGA分布式
Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后，会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败，Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式，其中最流行的两种方式是： ......
Python爬虫：抖音 JS XB逆向解析
哈喽兄弟们，抖音现在有JS加密，以前的方法爬不了饿了，今天来实现一下某音短视频的JS逆向解析。 知识点 动态数据抓包`在这里插入代码片`requests发送请求X-Bogus 参数逆向 环境模块 python 3.8 运行代码pycharm 2022.3 辅助敲代码requests pip inst ......
有手就会做！保姆级Jmeter分布式压测操作流程（图文并茂）
分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
Java 常用中间件
Java 常用中间件 1、网关 Nginx、Kong、Zuul、Gateway 2、缓存 Redis、MemCached、OsCache、EhCache 3、搜索 ElasticSearch、Solr 4、熔断 Hystrix、resilience4j 5、负载均衡 DNS、F5、LVS、Nginx ......
分布式一致性算法Raft
raft算法之所以容易理解，其一是他将一致性问题划分成几个子问题，这几个子问题都是独立、可理解和解释的。从传统的思维来讲，对于一个复杂的系统或者工程，都是大化小，分解实现，然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏： 分布式 文章标签： debian ......
大集合里查询数据-布隆过滤器
1.问题场景 有100亿个url被加入了黑名单，现在提供一个url要去判断是否属于黑名单。也就是一个很简单的一个东西是否属于一个集合的问题。 一般来说用set就能解决这种问题，但是由于url数目太多，内存中无法开辟一个这么大的空间去存放所有url，这个时候就需要我们去使用一种结构，去减少状态信息存储 ......
分布式一致性协议 之 Paxos协议
1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
关于django中间件执行过程
众所周知，django的中间件一般有五个方法，常用的仅三个，示例如下 from django.utils.deprecation import MiddlewareMixin from django.http import HttpResponse 中间件示例 class MyMiddleWare( ......
分布式存储系统需要解决的问题
0.数据集群的两种架构 数据集中集群 （多主从） 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式（执行语句的方式同步） -- 增量 数据快照生成过程中的写入问题 以mvcc方式，可重复读的方 ......
Snowflake算法生成分布式ID实现Go、C++
Snowflake 算法是一种用于生成全局唯一 ID 的分布式算法。它在分布式系统中被广泛应用，用于解决多节点同时生成 ID 的冲突问题。 Snowflake 算法的核心思想是将一个64位的长整数（Long）分解成多个部分，每个部分代表不同的信息，例如时间戳、节点ID和序列号。通过这种方式，Snow ......
#3 中间
啥是中间段 把它交到警察叔叔手里面 叔叔拿着钱 对我把头点 中间段作用 过渡 捡到钱怎么办？交给警察叔叔。警察叔叔对我把头点。我高兴。 于是就是过渡。 摇摆 我看到一分钱 我悄悄地捡起来放到口袋里。 我跑到马路对面，买了一根冰棍！ 突然发现卖冰棍的奶奶背后的墙上，写着：拾金不昧是美德！ 我就假装没看 ......
Julia课程4:分布式计算
在本章中，我们将学习Julia中实现分布式算法的基本工具。我们介绍了Julia中的用于分布式计算的两种主要编程模型：1）Julia标准库附带的基于任务的模型；2）Julia与消息传递接口MPI的绑定。 学习完本章节后，我们应该能够： 使用两种不同的编程模型（基于任务的模型和MPI）在Julia中实现 ......
分布式系统理解
什么是分布式系统 任务在多个相对独立的物理节点上进行（即软件或硬件分布在不同的计算机设备上）简单说，就是不同的业务模块，部署在不同服务器。彼此通过消息传递进行通信。解决了高并发问题。 分布式特点 CAP：代表了分布式系统的三个相互矛盾的属性 1.Consistency（一致性）: 访问所有节点，得到 ......
strapi系列-常用操作记录（创建中间件，创建关系型数据库，数据去掉attributes那一层）
创建全局中间件 创建关系型的数据 https://docs.strapi.io/dev-docs/api/rest/relations { "product_types": { "connect": [10] }, "product_tags": { "connect": [7,3,4] }, "n ......
博学谷学习记录 自我总结 用心分享 | ElasticSearch分布式检索引擎
1、Elasticsearch基本概念 Elasticsearch是基于Apache Lucene的开源、分布式、可扩展、实时的数据搜索和分析引擎。ES不仅仅支持全文搜索，还是一个分布式文档数据库，每个字段都是被索引的数据并且可被搜索。总体来说有如下特性： 一个分布式的实时文档存储引擎，每个字段都可 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
Redis分布式锁实现
FreeRedis 实现源码 /// <summary> /// 开启分布式锁，若超时返回null /// </summary> /// <param name="name">锁名称</param> /// <param name="timeoutSeconds">超时（秒）</param> /// ......
使用Hot Chocolate和.NET 6构建GraphQL应用 —— 创建Attribute中间件
需求 在部分接口添加一个机器人校验的功能 思路 读者们可以看下使用Hot Chocolate和.NET 6构建GraphQL应用(5) —— 实现Query过滤功能, 我们可以自定义创建一个类似的特性中间件来对接口进行管理. 添加了该特性的接口即可实现机器人校验功能. 实现 输入对象 /// 用户输 ......
全球洋流分布、性质
手画，丑，见谅 正常洋流 北赤道暖流 分布：赤道偏北的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 南赤道暖流 分布：赤道偏南的洋面上。 特点：直线向西流。 本质：风海流（信风吹拂）。 西风漂流 分布：南半球西风带。 特点：向东流，环绕地球。 本质：风海流（西风吹拂）。 赤道逆流 分布： ......
分布式--Base理论
一、定义 BASE 是 Basically Available（基本可用）、Soft-state（软状态） 和 Eventually Consistent（最终一致性） 二、简介 BASE理论本质上是对CAP的延伸和补充，是对CAP中的AP方案的一个补充，即在选择AP方案的情况下，如何更好地最终达到 ......