爬虫 规则 分布式 中间件
如何实现简单的分布式链路功能？
为什么需要链路跟踪 为什么需要链路跟踪？微服务环境下，服务之间相互调用，可能存在 A->B->C->D->C 这种复杂的服务交互，那么需要一种方法可以将一次请求链路完整记录下来，否则排查问题不好下手、请求日志也无法完整串起来。 如何实现链路跟踪 假设我们从用户请求接口开始，每次请求需要有唯一的请求 ......
iptables常见规则使用
练习： 1、搭建一台linux服务器，开启ssh、mysql、nginx服务 2、使用防火墙规则iptables规则，允许 你的windows机器 访问sshd服务 允许 范围IP地址主机 访问本机的8080端口 3、允许 范围IP地址主机 访问mysql服务（3306端口） 4、web服务所有人都 ......
Jenkins 定时构建的规则语法
定时构建的规则语法与Linux系统的中计划任务相似。从左向右分别表示分，时，天，月，周 MINUTE HOUR DOM MONTH DOW MINUTEMinutes within the hour (0–59) HOURThe hour of the day (0–23) DOMThe day o ......
密码规则校验
package com.infosec.ztpdp.policycenter.common.util; import org.apache.commons.lang3.StringUtils; /** * * <p> * 规则： 1、长度大于8，且小于32 2、不能包含用户名 3、不能包含连续3位及 ......
使用 Spring Integration 实现基于 Redis 的分布式锁以及踩坑
背景 分布式锁的应用场景应该还是蛮多的，这里就不赘述了。 之前在开发中实现分布式锁都是自己基于 Redis 造轮子，虽然也不复杂并且自己实现一次能对分布式锁有更深的了解，但是终归有些麻烦。尤其是新项目需要的时候还得 CV 一次。 然后在查询过程中（毫不意外地）发现 Spring 有现成的组件实现，所 ......
math---分布函数右连续的原因
其实与分布函数的定义有关 考研大纲规定分布函数F(x0) = p{x<=x0}，而有的教材规定F(x0) = p(x<x0) 前者根据连续定义就是右连续，后者就是左连续 比如对于前者，去其左极限 则P{x<x0}是不一定等于 P{x<=x0}，故其不左连续，而对于后者，就符号左连续 https:// ......
实现基于分布式的LAMP架构，并将NFS实时同步到备份服务
1. 实现基于分布式的LAMP架构，并将NFS实时同步到备份服务 1.1 web服务器配置 服务器环境准备 需配置DNS解析，将域名解析成web服务器的地址 服务名称 IP地址 web01-server 10.0.0.8 web02-server 10.0.0.18 mysql-server 10. ......
Hadoop集群搭建(完全分布式)
一，Hadoop集群简介 1.1 Hadoop集群整体概述 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 Hadoop两种集群内容： 逻辑上分离，物理上合并的理解： 逻辑上分离：两个集群互相之间没有依赖、互不影响 物理 ......
这是一个很有趣的爬虫代码，可以爬取指定地区的91论坛帖子，你会得到一个yp信息集锦 So cool ooOOOO
var Nightmare = require('nightmare'); // https://duckduckgo.com function open(page) { var nightmare = Nightmare({ show: false }); // console.log(`开始爬取 ......
蓝天采集器 采集规则设置
1.创建任务 2.采集规则设置 点击 任务后面的规则进入设置规则页面 请求头建议开启，这样会伪装成蜘蛛访问 3.起始页网址 可以设置栏目页也可以设置列表页 4.内容页网址 内容页网址获取-选择正则（这种比较方便简单）操作完成记得保存，测试一下。 点击保存就好了，可以测试一下。 这里的规则其实还有可以 ......
数据库编码及排序规则探讨
规则 [强制]所有数据表使用 utf8mb4 编码，在创建数据库时指明使用 utf8mb4，会被继承。比较规则统一设置为 utf8mb4 bin”，大小写敏感。 规则的背后 2.1 Charset，Collation 在 MySQL 中，创建数据库时需要指定字符集（Charset）和校对规则（Col ......
golang 使用redis设置分布式锁 demo
内容来自对 chatgpt 的咨询 分布式锁是在多个节点上运行的应用程序中协调工作的一种常用方法，而Redis是实现分布式锁的流行选择。以下是使用Go语言和github.com/go-redis/redis库来设置Redis分布式锁的一个简单示例： 首先，确保你已经安装了该库： go get -u ......
JMeter 分布式集群远程压测及搭建常见问题
1、JMeter可以在以下场景下使用分布式远程压测： 性能测试：JMeter可以模拟大量用户并发访问，进行性能测试。当需要模拟成千上万的用户请求时，单台机器可能无法承受如此大的负载，此时可以使用分布式远程压测来将测试负载分发到多台机器上，提高测试的效率和准确性。 稳定性测试：在一段时间内持续发送请求 ......
网络技术-IPv4地址规则
IP地址： 在IP网络中，通信节点需要有一个IP地址 IPv4以点分十进制表示，由32位二进制组成(也就是说，以点分了4组二进制，每组有8个二进制数字 其中，这句话也代表了：理论上IPV4的地址总共有2^32个) IPv4地址可分为 "网络位" 和 "主机位" 两部分： 网络位，代表IP地址所属的网 ......
素数分布的基本定理（一）
切比雪夫函数$\psi(x)$和$\vartheta(x)$ / Chapter2 $\vartheta(x)$与$\pi(x)$的关系 / 素数定理的等价形式 ......
使用CSS中的@keyframes规则创建了一个无限旋转动画
现在scss中定义： @keyframes rotate { 0% { transform: rotate(0) } 100% { transform: rotate(360deg) } } 应用到元素element中： .element { animation: rotate 2s linear ......
规则引擎是如何诞生的
你是否陷入了整天对着一堆规则判定改来改去，虽然每个信用评分卡和额度模型看起来都很像，但是总是有不同点，一堆密密麻麻的逻辑判定，别说开发了，测试看了挠头。作为一个开发，你想把它规范化，通用化，这就是规则引擎的动机了。 先从拦截规则说起，虽然条目很多，但它简单好写也好测，举个例子如下： A类拦截规则判定 ......
分布式基础理论
分布式基础理论 分布式系统简介： “分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统”分布式系统（distributed system）是建立在网络之上的软件系统。 单一应用架构简介： 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简 ......
什么是分布式锁，如何实现分布式锁
分布式锁其实可以理解为：有序的去操作分布式系统中的共享资源，通过互斥来保持一致性。 分布式锁的三种实现方式：1.数据库，2.redis，3.zookeeper 第2,3种参考：https://zhuanlan.zhihu.com/p/72896771?utm_source=wechat_timeli ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享资源进行互 ......
【Python爬虫】批量爬取豆瓣电影排行Top250
今天给大家分享下我刚开始接触Python时学习的爬虫程序，代码部分很简单，不过当时刚开始学习时还是走了不少弯路的。这个爬虫程序应该是很多书里面的入门练手程序，主要就是去豆瓣爬取电影评分排行前250。 ......
爬虫解码[编码问题]
response = requests.get('ur;', params=params, cookies=cookies, headers=headers, verify=False) if response.status_code == 200: # 尝试使用不同的编码解码响应内容 possib ......
Redis中是如何实现分布式锁的？
分布式锁常见的三种实现方式： 数据库乐观锁； 基于Redis的分布式锁； 基于ZooKeeper的分布式锁。 本次面试考点是，你对Redis使用熟悉吗？Redis中是如何实现分布式锁的。 要点 Redis要实现分布式锁，以下条件应该得到满足 互斥性 在任意时刻，只有一个客户端能持有锁。 不能死锁 客 ......
什么是分布式系统
分布式系统是由多个独立计算机或服务器组成的系统，这些计算机或服务器通过网络进行通信和协作，共同完成一个或多个任务。分布式系统的设计目标是提高系统的可靠性、可扩展性、性能和容错性。 在分布式系统中，各个计算机或服务器被称为节点，它们可以是物理机器、虚拟机、容器等。这些节点通过网络连接在一起，可以是局域 ......
Git忽略提交规则 - .gitignore配置运维总结
在使用Git的过程中，我们喜欢有的文件比如日志，临时文件，编译的中间文件等不要提交到代码仓库，这时就要设置相应的忽略规则，来忽略这些文件的提交。简单来说一个场景：在你使用git add .的时候，遇到了把你不想提交的文件也添加到了缓存中去的情况，比如项目的本地配置信息，如果你上传到Git中去其他人p ......
【python爬虫】爬虫所需要的爬虫代理ip是什么？
前言 在进行爬虫程序开发时，经常会遇到访问被限制的网站，这时就需要使用代理 IP 来进行访问。本文将介绍代理 IP 的概念及使用方法，帮助读者更好地应对爬虫程序中的访问限制问题。同时，本文还将提供一些代理 IP 提供商，并通过一个实例演示如何使用代理 IP 来访问被限制的网站。 一、什么是爬虫代理 ......
KOA 框架最常用的 15 个中间件！
koa-router：提供全面的路由功能，比如类似Express的app.get/post/put的写法，URL命名参数、路由命名、嵌套路由、支持加载多个中间件 koa-bodyparser：post提交数据中间件，解析请求体时需要加载的中间件，支持x-www-form-urlencoded, ap ......