爬虫 中间件 分布式 过滤器
使用JAVA实现布隆过滤器
什么是布隆过滤器 布隆过滤器是一种内存友好的数据结构，它可以高效地判断一个元素是否存在于一个集合中，以及大幅减少磁盘/数据库等IO操作。与哈希表和树等数据结构不同，它可以实现非常高的查找速度和存储效率，适用于需要快速并且高效地处理大数据集的场景。 布隆过滤器原理 布隆过滤器的基本思想是使用多个哈希函 ......
Redis 使用Redisson+Rlock实现分布式锁
使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......
Jmeter搭建分布式压测环境
最近在做性能测试，本来以为一台压力机就够啦，但是在压测一个查询接口的时候，当TPS达到500多的时候就开始报错，经过定位是压力机出现啦瓶颈，于是决定对压力机做一下分布式，经过调试环境部署成功，再次压测时候问题解决。下面记录一下部署分布式环境的过程。 使用的工具及版本： JDK：1.8.0_211 J ......
自学Python爬虫笔记（day1）
环境python3.9版本及以上，开发工具pycharm 君子协议：robots.txt协议 规定了网站中哪些数据可以被爬虫爬取哪些不可以被爬虫爬取 下面是我学习的第一个爬虫的开发： from urllib.request import urlopen url = "http://www.baidu ......
java lambda List 过滤 filter
package lambda.list; import lombok.extern.slf4j.Slf4j; import org.junit.Test; import pojo.Dome; import java.util.ArrayList; import java.util.List; imp ......
反爬虫常见策略总结
有爬虫就有反爬虫，这都是相辅相成的，对于长时期从事在爬虫行业的技术员来说，时刻要了解对应网站的反爬机制，才能稳定获取数据。下面就是我这几年接触过的反爬的一些案例，供大家参考下。 反爬虫 反爬虫，即应对爬虫进行反制的统称，主要区分“正常用户”与“机器人”的一种策略统称。 认识反爬虫 正所谓知其然，知其 ......
爬虫遇到了点问题
正常在写一些爬虫代码的时候多少都会出点小问题，一位合格的程序员应该会认真排除并加以解决错误，如果是新手看着满屏的代码可能会一筹莫展。 golang爬某网站代码优化后，运行报了如下的错，找了半小时才找到原因，在此记录一下。 代码是这样的： 有一个interface类型的Parser： type Par ......
爬虫中的代理问题
最近身边很多人都遇到爬虫中的爬虫ip问题，写下这篇博客来记录自己所学，希望可以帮助到你们。 可能很多人都会问为什么我需要用爬虫ip呢？不用不可以吗？用了爬虫ip之后发现爬虫抓取数据的速度反而下降了不少于是放弃爬虫爬虫ip的使用。 如果我们只是进行少量数据的爬取，用本机的IP与User-Agent去抓 ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......
分布式系统——分布式ID方案
分布式ID介绍 在分布式系统中，我们经常需要生成全局唯一的标识符，例如订单号，用户id，消息id等。这些标识符通常被称为分布式id。分布式id有以下几个常见的要求： 全局唯一：不同的节点或服务不能生成重复的id。 高性能：生成id的速度要快，不能成为系统的瓶颈。 低延迟：生成id的过程要尽可能简单， ......
分布式系统——并发条件下如何保证缓存与DB数据一致性
什么是数据一致性 我们常说的数据一致性指的是在程序运行过程中本地缓存、分布式缓存、数据库三者之间的数据一致性 常见的本地缓存有 hashmap、currenthashmap、guava cache、caffeine 分布式缓存常见的有 redis、memcache 常见数据不一致常见有： 本地缓存与 ......
多维随机变量及其分布
《二维随机变量》 注意 在分布函数中 P{X<=x 且 Y<=y} 而且有性质： 这个性质在求概率密度的未知数时有用 这个公式结合一下二维前缀和算法就能很好明白了 《二维离散型随机变量》 注意一下分布律的求法，其中的概率记住：X与Y是 且 《二维连续型随机变量》 具体练习看书P65 《高数知识》 到 ......
Hive 如何巧用分布函数percent_rank()剔除极值求均值
场景描述 前期写过一篇关于剔除订单极值求订单均值的案例，之前使用的是 dense_rank 函数对订单金额进行排序后，过滤掉最大值最小值后进行处理，最近工作刚好使用到分布函数percent_rank，想起来应该也可以用到这个场景； percent_rank() 简介 percent_rank() 函 ......
Django笔记十五之in查询及date日期相关过滤操作
这一篇介绍关于范围，日期的筛选 in range date year week weekday quarter hour 1、in in 对应于 MySQL 中的 in 操作，可以接受数组、元组等类型数据作为参数： Blog.objects.filter(id__in=[1,2,3]) 对应的 SQ ......
flask CBV写法/中间件/异常捕获/请求与响应/session/请求扩展
flask cbv写法 基于类的视图写法 from flask import Flask, request from flask.views import MethodView, View app = Flask(__name__) app.debug = True # 必须要继承MethodVie ......
分布式系统——基于Redis的分布式锁的实现
分布式锁的介绍 分布式锁是分布式系统中用于协调多个进程或线程之间并发访问共享资源的一种机制。在分布式系统中，由于各个节点之间的通信存在延迟、故障等问题，可能会导致数据的不一致性。为了保证数据的一致性，需要使用分布式锁来协调各个节点的并发访问。 在分布式系统中，多个节点同时访问共享资源可能会导致以下问 ......
大数据经典论文解读 - 分布式锁 Chubby
Chubby 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和Master完全同步？ 监控程序也是单点，如何确定是Master宕 ......
Redis添加分布式锁
1.不是高并发的场景 stringRedisTemplate.opsForValue.setIfAbsent("zql","人在代码在",10,TimeUnit.SECONDS);//只加过期限制 2.高并发的场景 如果加锁的过期时间小于业务执行时间，那么需要给每个线程的锁加这个线程的唯一标识，让每 ......
ceph分布式存储搭建
CEPH分布式存储搭建 本文通过参考臧 雪 园 老师的文档根据实际操作做修改，详细视频链接参考： https://edu.51cto.com/course/15982.html 集群配置信息： 安装的ceph版本： 配置所需源的地址 wget -O /etc/yum.repos.d/CentOS-B ......
scrapy爬虫框架（四）Downloader Middleware的使用
Downloader Middleware是处于Engine和Downloader之间的模块，其重要作用就是处理schduler调度器发送到Engine的Request和经过Downloader响应后的response返回至Engine过程中的处理。如图所示： 也就是说，Downloader Mid ......
redis使用setnx+lua实现分布式锁
在Redis中，使用SETEX命令（对应RedisTemplate的setIfAbsent方法）可以实现一个最简易的分布锁。SETEX命令当key不存在的话，才会设置key的值，如果可以已经存在，就不做任何操作。 为了避免锁无法被释放，就给这个key（也就是锁）设置一个过期时间。 为了保证解锁操作的 ......
PAT Basic 1066. 图像过滤
PAT Basic 1066. 图像过滤 1. 题目描述： 图像过滤是把图像中不重要的像素都染成背景色，使得重要部分被凸显出来。现给定一幅黑白图像，要求你将灰度值位于某指定区间内的所有像素颜色都用一种指定的颜色替换。 2. 输入格式： 输入在第一行给出一幅图像的分辨率，即两个正整数 $M$ 和 $N ......
Python爬虫之数据写入
Python爬虫实现爬取网站是如何进行数据写入保存的？今天我将利用我所学的知识把写入数据的一些代码教程供大家参考。 Python爬虫之数据写入 #写入到Excel import xlsxwriter #创建文件，并添加一个工作表 workbook=xlsxwriter.Workbook('demo. ......
Python定时执行网站爬虫
今天我们将通过使用Python，SQLite数据库与crontab工具将爬虫程序部署到专用的服务器上并且实现定时爬取存储的一些数据。 编写爬虫代码 编写一个爬虫程序，使用requests与beautifulsoup4包爬取和解析相关的资料，再利用pandas包将解析后的展示出来。 import da ......
php爬虫框架盘点
大数据分析必定少不了数据抓取，只有拥有海量的数据才能对数据进行对比分析。因此，网页爬虫是作为程序员必须要懂得技能，下文我将通过文字形式记录下php的爬虫框架的一些内容。 Goutte Goutte库非常有用，它可以为您提供有关如何使用PHP抓取内容的出色支持。基于Symfony框架，它提供了API来 ......
正则表达式--获取两个字符串中间的字符串
public static void main(String[] args) { // String text3 = "啊啊啊标题@多项选择题描述@呵呵呵呵"; // String reg3 = "(?<=标题@)[\\s\\S]*(?=描述@)"; // Pattern p3 = Pattern. ......
VBA GET POST HTTP VBA网络爬虫 网红二手车报价信息 每天更新二手车价格 买卖车重要参考 VBA自动抓取网络数据 VBA POST JSON,VBA解析JSON
靠谱的二手车交易价格信息 无论是准备要卖车的朋友，还是想买二手车的朋友、还是做二手车商的朋友，这是重要的参考价格信息， 百万粉丝多平台粉丝的网红，这个价格表是广东最红的网红二手车商家信息，这个商家一口价卖车，他们门面店每天大量的新上架车辆信息及卖出车辆信息，每天都有各款新上架车辆二手车价格。给买、卖 ......
VBA GET POST HTTP VBA网络爬虫 最新Excel自动获取股票信息源码 EXCEL自动获取网络数据 最新VBA自动抓取股票数据源码
最新Excel自动获取股票信息源码 EXCEL自动获取网络数据 最新VBA自动抓取股票数据源码 通过接口获取股票数据内容的主要优点包括以下几点： 实时性高：通过访问股票数据接口，可以实时获取到股票的实时行情数据，包括当前股价、涨跌幅、成交量、市盈率等信息，保证了股票数据的实时性。 数据准确性高：由于 ......
windows下使用pytorch进行单机多卡分布式训练
现在有四张卡，但是部署在windows10系统上，想尝试下在windows上使用单机多卡进行分布式训练，网上找了一圈硬是没找到相关的文章。以下是踩坑过程。 首先，pytorch的版本必须是大于1.7，这里使用的环境是： pytorch==1.12+cu11.6 四张4090显卡 python==3. ......