爬虫 中间件 分布式 过滤器
哈希表与布隆过滤器
一、哈希的整体思想 最简单的哈希表其实就是数组，从数组中取出一个数的时间复杂度是O(1)的。但是数组下标类型是整型的，万一我的下标类型不是整型了该怎么办呢？比如说字符串型，典型的就是我想查找某个单词存不存在。还有些更复杂的数据类型，比如自定义的类型。那么问题就来了，如何满足任意数据类型的索引需求呢？ ......
Irwin-Hall 分布学习笔记
定理：Irwin-Hall 分布 对于 $n$ 个在 $[0,1]$ 内均匀分布的实数随机变量，它们的和不超过一个实数 $z$ 的概率为： $$ F(z)=\sum\limits_{k=0}^{\lfloor z\rfloor} (-1)^k\binom{n}{k}\frac{(z-k)^n}{n! ......
springSecurity过滤器之AnonymousAuthenticationFilter
SpringSecurity提供了匿名登录功能，让我们不登录也能访问。比如/anoy路径及子路径都能匿名访问，配置如下： @Configuration public class MySecurityConfig extends WebSecurityConfigurerAdapter { @Over ......
redis分布式锁
加锁 1 判断锁是否被占用,没有则获取锁(hset/hincrby)并设置过期时间(expire) 2 如果锁被占用,则判断是否是当前线程占用,如果是则重入(hincrby)并重置过期时间 3 否则获取锁失败 释放锁 1 判断自己的锁是否存在(hexists),不存在返回nil 2 如果存在则减1( ......
SpringSecurity过滤器之SecurityContextPersistenceFilter
SecurityContextPersistenceFilter在请求之前从配置的SecurityContextRepository获得的信息填充SecurityContextHolder，并在请求完成并清除上下文holder后将其存储回存储库。默认情况下，它使用HttpSessionSecurit ......
分布式调度XXL-JOB
#1. Spring提供的定时任务调度SpringTask Spring3.0以后自主开发的定时任务工具，spring task，可以将它比作一个轻量级的Quartz，而且使用起来很简单，除spring相关的包外不需要额外的包，而且支持注解和配置文件两种形式。 视频教程：https://www.bi ......
Hadoop全分布配置
1.实验一：hadoop 全分布配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2. 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件的意义 1.3. 实验环境 ......
SpringSecurity过滤器之SessionManagementFilter
SessionManagementFilter检测用户自请求开始以来是否已通过身份验证，如果已通过，则调用SessionAuthenticationStrategy以执行任何与会话相关的活动，例如激活会话固定保护机制或检查多个并发登录。配置如下： @Configuration public clas ......
文章学习：TPRE：分布式门限代理重加密
学习文章：TPRE：分布式门限代理重加密 前言 成方金科新技术实验室与隐语团队合作，构建了“基于国密的分布式门限代理重加密算法TPRE”，为用户提供了一种安全、高效、自主可控的数据共享和授权管理方案。在数据隐私保护和数据安全共享方面具有广泛的应用前景。 ⚠️：该算法由成方金科密码学研究员张曙光（知乎 ......
使用爬虫利器 Playwright，轻松爬取抖查查数据
使用爬虫利器 Playwright，轻松爬取抖查查数据 我们先分析登录的接口，其中 url 有一些非业务参数：ts、he、sign、secret。 然后根据这些参数作为关键词，定位到相关的 js 代码。 最后，逐步进行代码的跟踪，发现大部分的代码被混淆加密了。 花费了大半天，来还原这些混淆加密的代码 ......
Python之路【第十九篇】：爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 1.Requests Python标准库中提供了：urllib、urllib2、httplib ......
异步爬虫例子之asyncio
异步爬虫例子： import time import aiohttp import asyncio import re import os os.environ['NO_PROXY'] = 'www.baidu.com' class Asyn(): def __init__(self): self. ......
openGauss分布式安装_搭建_快速部署openGauss3.0.0分布式（openGauss课程）
一、opengauss 的背景和行业现状 2022 年，七大 openGauss 商业版发布，是基于 openGauss3.0 推出商业发行版 目前海量数据库 Vastbase 表现最佳，一直是 TOP 1 作者认为之所以海量数据库 Vastbase 目前无法被同行超越，和各家研发实力和技术背景有关 ......
二、分布式基础概念--谷粒商城
1.微服务服务架构风格，就像是把一个单独的应用程序开发为一套小服务，每个小服务运行在自己的进程中，并使用轻量级机制通信，通常是HTTP API。这些服务围绕业务能力来构建，并通过完全自动化部署机制来独立部署。这些服务使用不同的编程语言书写，以及不同数据存储技术，并保持最低限度的集中式管理简而言之：拒 ......
SequoiaDB分布式数据库2023.4月刊
本月看点速览 赋能产业升级，荣获新睿之星 聚焦金融，进一步探索非结构化数据价值释放 再获肯定，入选2023年中国最佳信创厂商入围名单 青杉计划2023已开启，一起攀登更高的“杉” 赋能产业升级，荣获新睿之星 4月18日，2023年第九届广州国际投资年会在广州白云国际会议中心成功举办。会中，南沙为涵盖 ......
Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫
Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫 测试人员的最佳 11 种开源自动化Selenium 1) Robot Framework Robot Framework是一个开源自动化系统，它使用关键字驱动的方法进行验收测试驱动开发 (ATDD) 和验收测试。 ......
gin自定义中间件解决requestBody不可重复读问题
先直接上代码 r := gin.Default() // 注册中间件，使body可以重复读取 r.Use(func(context *gin.Context) { all, err := context.GetRawData() // 读取body的内容 if err != nil { log.Fa ......
.NET开源分布式锁DistributedLock
一、线程锁和分布式锁 线程锁通常在单个进程中使用，以防止多个线程同时访问共享资源。 在我们.NET中常见的线程锁有： 自旋锁：当线程尝试获取锁时，它会重复执行一些简单的指令，直到锁可用 互斥锁: Mutex，可以跨进程使用。Mutex 类定义了一个互斥体对象，可以使用 WaitOne() 方法等待对 ......
接口重复调用限制过滤器
注解类 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.anno ......
接口过期过滤器
注解类 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.anno ......
爬虫为什么需要ip
爬虫需要使用爬虫ip主要是为了解决以下问题： 1、反爬虫机制：许多网站会设置反爬虫机制来防止爬虫程序的访问，例如限制IP地址的访问频率、检测访问来源等。使用爬虫ip可以绕过这些限制，使得爬虫程序更难被检测到。 2、访问限制：有些网站可能会对某些地区的IP地址进行限制，如果你的爬虫程序想要访问这些网站 ......
【0基础学爬虫】爬虫基础之自动化工具 Playwright 的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 playwright 的使用。 概述 上期文章中讲 ......
认识中间件
链接：https://zhuanlan.zhihu.com/p/528425657 最近十年是互联网磅礴发展的十年，IT系统从单体应用逐渐向分布式架构演变，高并发、高可用、高性能、分布式等话题变得异常火热，中间件也在这一时期如雨后春笋般涌现出来，那到底什么是中间件呢？存在哪些类型的中间件呢？同一类型 ......
Android studio 过滤
1.过滤指定字符串，不让其显示 ^(?!.*(你要过滤掉的字符)).*$ ^(?!.*(got)).*$ 2.过滤包含指定多个字符中的一个，不让其显示 ^(?!.*(got|Activity)).*$ *log中包含got 或Activity 的log将不显示在控制台。 1.让控制台只显示过滤指定字 ......
redisson 分布式锁
@RequestMapping(value = "/testLock", method = RequestMethod.POST) public BaseResponse<Boolean> testLock(@RequestBody TestLockRequest testLockRequest) ......
织密“安全云网”，天翼云探索构建分布式多场景云服务稳定性保障体系！
近日，中国信息通信研究院（以下简称“中国信通院”）主办，混沌工程实验室承办的信息通信领域系统稳定性保障沙龙·北京站成功举办。沙龙以“共筑数字免疫韧性长城，助力信息通信行业稳定安全运行”为主题，旨在促进信息通信领域系统稳定性保障技术交流，推动信息通信领域稳定安全运行水平提升，加强“稳保”领域的先进技术 ......
如何计算 两个beta分布的KL散度
读论文 Sequential Recommendation with Probabilistic Logical Reasoning 中碰到的问题。 结论大概是这样： 对于Beta分布，KL散度的公式为： $$D_{KL}(Beta(\alpha_1, \alpha_2)||Beta(\beta_1 ......
Jsoup java android 爬虫 直接解析网页内容 记录
前一段时间遇到一个直接请求网页的需求，然后查了下真理出来分享给大家。 使用jsoup方法直接访问网页地址 //解析网页代码compile 'org.jsoup:jsoup:1.10.2'Document document = Jsoup.connect("http://。。。/info.html") ......
正态分布可视化
正态分布可视化 可视化函数 def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend): """设置matplotlib的轴""" axes.set_xlabel(xlabel) axes.set_ylabel(yla ......
python爬虫——爬取壁纸网站
爬取壁纸网站和爬取其他的网站没有太大的区别。 这里爬取的是Wallhaven壁纸网站。Awesome Wallpapers - wallhaven.cc 步骤1 准备第三方库 import requests from bs4 import BeautifulSoup import os impor ......