爬虫 优先级 队列 分布式
公钥 & 数字证书 & 分布式身份DID (上)
## 主页 - 个人微信公众号：密码应用技术实战 - 个人博客园首页：https://www.cnblogs.com/informatics/ ## 引言 密码技术中最令人兴奋的 ## 密码算法简介 | 类别 | 算法 | 描述 | | | | | | 对称加密算法 | AES (Advanced ......
nginx中location的写法有哪些？优先级是什么呢？rewrite如何使用？
主要内容：一、location匹配的规则和优先级（重点，面试会问，工作用得到） 二、nginx常用的问题（要求掌握） 三、rewrite：重定向功能（有掌握，有理解），重定向的标识位，标识位的四种类型是重点 在工作中配置nginx，主要配置location location匹配：用正则表达式 URI ......
P1631 序列合并[优先队列]
P1631 序列合并 这个没做出来属实有些惭愧。看了题解觉得很妙。如果直接想的话可能反而很麻烦 题目是给两个n个数的不下降序列，问这两个序列任意各取出一个后相加的最小的n个数是什么。 直接贴题解吧题解 P1631 【序列合并】 一共会产生n*n个数， a[1]+b[1]<=a[1]+b[2].... ......
爬虫实践05 | 爬取参展公司信息
完整代码： #2023-08-09 这个筛选了Apparel的代码 import requests import json import pandas as pd import time data=[] for i in range(1, 11): #从第1页开始取，取到第10页 url = f'h ......
爬虫实践04 | 爬取海底捞深圳门店信息
需求： 爬取海底捞深圳门店信息 完整代码： #2023-8-11：爬取海底捞门店信息 import requests import json import pandas as pd url='https://www.haidilao.com/eportal/store/listObjByPositi ......
分布式TCC事务相关问题
TCC分别是Try,Confirm,Cancel，分为三阶段。 1. 第一阶段Try：业务检查及资源预留，尝试事务操作但不提交。 2. 第二阶段Confirm：事务操作提交。 3. 第三阶段Cancel：如果Try阶段发现事务操作无法完成 或者 Confirm阶段出现错误，会撤销已经完成的操作，回滚 ......
c# 写入 java 操作的 redis 队列
要点：键和值都要序列化或反序列化两次，也就是已经是string后，还要再序列化一次或反序列化一次 namespace RedisDemo { class Program { static void Main(string[] args) { var scannedData = Newtonsoft. ......
python优雅地爬虫
我需要获得新闻，然后tts，在每天上班的路上可以听一下。具体的方案后期我也会做一次分享。先看我喜欢的万能的老路：获得html内容-> python的工具库解析，获得元素中的内容，完成。 好家伙，我知道我爬取失败了。一堆js代码，看得我烦。我一去看页面发现：原来新闻的获得是走的接口，然后js插入文档的 ......
python爬虫——爬虫伪装和反“反爬”
前言爬虫伪装和反“反爬”是在爬虫领域中非常重要的话题。伪装可以让你的爬虫看起来更像普通的浏览器或者应用程序，从而减少被服务器封禁的风险；反“反爬”则是应对服务器加强的反爬虫机制。下面将详细介绍一些常见的伪装和反反爬技巧，并提供对应的代码案例。 1. User-Agent伪装User-Agent是HT ......
js玩儿爬虫
# 前言 提到爬虫可能大多都会想到python，其实爬虫的实现并不限制任何语言。 下面我们就使用js来实现，后端为express，前端为vue3。 # 实现功能 话不多说，先看结果：  > 简单的爬取图片 # 前言 这几天打算整理与迁移一下博客。~~因为 CSDN 的 Markdown 编辑器很好用~~ ，所以全部文章与相关图片都保存在 CSDN。而且 CSDN 支持一键导出自己的文章为 markdown 文件。但导出的文件中图片的连接依旧是 url 连接。为 ......
分布式系统架构设计思想
1. 计算与存储分离 2. 接口幂等, 业务幂等 ,防重提交 3.功能性需求 ,非功能性需求 之间的取舍平衡 4. 数据的冷热分离 5. 高内聚,低耦合 , 模块化设计 ,分层,防腐层 ,DDD 6. 分布式系统,三大件 Redis , MQ , 分布式数据库(1. 满足事务处理简单 , 2. 能快 ......
Spring Cloud Alibaba全解析：构建可靠的分布式系统
标题：Spring Cloud Alibaba全解析：构建可靠的分布式系统 引言：随着互联网技术的不断发展，分布式系统的概念和应用越来越广泛。作为构建可靠和弹性的分布式系统的关键技术之一，Spring Cloud Alibaba提供了一套完整的解决方案，帮助开发者更轻松地构建和管理分布式系统。本文将 ......
【图论#01】邻接表的应用以及深度优先搜索
先说一个结论：图论没什么高级的 二叉树也是图的一种，你不是天天见吗。。。 当然，既然图论是一个比二叉树更大的概念，那么二者肯定还是有不同的，[详见](https://programmercarl.com/%E5%9B%BE%E8%AE%BA%E6%B7%B1%E6%90%9C%E7%90%86%E8 ......
爬虫之selenium
一、selenium模块 之前，我们爬虫是模拟浏览器，但始终不是用的浏览器，但今天我们要说的是另一种爬虫方式，这次不是模拟浏览器，而是用程序去控制浏览器进行一些列操作，也就是selenium。selenium是python的一个第三方库，对外提供的接口可以操控浏览器，比如说输入、点击，跳转，下拉等动 ......
利用爬虫爬知乎少字回答
利用爬虫爬知乎少字回答 # [感谢马哥python说的指导](https://www.cnblogs.com/mashukui/) 最近在学习有关的知识 如果怕对服务器影响 可以修改sleep 时间每次更长一点。 这样就不用看一些营销号的长篇大论 或者看别人写小说了。 =\sum_{|\alpha|\le m}a_{\alpha}\partial^{\alpha} $$ 其中$a_{\alpha}$是常数.如果存在分布$E\in \mathscr{D}'(\mathbb ......
分布理论读书笔记:习题和例子
## 1:$\mathrm{pv}(\frac{1}{x})$ 考虑函数$\frac{1}{x}$,由于$f(x)$在0点处的奇异性导致它并不是$\mathbb{R}$上的局部可积函数,可以直接验证,它并不是$\mathbb{R}$上的一个分布,但是,如果考虑如下的算子: **定义:** 对任意的$ ......
分布理论读书笔记三:Fourier变换
# 5.$\mathscr{S}$上的傅里叶变换 ## 5.1.Schwartz函数空间$\mathscr{S}(\mathbb{R}^n)$. **定义1:** 设$\varphi\in C^{\infty}(\mathbb{R}^n)$，如果对任意非负多重指标$\alpha,p$都有： $$ \ ......
【分布式技术专题】RocketMQ延迟消息实现原理和源码分析
[推荐超值课程：点击获取](https://www.sanzhishu.top/) ### 痛点背景 #### 业务场景 > 假设有这么一个需求，用户下单后如果30分钟未支付，则该订单需要被关闭。你会怎么做？ #### 之前方案 > **最简单的做法，可以服务端启动个定时器，隔个几秒扫描数据库中待支 ......
代码随想录算法训练营第十天|力扣232.用栈实现队列、力扣225.用队列实现栈
# 栈与队列 ## 理论知识 栈提供push 和 pop 等等接口，所有元素必须符合先进后出规则，所以栈不提供走访功能，也不提供迭代器(iterator)。 不像是set 或者map 提供迭代器iterator来遍历所有元素。 **栈是以底层容器完成其所有的工作，对外提供统一的接口，底层容器是可插拔 ......
Feign和消息队列（MQ）的区别
Feign和消息队列（MQ）是两个不同的概念，它们分别用于不同的目的。下面我将分别介绍它们的作用和特点。 Feign是一个在微服务架构中用于实现服务间通信的轻量级、声明式的HTTP客户端。它由Netflix开源，并且与Spring Cloud集成得非常紧密。Feign可以让开发人员以类似于编写本地方 ......
一篇文章讲透分布式存储【转载】
分布式存储是相对于集中式存储来说的，在介绍分布式存储之前，我们先看看什么是集中式存储。不久之前，企业级的存储设备都是集中式存储。所谓集中式存储，从概念上可以看出来是具有集中性的，也就是整个存储是集中在一个系统中的。但集中式存储并不是一个单独的设备，是集中在一套系统当中的多个设备。以EMC公司的存储为 ......
复习消息队列之RabbitMQ
概念： RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。 AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。 AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。对比： Rabb ......
分布式锁
# 1. 分布式锁作用 解决缓存击穿问题 # 2. 分布式锁思想 加锁：就是去存储一个数据，如果一个线程可以把数据存储成功，就说明当前线程获取到了锁；存储不成功，就说明当前线程没有获取到锁。 解锁：删除数据 # 3. 常用技术 mysql,redis,zookeeper是常用的分布式锁技术 加锁对性 ......
python爬虫获取script标签中的var变量值
遇到问题： 资料调研过程中遇到js动态生成页面（在检查中可以看到需要爬取的数据，但是查看网页源代码中都是js动态生成，跟检查中的代码不一致），通过xpath在html中获取不到需要的数据，真正的数据在 所需要的数据为script中的var indData,数据类型为包含有许多dict的list 解决 ......
Python 爬虫实战：驾驭数据洪流，揭秘网页深处
前言随着互联网的发展，数据变得越来越重要，爬虫技术也越来越受到人们的关注。爬虫技术可以帮助我们自动化地抓取网络数据，从而提高数据的利用价值。但是，在爬虫过程中，很容易被目标网站识别出来，甚至被封禁。所以，使用代理IP是非常重要的一步。 本篇文章将介绍如何使用Python编写爬虫，并使用代理IP，实现 ......
代码随想录-栈与队列-c++总结
很大程度上是熟悉了一遍stack queue dequeue priority_queue的语法 贴一下总结不错的参考 https://zhuanlan.zhihu.com/p/352404451 优先队列 此外，push 和 emplace这两个操作，除了一个是产生副本移动，一个是直接构造添加外， ......