爬虫 中间件 分布式 过滤器
qt 表格，删除中间的某行后，对首列序号进行顺序排序
for(int i=0;i<m_model->rowCount();i++) { //删除航点后，给前面的序号重新排序 m_model->item(i,0)->setText(QString::number(i+1)); } ......
爬虫初阶requests模块的使用
一、安装requests库 pip install requests 二、引用这个模块 import requests 三、requests的基本使用 1.发送GET请求 调用requests模块中的get()函数 import requests # 引入第三方库 response = reques ......
爬虫
requests 模块 获取数据方式 静态页面 import requests response=requests.get(url="https://www.baidu.com") print(response.text) 动态加载数据 豆瓣动画电影排行榜 import requests impor ......
Python异步编程高并发执行爬虫采集，用回调函数解析响应
本文介绍了Python 异步编程技术asyncio ，使用场景，介绍了同步编程，异步编程原理，异步技术的优势，异步语法 async await, 协程，create_task, gather, event loop, asyncio.run() 等，用回调函数callback 来解析响应消息，实... ......
布隆过滤器原理及实现
大家好，我是蓝胖子，我一直相信编程是一门实践性的技术，其中算法也不例外，初学者可能往往对它可望而不可及，觉得很难，学了又忘，忘其实是由于没有真正搞懂算法的应用场景，所以我准备出一个系列，囊括我们在日常开发中常用的算法，并结合实际的应用场景，真正的感受算法的魅力。 今天，我们就来学习下布隆过滤器的原理 ......
locust：Python 分布式压力测试（带WebUI）
Locust 介绍 它采用纯 Python 实现，是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求，使编写脚本大大简化; 在模拟并发方面摒弃进程和线程，完全基于时间驱动，采用协程（gevent）提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因此单 ......
Python 和 Selenium 的浏览器爬虫
Selenium 是一款强大的基于浏览器的开源自动化测试工具，最初由 Jason Huggins 于 2004 年在 ThoughtWorks 发起，它提供了一套简单易用的 API，模拟浏览器的各种操作，方便各种 Web 应用的自动化测试。 它的取名很有意思，因为当时最流行的一款自动化测试工具叫做 ......
Python 爬虫使用 Selenium 如何在 WebElement 获得属性
首先，我们需要初始化驱动和指定使用特定的流量器。 代码如下： from selenium import webdriver wd = webdriver.Firefox() 上面的代码可以简单的理解为启动一个 Firefox 的实例。 使用 css 选择器 可以把程序读取的 HTML 理解为一个 D ......
分布式数据库第一章
模式--概念模式（关系就是表） RELATION EMP{ -- 定义了一个关系（表），命名为EMP KEY={ENO} -- 关键字 ATTRIBUTE={ -- 属性 ENO：CHAR(9) ENAME：CHAR(15) TITLE：CHAR(10) } } ENO：字符类型，长度为9，表示员工 ......
DRF之过滤类源码分析
【一】过滤类介绍及BaseFilterBackend Django REST framework（DRF）中的过滤类允许你在API视图中对查询进行过滤，以根据特定条件筛选结果集。 过滤类是DRF的一部分，它允许你轻松地添加各种过滤选项，以满足不同用例的需求。 class BaseFilterBack ......
改进了headers的爬虫（Cookies）
import urllib.request from lxml import etree def create_request(page): if page == 1: url = 'http://www.chinaeol.net/hjxw/gnxw' else: url = 'http://www ......
一个稍微用了下selenium的爬虫框架
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.chr ......
爬虫随笔（一）
最近因为工作和研究方向的变动，开始学习爬虫，现在是刚刚入门，简单写一些，爬虫入门的建议。 一、基础知识 （1）掌握的编程语言：python、Html、JS、CSS Python是必须的，虽然Java也可以实现相关功能，但是总归脚本写起来方便一点。如果有语言基础，直接去菜鸟教程，看语法，就差不多掌握了 ......
Python 之 爬虫实战 -- 收集某牙直播平台舞蹈区颜值排行榜（人脸检测+爬虫）
一大波高颜值主播来袭：快看，某牙颜值排名，为了这个排名我可是大费周章啦！不亏是你...（人脸检测+爬虫） 本次文章主要内容为： 一. 采集主播照片 二. 对于照片进行人脸识别检测, 进行打分 三. 评分排名。 环境准备 1）运行环境 开发环境：Python3、Pycharm社区版、requests、 ......
Python 之 爬虫实战 -- 免费音乐下载器
【Tkinter界面化小程序】用Python做一款免费音乐下载器、无广告无弹窗、清爽超流畅哦~ 思路 进入某音乐主页输入任意歌手，比如李XX为列。 音乐从哪里来？ 网站的服务器里 怎么从网址里得到音乐？ 向网站发起网络请求 最后用tkinter做成一个界面下载框即可 环境 本文用到的环境如下：Pyt ......
Python 之 爬虫实战 -- VIP视频解析小程序
VIP视频解析小程序 源码 # -*- coding:utf-8 -*- # url解析 from urllib import parse import tkinter.messagebox as msgbox import tkinter as tk import webbrowser impor ......
Python 之 爬虫实战 -- 爬取某网络小说
不生产小说，只做网站的搬运工，太牛逼了~（附源码） 源码 import requests from lxml import etree url = "https://www.biduo.cc/biquge/40_40847/" headers = { 'User-Agent': 'Mozilla/5 ......
Python 之 爬虫实战 -- 爬某音乐歌曲及评论信息
使用Selenium爬某音乐歌曲及评论信息啦~ Selenium简单介绍 1）简介 Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览 器。简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做 自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种 ......
Python 之 爬虫实战 -- 爬取某宝商品数据，附加某宝秒杀脚本
爬取某宝商品数据，附加某宝秒杀脚本 爬取某宝商品数据 源码 """ import requests # 第三方模块 import re import json import csv f = open('taobao.csv', mode='a', newline='', encoding='utf- ......
使用 redis 实现分布式接口限流注解 RedisLimit
前言 很多时候,由于种种不可描述的原因,我们需要针对单个接口实现接口限流,防止访问次数过于频繁。这里就用 redis+aop 实现一个限流接口注解 @RedisLimit 代码 点击查看RedisLimit注解代码 import java.lang.annotation.*; /** * 功能:分布 ......
SQL系列1-检索过滤处理汇总数据
什么是SQL？ SQL（发音为字母 S-Q-L 或 sequel）是 Structured Query Language（结构化查询语言）的缩写。SQL 是一种专门用来与数据库沟通的语言。 本学习过程中用的数据库管理系统（DBMS）为Mysql，图形化工具为MySQL Workbench。 查询与排 ......
MinIO分布式部署
目录先决条件网络和防火墙网络防火墙负载均衡顺序的主机名驱动器要求XFS格式性能最优最小IO顺序的驱动器名任意迁移时间同步考虑相同的硬软件环境存储容量规划推荐的操作系统预先存在的数据部署分布式MinIO在每一个节点上安装MinIO创建服务文件minio.service创建环境文件添加TLS/SSL证书 ......
分布式一致性算法——Raft
Raft Leader Election 背景介绍 Raft是一种用于管理Log的分布式一致性算法，在了解Raft之前首先需要了解为什么需要Log? 对于不同的系统，无论是中间件疑惑是其余的系统，我们如果想要求其满足CAP协议中的一致性，需要尽量保证多节点的数据是相同的，也就是所谓的“共识”。下文中 ......
Verilog 随机数及概率分布
转载：7.3 Verilog 随机数及概率分布 | 菜鸟教程 (runoob.com) 随机数 Verilog 中使用系统任务 $random(seed) 产生随机数，seed 为随机数种子。 seed 值不同，产生的随机数也不同。如果 seed 相同，产生的随机数也是一样的。 可以为 seed 赋 ......
分布式系统设计
1. 分布式系统组件 消息队列 RocketMq (重要特性: 事务消息, 半事务机制首选方案, 最终一致性, 死信队列, 补偿方案) 2. 分布式系统组件 消息队列 Kafka 3. 高并发系统,提升QPS,提升并发能力利器 Redis集群高可用方案 4. 大型分布式数据库系统选型和研究 TiDB ......
分布式系统的主键生成方案对比
UUID（通用唯一识别码）是由32个十六进制数组成的无序字符串，通过一定的算法计算出来。为了保证其唯一性，UUID规范定义了包括网卡MAC地址、时间戳、名字空间（Namespace）、随机或伪随机数、时序等元素，以及从这些元素生成UUID的算法。一般来说，算法可以保证任何地方产生的任意一个UUID都... ......
MySQL——分布式锁
锁 锁是一种抽象概念，是一种思想。并发环境下，多个线程会对同一资源争抢，可能导致数据不一致的问题。因此，很多编程语言都引入了锁。 Java中的锁 互斥锁（悲观锁（有锁同步）） 操作系统悲观地认为如果不严格同步线程调用，那么一定会产生异常，互斥锁将会将资源锁定，只供一个线程调用，阻塞其他线程（独占资源 ......
分布式
单机服务器常发生的问题 在单机服务器中，常常会面临以下几个问题： 服务器电脑宕机：这是最常见的问题之一，当服务器的硬件或者软件出现故障时，可能导致服务器无法正常运行。这种情况下，系统管理员需要及时排查故障原因，并修复问题，以保证服务器的稳定性和可用性。 网络异常：网络连接是服务器正常运行的基础，但有 ......
elk分布式日志系统
概述： 1.1什么是Eastic (ELK)Stack)(ELKB) “ELK"是三个开源项目的首字母缩写，这三个项目分别是: Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集 ......