爬虫 手段 常见

之前几篇我们一直在研究如何从网站上快速、方便的获取数据，并将获取到的数据存储在数据库中。但是将数据存储在数据中并不是我们的目的，获取和存储数据的目的是为了更好的利用这些数据，利用这些数据的前提首先需要从数据库按一定的格式来读取数据，这一篇主要介绍如何实现通过 RESTful API 来获取数据库中的 ......

1、get和post的区别 get请求的入参在url地址栏中； post请求的入参在body中； post请求方法比get请求方法要安全，并且携带的数据会更多； post请求一般用于表单提交或者向服务器提交数据，get请求用来查询会比较多； 2、怎么判断一个bug是前端还是后端 使用fiddler或 ......

数组中的问题其实最常见 通过基础问题，掌握写出正确算法的“秘诀” 巧妙使用双索引技术，解决复杂问题 对撞指针- 滑动窗口 1 从二分查找法看如何写出正确的程序 本节学习重点：处理边界问题！ 1.确定边界范围方法，先用区间表示，即明确范围的数学定义，后用代码表示； 2.在循环里维护循环不变量，能保证算 ......

一，导入包文件 os：用于文件操作。这里是为了创建保存图片的目录 re：正则表达式模块。代码中包含了数据处理，因此需要导入该模块 request：请求模块。通过该模块向对方服务器发送请求获取数据包 lxml：通过etree模块中的xpath方法来获取html标签中的属性值或者文本内容 headers ......

ant：表形容词或名词，…的，…者。an，arc：古老的。 bar，barr：栏，阻碍。 cept，cip：抓，取。cumul：积累。cess，cede：走开，让步，屈服。 cel：高超，顶尖。cuit：料理，加热。 dign：尊严。de：强调，向下，相反。dic，dict：说，断言。drag：拖拽 ......

1.1.xx 1开头表示信息响应； 100 Continue 信息型状态响应码表示目前为止一切正常，客户端应该继续请求，如果已完成请求则忽略。为了让服务器检查请求的首部，客户端必须在发送请求实体前，在初始化请求中发送 Expect: 100-continue 首部并接收 100 Continue 响 ......

报错 selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable 可能是代码中没有全屏，元素没有加载全 baiduweb = webdriver.Chrome(servic ......

基本概念 智能指针是一个模板； shared_ptr允许多个指针指向同一个对象，unique指针则独占指向的对象； 基本使用 shared_ptr<T> ptr; //默认初始化保存着一个空指针 shared_ptr<int> ptr = make_shared<int>(42); 拷贝与赋值，会有 ......

最后修改日期：2023.04.12 1. 三态门 1.1. 写法 wire q; assign q = en ? d : 1'bz; 1.2. 解释 q必须是wire类型，否则就是类似于锁存器/寄存器的结构。 三态门常用在总线结构上。但是直接用三态门去写，综合的结果并不好。这可能是因为，三态门的高阻 ......

问题处理思路： 在讲解具体的问题前，我先来说一下使用正则处理问题的基本思路。有一些方法比较固定，比如将问题分解成多个小问题，每个小问题见招拆招：某个位置上可能有多个字符的话，就用字符组。某个位置上有多个字符串的话，就用多选结构。出现的次数不确定的话，就用量词。对出现的位置有要求的话，就用锚点锁定位置 ......

之前的文中介绍了如何获取给定网址的网页信息，并解析其中的内容。本篇将更进一步，根据给定网址获取并解析给定网址及其相关联网址中的内容。要实现这些功能，我们需要解决以下问题： 1、如何持续不断的获取 url，并读取相关内容。 2、如何判断网址是否已经读取过。 文中用到的代码均已上传到 github，在这 ......

当使用命令行终端进行开发时，环境配置文件可以用来自动化执行一些命令或设置环境变量，以提高工作效率和方便使用。在 Mac 上，常见的环境配置文件有以下几种： 1. 在.bash_profile文件中配置.bash_profile 是 Bash Shell的配置文件之一，在用户登录时会被执行。该文件可以 ......

最近开发者使用崩溃服务遇到的一些数据异常问题，我在这里汇总一下，以后遇到相似的问题可以以此为参考。 【问题描述1】 iOS崩溃数据“按用户搜索”页，“过去7天” 是有数据的，但“统计”页没有。 ​ ​ 【解决方案】 查询了后台上报日志，发现没有上报应用的启动事件，只上报了$HA_ERROR事件，所以 ......

运行该程序需要下载两个扩展库 requestsL:在终端或cmd中运行 pip install requests BeautifulSoup: pip install bs4 代码: import requests from bs4 import BeautifulSoup headers = { ......

经典离线数仓架构（业界主流） ODS 数据准备区 DW 数据仓库层（DMI公共维度，DWD数据明细，DWS轻度数据汇聚） ADS 应用层 分层原因：1、简化问题2、明细血缘3、减少重复开发、计算4、适应业务的快速变化 Lambda架构（当前业界主流） batch Layer 批处理层（离线） 处理全 ......

常见可积函数积分 三角有理积分 令$tanx \frac{x}{x} = t$ $\int R(sinx,cosx)dx = \int R(\frac{2t}{1+t^2},\frac{1-t^2}{1+t^2})\frac{2}{1+t^2}$ 推导公式 $\tan x 与\sin x的转化$ 令 ......

环境python3.9版本及以上，开发工具pycharm HTML基础语法 HTML（Hyper Text Markup Language）超文本标记语言，是我们编写网页的最基本也是最核心的一种语言，其语言规则是用不同的标签对网页上的内容进行标记，从而使网页显示出不同的展示效果。 展示一部分： <! ......

1、@RequestParam：该注解的作用是将请求中指定名称的参数进行获取，可以指定该参数是否为必须，可以是get请求，也可以是post请求，可以该注解可以省略。 实例： @GetMapping("/addSuccess") public String goToSuccess(@RequestPa ......

前端与后端的概念 前端 任何与用户直接打交道的操作界面 都可以称之为前端>>>:接待员 后端 不直接与用户打交道 主要负责内部真正的业务逻辑的执行>>>:幕后操作者 前端学习之路 专业的前端也需要培训至少六个月 而我们作为后端开发工程师 前端只学最基本最核心的一块 目的不是为了让你直接可以从事前端 ......

from selenium import webdriverimport timefrom selenium.webdriver.common.by import Bybrow=webdriver.Edge()brow.get('https://m.anjuke.com/qd/')time.slee ......

开始之前要先在MySQL创建一个名为spider的数据库，在里面创建一个名caipiao的表，表里面三个字段，data，red，blue 点击查看代码 import requests import pymysql from lxml import etree # 连接数据库 conn = pymys ......

import pymysql # 打开数据库连接 db = pymysql.connect(host='localhost', user='root', password='root', database='pikachu', port=3306 ) # 使用 cursor() 方法创建一个游标对象 ......

数值列： 列值是数字 日期列： 列值是日期 计算列（数字）： 添加的计算列，列值是数字 计算列（非数字）： 添加的计算列，列值不是数字 字段的层次结构： 比如日期字段，就可以分成年、季度、月、日展示 文件夹： 字段的分组，可以将一个/多个列或者度量值group在一起 度量值： 计算表： 用DAX添加 ......

之前一直沉溺于java，jsp，ssh，db等爬虫，现在又要开始走python的老路了。常用的requests库，通过requests对象的get方法，获取一个response对象。jsp的东西。 其中timeout,proxies,headers,cookies,verify,是我用到过的东西。 ......

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 随着web2.0时代的到来，数据的价值愈发体现出来。无论是在目前火热的人工智能方向，还是在产品侧的用户需求分析，都需要获取到大量的数据，而网络爬虫作为一种 ......

1.问题 Committer identity unknown *** Please tell me who you are. Run git config --global user.email "you@example.com" git config --global user.name "Yo ......

我们常用的pyspider，scrapy就不多介绍了，今天咱们玩looter框架的爬虫，其实爬虫很有意思，看看下面的代码就秒懂。 安装 先安装好python3，需要3.6以上，然后执行 pip install looter λ looter -h Looter, a python package d ......

图像数据清洗是数据预处理的一个重要步骤，它可以提高图像识别和图像处理的准确性。以下是一般的图像数据清洗流程： 收集数据：收集需要清洗的图像数据。 数据预处理：对数据进行格式转换，例如转换为灰度图像或RGB图像。 数据标注：将数据进行标注，例如将图像中的对象或者区域进行标注，方便后续训练和评估。 数据 ......

消息队列的用途 概要的说有三点 解耦 异步 错峰，但使用了消息队列会导致系统可用性降低和复杂性的增加。 常见的消息队列的特点 1、吞吐量 kafka和RocketMQ要比ActiveMQ和RabbitMQ高一个数量级。 2、时效性 RabbitMQ是基于erlang设计，并发能力很强，性能和延时都很 ......

技术 说明 方法内联 1.出去方法调用的成本（建立栈帧、出入栈等） 2.是其他优化措施的前提 公共子表达式消除 避免相同表达式的重复计算 数组边界检查消除 去除数组访问是否越界的判断 逃逸分析 不是直接的优化手段，而是其他优化手段提供依据的分析技术； 如果确定一个对象不会逃逸到方法和线程之外，可以对 ......