爬虫 手段 常见
git命令与常见错误解析
**最好在根目录下一级一级的探索添加 尽量避免 git add . git rm -r --cache . 等全部上传和移除操作** ### git命令 创建本地代码库（只执行一次） 若有多个.git则会出现ERROR: 500 git init 查看工作区状态 git status （分支：开发版 ......
基于multiprocessing map实现python并行化（全局变量共享 map机制实用向分析 常见问题 pandas存储数据）
转载：(15条消息) 基于multiprocessing map实现python并行化（全局变量共享 map机制实用向分析 常见问题 pandas存储数据）_goto_past的博客-CSDN博客 基于multiprocessing map实现python并行化之前从来没考虑python可以并行化， ......
常见的保证接口数据安全8种方案
1.数据加密，防止报文明文传输 2.数据加签验签 3.token授权认证机制 4.时间戳timestamp超时机制 5.timestamp+nonce方案防止重放攻击 6.限流机制 7.黑名单机制 8.白名单机制 详细可见：https://blog.csdn.net/m0_37062111/arti ......
常见控件交互方法
点击方法 element.click()输入操作 element.send_keys('appium')设置元素的值 element.set_value('appium')清除操作 element.clear()是否可见 element.is_displayed() 返回True/False是否可用 ......
网页常见的渗透方法以及解决方法
方式一 ： 弱口令弱口令(weak password) 没有严格和准确的定义，通常认为容易被别人（他们有可能对你很了解）猜测到或被破解工具破解的口令均为弱口令。弱口令指的是仅包含简单数字和字母的口令，例如“123456”、“abc”等，因为这样的口令很容易被别人破解，从而使用户的计算机面临风险，因此 ......
MS SQL Server 中的存储过程是一种预编译的代码块，可以接收输入参数并返回输出结果，用于完成特定的数据库操作。它们是 SQL Server 中存储逻辑业务的一种常见方式。下面是存储过程的优势和劣势：
MS SQL Server 中的存储过程是一种预编译的代码块，可以接收输入参数并返回输出结果，用于完成特定的数据库操作。它们是 SQL Server 中存储逻辑业务的一种常见方式。下面是存储过程的优势和劣势： 优势： 更高的性能：存储过程在首次执行时会被编译和优化，然后将编译后的执行计划缓存起来，以 ......
安装包（Installer Package）是一种用于安装和卸载软件程序的文件，通常包含了软件程序的所有组件、依赖库、配置信息等等。在 Windows 系统中，安装包通常是以.msi、.exe、.zip、.rar 等格式出现。 以下是几种常见的安装包格式：
安装包（Installer Package）是一种用于安装和卸载软件程序的文件，通常包含了软件程序的所有组件、依赖库、配置信息等等。在 Windows 系统中，安装包通常是以.msi、.exe、.zip、.rar 等格式出现。 以下是几种常见的安装包格式： .msi 格式：Windows Insta ......
02 python爬虫-bs4
[TOC] ## 步骤 1. 爬取主页面中的文章详情的url和图片地址 2. 下载图片 并请求加文章详情中的页面内容 3. 爬取文章详情中的标题、作者、发布时间 ## 代码 ```python import requests import csv from bs4 import BeautifulS ......
在 Windows 磁盘管理中，RAID 技术主要有四种常见的级别
RAID（Redundant Array of Independent Disks，独立磁盘冗余阵列）技术是一种提高数据存储安全性、可靠性和性能的技术。该技术通过多个硬盘组成一个逻辑磁盘阵列来提供更高的数据传输速度和容错能力。 在 Windows 磁盘管理中，RAID 技术主要有四种常见的级别： R ......
爬虫-Python爬虫常用库
一、常用库 1、requests 做请求的时候用到。 requests.get("url") 2、selenium 自动化会用到。 3、lxml 4、beautifulsoup 5、pyquery 网页解析库 说是比beautiful 好用，语法和jquery非常像。 6、pymysql 存储库。操 ......
Java中常见转换-数组与list互转、驼峰下划线互转、Map转Map、List转Map、进制转换的多种方式
场景 Java中数组与List互转的几种方式 数组转List 1、最简单的方式,Arrays.asList(array); 创建的是不可变列表，不能删除和新增元素 String[] array = new String[]{"a","b"}; List<String> stringList = Ar ......
ORACLE常见语法
1、查询所有schema //一个用户（user）对应一个方案（schema）select username from sys.dba_users 2、查询schema下的所有表 select table_name from sys.dba_tables where owner='schema名'; ......
[TSG开发]法如扫描仪SDK探幽-1.旧版SDK采集流程、问题解析、常见参数
# 做什么 法如扫描仪是一个三维的激光扫描仪，可以通过特定的作业模式将空间以三维激光点云的形式保存下来，并且通过特定的算法得出一些想要的具体参数。 这个SDK探幽日志主要是对目前SDK开发中遇到的一些问题做个记录，以及对未来开发的一些指导，只是在业余时间简单写写，之后还会深入探索与合作。算是一个把F ......
常见的电商API接口数据分析，电商API接口获取数据步骤如下
1.Taobao API：淘宝API可以获取到淘宝平台上各种商品、类目、店铺等信息，并且能够实现下单、退款、物流等操作。
2.JD API：京东API与淘宝API类似，也可以获取到京东平台上各种商品、类目、店铺等信息，并且支持下单、退货、物流等操作。
3.PDD API：拼多多API可以获取到拼... ......
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
局域网 Windows 系统克隆方案有很多，以下是一些较为常见的
局域网 Windows 系统克隆方案有很多，以下是一些较为常见的： Windows 原生工具：Windows 系统自带了众所周知的“系统备份和恢复”工具。您可以使用这个工具创建一个系统备份，并在需要的时候将备份还原到其他计算机中。这种方法的缺点是需要手动完成，不够自动化和高效。 Symantec G ......
常见问题解决 --- 若依vue部署前后端 502 (Bad Gateway)
nginx配置文件中配置代理访问 这里配置的proxy_pass是后台接口的代理 location /prod-api/ { proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_he ......
常见LOSS函数之Cross Entropy(交叉熵)
# 常见LOSS函数之Cross Entropy(交叉熵) 交叉熵是分类问题常用的损失函数。 ## 熵 熵表示稳定性或者说惊喜度，熵越高表示越稳定，其惊喜度就越低。  ，一枚10年程序猿。 自从2023.3月以来，"淄博烧烤"现象持续占领热搜流量，体现了后疫情时代众多网友对人间烟火气的美好向往，本现 ......
python爬虫 requests访问http网站之443报错（ssl验证）
报错信息： ``` urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='ssr4.scrape.center', port=443): Max retries exceeded with url: /page/1 (Caused b ......
DOM常见节点操作
js可以控制html中的节点，常见的是添加和删除操作。 在掌握了节点的选择之后，我们来看如何创造一个节点。 1 let t=document.createElement("div"); 该命令创造了一个div节点（标签），赋值给t。 我们可以对其属性进行设置 1 t.className="c1"; ......
Python网页爬虫代码
网页爬虫是一种自动化程序，可以自动地访问网页并提取其中的信息。它可以用于各种目的，例如搜索引擎的索引、数据挖掘、价格比较、舆情监测等。网页爬虫通常使用编程语言编写，例如Python、Java等。 以下是一个简单的示例，使用 Python 和 requests 库进行网页爬取： import requ ......
hvv蓝初面试常见漏洞问题（下）
[hvv蓝初面试常见漏洞问题（上）](https://www.cnblogs.com/Nuy0ah/p/17435483.html "hvv蓝初面试常见漏洞问题（上）") # 6.ssrf 服务端伪造请求 ## 原理 服务端提供了向其他服务器应用获取数据的功能，而没有对目标地址做任何过滤和限制。攻击 ......
JVM性能调优常见工具
# JVM性能调优常见工具 jps用来查看进程 jstack用来查看进程内的栈，或者dump jhat查看dump的信息 jstat查看各代的GC信息等 以上都被visualVM所整合了，可以用可视化工具visualVM来分析 ## jps jps主要用来输出JVM中运行的进程状态信息。语法格式如下 ......
在统计学和机器学习中，常见的误差类型
在统计学和机器学习中，常见的误差类型包括以下几种： 1. 随机误差（Random Error）：随机误差是由于测量或观测过程中的不确定性引起的。它是无法避免的，通常表现为测量值或观测值的波动性。随机误差是独立的、不可预测的，并且在多次测量或观测中可以通过取平均值来减小其影响。 2. 系统误差（Sys ......
001_常见的DOS命令
## 常见的DOS命令 ```bash #查看目录下的全部文件 dir #切换目录 cd #返回上级 cd.. #清理屏幕 cls #查看电脑ip ipconfig #打开应用 计算器calc 图画mspaint 记事本notepad #ping命令 ping #文件操作 md 目录名（创建文件夹） ......
python爬虫入门
使用sublime text3 可以先保存文件，保存文件时，名字后缀需要添加.py 否则无法识别为Python文件 为方便命令行调用，文件名不用空格 可直接在文件夹内输入cmd快捷进入，shift+右键也可以 Tab补齐内容，↑历史记录 前端入门 html <>开始</>结束 head内一般是导入的 ......