爬虫 手段 常见
mysql中常见的聚合函数
1. 聚合函数的介绍聚合函数又叫组函数，通常是对表中的数据进行统计和计算，一般结合分组(group by)来使用，用于统计和计算分组数据。 常用的聚合函数: count(col): 表示求指定列的总行数max(col): 表示求指定列的最大值min(col): 表示求指定列的最小值sum(col): ......
20.常见的安全设备
常见的安全设备 一、网络安全设备 网络安全设备是一个有软件和硬件设备组合而成、在内部网和外部网之间、专用网与公共网 之间的界面上构造的保护屏障，针对不同的应用场景有不同的作用，常见的安全设备有防火墙，态势感知，IDS，IPS，全流量分析，漏洞扫描，蜜罐 ，安全邮件，EDR等等。 二、态势感知 ......
常见的maven依赖
spring-context Spring框架的依赖 junit 测试的依赖 mysql-connector-java mysql驱动包 druid 德鲁伊mysql连接池 javax.annotation-api jdk9之后javax.annotation包被移除了，@PostContruct以 ......
常见排序算法以及Java实现
快速排序 class Solution { //创建随机对象，便于后于选基准值 static Random random = new Random(); public int[] sortArray(int[] nums) { int n = nums.length; int left = 0; i ......
Git常见的乱码问题
Git-Bash 中文乱码 主要是执行 ls，或者查看 commit message 时候中文显示不可见的乱码时，可以通过修改 Git 安装目录下的 /etc/bash.bashrc，添加两行配置即可 # User Settings export LANG="zh_CN.UTF-8" export ......
爬虫简单python小程序
import requests from bs4 import BeautifulSoup base_url = 'your_base_url_here' # 根据网站的实际URL模式修改此函数 def get_page_url(page_number): return f'{base_url}?p ......
MQ(消息队列）常见问题梳理
MQ 中 broker 的作用，有无broker有什么差异？ MQ（Message Queue）中的broker是消息队列的核心组件之一，它的作用是接收、存储、分发和传递消息。具体来说，broker主要有以下几个作用： 接收消息：当生产者发送消息时，消息会被发送到MQ中的broker节点。 存储消息 ......
AFIO-CH32FV2x_V3x--重映射功能的使用以及常见问题
重映射功能 外设引脚重映射的概念，即一个外设的引脚除了具有默认的端口外，还可以通过设置重映射寄存器的方式，把这个外设的引脚映射到其它的端口。 简单的讲就是把管脚的外设功能映射到另一个管脚，但不是可以随便映射的。 部分重映射 & 完全重映射 部分重映射： 功能外设的部分引脚重新映射，还有一部分引脚是原 ......
软件测试经验与教训之测试手段与程序错误分析
人们可以做的所有测试都可以分为5个方面进行描述： 。测试员：进行测试的人。如用户测试需要站在用户，商家，供应商等不同角色的角度进行测试 。覆盖率：测试了哪些内容。如功能测试中，要测试每个功能，接口测试中测试每个接口 。潜在问题：测试的原因（要测试什么风险）如测试极值问题 。活动：如何测试。例如回归测 ......
常见dos命令 win11
打开CMD的方式 右键win，选择终端 Win键+R，输入CMD打开控制台 在任意文件夹下，shift+右键，选择在终端中打开 在资源管理器地址栏前加上CMD路径 管理员方式运行：选择以管理员方式运行 常用的Dos命令 #切换盘符：<目标盘符>: #查看当前目录下的所有文件：dir #切换目录：cd ......
四个常见的Linux面试问题
刚毕业要找工作了，只要是你找工作就会有面试这个环节，那么在面试环节中，有哪些注意事项值得我的关注呢？特别是专业技术岗位，这样的岗位询问一般都是在职的工程师，如何在面试环节更好地理解面试官的问题，我们一起往下看吧。 在学校学习也好，在培训机构或者网络在线学习也好，无论是通过那种途径，经过很长一段时间学 ......
C++面试必备：常见C++面试题汇总及详细解析
C++作为一门重要的编程语言，其在面试中常常是热门的考察对象。本文将会介绍一些常见的C++面试题，帮助C++面试者避免很多不必要的困惑和迷惑。每个问题都有相对应的答案，以便各位同学快速查阅。 ......
scrapy爬虫框架（三）Spider的使用
在前面已经简单介绍了spider的基础用法，那么今天我们来详细了解一下Spider的具体用法。 一、Spider的运行流程 spider是scrapy框架中最核心的组件，其定义了爬取网站的逻辑和解析方式，而spider主要做两件事情： 定义爬取网站的动作。 分析爬取下来的网页。 那么他的运行流程主要 ......
SpringBoot中常见的各种初始化场景分析
大家能区分出以下各种初始化适用的场景吗 ApplicationRunner,CommandLineRunner,BeanFactoryPostProcessor,InitializingBean,BeanPostProcessor 首先可以简单分类 Springboot的钩子 1，Applicati ......
keepalived常见错误汇总
错误内容： WARNING - default user 'keepalived_script' for script execution does not exist - please create. 解决方案： 在keepalived.conf的global_defs配置节中增加script_u ......
实现一个简单的爬虫
闲来无事，简单写了一个爬虫，功能也很简单，就是爬取 wallhaven 上的图片。 阅读之前，如果你对爬虫感到陌生，你也可以点击 这里 在我的另一篇文章中快速、了解掌握爬虫。 爬虫思路 根据 url 的规律指定爬取页面 简单观察 url 便可以发现，规律很简单，只需要指定页面即可。 https:// ......
scrapy爬虫框架（二）scrapy中Selector的使用
在scrapy框架前，相信大家或多或少的已经了解了一些网页数据解析方法，如：xpath、bs4、正则表达式等，但是在scrapy框架中也有一个内置的数据提取方法--Selector。在这里我们就先简单介绍一下Selector在scrapy中的运用及常用方法。 为了方便示例，我们以官方文档中的示例页面 ......
Python爬虫利器之解析库的使用
对于一个刚学Python爬虫的新手来说，学习Python爬虫里面的「解析库的使用」如果没有超强记忆力，估计是边学边忘，正所谓好记性不如烂笔头，在自己学些爬虫相关的知识点可以记录下来然后多次实践肯定比单凭记忆力要记得牢，下面我就把我学习的一些解析库的知识整理出来，供大家参考下。 我的计划是，把自己学习 ......
面试常见算法题总结
1、快排、堆排 排序算法实现 2、环入口 方法：哈希、快慢指针 是否有环： 如何找到环入口 3、链表重排 4、链表指定反转区间 5、树路径求和 6、LRU LFU 7、前中序构建二叉树，输出右视图 ......
四个常见的Linux面试问题。
刚毕业要找工作了，只要是你找工作就会有面试这个环节，那么在面试环节中，有哪些注意事项值得我的关注呢？特别是专业技术岗位，这样的岗位询问一般都是在职的工程师，如何在面试环节更好地理解面试官的问题，我们一起往下看吧。 在学校学习也好，在培训机构或者网络在线学习也好，无论是通过那种途径，经过很长一段时间学 ......
linux 的常见命令
vim 文件1 # 打开文件1 pwd # 查看当前文件所在目录 ls # 查看当前文件夹下所有的文件名 top # 查看进程 rm -rf * # 文件删除命令 删除当前目录下的所有文件 rm -rf /* # 删除Linux根目录下的所有文件,直接导致服务器瘫痪 ls # 查看当前目录下所有可见 ......
常见SQL总结二
-- 查询没有学全所有课的同学的学号、姓名；SELECT sid,sname FROM student stu, (SELECT COUNT(sid) as num,student_id FROM score GROUP BY student_id)t1 , -- 查出每个人的学习课程数量(SELE ......
[Python]async异步爬虫
import asyncio import aiohttp async def download_img(session, url): file_name = url.rsplit('/')[-1] print(f"下载图片:{file_name}") await asyncio.sleep(2) ......
SpringBoot：自定义一个spring-boot-starter，以及maven拉取不到starter依赖的一些常见错误说明
没有太多多余的代码，记录下来主要是为了以后写starter的时候有个模板可以直接拖下来参考。 github项目地址：rain-spring-boot-starter ####操作步骤 starter项目 （1） 新建一个maven项目，项目名推荐命名为：xxxx-spring-boot-starte ......
【0基础学爬虫】爬虫基础之网页解析库的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为网页解析库的使用。 概述 前几期的文章中讲到了网络请求库的使用 ......
SpringCloud常见问题描述
1 什么是SpringCloud Spring cloud 流应用程序启动器是基于 Spring Boot 的 Spring 集成应用程序，提供与外部系统的集成。Spring cloud Task，一个生命周期短暂的微服务框架，用于快速构建执行有限数据处理的应用程序。 2 什么是微服务 微服务架构是 ......
Redis常见问题描述
1 Redis持久化机制：Redis是一个支持持久化的内存数据库，通过持久化机制把内存中的数据同步到硬盘文件来保证数据持久化。当Redis重启后通过把硬盘文件重新加载到内存，就能达到恢复数据的目的。 2 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 缓存雪崩：由于原有缓存失效，新缓存未到期 ......
软件测试工作中常见的风险类型有哪些？
软件测试是把控软件质量的重要防线，但风险又存在于软件测试的全过程，如何有效的进行风险控制呢?就是主动的发现，暴露产品存在的风险和缺陷，并协同团队成员，做好容灾解决方案并一起解决风险。无论是模块负责人还是项目负责人，首先要能识别风险，其次预防和消除风险，最后当风险发生后，制定处理措施解决问题。今天小编 ......
API测试期间的9个常见错误
API代表应用程序编程接口。它是通用的软件实用程序，可以接受输入参数并根据特定的业务逻辑提供所需的输出。当我们谈论API开发时，该过程需要在安全性，业务逻辑处理，有效的输入数据参数，数据类型等方面进行严格的测试。如果未对任何API进行彻底的测试，则该API将存在缺陷。问题以及这些问题可能导致合作伙伴 ......
[转载]Git diff常见用法
1.1 比较工作区与暂存区 git diff 不加参数即默认比较工作区与暂存区 1.2 比较暂存区与最新本地版本库（本地库中最近一次commit的内容） git diff --cached [<path>...] 1.3 比较工作区与最新本地版本库 git diff HEAD [<path>...] ......