爬虫selenium流程java
6.Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000794500000, 576716800, 0)
这个问题引起的原因是：服务器上物理内存太小，大部分都是应为程序太多，内存吃紧，而给jvm分配的内存太大(java程序启动需要的内存，linux不能给)，最好调整java程序jvm内存吧(测试环境下) 如果使用命令行执行job.json 可以在后面加上限制，如： pyhon /home/workspa ......
爬虫
今日内容 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSou ......
爬虫4
今日内容 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(ex ......
爬虫5
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
idea工具-Java语言-tomcat服务使用
1.IDEA工具 使用Ultimate版本，下载 IntelliJ IDEA 2.下载tomcat 不需要安装，解压到任意位置，下载 官网 3.打开idea创建Java项目 3.1右键选择Add Frameworks Support勾选Web Application 3.2如图依次点击选择tomca ......
java第一次作业
1.定义圆形半径,求面积 package yyyy; public class Wy { public static void main(String[] args) { // TODO Auto-generated method stub int r=2; double area; area=3. ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
java实现手机号脱敏
自定义一个注解（需要依赖jackson。jar包） @Retention(RetentionPolicy.RUNTIME)@Target(ElementType.FIELD)@JacksonAnnotationsInside@JsonSerialize(using = SensitiveJsonSe ......
IDEA将java项目引入maven管理
选中项目根目录文件夹，右键菜单中选择add framework support IDEA创建java项目如何添加MAVEN管理 ......
Java 锁
Java中的锁是一种同步机制，用于控制对共享资源的访问。锁提供了对共享资源的独占访问，以确保在给定时间内只有一个线程可以访问该资源。Java中有两种类型的锁：内置锁和显式锁。 内置锁是Java中的默认锁，也称为监视器锁。它是与每个Java对象相关联的锁。当线程进入同步代码块时，它会自动获取锁，并在退 ......
java中的泛型
1、什么是泛型 概念：概念：生活中的泛型是一种统一的模式，而程序中的泛型是用以统一数据类型的语法标准 泛型接口和泛型类 基本语法：一对尖括号当中，大写的单个字母，中间用逗号分割。 注意：泛型不是用来处理未知数据的，而是用来约束未知数据类型的。在通常情况下，你只能把其当 作一个Object来使用。 点 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
爬虫selenium模块
selenium基本使用 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 可以直接用代码模拟真实的浏览器操作，每一步的点击 输入等 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉 ......
Java之RSAUtil类的使用
我在项目中遇到选择审批人时，传到前端的审批人信息ID需要加密，然后传回后端需要解密的情况。 我们可以采用RSA算法实现公私钥加解密。 RSAUtil类内容如下： package com.cmit.kapok.system.utils; import com.cmit.kapok.system.api ......
java容器
集合框架体系 Collection 接口和常用方法 // 说明：以 ArrayList 实现类来演示 List list = new ArrayList(); // add:添加单个元素 list.add("jack"); list.add(10);//list.add(new Integer(10 ......
一段四合一图片整和Java代码
实现内容 能够实现将四张图片拼接，整合成一张完整图片 使用了getRGB、setRGB方法进行图片的提取拼接 实现代码 image1 = ImageIO.read(imageFile1); image2 = ImageIO.read(imageFile2); image3 = ImageIO.rea ......
JAVA~适合新手和复习~基础二
面试官：Java的特点了解多少？ 你：1、“抽象”，把现实世界中的某一类东西，提取出来，用程序代码表示；2、“封装”，把过程和数据包围起来，对数据的访问只能通过已定义的界面；3、“继承”，一种联结类的层次模型；4、“多态”，允许不同类的对象对同一消息做出响应。 面试官：那面向对象的特征呢？ 你： 哈 ......
Java ThreadPoolTaskExecutor 线程池的常见问题
Java ThreadPoolTaskExecutor 线程池的常见问题 https://blog.csdn.net/weixin_43611528/article/details/123083314 重要参数corePoolSize：核心线程数，常开的线程数，默认值：1。需注意：如果设置allow ......
[Java SE]Java SE异常合集
1 概述 2 问题集 Q1 : JAVA应用程序启动时报"A fatal error has been detected by the Java Runtime Environment: EXCEPTION_ACCESS_VIOLATION (0xc0000005)" 问题描述 # # A fata ......
java方法-方法重载
方法的重载 重载就是在一个类中，有相同的函数名称，但形参不同的函数。 方法重载的规则： 方法名称必须相同 参数列表必须不同（个数不同，或类型不同，参数排列顺序不同等） 方法的返回类型可以相同也可以不相同 仅仅返回类型不同不足以成为方法的重载 现实理论： 方法名称相同时，编译器会根据调用方法的参数个数 ......
xxx required a bean of type ‘java.lang.Integer‘ that could not be found
日志 2022-11-03 13:15:38.189 ERROR 8384 [] [ main] o.s.b.d.LoggingFailureAnalysisReporter 40 : *************************** APPLICATION FAILED TO START * ......
JSON parse error: Cannot deserialize value of type `java.util.Date` from String not a valid representation
日志 Resolved [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize value of type `java.util.Date` f ......
java实现多字段排序(普通对象List和MapList)
public class SortTest { public static void main(String[] args) { //普通对象list sortVOList(); //mapList sortMapList(); } private static void sortVOList() ......
4-springboot多数据源配置报错Cause: java.lang.IllegalArgumentException: jdbcUrl is required with driverClassName
springboot2.0版本以上的多数据源配置改成: spring.datasource.refunddb.url=jdbc:mysql://refund地址spring.datasource.refunddb.username=uatspring.datasource.refunddb.pass ......
java 中的intern()方法
https://www.bilibili.com/video/BV1PJ411n7xZ?p=127&vd_source=d52fb7546f3e6962911bc7cc32990c21 前言 最近遇到一个Intern()方法，代码如下，在 jdk1.8 的环境下得到如下的测试结果，给我整不会了，因此 ......
Java入门第一步：写出你的Hello World
当你学习一种新的编程语言时，通常你会看到第一个程序被称为“Hello World”程序。它通常用于初学者的简单程序。 假设你是作为 Java 编程语言的初学者阅读这篇文章的，或者你是来回忆那个古老的“Hello World”程序的。这篇文章不仅包括 Java 中的“Hello World”程序，我们 ......
selenium自动化测试学习1
注意：py文件命名的时候，不能直接命名为selenium.py，会和第三方包selenium冲突 一、环境搭建： 1、下载第三方包selenium pip3 install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple 注：可以直接在vsc ......