爬虫selenium流程java

数据类型拓展 整数 binary: 0b octal: 0 hexadecimal: 0x 浮点数 避免浮点数进行比较 如果需要,用BigDecimal类 字节 字符的本质还是数值 编码unicode 2字节 0-65536 U0000 UFFFF 转义字符 \t \n 2.类型转换 强制转换 (类 ......

1、composer执行以下命令，安装命名为 tp_test 目录的tp6稳定版本 composer create-project topthink/think tp_test 2、安装多应用模式扩展 think-multi-app 注意此处获取位置不能再获取tp6目录的位置执行，应进入项目目录，我 ......

一、Scrum框架介绍 Scrum是一个敏捷开发框架，是一个增量的、迭代的开发过程。在这个框架中，整个开发周期包括若干个小的迭代周期，每个小的迭代周期称为一个Sprint，每个Sprint的建议长度2到4周。在Scrum中，使用产品Backlog来管理产品或项目的需求，产品backlog是一个按照商 ......

一、常见误区 1、提前结束遍历（直接使用列表长度进行遍历） for(int i = 0;i < list.size();i++){ list.remove(i); } 在list不断地删除元素的同时，总列表list的长度也在不断缩小，i值会提前和列表的总长度相等，导致遍历提前结束，造成前面的元素删掉 ......

正则常见用法(例子来源：hutool文档)： String content = "ZZZaaabbbccc中文1234"; Pattern pattern = Pattern.compile(regex, Pattern.DOTALL); Matcher matcher = pattern.matc ......

#Java程序设计实践 ##Java训练集1~3总结与心得 训练集链接 前言： 本次训练集1~3主要考察了对java基础语法的掌握，内容包括基础程序的设计，类设计，编程规则的掌握等等，学习的重点在于适应java的语法以及让类的设计规范合理。 PS：这次Java训练是某种意义上我第一次上手Java，题 ......

Selenium 自动化浏览器，解决懒加载的网页获取问题。可以用于爬虫这些 在使用 Selenium WebDriver 进行自动化测试时，可以通过设置日志级别来控制输出的日志信息。在 C# 中，可以通过以下方式来禁用 Selenium WebDriver 输出的日志信息： 导入 OpenQA.Se ......

在写爬虫爬取github数据的时候，国内的ip不是非常稳定，在测试的时候容易down掉，因此需要设置爬虫ip。本片就如何在Python爬虫中设置爬虫ip展开介绍。 也可以爬取外网 爬虫编写 需求 做一个通用爬虫，根据github的搜索关键词进行全部内容爬取。 代码 首先开启爬虫ip，在设置中修改HT ......

注册对象 POM.xml <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.3.6</version> </dependency> ElasticSearchConfig. ......

<dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.10.1</version> </dependency> 这种方式忽略顺序 ......

Paging是google官方推出的一个分页加载库,配合RecyclerView可以很方便实现RecyelerView的Footer和Header,Paging3相对以前的版本,实现loadmore的功能更为方便,但因为找了一圈,连Google,stackoverflow,github这些地方也找了 ......

对于一个资深程序员来说写一个爬虫其实很简单，如何写一个稳定持续运行的爬虫也不难，但是如果构建一个通用化的爬虫平台系统将为后面的工作节省很多时间。 这篇文章，我就来和你分享一下，一个通用垂直爬虫平台的构建思路。 首先介绍一下，什么是爬虫？ 搜索引擎是这样定义的： 网络爬虫（又被称为网页蜘蛛，网络机器人 ......

Python爬虫 Pyppeteer模拟登录（带验证码识别） 需求 绕过登录验证码或自动登录 参考 主流网站 Python 爬虫模拟登陆方法汇总 - 知乎 (zhihu.com) python爬虫_hwwaizs的博客-CSDN博客 技术路线 1 request 本地请求 实现基于python的We ......

一、Java基础篇 1.接口和抽象类的区别 （1）抽象类可以有构造方法，而接口没有 （2）抽象类可以有抽象方法和具体方法，接口只能有抽象方法 （3）抽象类的成员4种权限修饰符都可以修饰，接口只能用private 2.重载和重写的区别 重载发生在同一个类中，方法名相同、参数列表、返回类型、权限修饰符可 ......

大多数正常人在下载图片的时候都是一个一个点击保存，图片越多花费的时间越多，大大的降低了工作效率。如果是学了爬虫的，一定会想到多线程来自动下载保存图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 将多线程这种比喻成 ......

1. 测试真实的应用程序 1.1. 应该以实际产品的使用方式进行测试 1.2. 所有的基准测试通常都包括一个预热期，在这期间，JVM可以将代码编译到最佳状态 1.3. 微基准测试（microbenchmark） 1.3.1. 通过测量一小部分代码的性能来确定多种实现中哪个最好 1.3.2. 必须读取 ......

一、接口信息 接口地址：https://www.1bit.asia/openai/api/ask类型：POST参数：{ "prompt": "写一个修仙小说目录", "userName":"apiuser002", "token":"链接页面获取"} 说明：userName参数和token需要对应。 ......

Java的优势和特性 简单化 面向对象 可移植性 高性能 分布式 动态性 多线程 安全性 健壮性 Java的三个版本 JavaSE 标准版(桌面程序,控制台开发等) JavaME 嵌入式开发(手机,小家电等) JavaEE E企业级开发(Web端,服务器开发等) 简单介绍JDK JRE JVM JD ......

#String、StringBuffer、StringBuilder的区别与联系 首先，String、StringBuffer和StringBuilder都是操作字符串的数据的类。 不同的是，从源码角度来看，String是继承自Object祖宗类，实现Serializable（可序列化接口）、Com ......

1. 定义圆形半径，求面积。int r =5; package hhhh; public class hhh { public static void main(String[] args) { double r = 5; double mian = 0; mian = r * r * 3.14; ......

Main方法 java虚拟机需要调用类的main方法，所以该方法的访问权限必须是public java虚拟机在执行main（）方法时不必创建对象，所以该方法必须是static 该方法接收String类型的数组参数，该数组中保存执行java命令时传递给所运行的类的参数 java执行的程序 参数1 参数 ......

一、什么是迭代器模式（IteratorPattern） 提供—种方法顺序访问一个聚合对象中各个元素,而又无须暴露该对象的内部实现，属于行为型模式。 应用场景： —般来说，迭代器模式是与集合是共存的，只要实现一个集合，就需要同时提供这个集合的迭代器，就像java中的Collection，List、Se ......

类变量和类方法 static修饰的静态变量或者方法 静态变量是类共享的，当class运行时。jdk8之前时放在方法区，静态域，jdk8之后放在堆中，会生成class对象在堆中； 在类加载中生成； static静态变量是同一个类的所有对象共享 static类变量，在类加载的时候就生成 类变量也叫静态变 ......

一.使用线程池的好处 1.提高系统性能和响应速度：线程池可以通过复用线程来减少线程的创建和销毁，从而减少了系统开销，提高了系统的性能和响应速度。 2.提高代码的可维护性：使用线程池可以将任务的执行与线程的创建和管理分离开来，使得代码更加清晰易懂，也更加容易维护。 3.提高代码的可复用性：线程池可以让 ......

1、静态方法不能被重写，如果重写静态方法，会编译报错的 {:height="50%" width="50%"} 2、如果不加@Override标签，是可以的。但这样写，父类的静态方法和子类的静态方法就没有什么关系了，我将它理解成形参列表相同的重构。实际效果类似于覆盖。 {:height="50%" ......

1. 定义圆形半径，求面积。 package wwww; import java.util.Scanner; public class apo { public static void main(String[] args) { // TODO Auto-generated method stub ......

在做此作业中我们查阅了很多资料，首先就是Scrum过程管理方法我们是不理解的，其次是什么是敏捷过程，什么是Scrum过程管理方法？我们也仅此了解了一点思路。 1、‘敏捷过程’首先敏捷过程就是一种过程控制论，通俗的说，就是一种做事情的方法，按照步骤一步步的解决问题。 特点：以人为中心，循序渐进，不断优 ......

Java运算符 Java运算符有：算术运算符、关系运算符、位运算符、逻辑运算符、赋值运算符、其他运算符 算术运算符 A=10，B=20 操作符 描述 例子 + 加法，运算符两侧的值相加 A+B=30 - 减法，运算符两侧的值相减 B-A=10 * 乘法，运算符两侧的值相乘 A*B=200 / 除法， ......

GUI编程 如何学习？ 这是什么？ 它怎么玩？ 该如何去平时运用？ 组件 窗口 弹窗 面板 文本框 列表框 按钮 图片 监听事件 鼠标 键盘 破解工具 1. 简介 Gui的核心技术：Swing AWT，不流行，快被淘汰了， 因为界面不美观 需要jre环境 为什么我们要学习？ 可以写出自己心中想要的一 ......

上节回顾 # 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 ......