架构 常用 模式 软件

爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置,提高爬取效率、持久化方案、全站爬取cnblogs文章、

==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
scrapy 爬虫 全站 架构 settings

设计模式-javascript实现【代理模式】

定义: 代理模式是为一个对象提供一个代用品或占位符,以便控制对它的访问。 1. 代理模式的实现 const Flower = function(){}; const xiaoming = { sendFlower: function(target){ const flower = new Flowe ......
模式 设计模式 javascript

ftp的主动被动模式区别

vsftpd模式设置 vsftpd.conf 被动模式 pasv_enable=YES 主动模式 pasv_enable=NO 主动模式 典型特征是服务端开放20端口,ftp主动连接客户端(在ip不一个网段的场景就gg了,如:k8s中pod->vsftpd,路由器下机器到互联网的ftp) 被动模式 ......
模式 ftp

设计模式-javascript实现【设计原则】

1. 单一职责原则(SRP原则) 单一职责原则的职责被定义为“引起变化的原因”。如果我们有两个动机去改写一个方法,那么这个方法就具有 两个职责。每个职责都是变化的一个轴线,如果一个方法承担了过多的职责,那么在需求变迁过程中,需要改 写这个方法的可能性就越大。 因此,SRP原则体现为:一个对象(方法) ......
设计模式 javascript 原则 模式

javaSE-day04(常用API三)

1.为什么JDK8要新增日期类 /** * 目标:搞清楚为什么要用JDK 8开始新增的时间类。 */ public class Test { public static void main(String[] args) { // 传统的时间类(Date、SimpleDateFormat、Calend ......
javaSE-day 常用 javaSE day API

常用方法

public class MyServlet extends HttpServlet { private ServletConfig config; // 定义一个config成员变量,利用servlet的初始化方法,对config赋值 @Override public void init(Serv ......
常用 方法

javaSE-day04(常用API二)

常用API小结(StringBuilder类、StringJoiner类、Math类、System类、Runtime、BigDecimal类、Data类、SimpleDataFormat、Calendar类) ......
javaSE-day 常用 javaSE day API

常用快捷键和Dos命令

电脑常用快捷键 Ctrl+C 复制 Ctrl+V 粘贴 Ctrl+A 全选 Ctrl+X 剪切 Ctrl+Z 撤销 Ctrl+S 保存 Alt+F4 关闭窗口 Shift+delete 永久删除文件 Windows+R 运行 cmd Windows+E 打开我的电脑 Ctrl+shift +esc ......
快捷键 命令 常用 Dos

100 多个常用免费 API 接口推荐与分享,收藏备用

写在最前 各类免费 API 接口整理,主要是 APISpace 上和其他各类开放平台上的一些,有需要的赶紧收藏备用。 高德地图 标准图层 TileLayer 卫星图层 TileLayer.Satellite 路网图层 TileLayer.RoadNet 实时交通图层 TileLayer.Traffi ......
接口 多个 常用 100 API

Redis哨兵模式实施方案

部署 Redis 主从节点 在部署 Redis 主从节点时,可以选择单机部署、容器部署或者集群部署等方式。需要注意的是,主节点和从节点的配置要保持一致,并且在主节点中设置密码,以增加安全性。 单机部署可以通过下载 Redis 的二进制文件并解压来完成,具体步骤如下: (1)下载 Redis 二进制文 ......
哨兵 实施方案 模式 方案 Redis

前端设计模式——状态模式

状态模式(State Pattern):将对象的行为和状态分离,使得对象可以根据不同的状态来改变自己的行为。在前端开发中,可以使用状态模式来管理页面的状态和响应用户的交互。 在状态模式中,对象的行为取决于其内部状态,当状态发生变化时,对象的行为也会相应地发生改变。这种模式通过将状态抽象为独立的类来实 ......
模式 设计模式 前端 状态

工作常用命令

1.git配置 git配置自己的秘钥 ssh-keygen -t rsa -C "xxx.com" -f ~/.ssh/qiaoqifa_id_rsa ......
命令 常用

接口自动化行情+pytest常用的库

一.常用的接口自动化框架 1.市面上主流的接口测试工具:(适用于中小型公司或者项目) Postman+Newman+Git+Jenkins Jmeter+Ant+Git+Jenkins 目前主流的接口自动化测试技术:(适用于大小型公司或项目) Python+requests+pytest+allur ......
接口 常用 行情 pytest

Python常用语法

[m:n] #切片操作,取a[m]~a[n-1]之间的内容,m\n可以为负,m>n时返回空 [m::n] #从a[m]开始,每跳|n|个取一个,当n为负时逆序取数,当n为正的时候,m为空则默认m=0,n为负时,m为空则默认为-1 若局部变量和全局变量名重合:函数内存在变量,函数内只会调用局部变量,如 ......
语法 常用 Python

Solon2 接口开发: 实战 Gateway 模式效果

1、效果预览 网关 @Mapping("/api/v3/app/**") @Component public class ApiGateway3x extends UapiGateway { @Override protected void register() { filter(new Break ......
实战 接口 效果 Gateway 模式

《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14

0、什么是JS渗透测试? 在Javascript中也存在变量和函数,当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP,JAVA,NET等区别在于即没有源代码,也可以通过浏览器的查看源代码获取真实的点。获取URL,获取JS敏感信息,获取代码传参等,所以相当于JS开发的WEB应用属于白 ......
amp 爬虫 架构 插件 框架

策略模式1

package com.cmit.budget.strategy; import org.apache.commons.lang3.StringUtils; import org.springframework.stereotype.Component; import java.util.Map; ......
策略 模式

docker 安装各软件

docker 安装mysql docker pull mysql:5.7 docker run -p 3306:3306 --name mysql -v /mydata/mysql/log:/var/log/mysql -v /mydata/mysql/data:/var/lib/mysql -v ......
docker 软件

为什么Tomcat架构要这么设计?这篇文章告诉你答案!

Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令,主要有两大类,一类是以.sh结尾的(linux命令),另一类是以.bat结尾的(windows命令)。 很多环境变量的设置都在此处,例如可以设置JDK路径、tomcat路径 startup文件:主要是 ......
架构 篇文章 答案 Tomcat

软件工程日报二十一——实现不同线路的换乘查询

今天,我和我的伙伴终于实现了地铁系统的换乘查询。 我们利用SQL语句进行递归调用,通过多次遍历数据表,获得换乘站点的信息,然后再根据起点和终点来遍历出不同的线路信息。 具体实现效果如下: 通过图片可以看出,本次换乘查询实现了最简路径、经停站点、以及具体线路的相关内容,算是初步完成了pc端的地铁查询系 ......
软件工程 线路 日报 工程 软件

PC 护眼模式(凑合用)

产品经理说PC客户端要做护眼模式,理由是竞品做了! win10 自带夜间模式,win7通过调整饱和度,色调也可以达到同样的效果,但是多方查找并没有找到系统提供的api。参考其它可以实现此功能的软件,比如“联想护眼管理 v2.6.50.4081.exe”,或者 LightBulb等。有的是自己做了一层 ......
模式 PC

go 常用设计模式-创建型模式

本次分享的创建型模式主要包括: 单例模式 简单工厂模式 工厂模式 抽象共工厂模式 1.单例模式 package singleton import "sync" /* 创建型模式 */ var ( instance Singleton once sync.Once ) type Singleton s ......
模式 设计模式 常用 go

go 常用设计模式-行为型模式

本次分享的行为型模式,主要包含: 责任链模式 策略模式 观察者模式 模板模式 访问者模式 1.责任链模式 package chainOfResponsibility import "fmt" /* 行为模式: 通过账目报销的例子说明,不同的级别领导,其权限不同,如100元级别,100元级别等 */ ......
模式 设计模式 常用 行为 go

go 常用设计模式-结构型模式

本次分享结构型模式,主要包括: 代理模式 装饰器模式 适配器模式 享元模式 1.代理模式 package proxy import "fmt" /* 结构型模式 代理,代表打理,以他人的名义代表委托人打理其本职工作之外或不所能及的事务,达成合作关系并更高效地促成事务完成的目的。 强调的是对被代理对象 ......
结构型 模式 设计模式 常用 结构

(二十二)命令模式

1. 概述 命令模式(Command),将一个请求封装为一个对象,从而使你可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤销的操作。 2. 示例 Command 类,用来声明执行操作的接口。 Command.java public abstract class Command ......
命令 模式

学习软件下载

学习软件下载方法 Mac版本安装 Office , ps , pycharm , matlab : https://www.macyy.cn/resources 部分软件可在该网站安装,里面包含安装包破解版以及安装流程。 SPSS 26版本 【干货!Mac版SPSS26安装包和安装教程直装版,安装简 ......
软件下载 软件

从3k到3w,一名普通软件测试员真正的加薪路线图(建议收藏)

其实测试行业未来发展之路是几乎所有关于软件测试工程师都会在意的话题,相信各位看官也很迷茫自己的发展路线。为了方便大家选择和比较,我也将我的经验和观点分享出来,以作参考。如果小伙伴们有更好的观点,欢迎分享和探讨,互相学习! 一、技术方向 就技术方向的职业发展之路,我非常赞同之前看过的一篇文章里说的,如 ......
路线图 软件测试 路线 建议 软件

《Qura精选:为什么软件开发周期总是预估的2~3倍?》读后感

读了《Qura精选:为什么软件开发周期总是预估的2~3倍?》后,我大概对为什么软件开发周期总是预估的2~3倍?这问题有了自己的理解。 文章中用了徒步旅行这个例子来描绘了软件开发。一开始我们在进行软件开发预估周期时总是太过于理想化,就像文章中徒步旅行的时候以为道路全是平坦的,自己也不会受伤或者因为自己 ......
读后 读后感 软件开发 周期 软件

Docker 常用命令

gpt帮忙生成的笔记哈哈哈,仅供参考 Docker 常用命令的详细说明。 docker run 创建并运行一个新的容器。 语法: docker run [OPTIONS] IMAGE [COMMAND] [ARG...] 常用参数: -d:后台运行容器。 -p:将容器端口映射到宿主机端口。 -v:将 ......
命令 常用 Docker

scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理,cookie,header,加入selenium

# 1 selenium -登录cnblogs,拿到cookie,再打开cnblogs,写入cookie,它就是登录状态 -半自动点赞 》selenium生成的cookie,给requests用 -selenium操作浏览器,速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
scrapy 数据 爬虫 中间件 全站