中间件 架构 框架 随笔
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
进制表示-03 浮点数-随笔
#未来可期 昨天看了很多软考心得，有些博主让我钦佩不已，同时也体现出这一段路不好走， 对于软考架构也有了一定的了解$\Longrightarrow$程序员(初级)$\Longrightarrow$软件设计师(中级)$\Longrightarrow$系统架构设计师(高级) 思维导图 #浮点数 特点： ......
pytest + yaml 框架 -22.validate 校验返回结果的几种方式
前言 validate 校验返回结果的几种方式总结 环境要求 Python 大于等于3.8版本，（低于python3.8版本不支持） Pytest 大于等于 7.2.0 pip 安装插件, 最新版本v1.1.9 pip install pytest-yaml-yoyo v1.1.9 版本做了以下优化 ......
一统天下 flutter - widget 架构类: Scaffold 的 TabBar - 选项卡（基础）
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold 的 TabBar - 选项卡（基础） 示例如下: lib\widget\structure\scaf ......
一统天下 flutter - widget 架构类: Scaffold 的 TabBar - 选项卡（自定义 TabController，通过程序切换选项卡，以及如何保持每个 Tab 对应的内容的状态）
一统天下 flutter - widget 架构类: Scaffold 的 TabBar - 选项卡（自定义 TabController，通过程序切换选项卡，以及如何保持每个 Tab 对应的内容的状态） ......
一统天下 flutter - widget 架构类: Scaffold - 脚手架
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold - 脚手架 示例如下: lib\widget\structure\scaffold.dart /* ......
一统天下 flutter - widget 架构类: Scaffold 的 FloatingActionButton - 悬浮按钮
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold 的 FloatingActionButton - 悬浮按钮 示例如下: lib\widget\str ......
一统天下 flutter - widget 架构类: Scaffold 的 AppBar - 顶部导航栏
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold 的 AppBar - 顶部导航栏 示例如下: lib\widget\structure\scaffo ......
一统天下 flutter - widget 架构类: Scaffold 的 BottomNavigationBar - 底部导航栏
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold 的 BottomNavigationBar - 底部导航栏 示例如下: lib\widget\str ......
一统天下 flutter - widget 架构类: MaterialApp - 符合 Material Design 的根组件
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: MaterialApp - 符合 Material Design 的根组件 示例如下: lib\widget\stru ......
一统天下 flutter - widget 架构类: Scaffold 的 Drawer - 侧滑菜单（左侧抽屉/右侧抽屉）
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - widget 架构类: Scaffold 的 Drawer - 侧滑菜单（左侧抽屉/右侧抽屉） 示例如下: lib\widget\struct ......
Python Scrapy框架
一、安装 #Windows平台 1、pip install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs 2、下载twisted的wheel文件：http://www.lfd.uci. ......
LeetCode|876. 链表的中间结点
题目链接：876. 链表的中间结点 难度简单829收藏分享切换为英文接收动态反馈 给你单链表的头结点 head ，请你找出并返回链表的中间结点。 如果有两个中间结点，则返回第二个中间结点。 示例 1： 输入：head = [1,2,3,4,5] 输出：[3,4,5] 解释：链表只有一个中间结点，值为 ......
Linux发布命令随笔
发布步骤，登录后 前端目录：/home/front 后端目录：/home/project 前端发布步骤： 1、删除/home/front/下的vueproject.zip文件 2、删除/home/front/static 下的除了.fy文件 3、把包放到/home/front/ 4、执行修改包文件的 ......
如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。 一、安装 $ pip install scrapy 二 ......
微服务架构实战学习（一）：微服务架构
微服务架构 什么是微服务 微服务是一种系统架构上的设计风格,它的主旨是架构将一个原本独立的系统拆分成多个小型的服务,每个服务都在各自的进程中运行(可以在不同物理机器上),每个小型服务可以独立部署运行,服务之间通过基于HTTP的RESTful API进行通信协作. 每个服务都是基于业务场景中一些耦合度 ......
《网络是怎样连接的》--读书随笔
1.什么是分布架构？ 当性能不足时，使用多台服务器来分担负载的方法更有效。 这种架构统称为分布架构。 2.负载均衡，可以使用DNS服务器来做？ 就是每次，查询www.baidu.com的时候，假设它告诉我们39.0.0.10，39.0.0.20，39.0.0.30 三个地址，我们每次查询的时候，返回 ......
Mybatis-Flex 一个优雅的 Mybatis 增强框架
Mybatis-Flex： 更灵活、更轻量、更好用 特征 很轻量，整个框架只依赖 Mybatis 再无其他第三方依赖 只增强，支持 Entity 的增删改查、及分页查询，但不丢失 Mybatis 原有功能 内置 Db + Row 工具，可以无需实体类对数据库进行增删改查 支持多种数据库类型，还可以通 ......
斯坦福 UE4 C++ ActionRoguelike游戏实例教程 06.敲定AI——游戏框架拓展和细节优化
这篇文章对应课程13课， 50~54节。虽然标题是敲定AI，实际内容和AI关联并不大，主要工作是对游戏内各种细节做优化，涉及到的新知识并不多。本篇文章便出于记录的目的，对课程里进行的各种优化做下简单讲解。具体进行了哪些优化，让我们边做边说。 ......
每日随笔3.21
cp作业换线查询 今天经过了将近两个小时的的努力，将昨天的迪杰斯特拉算法改到了Servlst上面，并进行了实现，努力没有白费，可以查询出来，后期优化一下界面我觉得就可以了 以下为界面展示：选取的嘉华路到柳辛庄 具体实现方法为：在网上找到的具体代码，进行展示，进行修改，建立与之匹配的数据库，建立连接， ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
1688商品发布框架升级，海量规则如何覆盖
1688商品发布框架升级，海量规则如何覆盖？ https://mp.weixin.qq.com/s/1pU36WazmxglJHC7T_fmXQ 1688商品发布框架升级，海量规则如何覆盖？ 原创 阿里巴巴技术质量 阿里巴巴技术质量 2023-03-17 10:00 发表于北京 阿里QA导读：168 ......
pytest单元测试框架
一，pytest单元测试框架 1.什么是单元测试框架 单元测试是指在软件开发当中，针对软件的最小单位（函数，方法）进行正确性的检测测试。 2.单元测试框架 java: junit和testng python: unittest和pytest 3.单元测试框架主要做什么？ 1.测试发现：从多个文件里面 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
为什么Tomcat架构要这么设计？这篇文章告诉你答案！
Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。 很多环境变量的设置都在此处，例如可以设置JDK路径、tomcat路径 startup文件：主要是 ......