框架 单元pytest
scrapy框架之配置文件1
部分配置文件详解： 1 # -*- coding: utf-8 -*- 2 3 # Scrapy settings for test001 project 4 # 5 # For simplicity, this file contains only settings considered impo ......
scrapy框架之配置文件2
① 自动限速算法 1 """ 2 17. 自动限速算法 3 from scrapy.contrib.throttle import AutoThrottle 4 自动限速设置 5 1. 获取最小延迟 DOWNLOAD_DELAY 6 2. 获取最大延迟 AUTOTHROTTLE_MAX_DELAY ......
scrapy框架之自定义扩展
自定义扩展时，利用信号在指定位置注册制定操作 源码剖析： 1 from scrapy.extensions.telnet import TelnetConsole #查看TelnetConsole源码 2 3 # Enable or disable extensions 4 # See https: ......
自定义异步非阻塞web框架
Python的Web框架中Tornado以异步非阻塞而闻名，本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架，其中便是众多异步非阻塞Web框架内部原理。 图示： 上面的是异步IO模块：作为客户端发送请求给服务端，实现同时发多个请求的的功能，select监听socket是否有 ......
scrapy框架之自定义URL去重
scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #一般更改此参数 2 DUPEFILTER_DEBUG = False 3 JOB ......
tornado框架之cookie&session
一、cookie Tornado中可以对cookie进行操作，并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie ......
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......
tornado框架之基本用法
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 ......
已解决：若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader
先描述一下当时的场景 回忆 看到出错了，我就想可能是哪个路径写错了，或者导依赖名字写对，或者说是多了少了标点符号什么的。 然而，还是想简单了，检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍，检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样，去找别的 ......
脚手架架构设计和框架搭建
站在前端研发的角度，分析开发脚手架的必要性 脚手架核心价值是将研发过程 自动化：项目重复代码拷贝/git操作/发布上线操作 标准化：项目创建/git flow/发布流程/回滚流程 数据化：研发过程数据化、系统化，使得研发过程可量化 自研脚手架和自动化构建工具的区别 市面上已经有了如Jenkins,t ......
DRF框架视图类清晰整合
2个视图基类&5个视图mixins扩展类&9个GenericAPIView的视图子类&5个viewsets视图集基类 2个视图基类 APIView 等级最高 但是写起来代码量也最多 # 基于APIView写的view.py class BookView(APIView): def get(self, ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
.net下优秀的MQTT框架MQTTnet使用方法，物联网通讯必备
MQTTnet 是一个高性能的MQTT类库，支持.NET Core和.NET Framework。 MQTTnet 原理： MQTTnet 是一个用于.NET的高性能MQTT类库，实现了MQTT协议的各个层级，包括连接、会话、发布/订阅、QoS（服务质量）等。其原理涉及以下关键概念： MqttCli ......
python学习笔记-tornado框架
一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle ......
框架运行出错
定位错误的进程（我们的例子是Datanode） 查看错误进程的日志（去DN挂掉的节点，找到其日志，例子里面我们查看hadoop102的DN日志） 定位运行日志位置 日志的位置就在Hadoop家目录下logs文件夹里面 查看日志 tail -n 100 /opt/module/hadoop-3.1.3 ......
Java编写单元测试用例
Java编写单元测试用例 01 简介Java 中可以使用多个测试框架来执行单元测试，其中最流行的测试框架之一是JUnit。下面是一个简单的示例，说明如何使用 JUnit 框架编写和执行单元测试:02 一、 JUnit 包导入import org.junit.*;03 二、创建测试类这个类需要使用“@ ......
单元测试实战（二）Service 的测试
单元测试实战（二）Service 的测试 为鼓励单元测试，特分门别类示例各种组件的测试代码并进行解说，供开发人员参考。 本文中的测试均基于JUnit5。 单元测试实战（一）Controller 的测试 单元测试实战（二）Service 的测试 单元测试实战（三）JPA 的测试 单元测试实战（四）My ......
Java单元测试浅析（JUnit+Mockito）
Java单元测试浅析（JUnit+Mockito） 作者：京东物流 秦彪1. 什么是单元测试（1）单元测试环节：测试过程按照阶段划分分为：单元测试、集成测试、系统测试、验收测试等。相关含义如下：1) 单元测试： 针对计算机程序模块进行输出正确性检验工作。2) 集成测试： 在单元测试基础上，整合各个模 ......
java 单元测试之 - Spring框架提供的单元/集成测试注解
java 单元测试之 - Spring框架提供的单元/集成测试注解 Spring框架提供了很多注解来辅助完成单元测试和集成测试(备注：这里的集成测试指容器内部的集成测试，非系统间的集成测试)，先看看Spring框架提供了哪些注解以及对应的作用。@RunWith(SpringRunner.class) ......
Java Mockito 快速入门指南 Mock是指使用Mockito创建的模拟对象，它模拟真实对象的行为，用于替代真实对象的依赖项，以便进行独立的单元测试
Java Mockito 快速入门指南 Mock是指使用Mockito创建的模拟对象，它模拟真实对象的行为，用于替代真实对象的依赖项，以便进行独立的单元测试 在软件开发中，单元测试对于确保代码的正确性和可靠性至关重要。Mockito是一个强大的Java测试框架，它提供了丰富的功能和方法，使得编写模拟 ......
在使用openpyxl库操作带有合并单元格的Excel文件时，插入新的行或列可能会导致后面的数据错乱。这是因为openpyxl库在插入或删除行或列时，不会自动更新合并单元格的范围
在使用openpyxl库操作带有合并单元格的Excel文件时，插入新的行或列可能会导致后面的数据错乱。这是因为openpyxl库在插入或删除行或列时，不会自动更新合并单元格的范围1。 解决这个问题的一种方法是在插入新的行或列之前，先保存所有合并单元格的范围，然后在插入新的行或列之后，根据需要更新这些 ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
单元测试平台搭建：sonarQube+sonarScanner+Jenkins+jacoco
单元测试平台搭建及结果分析 一、方案 需求目标：提高单元测试覆盖率和规范代码编写规范 选用工具：Sonarqube、sonarqube Scanner、Jenkins、jacoco 方案： 工程中引入jacoco进行代码覆盖率统计，通过sonarqube scanner扫描工程编写规范，编写单元测试 ......
vs+xunit 单元测试
vs中nuget 安装Microsoft.NET.Test.Sdk、xunit、xunit.runner.visualstudio xunit测试demopublic class HelloTest { //xunit提供默认输出接口 private readonly ITestOutputHelp ......
ModuleNotFoundError: No module named '_pytest.resultlog'
新环境运行Python时报错 ModuleNotFoundError: No module named '_pytest.resultlog' 上网查，看到解决方法 https://www.cnblogs.com/QiKa/p/14457269.html 解决办法：①升级pytest-rerunfa ......
.NET 6 (C#) Microsoft.Extensions.Logging 日志框架的使用
.NET 6 中的日志框架主要是基于 Microsoft.Extensions.Logging，这是一个通用的、可扩展的日志记录接口，允许使用不同的日志提供程序（例如控制台、文件、第三方库等）进行日志记录。本文主要介绍 .NET 6 (C#) 中 Microsoft.Extensions.Loggi ......
.NET 6 (C#) Serilog 日志框架的使用
Serilog是.NET 6中常用的日志框架之一，用于记录和管理应用程序的日志信息。它具有灵活的配置选项和丰富的扩展功能，使开发人员能够轻松地集成日志记录功能到他们的应用程序中。Serilog是一个用于.NET应用程序的诊断日志库。它易于设置，具有清晰的API，并且可以在所有最新的.NET平台上运 ......
第五单元 特殊视图
1. _Layout.cshtml 布局页 布局视图和我们在Asp.Net MVC一样，布局视图_Layout.cshtml使得所有视图保持一致的外观变得更加容易，因为我们只有一个要修改的布局视图文件，更改后将立即反映在整个应用程序的所有视图中。 在 ASP.NET Core MVC 中，有一些视图 ......
@SpringBootTest 和 @RunWith 注解不能识别 单元测试第一步引入maven依赖
@SpringBootTest 和 @RunWith 注解不能识别 单元测试第一步引入maven依赖 一、背景 最近在预研 Rocketmq，在写小例子的时候，需要编写测试代码，突然间发现我的 @SpringBootTest 和 @RunWith 这两个注解不能识别，于是展开了我的问题排查过程。问题 ......