中间件 框架 常用koa
自定义异步非阻塞web框架
Python的Web框架中Tornado以异步非阻塞而闻名，本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架，其中便是众多异步非阻塞Web框架内部原理。 图示： 上面的是异步IO模块：作为客户端发送请求给服务端，实现同时发多个请求的的功能，select监听socket是否有 ......
scrapy框架之自定义URL去重
scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #一般更改此参数 2 DUPEFILTER_DEBUG = False 3 JOB ......
tornado框架之cookie&session
一、cookie Tornado中可以对cookie进行操作，并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie ......
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......
tornado框架之基本用法
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 ......
C基础常用代码
1. 写文件 #include <stdio.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <errno.h> #include <string.h> / ......
两侧向中间闭合高亮效果
两个要点 1. z-index为任意值，包括负值，可实现与isolation: isolate;一样效果，生产独立的层级上下文 2. 绝对定位的元素scaleX宽度变化，扩大从中间向两侧扩大，缩小从两侧向中间缩小 <!DOCTYPE html> <html> <head> <meta charset ......
SqlServer常用语句
--添加表描述 EXECUTE sp_addextendedproperty 'C', '课程表', 'user', 'dbo', 'table', 'Course',NULL, NULL; --添加字段描述 EXECUTE sp_addextendedproperty 'MS_Descriptio ......
已解决：若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader
先描述一下当时的场景 回忆 看到出错了，我就想可能是哪个路径写错了，或者导依赖名字写对，或者说是多了少了标点符号什么的。 然而，还是想简单了，检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍，检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样，去找别的 ......
脚手架架构设计和框架搭建
站在前端研发的角度，分析开发脚手架的必要性 脚手架核心价值是将研发过程 自动化：项目重复代码拷贝/git操作/发布上线操作 标准化：项目创建/git flow/发布流程/回滚流程 数据化：研发过程数据化、系统化，使得研发过程可量化 自研脚手架和自动化构建工具的区别 市面上已经有了如Jenkins,t ......
DRF框架视图类清晰整合
2个视图基类&5个视图mixins扩展类&9个GenericAPIView的视图子类&5个viewsets视图集基类 2个视图基类 APIView 等级最高 但是写起来代码量也最多 # 基于APIView写的view.py class BookView(APIView): def get(self, ......
常用依赖（持续更新中）
常见依赖（持续更新中） pagehelper（mybits分页查询插件） <dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper-spring-boot-starter</artifactId> <ve ......
CentOS7 常用命令集合
常用命令 文件与目录操作 以下是CentOS 7 防火墙的完整操作命令： 查看防火墙状态。systemctl status firewalld 开启/关闭防火墙。systemctl start/stop firewalld 查看已安装防火墙规则。firewall-cmd --list-ports 添 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
.net下优秀的MQTT框架MQTTnet使用方法，物联网通讯必备
MQTTnet 是一个高性能的MQTT类库，支持.NET Core和.NET Framework。 MQTTnet 原理： MQTTnet 是一个用于.NET的高性能MQTT类库，实现了MQTT协议的各个层级，包括连接、会话、发布/订阅、QoS（服务质量）等。其原理涉及以下关键概念： MqttCli ......
数字孪生常用技术栈
通常友友们看到我发的好看的可是化图片，经常问我是怎么实现的，用的什么软件，其实还真不是一项技术和一个软件就能达成的，这次我分享下web端的技术栈和软件，下次分享桌面端的。 3D建模软件： 数字孪生需要建立一个虚拟的三维环境，因此需要使用3D建模软件来创建模型。常用的3D建模软件有3ds Max、Ma ......
python学习笔记-tornado框架
一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle ......
框架运行出错
定位错误的进程（我们的例子是Datanode） 查看错误进程的日志（去DN挂掉的节点，找到其日志，例子里面我们查看hadoop102的DN日志） 定位运行日志位置 日志的位置就在Hadoop家目录下logs文件夹里面 查看日志 tail -n 100 /opt/module/hadoop-3.1.3 ......
Java登陆第二十天——HTML常用标签
文本标签 文本常用的HTML标签： 标签名 标签描述 <h1></h1> 标题标签 <h6></h6> 标题标签 <p></p> 段落标签 <hr> 换行标签 <br> 换行标签 标签栗子： <!DOCTYPE html> <html lang="en"> <head> <meta charset= ......
UML九个常用图的详细总结
Unified Modeling Language (UML)是一种用于软件系统设计和建模的标准化语言。它包括多种图表，每种图表都有不同的用途。以下是UML中九个常用图的详细总结： 1.用例图（Use Case Diagram）: 目的： 描述系统与外部实体（称为参与者）之间的功能交互。 元素： 参 ......
UML九个常用图总结
用例图（Use Case Diagram）是Unified Modeling Language（UML）中的一种图表类型，用于描述系统的功能需求和系统与外部实体（称为参与者）之间的交互。以下是用例图的一些关键元素和说明： 1.参与者（Actors）: 2.定义： 表示与系统交互的外部实体，可以是人、 ......
LeetCode876. 链表的中间结点
题目描述 思路：快慢指针 快指针一次走两步 慢指针一次走一步 当快指针到达末尾的时候，慢指针所指的就是链表的中点 方法一： /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode ......
java 单元测试之 - Spring框架提供的单元/集成测试注解
java 单元测试之 - Spring框架提供的单元/集成测试注解 Spring框架提供了很多注解来辅助完成单元测试和集成测试(备注：这里的集成测试指容器内部的集成测试，非系统间的集成测试)，先看看Spring框架提供了哪些注解以及对应的作用。@RunWith(SpringRunner.class) ......
常用软件的官方下载地址
VS下载 Visual Studio 2013 Downloads & Keys - Visual Studio Subscriptions 一个强大的代码编辑器 Visual Studio 2015 Downloads & Keys - Visual Studio Subscriptions 一个 ......
docker run 命令常用参数详解
Docker run 命令是在 Docker 中创建和运行容器的主要命令之一。它允许根据需要配置容器的各种属性。 下面讲了 docker run 命令的一些常见用法和示例。 docker run 命令示例 以下是一个比较常见的 Docker run 命令示例，用于创建一个 NGINX 容器： doc ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
UML9种常用图
1.用例图 用例图是用来描述系统功能的技术，表示一个系统中用例与参与者及其关系的图，主要用于需求分析阶段。 用例图的基本组成元素：参与者、用例、元素之间的关系。 用例图使用范围：需求分析 1.捕获需求。描述功能需求、行为需求（系统要完成什么任务） 2.分析需求。明确类和对象，建立之间的关系 用例图的 ......
wpf 颜色转换常用方法
设置颜色:Color color = Color.FromArgb(透明度, red数字, green数字, blue数字); //这四个数字范围都是（0-255）Color color = Color.FromRgb(red数字, green数字, blue数字);//默认透明度为255； but ......
JavaSe(11) - 常用API(上)
JavaSe(11) - 常用API(上) P155 Math 基本数学计算的工具类,包含执行基本数学运算的方法, 例如指数, 对数, 平方根, 三角函数... 方法名 说明 public static int abs(int a) 获取绝对值 ceil(double a) 向上取整 floor(d ......