中间件 架构 框架 随笔
scrapy框架之选择器
1 from scrapy.selector import Selector, HtmlXPathSelector 2 from scrapy.http import HtmlResponse 3 html = """<!DOCTYPE html> 4 <html> 5 <head lang="en ......
tornado框架之模型绑定
模型绑定有两个主要功能： 自动生成html表单 用户输入验证 在之前学习的Django中为程序员提供了非常便捷的模型绑定功能，但是在Tornado中，一切需要自己动手！！！ 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset=" ......
scrapy框架之配置文件1
部分配置文件详解： 1 # -*- coding: utf-8 -*- 2 3 # Scrapy settings for test001 project 4 # 5 # For simplicity, this file contains only settings considered impo ......
scrapy框架之配置文件2
① 自动限速算法 1 """ 2 17. 自动限速算法 3 from scrapy.contrib.throttle import AutoThrottle 4 自动限速设置 5 1. 获取最小延迟 DOWNLOAD_DELAY 6 2. 获取最大延迟 AUTOTHROTTLE_MAX_DELAY ......
scrapy框架之自定义扩展
自定义扩展时，利用信号在指定位置注册制定操作 源码剖析： 1 from scrapy.extensions.telnet import TelnetConsole #查看TelnetConsole源码 2 3 # Enable or disable extensions 4 # See https: ......
自定义异步非阻塞web框架
Python的Web框架中Tornado以异步非阻塞而闻名，本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架，其中便是众多异步非阻塞Web框架内部原理。 图示： 上面的是异步IO模块：作为客户端发送请求给服务端，实现同时发多个请求的的功能，select监听socket是否有 ......
scrapy框架之自定义URL去重
scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #一般更改此参数 2 DUPEFILTER_DEBUG = False 3 JOB ......
tornado框架之cookie&session
一、cookie Tornado中可以对cookie进行操作，并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie ......
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......
tornado框架之基本用法
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 ......
两侧向中间闭合高亮效果
两个要点 1. z-index为任意值，包括负值，可实现与isolation: isolate;一样效果，生产独立的层级上下文 2. 绝对定位的元素scaleX宽度变化，扩大从中间向两侧扩大，缩小从两侧向中间缩小 <!DOCTYPE html> <html> <head> <meta charset ......
已解决：若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader
先描述一下当时的场景 回忆 看到出错了，我就想可能是哪个路径写错了，或者导依赖名字写对，或者说是多了少了标点符号什么的。 然而，还是想简单了，检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍，检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样，去找别的 ......
脚手架架构设计和框架搭建
站在前端研发的角度，分析开发脚手架的必要性 脚手架核心价值是将研发过程 自动化：项目重复代码拷贝/git操作/发布上线操作 标准化：项目创建/git flow/发布流程/回滚流程 数据化：研发过程数据化、系统化，使得研发过程可量化 自研脚手架和自动化构建工具的区别 市面上已经有了如Jenkins,t ......
邀请函 | 合作发展，赋能增效--新架构下汽车电子软件研发技术研讨会
会议介绍 随着汽车智能化、网联化快速演进，“软件定义汽车、架构定义软件”愈发形成行业共识。汽车上的软件应用在提升用户体验、推动行业技术创新方面发挥着至关重要的作用。 在此背景下，如何有效地提升软件开发效率、更好地管理软件质量、满足行业安全标准要求，从而为软件开发和管理团队赋能，赢得智能网联汽车竞争的 ......
iPaaS架构深入探讨
在数字化时代全面来临之际，企业正面临着前所未有的挑战与机遇。技术的迅猛发展与数字化转型正在彻底颠覆各行各业的格局，不断推动着企业迈向新的前程。然而，这一数字化时代亦衍生出一系列复杂而深奥的难题：各异系统之间数据孤岛、应用融合的交互难关、业务流程的柔性困境等等。在这复杂的背景下，企业必须毅然采取深具洞 ......
DRF框架视图类清晰整合
2个视图基类&5个视图mixins扩展类&9个GenericAPIView的视图子类&5个viewsets视图集基类 2个视图基类 APIView 等级最高 但是写起来代码量也最多 # 基于APIView写的view.py class BookView(APIView): def get(self, ......
PAVELINK.SOA-Converter新版本发布，助力SOA架构开发
背景 随着汽车行业的不断迭代发展，市场及消费者对汽车提出了更高的要求，智能网联、自动驾驶等新技术的应用推动整车厂对车载芯片、汽车软件等方面投入了更多的精力，SOA（面向服务的架构）逐渐成为大多整车厂顺应市场趋势和技术趋势的首选。SOA架构使服务间的通讯变得更加简单，ECU更新、软件升级等变得更加灵活 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
.net下优秀的MQTT框架MQTTnet使用方法，物联网通讯必备
MQTTnet 是一个高性能的MQTT类库，支持.NET Core和.NET Framework。 MQTTnet 原理： MQTTnet 是一个用于.NET的高性能MQTT类库，实现了MQTT协议的各个层级，包括连接、会话、发布/订阅、QoS（服务质量）等。其原理涉及以下关键概念： MqttCli ......
Spring Boot学习随笔-第一个SpringBoot项目快速启动（org.springframework.boot、@SpringBootApplication、application.yml）
快速启动SpringBoot项目，包括引入spring-boot-starter-parent，@SpringBootApplication入口类注解、自动保存刷新pom.xml ......
python学习笔记-tornado框架
一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle ......
框架运行出错
定位错误的进程（我们的例子是Datanode） 查看错误进程的日志（去DN挂掉的节点，找到其日志，例子里面我们查看hadoop102的DN日志） 定位运行日志位置 日志的位置就在Hadoop家目录下logs文件夹里面 查看日志 tail -n 100 /opt/module/hadoop-3.1.3 ......
2023年12月7日每日随笔
今天，软考分数出来了，然后，过了，每一科都多考了10分差不多，然后，把我考试准备的笔记发一下，虽然最后没有看，最后看的是别人的笔记： 别人笔记的博客地址：软考（软件设计师）考点总结 -- 超详细整理_软件工程师软考总结_龙源lll的博客-CSDN博客 自己的也发一下：毕竟是自己一点一点做的笔记（不建 ......
LeetCode876. 链表的中间结点
题目描述 思路：快慢指针 快指针一次走两步 慢指针一次走一步 当快指针到达末尾的时候，慢指针所指的就是链表的中点 方法一： /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode ......
java 单元测试之 - Spring框架提供的单元/集成测试注解
java 单元测试之 - Spring框架提供的单元/集成测试注解 Spring框架提供了很多注解来辅助完成单元测试和集成测试(备注：这里的集成测试指容器内部的集成测试，非系统间的集成测试)，先看看Spring框架提供了哪些注解以及对应的作用。@RunWith(SpringRunner.class) ......
计算机网络中的通信子网：架构、协议与技术简介
在计算机网络中，通信子网是负责实现主机之间以及主机与终端之间数据传输的核心部分。它由一系列硬件设备和通信协议组成，为上层应用提供可靠、高效和透明的数据传输服务。本文将详细介绍通信子网的架构、协议与技术。 一、通信子网的架构 星型拓扑 星型拓扑结构是最常见的网络拓扑之一。在星型拓扑中，所有主机通过连接 ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
架构的范畴：架构与架构师
软件是一个复杂的东西，可以分为技术复杂度，业务复杂度以及管理的复杂度。 我们去处理所有的问题，不管是作为架构师，还是作为一个业务专家，还是作为一个项目管理的团队管理人员或技术管理人员。你就是要把一个很大的很复杂的这样的一个技术问题，拆成单纯问题和两难问题题，以及更小的技术问题再继续拆，把这些问题解决 ......
做服务的架构陷阱，你掌握了多少
本文分享自华为云社区《做服务的架构陷阱，你掌握了多少能避开吗？》，作者： 码乐 。 1 简介 通常在一个应用中，也很难有固定的分层。软件体系结构为软件系统提供了结构、行为和属性的高级抽象，在使用时可能随着时间推移分层越来越多，这些抽象和分层由构成系统的元素描述、这些元素的相互作用、指导元素集成的模式 ......