分布式 一代 框架 任务
分布式缓存
分布式系统中常用的缓存方案有哪些？ 客户端缓存：页面和浏览器缓存，APP缓存，H5缓存，localStorage和sessionStorage CDN缓存： 内存存储：数据的缓存 内容分发：负载均衡 nginx缓存：本地缓存，外部缓存 数据库缓存：持久层缓存（mybatis，hibernate多级缓 ......
通用时钟框架 【ChatGPT】
https://www.kernel.org/doc/html/v6.6/driver-api/clk.html#the-common-clk-framework Common Clk Framework 作者 Mike Turquette mturquette@ti.com 本文旨在解释通用时钟框 ......
分布式事务
什么是分布式事务？ 对于分布式系统而言，需要保证分布式系统中的数据一致性，保证数据在子系统中始终保持一致，避免业务出现问题。 简单的说，在分布式系统上，一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务节点上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护，即同一时刻只允许一个线程访问共享资源，其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
硬件自旋锁框架 【ChatGPT】
https://www.kernel.org/doc/html/v6.6/locking/hwspinlock.html 硬件自旋锁框架 简介 硬件自旋锁模块为异构处理器和不在单一共享操作系统下运行的处理器之间的同步和互斥提供硬件辅助。 例如，OMAP4具有双核Cortex-A9、双核Cortex- ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
分布式ID
1.分布式ID 什么是 ID？ 日常开发中，我们需要对系统中的各种数据使用 ID 唯一表示，比如用户 ID 对应且仅对应一个人，商品 ID 对应且仅对应一件商品，订单 ID 对应且仅对应一个订单。 简单来说，ID 就是数据的唯一标识。 什么是分布式 ID？ 分布式 ID 是分布式系统下的 ID。 举 ......
【前端框架Vue】Vue是什么？怎么用？
Vue是JS的一种框架，用于构建用户界面的JS框架。可以理解为，Vue通过指令和模板语法，将数据和HTML模板关联起来，实现一种响应式的数据驱动视图的方式 Vue是什么？ Vue是JS的一种框架，用于构建用户界面的JS框架。可以理解为，Vue通过指令和模板语法，将数据和HTML模板关联起来，实现一种 ......
公式识别任务各个链条全部打通
引言 随着LaTeX-OCR模型转换问题的解决，公式识别任务中各个链条已经全部打通。小伙伴们可以放开膀子干了。 解决业界问题的方案，并不是单独训练一个模型就完事了，而是有着上下游的依赖。这就像工厂中流水线作业一样，一个小东西的生产是依赖无数个中间阶段才完成的。 一个模型应用到产品中，也是有着类似的流 ......
Linux p15 定时任务调度
定时任务调度 一、crond 任务调度 基本介绍 crontab 进行定时任务的设置 概述 任务调度：是指系统在某个时间执行的特定的命令或程序。 任务调度分类： 系统工作：有些重要的工作必须周而复始地执行。如病毒扫描等。 个别用户工作：个别用户可能希望执行某些程序，比如对ysq数据库的备份。 基本语 ......
前端框架中 MVC 和 MVVM 两种设计方式的区别
MVC 和 MVVM 是两种常见的软件架构模式。它们都致力于提供清晰的组织结构和代码分离，让开发者能够更有效率地开发和维护复杂的应用程序。然而，它们在组织代码和处理用户交互上有一些重要的区别。 首先，让我们了解一下 MVC（Model-View-Controller）模式。MVC 是一种设计模式，被 ......
pytest + yaml 框架 -59.用例失败重跑机制pytest-rerunfailures
前言 有些接口可能不太稳定，第一次跑的时候由于网络原因或者其它原因失败，但是重新跑2次又成功了。 对于这种需要重新跑几次的场景，可以使用用例失败重跑机制，需安装pytest-rerunfailures 插件。 场景示例 失败重跑需要依赖 pytest-rerunfailures 插件，使用 pip ......
计划任务与日志
[root@localhost ~]# systemctl enable crond [root@localhost ~]# ps aux|grep crond root 6242 0.3 0.0 126380 1656 ? Ss 16:27 0:00 /usr/sbin/crond -n cron ......
scrum｜敏捷开发之任务看板
上篇文章中，我讲了敏捷第一步-每日站立会，讲了我们平时是怎么开站立会的，其实15-30分钟就够了，绝对不是时间长得让你想拄拐那种。本文我们开始讲敏捷开发中的看板。没有看板之前，我们真的是在白板上画泳道，写卡片，挪动卡片，在白板前开站立会。现在支持任务看板的产品也越来越多了，大家开站立会也方便了，没必 ......
Java-Spring框架中用到的设计模式
Java-Spring框架中用到的设计模式 单例模式（Singleton） Spring 中的 Bean 默认是单例的，容器中只存在一个实例。这有助于节省资源，提高性能。 工厂模式（Factory） Spring 使用工厂模式来创建和管理 Bean。通过配置文件或注解，Spring 容器可以根据需要 ......
scrapy框架之自定义简易scrapy框架
自定义low版Scrapy框架： 1 from twisted.internet import reactor #事件循环(终止条件，所有的socket都已经移除) 2 from twisted.web.client import getPage #socket对象（如果下载完成..自动从事件循环中 ......
scrapy框架之Twisted
① getPage 1 1 # socket对象（如果下载完成..自动从事件循环中移除） 2 2 from twisted.web.client import getPage 详解： 1 def getPage(url, contextFactory=None, *args, **kwargs): ......
scrapy框架之中间件
一.下载中间件（DownMiddleware） 三种方法： 1 process_request(self, request, spider) 2 3 process_response(self, request, response, spider) 4 5 process_exception(sel ......
scrapy框架之自定制命令
自定制命令 1. 在spiders同级创建任意目录，如：commands 2. 在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令） #crawlall.py文件 1 from scrapy.commands import ScrapyCommand 2 from scrapy. ......
scrapy框架之基本使用
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ......
scrapy框架之选择器
1 from scrapy.selector import Selector, HtmlXPathSelector 2 from scrapy.http import HtmlResponse 3 html = """<!DOCTYPE html> 4 <html> 5 <head lang="en ......
tornado框架之模型绑定
模型绑定有两个主要功能： 自动生成html表单 用户输入验证 在之前学习的Django中为程序员提供了非常便捷的模型绑定功能，但是在Tornado中，一切需要自己动手！！！ 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset=" ......
scrapy框架之配置文件1
部分配置文件详解： 1 # -*- coding: utf-8 -*- 2 3 # Scrapy settings for test001 project 4 # 5 # For simplicity, this file contains only settings considered impo ......
scrapy框架之配置文件2
① 自动限速算法 1 """ 2 17. 自动限速算法 3 from scrapy.contrib.throttle import AutoThrottle 4 自动限速设置 5 1. 获取最小延迟 DOWNLOAD_DELAY 6 2. 获取最大延迟 AUTOTHROTTLE_MAX_DELAY ......
scrapy框架之自定义扩展
自定义扩展时，利用信号在指定位置注册制定操作 源码剖析： 1 from scrapy.extensions.telnet import TelnetConsole #查看TelnetConsole源码 2 3 # Enable or disable extensions 4 # See https: ......
自定义异步非阻塞web框架
Python的Web框架中Tornado以异步非阻塞而闻名，本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架，其中便是众多异步非阻塞Web框架内部原理。 图示： 上面的是异步IO模块：作为客户端发送请求给服务端，实现同时发多个请求的的功能，select监听socket是否有 ......
scrapy框架之自定义URL去重
scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #一般更改此参数 2 DUPEFILTER_DEBUG = False 3 JOB ......
tornado框架之cookie&session
一、cookie Tornado中可以对cookie进行操作，并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie ......
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......