分布式 中间件 架构 框架
Python Scrapy框架
一、安装 #Windows平台 1、pip install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs 2、下载twisted的wheel文件：http://www.lfd.uci. ......
LeetCode|876. 链表的中间结点
题目链接：876. 链表的中间结点 难度简单829收藏分享切换为英文接收动态反馈 给你单链表的头结点 head ，请你找出并返回链表的中间结点。 如果有两个中间结点，则返回第二个中间结点。 示例 1： 输入：head = [1,2,3,4,5] 输出：[3,4,5] 解释：链表只有一个中间结点，值为 ......
如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。 一、安装 $ pip install scrapy 二 ......
Solon2 接口开发: 分布式 Api Gateway 开发预览
建议使用专业的分布式网关产品，比如： nginx apisix [推荐] k8s ingress controller 等... 对 Solon 来讲，只有 Gateway：它调用本地接口时，则为本地网关；调用远程接口时，则为分布式网关。 1、一个简单的分布式接口网关效果预览 基于上一节的 ApiG ......
微服务架构实战学习（一）：微服务架构
微服务架构 什么是微服务 微服务是一种系统架构上的设计风格,它的主旨是架构将一个原本独立的系统拆分成多个小型的服务,每个服务都在各自的进程中运行(可以在不同物理机器上),每个小型服务可以独立部署运行,服务之间通过基于HTTP的RESTful API进行通信协作. 每个服务都是基于业务场景中一些耦合度 ......
分布式锁的实现
多线程对同一资源的竞争，需要用到锁，例如Java自带的Synchronized、ReentrantLock。但只能用于单机系统中，如果涉及到分布式环境（多机器）的资源竞争，则需要分布式锁。分布式锁的主要作用： 保证数据的正确性： 比如：秒杀的时候防止商品超卖，表单重复提交，接口幂等性。 避免重复处理 ......
django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法
前言 django 使用django-bootstrap4插件时，使表单呈2列或其他列分布时的写法。 在django-bootstrap4中没有内置的方法设置表单内容成几列分布，这里采用bootstrap4的栅格布局实现效果 具体操作 forms.py class RegisterForm(User ......
分布式理论
一、分布式理论 1.CAP理论 CAP理论是说对于分布式数据存储，最多只能同时满足一致性（C，Consistency）、可用性（A， Availability）、分区容忍性（P，Partition Tolerance）中的两者。 1.一致性 是指对于每一次读操作，都能够读到最新写入的数据，且每个节点 ......
Mybatis-Flex 一个优雅的 Mybatis 增强框架
Mybatis-Flex： 更灵活、更轻量、更好用 特征 很轻量，整个框架只依赖 Mybatis 再无其他第三方依赖 只增强，支持 Entity 的增删改查、及分页查询，但不丢失 Mybatis 原有功能 内置 Db + Row 工具，可以无需实体类对数据库进行增删改查 支持多种数据库类型，还可以通 ......
斯坦福 UE4 C++ ActionRoguelike游戏实例教程 06.敲定AI——游戏框架拓展和细节优化
这篇文章对应课程13课， 50~54节。虽然标题是敲定AI，实际内容和AI关联并不大，主要工作是对游戏内各种细节做优化，涉及到的新知识并不多。本篇文章便出于记录的目的，对课程里进行的各种优化做下简单讲解。具体进行了哪些优化，让我们边做边说。 ......
C++ 迪利克雷（Dirichlet）分布
遇到一个要使用 dirichlet 分布的情形，发现 C++ 标准库中没有现成的。查阅维基百科发现，虽然它挺复杂，但是它跟 Gamma 分布有如下关系： 设有 K 个相互独立且分别满足 Gamma 分布的分布： $$Y_1 \sim Gamma(\alpha_1, \theta), ..., Y_K ......
分布式协议与算法实战 - 分布式算法 gossip QuorumNWR PBFT ZAB
Gossip 二阶段提交协议和Raft需要大部分节点能够工作，在极端情况，如只有一个节点能正常运行，这些方法就不适用了。根据Base理论要实现最终一致性。 Gossip协议利用一种随机、带有传染性的方式，将信息传播到网络中，并在一定时间内使所有节点数据一致。 直接邮寄（Direct Mail）：直接 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
docker-selenium分布式环境搭建（基于selenium的grid分布式框架）
说明：docker-selenium分布式是基于selenium的grid分布式框架进行搭建 以下是docker-selenium分布式网络拓扑图： 从图中可以看出： 1）docker-selenium可以用作浏览器兼容性测试； 2）docker-selenium分布式，可以提高测试用例的执行效率， ......
Redis实现分布式锁
Redis实现分布式锁 前言 分布式锁的实现有三种方式 数据库乐观锁 基于Redis的分布式锁 基于Zookeeper的分布式锁 分布式锁满足的条件 为了确保分布式锁可用，我们至少要保证锁的实现同时满足以下几个条件 互斥性：在任意时刻只有一个客户端能持有锁 不会死锁：即使有一个客户端在持有锁的期间发 ......
1688商品发布框架升级，海量规则如何覆盖
1688商品发布框架升级，海量规则如何覆盖？ https://mp.weixin.qq.com/s/1pU36WazmxglJHC7T_fmXQ 1688商品发布框架升级，海量规则如何覆盖？ 原创 阿里巴巴技术质量 阿里巴巴技术质量 2023-03-17 10:00 发表于北京 阿里QA导读：168 ......
pytest单元测试框架
一，pytest单元测试框架 1.什么是单元测试框架 单元测试是指在软件开发当中，针对软件的最小单位（函数，方法）进行正确性的检测测试。 2.单元测试框架 java: junit和testng python: unittest和pytest 3.单元测试框架主要做什么？ 1.测试发现：从多个文件里面 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
分布式ID生成-雪花算法(Snowflake)
1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高，可以避免对第三方依赖的使用, 减少耦合 1）能满足高并发分布式系统环境下ID不重复 2）基于时间戳，可以保证基本有序递增，即按照时间趋势递增（有些业务场景对这个有要求） 3）算法本身不依赖第三方的库 ......
为什么Tomcat架构要这么设计？这篇文章告诉你答案！
Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。 很多环境变量的设置都在此处，例如可以设置JDK路径、tomcat路径 startup文件：主要是 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
浅谈分布式环境下WebSocket消息共享问题
浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景，当然，实现方式很多，Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了，去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下，WebSocket的消息共享问题。 分布 ......
集合框架
集合框架 1.List接口 2.Set接口 3，Map接口 一、集合的体系 1.Collection接口 也是一种集合，特征：无序，可重复 无序：没有游标 可重复：这个集合当中可以有相同的数据 注意：没有直接的实现类 Collection<String> list = Arrays.asList(n ......
netty网络框架一
一、netty是什么 Netty 是一个高性能、异步事件驱动的网络应用程序框架，使用 Java 编写。它提供了一组简单但功能强大的抽象，使得开发人员可以轻松地开发基于网络协议的客户端和服务器应用程序。Netty 的核心是其基于事件驱动模型的异步 I/O 机制，这种机制可以让应用程序在处理大量的并发连 ......
netty网络框架二
一、Buffer的分散和聚集 Buffer的分散和聚集是指将一个大的连续数据缓冲区分割成多个小的缓冲区或将多个小的缓冲区组合成一个大的连续数据缓冲区的过程。 分散操作可以将一个数据缓冲区中的数据分散到多个小的缓冲区中，通常用于将数据发送给多个接收方。聚集操作相反，它可以将多个小的缓冲区中的数据聚集到 ......
MQ消息中间件，面试能问写什么？
为什么使用消息队列 消息队列的常见使用场景有很多但是核心的有三个：解耦、异步、削峰 解耦：那种不需要直接同步调用接口的，可以考虑异步化解耦 异步：主业务执行结束后从属业务通过MQ，异步执行，减低业务的响应时间 削峰：高并发场景下，延缓用户请求，环节应用压力 消息队列的优点和缺点？ 优点： 特殊场景下 ......
框架中处处可见反射的运用，你对它了解多少？
什么是反射 反射是一种能够在程序运行时动态访问、修改某个类中任意属性（状态）和方法（行为）的机制（包括private实例和方法），java反射机制提供了以下几个功能： 在运行时判断任意一个对象所属的类； 在运行时构造任意一个类的对象； 在运行时判断任意一个类所具有的成员变量和方法； 在运行时调用任意 ......
一个基于序列的弱监督视觉信息抽取学习框架
一、简要介绍 视觉信息提取（VIE）近年来受到了越来越多的关注。现有的方法通常首先将光学字符识别（OCR）结果组织成纯文本，然后利用标记级实体注释作为监督来训练序列标记模型。但是，它花费大量的注释成本，可能导致标签混淆，OCR错误也会显著影响最终性能。在本文中，作者提出了一个统一的弱监督学习框架，称 ......
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？ 云原生架构是什么 回顾过去十年，数字化转型驱动着技术创新和商业元素的不断融合和重构，可以说，现在已经不是由商业模式决定采用何种技术架构，而是由技术架构决定企业的商业模式。所以无论是行业巨头还是中小微企业都面临着数字化转型带来的未知机遇和挑战 ......