爬虫 中间件 分布式 过滤器
Spring Cloud Alibaba 整合 Seata 实现分布式事务
在Spring Boot单体服务中，添加@Transactional注解就能实现事务。在单体服务中，执行事务都是在同一个数据库下进行。但是随着业务越来越复杂，数据量越来越大会进行分库分表。在微服务场景下，每个服务都有自己的数据库。之前的单体事务无法处理跨库的事务，这个时候就需要使用分布式事务。 前面 ......
云原生时代顶流消息中间件Apache Pulsar部署实操之轻量级计算框架
本篇逐层递进了解Pulsar Functions的基本概念和理论，如工作原理、处理保证模式、窗口函数；进一步搭建Pulsar函数运行环境，一步步操作演示函数也包括窗口函数的示例使用，最后通过Java语言实现原生语言接口和Pulsar函数SDK两种方式的代码示例、打包、部署和结果验证。 ......
云原生时代顶流消息中间件Apache Pulsar部署实操之Pulsar IO与Pulsar SQL
本篇重点了解Pulsar IO的基础，通过两个示例演示如何一步步实操安装Cassandra和JDBC PostgreSQL的年连接器，进而配置和创建Pulsar Sink 并验证结果，也进一步熟悉一些常见pulsar-admin命令，最后还演示Pulsar SQL简单使用。 ......
网络爬虫流程总结
网络爬虫的大体流程其实就是解析网页，爬取网页，保存数据。三个方法，就完成了对网页的爬取，并不是很困难。以下是自己对流程的一些理解和总结，如有错误，欢迎指正。 一、解析网页，获取网页源代码 首先，我们要了解我们要爬取的网页，以豆瓣为例，我们要了解模拟浏览器头部信息，来伪装成浏览器。以及爬取的内容是什么 ......
分布式架构-流量治理-流量控制
系列目录 分布式架构-流量治理-服务容错 分布式架构-流量治理-流量控制 引子 任何一个系统的运算、存储、网络资源都不是无限的，当系统资源不足以支撑外部超过预期的突发流量时，便应该要有取舍，建立面对超额流量自我保护的机制，这个机制就是微服务中常说的“限流”。 1.流量统计指标 每秒事务数（Trans ......
分布式架构-可靠通讯-服务安全
系列目录 分布式架构-可靠通讯-零信任网络 分布式架构-可靠通讯-服务安全 引子 上一节“分布式架构-可靠通讯-零信任网络”里，我们探讨了与微服务运作特点相适应的零信任安全模型。本节，我们将从实践和编码的角度出发，介绍在前微服务时代（以 Spring Cloud 为例）和云原生时代（以 Istio ......
一个.Net Core开源缓存中间件，让你更加简单、方便使用缓存
上次给大家推荐过一个缓存中间件《一个C#开发的非常实用的缓存中间件》，今天再给大家推荐一个缓存中间件，两者功能差不多，都是提供统一接口、多级缓存、分布式缓存、支持多种Provider等。 项目简介 这是一个基于.Net Core开发的缓存中间件，它支持各种缓存并提供了很多高级功能。它的主要目标是让开 ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
ASP.NET Core - 自定义中间件
上一章讲了请求管道与中间件的基本概念和工作模式，也介绍了 ASP.NET Core 中内置的中间件，这一章介绍一下如何自定义中间件，这是很常用也很重要的内容，日常工作中很多场景我们都可以自定义自己的中间件，通过对请求管道进行拦截执行我们自己的业务逻辑，实现各种需求。这也是 ASP.NET Core ......
ASP.NET Core - 请求管道与中间件
1. 请求管道 请求管道是什么？请求管道描述的是一个请求进到我们的后端应用，后端应用如何处理的过程，从接收到请求，之后请求怎么流转，经过哪些处理，最后怎么返回响应。请求管道就是一次请求在后端应用的生命周期。了解请求管道，有助于我们明白后端应用是怎么工作的，我们的代码是怎么工作的，在我们的业务代码执行 ......
odoo 为可编辑列表视图字段搜索添加查询过滤条件
实践环境 Odoo 14.0-20221212 (Community Edition) 需求描述 如下图，列表网仓记录详情页面(form视图)，编辑内联视图中的货主记录，为货主和仓库字段搜索，添加过滤条件，具体如下： 添加、编辑货主时，下拉列表中只展示选取和当网仓记录所属公司关联的货主，点击搜索更多 ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
【Vue】style和class 列表渲染 使用v-for进行循环 监控失效 双向数据绑定 过滤案例 事件修饰符
昨日回顾 # 1 前端发展历史 -vue react -谷歌flutter，Dart语言 -uni-app：小公司 -vue： 3.x 2.x -3.x :ts -2.x :js # 2 vue: -渐进式 -MVVM: M层：model，数据层，js V层：view，视图层，html，css VM ......
AIR32F103(九) CAN总线的通信和ID过滤机制及实例
CAN 是一种典型的广播式网络, 在实际应用中, 如果只希望接收到特定类型的数据, 就要借助过滤器来实现. AIR32/STM32的CAN控制器包含14个过滤器, 可以设置为 屏蔽模式 或 列表模式 对CAN总线上的报文进行过滤. 当节点希望接收到一种报文时, 可以用屏蔽位模式进行过滤, ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
Vue基础02、过滤案例、购物车案例
Vue基础02、过滤案例、购物车案例 一、v-for能循环的类型 数组、带索引 对象、默认value值、也可以是key值 字符串、带索引 数字、带索引 二、js的几种循环方式 js的循环基于索引的循环 js的in循环拿到的是索引 es6语法 of循环 数组的方法 forEach循环 jQuery的循 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
vivo 超大规模消息中间件实践之路
作者：vivo 互联网存储技术团队-Luo Mingbo、中间件团队- Liu Runyun 本文根据“2022 vivo开发者大会"现场演讲内容整理而成。 本文主要介绍超大数据规模场景下分布式消息中间件在vivo的应用实践。 在线业务侧主要从RocketMQ集群部署架构、平台系统架构、日常运维操作 ......