分布式 中间件 架构 框架
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
SpringCloud微服务实战——搭建企业级开发框架（四十九）：数据字典注解的设计与实现
数据字典是系统中基本的必不可少的功能，在多种多样的系统中，数据字典表的设计都大同小异。但是使用方式确是多种多样，设计好一套易用的数据字典功能模块，可以使开发事半功倍。 常用的数据字典使用方式： 直接在SQL语句中LEFT JOIN （当然是不推荐这样用的） 查询出原始数据，然后再根据原始数据需要的字 ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......
SpringCloud微服务实战——搭建企业级开发框架（五十一）：微服务安全加固—自定义Gateway拦截器实现防止SQL注入/XSS攻击
SQL注入是常见的系统安全问题之一，用户通过特定方式向系统发送SQL脚本，可直接自定义操作系统数据库，如果系统没有对SQL注入进行拦截，那么用户甚至可以直接对数据库进行增删改查等操作。 XSS全称为Cross Site Script跨站点脚本攻击，和SQL注入类似，都是通过特定方式向系统发送攻击脚本 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
.Net Core后端架构实战【1-项目分层框架设计】
摘要：基于.NET Core 7.0WebApi后端架构实战【1-项目结构分层设计】 2023/02/05, ASP.NET Core 7.0, VS2022 引言 从实习到现在回想自己已经入行四年了，很庆幸自己一直还是从事着开发的工作。这几年不管是工作还是生活都有很多不甘与失落还有收获，从学校出来 ......
Vue3 企业级优雅实战 - 组件库框架 - 12 发布开源组件库
前面使用了 11 篇文章分享基于 vue3 、Monorepo 的组件库工程完整四件套（组件库、文档、example、cli）的开发、构建及组件库的发布。本文属于这 11 篇文章的扩展 —— 如何发布到 GitHub 上以及如何快速利用 GitHub 发布组件库文档。这样优雅哥的《组件库框架》系列便 ......
ASP.NET Core - 自定义中间件
上一章讲了请求管道与中间件的基本概念和工作模式，也介绍了 ASP.NET Core 中内置的中间件，这一章介绍一下如何自定义中间件，这是很常用也很重要的内容，日常工作中很多场景我们都可以自定义自己的中间件，通过对请求管道进行拦截执行我们自己的业务逻辑，实现各种需求。这也是 ASP.NET Core ......
ASP.NET Core - 请求管道与中间件
1. 请求管道 请求管道是什么？请求管道描述的是一个请求进到我们的后端应用，后端应用如何处理的过程，从接收到请求，之后请求怎么流转，经过哪些处理，最后怎么返回响应。请求管道就是一次请求在后端应用的生命周期。了解请求管道，有助于我们明白后端应用是怎么工作的，我们的代码是怎么工作的，在我们的业务代码执行 ......
自动化测试如此容易！多语言自动化测试框架 Selenium 编程（C#篇）
介绍 Selenium 官网：https://www.selenium.dev/ Selenium 是功能强大的自动化测试工具集，是支持 Web 浏览器自动化的一系列工具和库的总括项目，一共包括以下三个项目： Selenium WebDriver Selenium IDE Selenium Grid ......
Mybatis Plus 框架项目落地实践总结
在使用了Mybatis Plus框架进行项目重构之后，关于如何更好的利用Mybatis plus。在此做一些总结供大家参考。 主要总结了以下这几个方面的实践。 基础设计 BaseEntity 逻辑删除 自动填充字段 代码生成类 查询操作 Query基类(复用+PageQuery) 普通Query L ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......
【白话科普】聊聊网络架构变革的关键——SDN
最近二狗子在网上冲浪的时候，不小心将 CDN 搜索成了 SDN，结果跳出来了一大堆相关的知识点。 好学的二狗子当然不会随随便便糊弄过去，于是认认真真学习了好久，终于了解了 SDN 是什么。 原来，SDN 的全称是 Software Defined Networking，是一类将网络控制平面与数据平面 ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
如何理解Spring框架中的ioc？
如何理解Spring框架中的ioc？ ioc，Inversion of Control(控制反转)，是Spring中的一种设计思想而非技术。 我们可以从4个方面理解ioc： ①谁控制谁？ ——Ioc容器控制对象。 ②控制了什么？ ——Ioc容器控制了获取对象及其外部资源。 ③为什么是反转？ ——传统 ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
Svelte框架结合SpreadJS实现表格协同文档
SpreadJS是葡萄城结合 40 余年专业控件技术和在电子表格应用领域的经验而推出的纯前端表格控件。作为一个类Excel控件，SpreadJS如何实现当前比较流行的表格协同呢？本篇文章将简单介绍一下。 首先，从框架搭建上,本篇示例采用当下流行的前后端分离的开发方式，前端使用npm作为脚手架搭建Sv ......
用ChatGPT，绘制一个账号系统的C4架构图
hi，我是熵减，见字如面。 昨天我们用ChatGPT来设计一个账号系统，并尝试输出：模型表，类关系图，序列图，状态图等常用的架构设计中常用的元素。 今天，我们继续向更高层级延伸一下，看ChatGPT能不能更进一步释放工程师的生产力，创造更多的可能性。 所以，这次我们就来尝试用ChatGPT，来构建账 ......
C4模型，架构设计图的脚手架，你值得拥有
hi，我是熵减，见字如面。 对于软件开发团队来说，写软件设计文档，花架构图，是日常工作中的关键一项。 而其中，如何画好系统设计的架构图呢？ Simon Brown 就 提出 C4 模型，来解决这个问题。 基于C4模型的脚手架，架构师们就可以统一团队内的不同层级的视角，交付一个成体系的架构设计。 下面 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
Android 初代 K-V 存储框架 SharedPreferences，旧时代的余晖？
本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 SharedPreferences 是 Android 平台上轻量级的 K-V 存储框架，亦是初代 K-V 存储框架，至今被很多应用沿用。 有的小伙伴会说，SharedPrefere ......
c++ 程序通用多线程单例设计 c++ web 框架设计经验谈
设计 c++ web 框架时候，想要一个框架缓存类，很多通用缓存类是用字符保存，作为框架内置就不要序列和反序列了，因为框架内部使用。 想给自己的paozhu c++ web 框架添加缓存类，参考了springboot 于是确定用单例设计模式缓存类模板。 c++11后静态变量已经统一为线程安全了，网络 ......
图解Nginx，系统架构演变 + Nginx反向代理与负载均衡
大家好，我是哪吒。 本系列为SpringCloud微服务系列，先从微服务的入口Nginx开始学习，读哪吒编程，品技术人生。 一、系统架构演变 最开始接触Java语言的时候，我写的第一个项目是图书管理系统，当时是用JSP+servlet写的，感觉很吊的样子，全班领先水平。 慢慢的变成了JSP+SSM架 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
小公司需要使用微服务架构吗？
一、使用微服务的四大门派 2.1、跟风派 技术大环境分析，到目前为止（2023.02）技术大环境： 各大公司都在宣传微服务以及自家实践情况 各种技术媒体也发布很多关于微服务的文章 和别人讨论技术相关的架构时，必然会提到微服务架构 这样的氛围下，微服务这 3 个字时不时的出现在眼前，加深你对它的印象。 ......
推荐一款新的自动化测试框架：DrissionPage！
今天给大家推荐一款基于Python的网页自动化工具：DrissionPage。这款工具既能控制浏览器，也能收发数据包，甚至能把两者合而为一，简单来说：集合了WEB浏览器自动化的便利性和 requests 的高效率。 一、DrissionPage产生背景 实现网页自动化，会有两类形式： 直接向服务器发 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Sentry 后端云原生中间件实践 ClickHouse PaaS ，为 Snuba 事件分析引擎提供动力
目录(脑图) ClickHouse PaaS 云原生多租户平台(Altinity.Cloud) 官网：https://altinity.cloud PaaS 架构概览 设计一个拥有云原生编排能力、支持多云环境部署、自动化运维、弹性扩缩容、故障自愈等特性，同时提供租户隔离、权限管理、操作审计等企业级能 ......