transformer架构 宝典 模型
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition：使用大核卷积调制来简化注意力
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition * Authors: [[Qibin Hou]], [[Cheng-Ze Lu]], [[Ming-Ming Cheng]], [[Jiashi Feng]] ......
MetaFormer Is Actually What You Need for Vision：通用的ViT架构才是关键
MetaFormer Is Actually What You Need for Vision * Authors: [[Weihao Yu]], [[Mi Luo]], [[Pan Zhou]], [[Chenyang Si]], [[Yichen Zhou]], [[Xinchao Wang]] ......
87 GB 模型种子，GPT-4 缩小版，超越ChatGPT3.5，多平台在线体验
瞬间爆火的Mixtral 8x7B 大家好，我是老章 最近风头最盛的大模型当属Mistral AI 发布的Mixtral 8x7B了，火爆程度压过Google的Gemini。 缘起是MistralAI二话不说，直接在其推特账号上甩出了一个87GB的种子 随后Mixtral公布了模型的一些细节： 具有 ......
一句话解决加载模型时的CUDA out of memory
在加载模型一行后加上max_memory即可，超出显存后会自动移到内存。 model = AutoModel.from_pretrained('your_model', trust_remote_code=True, max_memory={0: "6GiB", "cpu": "10GiB"}) 记 ......
【电子公文系统】系统架构描述
1. 概述 系统目标：描述系统设计的主要目标和预期达到的功能。 用户群体：概述系统服务的主要用户群体。 2. 硬件架构 服务器硬件：详细说明用于托管系统的服务器硬件规格，包括处理器、内存、存储等。 网络设备：描述用于支持系统的网络基础设施，如路由器、交换机等。 终端设备：列出用户访问系统所需的终端设 ......
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解
初读印象 comment:: (Swin-transformer)代码：https://github. com/microsoft/Swin-Transformer 动机 将在nlp上主流的Transformer转换到cv上。存在以下困难： nlp中单词标记是一个基本单元，但是视觉元素在尺度上有很大 ......
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation；OCRNet
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation * Authors: [[Yuhui Yuan]], [[Xiaokang Chen]], [[Xilin Chen]], [[ ......
从滑动窗口到YOLO、Transformer：目标检测的技术革新
本文全面回顾了目标检测技术的演进历程，从早期的滑动窗口和特征提取方法到深度学习的兴起，再到YOLO系列和Transformer的创新应用。通过对各阶段技术的深入分析，展现了计算机视觉领域的发展趋势和未来潜力。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验 ......
五种网络IO模型详解
一 IO操作本质 数据复制的过程中不会消耗CPU # 1 内存分为内核缓冲区和用户缓冲区 # 2 用户的应用程序不能直接操作内核缓冲区，需要将数据从内核拷贝到用户才能使用 # 3 而IO操作、网络请求加载到内存的数据一开始是放在内核缓冲区的 文章相关视频讲解： C/C++ Linux服务器开发高级架 ......
架构整洁之道笔记1
随着软件周期的推移，软件修改要付出的代价会越来越大。软件架构的目标是希望以最少的人力满足构建和维护该系统的需求，延缓软件腐化的趋势。 关于对架构的误解澄清：高层的架构并不能脱离细节实现的设计。高层架构和低层设计不分你我。 从两个价值维度描述软件价值： 系统的行为。体现为程序员赶功能交付。 架构灵活性 ......
JavaScript 引擎 V8 年度回顾：新编译器、修改基础架构、改进 GC……
V8 官方博客回顾了 2023 年的重要变化：通过创新的性能优化，V8 不断突破 Web 领域的可能性界限。比如引入新的中间层编译器，对顶层编译器基础架构、运行时和垃圾回收进行多项改进，从而全面提升速度。 除了性能改进之外，V8 团队还为 JavaScript 和 WebAssembly 添加了许多 ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Instruction-Following Agents with Multimodal Transformer
概述 提出了InstructRL，包含一个multimodal transformer用来将视觉obs和语言的instruction进行编码，以及一个transformer-based policy，可以基于编码的表示来输出actions。 前者在1M的image-text对和NL的text上进行训 ......
如何在Windows本地运行一个大语言模型
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型，可以在消费级显卡上轻松运行一个离线的对话机器人。 它功能强大，配置过程简单，对初学者比较友好。 本文记录了ChatGLM3的环境配置过程，希望能对跟我一样的新手朋友起到帮助。 准备工作： 准备一台装有Nvidia显 ......
240Wqps，美团用户中台， 如何使用DDD架构？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
大家都崩，美团不崩：其高可用架构，巧夺天工！
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
值迭代与策略迭代（有模型）
先说一下我初始理解，就是图片上面有三部曲，然后他是一个有模型的算法，然后假如说我让他训练100次就是，用python来表达就是 for episode in (100),这个就是最外面的那一层循环，然后每次episode，就是上面三部曲，但是第一步初始化环境是会根据上一个episode来变化的，从第 ......
聊聊GLM基座模型的理论知识
概述 大模型有两个流程：预训练和推理。 预训练是在某种神经网络模型架构上，导入大规模语料数据，通过一系列的神经网络隐藏层的矩阵计算、微分计算等，输出权重，学习率，模型参数等超参数信息。 推理是在预训练的成果上，应用超参数文件，基于预训练结果，根据用户的输入信息，推理预测其行为。 GLM模型原理的理解 ......
关于UIView transform使用注意点
先上代码 let tView = UIView()override func viewDidLoad() { tView.backgroundColor = .orange view.addSubview(tView)} override func viewWillLayoutSubViews() ......
实现高光反射光照模型
\(C_{specular}=(C_{light} \cdot M_{specular})max(0,\hat{V} \cdot \hat{R})^{M_{gloss}}\) 其中，\(C_{light}\) 是光源的颜色，\(M_{specular}\) 是材质的高光反射颜色，\(\hat{V}\ ......
超越架构师！消息通知系统优化设计
5 收集联系信息流程 为发送通知，需收集各种信息如移动设备令牌、email、phone和第三方通道信息。 用于存储联系信息的简化的数据库表模式。它是个带有电子邮件、电话、设备令牌和外部通道的单个NoSQL DynamoDB表。Contacts table schema： device_tokens ......
机器学习的里程碑：从基础理论到大语言模型的进步
在人工智能的迅猛发展中，大语言模型和传统机器学习是不同发展阶段下的产物。大语言模型，如广为人知的GPT系列和BERT，主要依赖于复杂的神经网络结构，它们能够处理和生成人类语言，为自然语言处理带来了革命性的变化。这些模型的发展标志着从简单的任务特定模型向更通用、更灵活的解决方案的转变。相比之下，传统机 ......
指令集，架构，都是什么意思？
背景： 我上网冲浪，经常看到指令集，架构，这都是什么？ 还有，什么AMD，ARM，我总是分不清，他们是啥？ 整理： 问题1：指令集是什么？ 是一种标准。 AI回答：指令集是一种计算机处理器能够理解和执行的指令的集合。 指令集架构可以被视为一种标准，因为它定义了处理器与软件之间的接口。 问题2：指令集 ......
将Transformer用于扩散模型，AI 生成视频达到照片级真实感
前言 在视频生成场景中，用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
Docker架构
原文：https://blog.csdn.net/qq_46921028/article/details/129096134 Docker是一个CS架构的程序，由两部分组成： 服务端(server)：Docker守护进程，负责处理Docker指令，管理镜像、容器等。 客户端(client)：通过命令 ......
Rhapsody—复杂域控软件架构开发套件
Rhapsody是基于UML/SysML的模型驱动开发集成环境，专注于嵌入式和实时系统。通过Rhapsody的模型驱动体系，可以快速地将应用模型部署到实时嵌入式操作系统。同时Rhapsody提供了种类众多、功能强大的Add-Ons扩展模块，满足客户不同的应用需求。针对嵌入式软件，Rhapsody支持... ......
纯卷积BEV模型的巅峰战力 | BEVENet不用Transformer一样成就ADAS的量产未来(转)
近年来，在自动驾驶领域，鸟瞰视角（BEV）空间中的3D目标检测作为一种普遍的方法逐渐脱颖而出。尽管与视角视图方法相比，BEV方法在精度和速度估计方面得到了改进，但将BEV技术部署到实际自动驾驶车辆中仍然具有挑战性。这主要归因于它们依赖于基于视觉 Transformer （ViT）的架构，这使得相对于 ......
【天翼云】【基础架构】相关面试内容普及
第一弹，我们就讲讲中国电信天翼云的基础架构做什么滴？ 天翼云是中国电信旗下云计算品牌，致力于成为领先的云计算服务提供商。基础架构部作为天翼云的核心部门，负责构建天翼云的整个物理基础设施。打造了包括紫金DPU、物理服务器、物理网络、RDMA网络、操作系统、虚拟化、IDC在内的核心底座产品。基础架构部在 ......
大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型
本文分享自华为云社区《大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型》，作者：码上开花_Lancer 。 近日， LlaMA(羊驼)这个大模型再次冲上热搜！ LLaMA（Large Language Model Meta AI），由 Meta AI 发布的一个开放且高效的大 ......