transformer tensorflow pytorch gpt
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
transformer总体架构
transformer总体架构 目录transformer总体架构循环神经网络总体架构EncoderDecoder输入输出层模型输入位置编码模型输出自注意力机制关于QKV的理解Q, K, V 及注意力计算多头注意力机制多头注意力机制作用Feed Forward 层参考资料 论文地址：Attentio ......
transformer补充细节
transformer补充细节 目录transformer补充细节注意力机制细节为什么对点积注意力进行缩放多头带来的好处数据流训练时数据流推理时数据流解码器中注意力的不同带掩码的注意力机制位置编码整型数值标记[0,1]范围标记位置二进制标记周期函数标识用sin和cos交替来表示位置训练测试细节参考资 ......
基于Tensorflow技术开发的计算机毕业设计辅助生成器（使用AI大模型技术）
这是一个辅助生成计算机毕业设计的工具，可以自动完成毕业设计的源码。它基于几百个github上面开源的java和python项目，运用tensorflow技术，训练出了AI大模型。基本实现了计算机毕业设计生成器，能够初步生成Java或python基本源码。目前该项目处理实验阶段，还不成熟，成功率55% ......
【Pytorch基础实战】第二节，卷积神经网络
项目地址 https://gitee.com/wxzcch/pytorchbase/tree/master/leason_2 源码 import torch from torch import nn, optim from torch.autograd import Variable from to ......
Sw-YoloX An anchor-free detector based transformer for sea surface object detection
Sw-YoloX An anchor-free detector based transformer for sea surface object detection 基于Transformer用于海上目标检测的无锚检测器：Sw-YoloX 1)由于不同海洋状态下的活体和漂浮物体数据稀缺且昂贵，我们 ......
Vision Transformer with Super Token Sampling
Vision Transformer with Super Token Sampling * Authors: [[Huaibo Huang]], [[Xiaoqiang Zhou]], [[Jie Cao]], [[Ran He]], [[Tieniu Tan]] Local library 初读 ......
Bottleneck Transformers for Visual Recognition
Bottleneck Transformers for Visual Recognition * Authors: [[Aravind Srinivas]], [[Tsung-Yi Lin]], [[Niki Parmar]], [[Jonathon Shlens]], [[Pieter Abbee ......
SeaFormer: Squeeze-enhanced Axial Transformer for Mobile Semantic Segmentation
SeaFormer: Squeeze-enhanced Axial Transformer for Mobile Semantic Segmentation * Authors: [[Qiang Wan]], [[Zilong Huang]], [[Jiachen Lu]], [[Gang Yu]] ......
UNetFormer: A UNet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery
UNetFormer: A UNet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery * Authors: [[Libo Wang]], [[Rui Li]], [[ ......
SegViT: Semantic Segmentation with Plain Vision Transformers
SegViT: Semantic Segmentation with Plain Vision Transformers * Authors: [[Bowen Zhang]], [[Zhi Tian]], [[Quan Tang]], [[Xiangxiang Chu]], [[Xiaolin We ......
BiFormer: Vision Transformer with Bi-Level Routing Attention 使用超标记的轻量ViT
alias: Zhu2023a tags: 超标记 注意力 rating: ⭐ share: false ptype: article BiFormer: Vision Transformer with Bi-Level Routing Attention * Authors: [[Lei Zhu] ......
pytorch——豆瓣读书评价分析
任务目标 基于给定数据集，采用三层bp神经网络方法，编写程序并构建分类模型，通过给定特征实现预测的书籍评分的模型。 选取数据 在各项指标中，我认为书籍的评分和出版社、评论数量还有作者相关，和其他属性的关系并大。所以，对于出版社，我选取了出版社的平均评分和出版社在这个表格中出现的频率作为出版社的评价指 ......
2021-CVPR-Transformer Tracking
Transformer Tracking 相关性在跟踪领域起着关键作用，特别是在最近流行的暹罗跟踪器中。相关操作是考虑模板与搜索区域之间相似性的一种简单的融合方式。然而，相关操作本身是一个局部线性匹配过程，导致语义信息的丢失并容易陷入局部最优，这可能是设计高精度跟踪算法的瓶颈。还有比相关性更好的特征 ......
pytorch 踩坑记录
arr = arr.astypr(numpy.int16) tensor = torch.from_numpy(arr) TypeError: can't convert np.ndarray of type numpy.uint16. The only supported types are: f ......
Rethinking and Improving Relative Position Encoding for Vision Transformer: ViT中的位置编码
Rethinking and Improving Relative Position Encoding for Vision Transformer * Authors: [[Kan Wu]], [[Houwen Peng]], [[Minghao Chen]], [[Jianlong Fu]], ......
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition：使用大核卷积调制来简化注意力
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition * Authors: [[Qibin Hou]], [[Cheng-Ze Lu]], [[Ming-Ming Cheng]], [[Jiashi Feng]] ......
pytorch的docker镜像
安装docker环境 sudo apt-get update sudo apt-get install -y docker.io sudo systemctl enable docker docker版本查看 sudo docker version sudo docker info 查看镜像 sud ......
87 GB 模型种子，GPT-4 缩小版，超越ChatGPT3.5，多平台在线体验
瞬间爆火的Mixtral 8x7B 大家好，我是老章 最近风头最盛的大模型当属Mistral AI 发布的Mixtral 8x7B了，火爆程度压过Google的Gemini。 缘起是MistralAI二话不说，直接在其推特账号上甩出了一个87GB的种子 随后Mixtral公布了模型的一些细节： 具有 ......
win11 安装pytorch
第一步骤，是安装cuda和cudnn，看这个链接。 https://zhuanlan.zhihu.com/p/586913250。重点就是如何安装pytorch了，因为网络慢的原因 首先，直接使用下面这个命令不好使，如果你的科上网流量非常足的话，没问题的。我用aconda，差不多就安装好了，可是比较 ......
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解
初读印象 comment:: (Swin-transformer)代码：https://github. com/microsoft/Swin-Transformer 动机 将在nlp上主流的Transformer转换到cv上。存在以下困难： nlp中单词标记是一个基本单元，但是视觉元素在尺度上有很大 ......
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation；OCRNet
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation * Authors: [[Yuhui Yuan]], [[Xiaokang Chen]], [[Xilin Chen]], [[ ......
pytorch——支持向量机
1、任务要求 针对已知类别的5张卧室照片(标签为+1)和5张森林照片(标签为-1)所对应的矩阵数据进行分类训练,得到训练集模型;再利用支持向量机对另外未知类别的5张卧室照片和5张森林照片数据进行测试分类(二分类)，得到分类结果及其准确率。 2、先导入查看基本数据 3、合并数据 将房间的数据和森林的数 ......
从滑动窗口到YOLO、Transformer：目标检测的技术革新
本文全面回顾了目标检测技术的演进历程，从早期的滑动窗口和特征提取方法到深度学习的兴起，再到YOLO系列和Transformer的创新应用。通过对各阶段技术的深入分析，展现了计算机视觉领域的发展趋势和未来潜力。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验 ......
Instruction-Following Agents with Multimodal Transformer
概述 提出了InstructRL，包含一个multimodal transformer用来将视觉obs和语言的instruction进行编码，以及一个transformer-based policy，可以基于编码的表示来输出actions。 前者在1M的image-text对和NL的text上进行训 ......
关于UIView transform使用注意点
先上代码 let tView = UIView()override func viewDidLoad() { tView.backgroundColor = .orange view.addSubview(tView)} override func viewWillLayoutSubViews() ......
将Transformer用于扩散模型，AI 生成视频达到照片级真实感
前言 在视频生成场景中，用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
纯卷积BEV模型的巅峰战力 | BEVENet不用Transformer一样成就ADAS的量产未来(转)
近年来，在自动驾驶领域，鸟瞰视角（BEV）空间中的3D目标检测作为一种普遍的方法逐渐脱颖而出。尽管与视角视图方法相比，BEV方法在精度和速度估计方面得到了改进，但将BEV技术部署到实际自动驾驶车辆中仍然具有挑战性。这主要归因于它们依赖于基于视觉 Transformer （ViT）的架构，这使得相对于 ......
pytorch减少显存方式
引导 1. 显存都用在哪儿了？ 2. 技巧 1：使用就地操作 3. 技巧 2：避免中间变量 4. 技巧 3：优化网络模型 5. 技巧 4：减小 BATCH_SIZE 6. 技巧 5：拆分 BATCH 7. 技巧 6：降低 PATCH_SIZE 8. 技巧 7：优化损失求和 9. 技巧 8：调整训练精 ......
[转]使用chat-gpt来干什么
转自 知乎 blueeon 1.精益创业教练:我让它模拟一个精益创业教练，按照精益创业的方法，来指导我完成一些新的创新项目。日常主要的讨论集中在商业模式%、营销、创意、投资等方面。最近切换到了GPTS，上传了基本读过的创业书籍给他做知识库Q，效果更好了。 2.写代码的Alex:这个会话我让其模拟一个 ......