transformers handwriting论文
李宏毅transformer笔记
首先这里解决的问题是Seq2Seq 列出各种场景，语音识别，机器翻译，chatbot 当前现在NLP模型之所以这么重要，在于他的通用能力，很多场景都可以转换成Seq2Seq summary，情感分析啊，只要你能通过QA和机器交互的场景都可以是Seq2Seq 这里的例子，语法树解析，多元分类，甚至是对 ......
数学建模论文
1.结构 首页：论文标题+摘要+关键词 一、问题重述 二、问题分析 三、模型假设 四、符号说明 五、模型的建立与求解 六、模型的分析与校验 七、模型的评价、改进与推广 八、参考文献 附录 1.标题 2.摘要 摘要包含的三要素： 解决说明问题，应用说明方法，得到什么结果。 摘要的三部分：1000字左右 ......
论文阅读-sparse gpu kernels for deep learning
论文地址：https://ieeexplore.ieee.org/document/9355309 源码地址：https://github.com/google-research/sputnik 背景 深度神经网络由大量的矩阵乘法运算和卷积运算组成，这些运算中使用的矩阵可以转化成稀疏矩阵，同时不损失 ......
An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
模型如下图所示: 将H×W×C的图像reshape成了N×(P2×C),其中(H,W)是图像的原始分辨率,C是通道数,(P,P)是每个图像块的分辨率,N=H×W/P2为图像块的数量,将一个图像块使用可学习的线性层映射到维度为D的隐藏向量,如式(1)所示,线性映射的输出称为patch embeddin ......
深度特征融合相关论文（后续更新）
FCN：Fully convolutional Networks for Semantic Segmentation — CVPR2015 ResNet：Deep Residual Learning for Image Recognition — CVPR2016 FPN：Feature pyram ......
【阅读】Transformer
参考 Attention Is All You Need A General Survey on Attention Mechanisms in Deep Learning 注意力足矣（Attention Is All You Need） 一般注意力模型 这个模型接受一个输入，执行指定的任务，然后产 ......
Transformers 发展一览
动动发财的小手，点个赞吧！ Transformers 研究概览 1. 介绍 近年来，深度学习的研究步伐显着加快，因此越来越难以跟上所有最新发展。尽管如此，有一个特定的研究方向因其在自然语言处理、计算机视觉和音频处理等多个领域取得的成功而备受关注。这在很大程度上归功于其高度适应性的架构。该模型称为 T ......
[重读经典论文]YOLOv3
1. 前言 YOLOV3是单阶段目标检测算法YOLO系列的第三个版本，由华盛顿大学Joseph Redmon发布于2018年4月，广泛用于工业界。 改进了正负样本选取、损失函数、Darknet-53骨干网络，并引入了特征金字塔多尺度预测，显著提升了速度和精度。 2. 网络结构 换了骨干网络，把bac ......
如何ChatGPT写作论文，保姆及教程以及问题答疑
上次发表“如何用ChatGPT完成论文”后，许多捧场看官评论讨论，也有不少同学实操成功，但更多人寻求帮助。所以今天再整理一篇，把大家的疑问进行说明。 1. ChatGPT写的论文能否被检查出？ 有同学反映将一段ChatGPT生成的文字贴给ChatGPT后，问这段话是不是ChatGPT产生的，Chat ......
如何使用ChatGPT在1天内完成毕业论文
如何使用ChatGPT在1天内完成毕业论文 几天前，亲眼见证了到一位同学花了1天时间用ChatGPT完成了他的毕业论文，世道要变，要学会使用黑科技才能混的下去。废话到此结束，下面说明这么用AI生成自己的论文。 使用工具： 1. Prompt框架学习： https://github.com/pro ......
论文阅读笔记《Residual Physics Learning and System Identification for Sim to real Transfer of Policies on Buoyancy Assisted Legged Robots》
Residual Physics Learning and System Identification for Sim to real Transfer of Policies on Buoyancy Assisted Legged Robots 发表于2023年。论文较新，未找到发表期刊。 基于浮 ......
论文阅读笔记《Stochastic Grounded Action Transformation for Robot Learning in Simulation》
Stochastic Grounded Action Transformation for Robot Learning in Simulation 发表于IROS 2020(CCF C) 模拟中机器人学习的随机接地动作转换 Desai S, Karnan H, Hanna J P, et al. ......
论文阅读笔记《Grounded Action Transformation for Robot Learning in Simulation》
Grounded Action Transformation for Robot Learning in Simulation 发表于AAAI 2017 仿真机器人学习中的接地动作变换 Hanna J, Stone P. Grounded action transformation for robo ......
[经典论文重读]YOLOv2
1. 前言 YOLOV2是YOLO目标检测系列算法的第二个版本。 第一部分：在YOLOV1基础上进行了若干改进优化，得到YOLOV2，提升算法准确度和速度。特别是增加了Anchor机制，改进了骨干网络。 第二部分：提出分层树状的分类标签结构WordTree，在目标检测和图像分类数据集上联合训练，YO ......
有趣大会 · 2023年自然语言处理顶会篇（从会议中挖掘奇妙想法的论文工作）
什么是有趣“大会”？它并不是一个和官方相关，真正的大会。它会是以趣味为导向的一系列文章，可以用放松、不太正式的心态去阅读它。 有趣大会都会有哪些内容，可以给我带来什么？ 会挑选会议中一些有奇奇妙妙的想法或者任务的工作，然后进行非常简短的介绍。定位在于奇妙的角度或者有趣的任务，所以不会出现对模型方法的 ......
[重读经典论文]YOLOv1
1. 前言 由Joseph Redmon等人2016年在论文《You Only Look Once: Unifified, Real-Time Object Detection》中提出的一阶段目标检测算法，核心思想是将物体检测任务视为回归问题。它通过将图像分成S×S个网格，每个网格负责预测该网格中是 ......
Swin transformer环境
pip install torch==1.7.0+cu101 torchvision==0.8.1+cu101 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html pip install mmcv-full= ......
设置transform导致弹窗字体模糊问题
原因项目中弹出框的样式居中是这样写的：.box { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%);}123456比如盒子的宽度为300px，高度为401.5px，这样transform计算出的50% ......
1.ORB-SLAM3论文重点导读及整体算法流程梳理
摘要 ORB-SLAM3是第一个能够执行纯视觉、视觉-惯导以及多地图的SLAM系统，可以在单目，双目以及RGB-D相机上使用针孔以及鱼眼模型。 本文主要新颖之处在于基于特征的VIO紧耦合系统，该系统完全依赖于最大后验估计，即使在IMU初始化阶段也是如此。本系统在小型和大型、室内和室外环境中实时稳定运 ......
深度学习自学看懂论文的网站
救命啊！深度学习代码看不懂怎么办啊？一个网站彻底解决！-人工智能/AI/机器学习_哔哩哔哩_bilibili GitHub - labmlai/annotated_deep_learning_paper_implementations: 🧑🏫 59 Implementations/tutori ......
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B ......
研究生论文处理的数据
数据的特征是反射率每一个波长代表一个维度。 数据的横轴代表像素数，纵轴代表不同频率，里面的内容表示不同频率的反射率。 物体反射的辐射能量占总辐射能量的百分比，称为反射率。不同物体的反射率也不同，这主要取决于物体本身的性质(表面状况），以及入射电磁波的波长和入射角度，反射率的大小范围总是小于等于1，利 ......
Attention Is All You Need—transformer详解
Attention Is All You Need 论文 transformer代码 以下大部分是根据论文理解进行的总结和概括，如有疑问，欢迎交流~ transformer仅仅使用注意力机制，没有使用任何的卷积或者RNN结构。 传统RNN结构的当前隐层状态$h_t$需要当前时刻的输入以及上一时刻的隐 ......
【论文笔记】A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT 使用ChatGPT增强提示工程的提示模式目录
简介 论文原文 https://arxiv.org/pdf/2302.11382.pdf 参考笔记 https://qiita.com/sonesuke/items/981925cfcc610a602e94 16种prompt模式并附例 prompt patterns是什么 A prompt is ......
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
简介 近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型 ......
中国的世界遗产结课论文
中国的世界遗产结课论文 先上正文 中国是一个拥有悠久历史和丰富文化遗产的国家，这些遗产不仅代表着中国人民的智慧和创造力，也是世界文化遗产的重要组成部分。在中国境内，共有56处世界文化和自然遗产，涵盖了古代建筑、自然风光、历史文化等多个方面。 本文将重点介绍几处代表性的中国世界遗产。首先是位于 ......
Split to Be Slim: 论文复现
摘要：在本论文中揭示了这样一种现象：一层内的许多特征图共享相似但不相同的模式。 本文分享自华为云社区《Split to Be Slim: 论文复现》，作者： 李长安 。 Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution ......
数学建模论文排版（表格篇）
本文为学习清风数学建模排版的word部分的笔记 配套资料可以在微信公众号《数学建模学习交流》后台发送“论文排版”免费获取。 三线表制作 先插入一个表格然后删除边框（在表格工具--布局--查看网格线（打开），即可看见去除边框后的虚线）再利用表格工具--表设计--边框刷为表格刷上边框，第一条线和最后一条 ......
Transformer
参考： transform的paper出处:https://blog.csdn.net/qq_40585800/article/details/112427990 发展 Transformer是由谷歌于2017年提出的具有里程碑意义的模型，同时也是语言AI革命的关键技术。在此之前的SOTA模型都是以 ......