transform mrctf 2020
Transformer编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。下面是一些Trans
[toc] Transformer 编码器和解码器被广泛应用于自然语言处理、计算机视觉、语音识别等领域。近年来，由于 Transformer 在自然语言处理领域的广泛应用，越来越多的研究者开始关注 Transformer 的改进与优化。本文将详细介绍 Transformer 编码器和解码器的原理、实 ......
田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘
前言 从四篇论文入手，Sebastian 再谈 Transformer 架构图。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
F5 BIG-IP远程代码执行CVE-2020-5902漏洞复现
简述 F5 BIG-IP 是美国F5公司一款集成流量管理、DNS、出入站规则、web应用防火墙、web网关、负载均衡等功能的应用交付平台。 2020年7月1日，F5官方公布流量管理用户界面（TMUI）存在 前台远程执行代码（RCE）漏洞（CVE-2020-5902）。攻击者利用该漏洞，构造恶意请求， ......
CMU15445 (Fall 2020) 数据库系统 Project#2 - B+ Tree 详解（下篇）
# 前言 上一篇博客中实现了单线程 B+ 树的查找、插入、删除和迭代操作，这篇博客将完成实验二的剩余任务：并发 B+ 树。实现 B+ 树并发访问最简单的方法就是在整棵树上加一把大锁，但是这样会导致过多线程处于阻塞状态，严重降低 B+ 树的性能。这篇博客将使用蟹行协议（crabbing protoco ......
Transformer原论文
## 相关工作文献阅读与总结 ### Attention Is All You Need [知乎笔记](https://zhuanlan.zhihu.com/p/407012757) #### 摘要 **dominant sequence transduction 显性序列转导模型** 传统的：基于 ......
最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer
The Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ The Annotated Transformer http://nlp.seas.harvard.edu/annotated-transf ......
田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘
前言 AI理论再进一步，破解ChatGPT指日可待？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指 ......
【归一化】Transformer、ConvNeXt 中的 LayerNorm
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.13 > - ⏰最近更新时间：2023.6.13 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
CMU15445 (Fall 2020) 数据库系统 Project#2 - B+ Tree 详解（上篇）
# 前言 考虑到 B+ 树较为复杂，CMU15-445 将 B+ 树实验拆成了两部分，这篇博客将介绍 Checkpoint#1 部分的实现过程，搭配教材 [《DataBase System Concepts》](https://pan.baidu.com/s/15neyE)食用更佳。 # B+ 树索 ......
在Transformers 中使用约束波束搜索引导文本生成
## **引言** 本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 [如何生成文本: 通过 Transformers 用不同的解码方法生成文本](https://huggingface.co/blog/zh/how-to-generate)。 与普通的波束搜索不同，**约束* ......
[重读经典论文] Swin-Transformer
参考博客：Swin-Transformer网络结构详解参考视频：12.1 Swin-Transformer网络结构详解使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于 ......
【论文阅读】Pyramid Vision Transformer：A Versatile Backbone for Dense Prediction Without Convolutions
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.11 > - ⏰最近更新时间：2023.6.11 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
fit、transform、fit_transform的区别和联系
# 1.来源 **fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。 sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方 ......
【论文阅读】CvT：Introducing Convolutions to Vision Transformers
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间： > - ⏰最近更新时间： > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 t ......
【论文阅读】Uformer：A General U-Shaped Transformer for Image Restoration
> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.8 > - ⏰最近更新时间：2023.6.8 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章 ......
最新MATLAB R2020b超详细安装教程（附完整安装文件）
摘要：本文详细介绍 Matlab R2020b 的安装步骤，为方便安装这里提供了完整安装文件的百度网盘下载链接供大家使用。从文件下载到证书安装本文都给出了每个步骤的截图，按照图示进行即可轻松完成安装使用。本文目录如首页： 目录 前言 1. 下载安装包 （1）下载链接 （2）解压文件 2. 正式安装步 ......
2020年第十一届蓝桥杯大赛软件类决赛C/C++大学A组真题
# Preface 后天就要比国赛了，这次才堪堪写了三年的题 感觉这场的题就是给人一种很难受的感觉，填空题多得要死，而且皮亚诺曲线的那个说实话挺麻烦的 然后还有个极其傻逼的大模拟题（出租车），导致可做题数量很少 不过这场的压轴是个很经典的题，而且正好最近学校数学专题出到了一模一样的题目，然后传统艺能 ......
DIFFormer Scalable (Graph) Transformers Induced by Energy Constrained Diffusion
[TOC] > [Wu Q., Yang C., Zhao W., He Y., Wipf D. and Yan J. DIFFormer: Scalable (graph) transformers induced by energy constrained diffusion. ICLR, 20 ......
CSS3 transform
## Transform Transform字面上就是变形，改变的意思。 ``` transform ： none | [ ] ``` ```css transform: rotate | scale | skew | translate |matrix; ``` 旋转rotate、扭曲skew、缩 ......
CMU15445 (Fall 2020) 之 Project#1 - Buffer Pool 详解
# 前言 去年暑假完成了 CMU15-445 Fall 2019 的四个实验，分别对应下述博客： * [CMU15445 (Fall 2019) 之 Project#1 - Buffer Pool 详解](https://www.cnblogs.com/zhiyiYo/p/16429079.html ......
JQuery-XSS漏洞（CVE-2020-11022/CVE-2020-11023）
# JQuery-XSS漏洞（CVE-2020-11022/CVE-2020-11023） #### 详细描述 > 据NVD描述：在大于或等于1.2且在3.5.0之前的jQuery版本中，即使执行了消毒（sanitize）处理，也仍会执行将来自不受信任来源的HTML传递给jQuery的DOM操作方法 ......
CSP-S 2020
日期计算以$400$年为周期，每$400$年都有恰好$146097$天。（$146097=365 \times 400 +100-4+1$） 预处理出$400$年内的情况，将年份模$400$即可快速得到答案。 几个简化代码的技巧： 对于格里高利历，以$1200$年$1$月$1$日为起始日，$r$ 减 ......
解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
2.4 Transform
通常而言，数据不会以处理好的形式出现，所以我们需要在训练前对数据进行预处理，以适应训练 所有 TorchVision 的 Dataset 都会有两个参数—— transform 用于修改特征，target_transform 用于修改标签——它们接受包含转换逻辑的可调用对象（其实就是接受函数对象）。 ......
编码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
transformer预测ENSO(Sci.Adv.,2023-3-8)
预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
02.transformer
transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
大模型核心技术原理: Transformer架构详解
在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记
## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......