transform mrctf 2020
将Transformer用于扩散模型，AI 生成视频达到照片级真实感
前言 在视频生成场景中，用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
纯卷积BEV模型的巅峰战力 | BEVENet不用Transformer一样成就ADAS的量产未来(转)
近年来，在自动驾驶领域，鸟瞰视角（BEV）空间中的3D目标检测作为一种普遍的方法逐渐脱颖而出。尽管与视角视图方法相比，BEV方法在精度和速度估计方面得到了改进，但将BEV技术部署到实际自动驾驶车辆中仍然具有挑战性。这主要归因于它们依赖于基于视觉 Transformer （ViT）的架构，这使得相对于 ......
2020CVPR_High-Resolution Image Synthesis with Latent Diffusion Models
1.AutoEncoder AutoEncoder（自编码器）是一种无监督学习的神经网络模型，用于学习有效的数据表示。它的目标是将输入数据编码成一种潜在的、紧凑的表示形式，然后从这个表示中重构原始输入。自编码器由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器（Encoder） ......
【学习笔记】transformer 简札
高铁心血来潮逼着自己把这个模型的结构看了一遍，不写下来会忘掉的 Encoder 输入是词向量。 word vector -> [(multihead) self-attention -> forward ]×n-> layer normalization self attention 就是 qkv矩 ......
Swin Transformer 马尔奖论文（ICCV 2021最佳论文）
目录 简介 作者之一的微软亚研院的首席研究员胡瀚老师在bibili讲过该论文 swin transformer比ViT做的更好的原因之一就是它将图片的一些特性嵌入到了网络模型之中，比如说平移不变性和尺寸不变性等，这样使得网络能够在cv领域做的更好。 该文章提出的Swin Transformer可以被 ......
IntelliJ IDEA 2020.2 破解版（附永久破解激活方法）
对于Java学习者和开发者而言，IDEA是很多人最常用的软件了，也是站长一直推荐大家使用的，在百度、腾讯、阿里巴巴等一线互联网公司也是被重度使用的工具了，深受程序员和开发者的喜爱了。 jetbrains公司发布了Java的最强编辑器IntelliJ IDEA 2020.2。本次更新提供了重大的性能和 ......
MIT斯坦福Transformer最新研究：过度训练让中度模型「涌现」结构泛化能力
前言 过度训练让中度模型出现了结构泛化能力。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全 ......
transformer模型
Transformer由谷歌团队在论文《Attention is All You Need》提出，是基于attention机制的模型，最大的特点就是全部的主体结构均为attention。 以下部分图片来自论文，部分图片来自李宏毅老师的transformer课程 课程链接：强烈推荐！台大李宏毅自注意力 ......
Transformer架构在大型语言模型(LLM)中的应用与实践
Transformer架构是当今最前沿的语言模型技术之一，它已经在谷歌的BERT、OpenAI的GPT系列中取得了显著的成就。这一架构之所以独特，是因为它打破了传统的序列处理模式，引入了创新的“自注意力”机制。 Transformer架构的核心是自注意力机制，它使模型能够识别和重视输入数据中不同部分 ......
GKCTF2020WP-Crypto Misc
Crypto 小学生的密码学 题目 e(x)=11x+6(mod26) 密文：welcylk （flag为base64形式） 我的解答： 考点：仿射密码，已知a,b 结果base64加密即可 flag{c29yY2VyeQ==} 汉字的秘密 题目 你能看出汉字的奥秘吗？ 答案形式：flag{小写字母 ......
[论文阅读] Replacing softmax with ReLU in Vision Transformers
Pre title: Replacing softmax with ReLU in Vision Transformers accepted: Arxiv 2023 paper: https://export.arxiv.org/abs/2309.08586 code: None 关键词：atten ......
LOJ #3353. 「CEOI2020」象棋世界
题面传送门 什么缝合怪（ 以下默认判掉一步走到。 Section 1: P 容易发现不会改变纵坐标，简单判断即可。 Section 2: R 两步，两种方案。 Section 3: Q 因为 \(n\geq m\)，所以直走两种方案，先斜着走再竖着走两种方案是一定有的。 以下默认其先往左下走，往右下 ......
unity Transform 的 Rotate(xAngle: float, yAngle: float, zAngle: float, relativeTo: Space = Space.Self, Space.World); 刨根问底
public class demoword2 : MonoBehaviour { // Start is called before the first frame update void Start() { //transform.Rotate(60, 70, 80, Space.World); ......
[GYCTF2020]Blacklist
堆叠注入，前面与“[强网杯 2019]随便注”一致，查询到 flag 在FlagHere 表中。 GET /?inject=1'%3bshow+tables%3b%23 HTTP/1.1 Host: 0ebc2b91-75a9-4336-89cc-32c2c89ee4d1.node4.buuoj.c ......
基于Transformer的遥感影像目标检测研究
基于Transformer的遥感影像目标检测研究 1. 研究课题三要素 1.1 研究对象 遥感影像。 1.2 研究问题 目标检测任务指的是为每个感兴趣的对象预测一组边界框和类别标签。与自然场景下的通用目标检测不同，遥感影像存在一些自身的特点，例如遥感图像幅面大、成像视角单一、可提取的特征较少；目标数 ......
Retentive Networks Meet Vision Transformers， 视觉RetNet
alias: Fan2023 tags: RetNet rating: ⭐ share: false ptype: article RMT: Retentive Networks Meet Vision Transformers 初读印象 comment:: (RMT)Retentive Netwo ......
2020年初一初二集训队（线段树） 基本操作
其他 线段树详解与实现 - 知乎 (zhihu.com) 线段树 - OI Wiki (oi-wiki.org) 线段树 学习笔记 - xujindong 的博客 - 洛谷博客 (luogu.com.cn) 简介 线段树(segment tree)是一种二叉搜索树，也是平衡二叉树，它的每一个结点对 ......
[WUSTCTF 2020]（病假回归）
[WUSTCTF 2020]level1 下载下来后有俩文件，先看level1 查壳，无壳64位，拖入IDA中 看到其中的i&1，为按位与运算，取2进制整数 i 的最低位，如果最低位是1 则得1，如果最低位是0 则得0。 奇数 i 的最低位 是1，偶数i 的最低位 是0。 再看到output文件，里 ......
P6625 [省选联考 2020 B 卷] 卡牌游戏
题目描述 轩轩某天想到了一个卡牌游戏，游戏规则如下： 初始时轩轩的手中有自左向右排成一排的 \(n\) 张卡牌，每张卡牌上有一个整数分值。 接下来，轩轩每次可以选取卡牌序列最左边的连续若干张卡牌（至少 \(2\) 张），将它们替换为一张新卡牌。新卡牌将插入到序列的最左端，它的分值为本次操作中被替换掉 ......
P6624 [省选联考 2020 A 卷] 作业题
大力推式子+矩阵树题 简记 \(\gcd(w_1,w_2,...,w_{n-1})\) 为 \(G(W)\) \[\sum_{T\in E} \left(\sum_i^{n-1} w_i\right)\times G(W)\\ =\sum_g^M g\sum_{Tree\in E} \left(\s ......
深入解析LLaMA如何改进Transformer的底层结构
本篇文章将以LLaMA 模型为例，介绍大语言模型架构在Transformer 原始结构上的改进，并介绍Transformer 模型结构中空间和时间占比最大的注意力机制优化方法。 ......
svg transform总结
1. svg的transform和dom的不同，旋转中心不是默认自身，而是画布左上角 2. svg要以自身为中心旋转，可以使用rotate(angle [x y]), 比css的rotate(angel)多了x,y两个参数，x,y分别设置为svg图形的中心点坐标即可 3. 线性变换 translat ......
大语言模型底层架构丨带你认识Transformer
本文分享自华为云社区《大语言模型底层架构你了解多少？大语言模型底层架构之一Transfomer的介绍和python代码实现》，作者： 码上开花_Lancer 。 语言模型目标是建模自然语言的概率分布，在自然语言处理研究中具有重要的作用，是自然语言处理基础任务之一。大量的研究从n 元语言模型（n-gr ......
2020年高考数学真题一题多解
(2020理科数学20)已知\(A,B\)为椭圆\(E:\dfrac{x^2}{a^2}+y^2=1(a>1)\)的左右顶点,\(G\)为\(E\)上的上顶点,\(\overrightarrow{AG}\cdot\overrightarrow{GB}=8,P\)为直线\(x=6\)上的动点,\(PA ......
Erasing, Transforming, and Noising Defense Network for Occluded Person Re-Identification
三个分支：擦除、转换、噪声 用来生成对抗性表征，模拟遮挡问题 对应信息丢失、位置错位和噪声信息 对抗性防御：思路是GAN网络，以对抗性的方式优化生成器和判别器 ......
BUUCTF-RE-49-[羊城杯 2020]easyre
BUUCTF-RE-[羊城杯 2020]easyre 进入main，简单分析之后进入encode_one int __cdecl main(int argc, const char **argv, const char **envp) { int v3; // eax int v4; // eax ......
LOJ3405 「2020-2021 集训队作业」Gem Island 2
LOJ 传送门 组合计数神题。下文的 \(m\) 指原题面中的 \(d\)，\(k\) 指原题面中的 \(r\)。 考虑最后每个人得到的宝石数量的序列 \(s_1, s_2, \ldots, s_n\)，考虑这种方案的出现次数。首先要在 \(m\) 次操作中分别选 \(s_i - 1\) 次给第 \ ......
2023ICCV_Feature Modulation Transformer: Cross-Refinement of Global Representation via High-Frequency Prior for Image Super-Resolution
一. Motivation 1. transformer的工作主要集中在设计transformer块以获得全局信息，而忽略了合并高频先验的潜力 2. 关于频率对性能的影响的详细分析有限（Additionally, there is limited detailed analysis of the i ......
简化版Transformer ：Simplifying Transformer Block论文详解
前言 本文探讨了来自苏黎世联邦理工学院计算机科学系的Bobby He和Thomas Hofmann在他们的论文“Simplifying Transformer Blocks”中介绍的Transformer技术的进化步骤。这是自Transformer 开始以来，我看到的最好的改进。 本文转载自Deep ......