Rethinking and Improving Relative Position Encoding for Vision Transformer
* Authors: [[Kan Wu]], [[Houwen Peng]], [[Minghao Chen]], [[Jianlong Fu]], [[Hongyang Chao]]
初读印象
comment:: (iRPE)提出了专门用于图像的相对位置编码方法，code:Cream/iRPE at main · microsoft/Cream (github.com)
动机
注意力机制中，输入特征的顺序并不会影响注意力计算，也就是说注意力操作是对位置不敏感的。nlp中常用1维位置编码，而在图像中需要提出二维的位置编码。
- 绝对位置编码：每个位置都有一个单独的编码向量。
- 相对位置编码：用两个位置之间的关系在查找表之中得到对应的编码向量。
方法
- 创新点：
- 为了研究编码是否可以独立于输入嵌入，引入两种相对位置模式：偏置和上下文。
- 引入分段函数以进行位置编码。
统一公式
其中\(e_{ij}\)是query_i和key_j之间的相关性，\(b_{ij}\)是二维相对位置编码。* 偏执模式：
\(r_{ij}\)是一个可学习的标量
- 上下文模式：
或
或
\(r_{ij}\)是可学习的向量。#### 分段指标函数(Piecewise Index Function)
其中[·]代表四舍五入；sign(x)中x大于0为1，小于0为-1，等于0为0；\(\alpha\)是分界点；\(\beta\)控制输出区间，\(\gamma\)控制对数部分的曲率。
能够通过相对距离分配不同级别的注意力。#### 2D相对位置计算
Euclidean method
是一种无向的方法。
计算两个点之间的欧式距离并将其投影到对应编码空间。
偏置\(r_{ij}\)为
\(P_{I(i,j)}\)表示将\(I{(i,j)}\)投影到可学习的标量或者向量上。将\(P_{I(i,j)}\)看作一个桶，用于存储相对位置权重。桶的数量为\(2\beta + 1\)。
Quantization method
是一种无向的方法。
欧氏距离在临近点时会被映射到同一个距离，如相对距离(1,0)=1和(1,1)=1.41都会被四舍五入成1，所以多加一个quant映射如下
其中
Cross method
是一种有向的方法，分别在水平方向和垂直方向上编码，然后将他们相加：
其中\(p^\hat{x}\)和\(p^\hat{y}\)都是可学习的标量或向量，桶的数量为\(2\times(2\beta+1)\)。
Product Method
有向方法，使用二维编码
其中\(P_{I^\hat{x}(i,j),I^\hat{y}(i,j)}\)为可学习的标量或向量，桶的数量为\((2\beta+1)^2\)。### 表现
有向强于无向，语义强于偏置。
启发
用可学习的参数来代替人工设置的位置编码，拥有更好的学习效果，而且实现起来也更简单。
- Transformer Rethinking Improving Encoding Relativetransformer rethinking improving encoding transformer positional encoding模型 rethinking convolutional segmentation rethinking attention rethinking inference retrieval faithful reconstruction registration rethinking masking relative improving understanding pre-training generative improving translation augmentation robustness improving