Nadaraya-Watson
机器学习——注意力汇聚：Nadaraya-Watson 核回归
上节介绍了框架下的注意力机制的主要成分 图10.1.3： 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚； 注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。 本节将介绍注意力汇聚的更多细节， 以便从宏观上了解注意力机制在实践中的运作方式。 具体来说，1964年提出的Nadara ......
《动手学深度学习 Pytorch版》 10.2 注意力汇聚：Nadaraya-Watson 核回归
import torch from torch import nn from d2l import torch as d2l 1964 年提出的 Nadaraya-Watson 核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。 10.2.1 生成数据集 根据下面的非线性函数生 ......