recommendation personalized explainable transformer
解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
Contrastive Learning for Representation Degeneration Problem in Sequential Recommendation
[TOC] > [Qiu R., Huang Z., Ying H. and Wang Z. Contrastive learning for representation degeneration problem in sequential recommendation. WSDM, 2022.] ......
Personal Information Exchange (PKCS #12)
The Personal Information Exchange format (PFX, also called PKCS #12) supports secure storage of certificates, private keys, and all certificates in a ......
2.4 Transform
通常而言，数据不会以处理好的形式出现，所以我们需要在训练前对数据进行预处理，以适应训练 所有 TorchVision 的 Dataset 都会有两个参数—— transform 用于修改特征，target_transform 用于修改标签——它们接受包含转换逻辑的可调用对象（其实就是接受函数对象）。 ......
编码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
transformer预测ENSO(Sci.Adv.,2023-3-8)
预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
02.transformer
transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
大模型核心技术原理: Transformer架构详解
在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记
## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......
Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ ## 重磅更新 ### Tr ......
transformers入门使用
# transformers入门使用 HuggingFace是一个开源社区，它提供了先进的NLP模型，数据集，以及其他工具。 模型：https://huggingface.co/models 数据集：https://huggingface.co/datasets 主要的模型 - 自然回归： `GPT ......
Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation
[TOC] > [Xia X., Yin H., Yu J., Wang Q., Cui L and Zhang X. Self-supervised hypergraph convolutional networks for session-based recommendation. AAAI, ......
编码器-解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 _表征学习_ 和 _模型架构_ 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 [博文](https://ruder.io/a-review- ......
Self-Supervised Graph Co-Training for Session-based Recommendation
[TOC] > [Xia X., Yin H., Yu J., Shao Y. and Cui L. Self-supervised graph co-training for session-based recommendation. CIKM, 2021.](http://arxiv.org/a ......
背景 | 基于 Transformers 的编码器-解码器模型
```bash !pip install transformers==4.2.1 !pip install sentencepiece==0.1.95 ``` Vaswani 等人在其名作 [Attention is all you need](https://arxiv.org/abs/1706. ......
RWKV – transformer 与 RNN 的强强联合
在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 [Attention Is All ......
Global Context Enhanced Graph Neural Networks for Session-based Recommendation
[TOC] > [Wang Z., Wei W., Cong G., Li X., Mao X. and Qiu M. Global context enhanced graph neural networks for session-based recommendation. SIGIR, 202 ......
SQL优化之EXPLAIN执行计划
# 前言 从今天开始本系列文章就带各位小伙伴学习数据库技术。**数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深, 全面讲解数据库体系。 非常适合零基础的小伙伴来学习。** *** 全文大约 **【1965】字**，不说废话，只讲可以让你学到技术、明白原理的 ......
比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤
前言 本文介绍了vanilla KD方法，它在ImageNet数据集上刷新了多个模型的精度记录。 本文转载自新智元 作者 | Joey 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
【EXPLAIN】MySQL执行计划分析
[toc] ## 什么是执行计划？ **执行计划** 是指一条 SQL 语句在经过 **MySQL 查询优化器** 的优化会后，具体的执行方式。执行计划通常用于 SQL 性能分析、优化等场景。通过 `EXPLAIN` 的结果，可以了解到如数据表的查询顺序、数据查询操作的操作类型、哪些索引可以被命中、 ......
Neural Attentive Session-based Recommendation
[TOC] >[ Li J., Ren P., Chen Z., Ren Z., Lian T. and Ma J. Neural attentive session-based recommendation. CIKM, 2017.](http://arxiv.org/abs/1711.04725 ......
End-to-End Object Detection with Transformers论文阅读笔记
## 摘要 作者提出了一种新的基于Transformer的目标检测模型DETR，将检测视为集合预测问题，无需进行nms以及anchor generation等操作。同时，对模型进行简单的修改就可以应用到全景分割任务中。 ## 方法 ### Object detection set predictio ......
Memory Priority Model for Session-based Recommendation
[TOC] > [Liu Q., Zeng Y., Mokhosi R. and Zhang H. STAMP: Short-term attention/memory priority model for session-based recommendation. KDD, 2018.](http ......
ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册
前言 本文介绍一下最近被 ICML 2023 接收的文章：A Closer Look at Self-Supervised Lightweight Vision Transformers.文章聚焦在轻量级 ViT 的预训练上，相当于为相关方向的研究提供了一个 benchmark，相关的代码与模型也都 ......
CF280E - Sequence Transformation
给定一个不降整数序列 $1\le x_1\le x_2\le \cdots\le x_n\le q$，请构造一个实数序列 $y$ 满足 $y_i\in [1,q]$，$y_i-y_{i-1}\in[a,b]$，且最小化 $\sum (y_i-x_i)^2$，保证有解。 #### 利用凸函数性质维护导 ......
tj-factory_Person_v1_to_v2.py
说明：该脚本把21的mysql数据库factory_cloud.personnel表里的数据迁移到185的mysql数据库tj_factory_prod.bd_person表里，这2个表字段不一致，只要2个表相关联的字段。 import pymysql import sys import datet ......
Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers概述
0.前言 相关资料： arxiv github 论文解读 论文基本信息： 领域：弱监督语义分割 发表时间： CVPR 2022(2022.3.5) 1.针对的问题 目前主流的弱监督语义分割方法通常首先训练分类模型，基于类别激活图（CAM）或其变种生成初始伪标签；然后对伪标签进行细化作为监督信息训练一 ......
【研究生学习】Transformer模型以及Pytorch实现
Transformer是Google在2017年提出的网络架构，仅依赖于注意力机制就可以处理序列数据，从而可以不使用RNN或CNN。当前非常热门的BERT模型就是基于Transformer构建的，本篇博客将介绍Transformer的基本原理，以及其在Pytorch上的实现。 ......
加餐-基于Transformer实现中译英（tf2.x）
# 1.项目概述 > 本实例使用Transformer这个强大的特征提取工具，把英文翻译成中文。具体步骤先构建Transorformer架构，然后训练模型、评估模型，最后使用几个英文语句测试模型效果。 > > 为便于训练，这里训练数据仅使用使用TensorFlow2上的wmt19_translate ......