recommendation personalized explainable transformer
听我说，Transformer它就是个支持向量机
前言 SVM is all you need，支持向量机永不过时。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基 ......
Spikformer: When Spiking Neural Network Meets Transformer
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2023（同大组工作） ABSTRACT 我们考虑了两种生物学合理的结构，脉冲神经网络（SNN）和自注意机制。前者为深度学习提供了一种节能且事件驱动的范式，而 ......
ViTPose+：迈向通用身体姿态估计的视觉Transformer基础模型
京东探索研究院联合悉尼大学在这方面做出了探索，提出了基于简单视觉transformer的姿态估计模型ViTPose和改进版本ViTPose+。ViTPose系列模型在MS COCO多个人体姿态估计数据集上达到了新的SOTA和帕累托前沿。 ......
Time Matters Sequential Recommendation with Complex Temporal Information
[TOC] > [Ye W., Wang S., Chen X., Wang X., Qin Z. and Yin D. Time Matters: Sequential recommendation with complex temporal information. SIGIR, 2020.]( ......
【论文阅读】CAT: Cross Attention in Vision Transformer
论文地址：[2106.05786] CAT: Cross Attention in Vision Transformer (arxiv.org) 项目地址：https://github.com/linhezheng19/CAT 一、Abstract 由于Transformer在NLP中得到了广泛的应 ......
通过提示大语言模型进行个性化推荐LLM-Rec: Personalized Recommendation via Prompting Large Language Models
论文原文地址：https://arxiv.org/abs/2307.15780 本文提出了一种提示LLM并使用其生成的内容增强推荐系统的输入的方法，提高了个性化推荐的效果。 ## LLM-Rec Prompting 、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN ......
Swin-Transformer 源码学习与使用手册
拜读了VIT以及TNT以及Swin-Transformer 的论文，结合B站up主的分析， 预感Swin-Transformer具有ResNet似的跨里程碑式的意义， 因此学习Swin-Transformer源码及其使用，记录如下。 Run Swin-Tpython -m torch.distrib ......
ICML 2023 | 神经网络大还是小？Transformer模型规模对训练目标的影响
前言 本文研究了 Transformer 类模型结构（configration）设计（即模型深度和宽度）与训练目标之间的关系。结论是：token 级的训练目标（如 masked token prediction）相对更适合扩展更深层的模型，而 sequence 级的训练目标（如语句分类）则相对不适合 ......
【ICML2022】Understanding The Robustness in Vision Transformers
来自NUS&NVIDIA 文章地址：[2204.12451] Understanding The Robustness in Vision Transformers (arxiv.org) 项目地址：https://github.com/NVlabs/FAN 一、Motivation CNN使用滑动 ......
A Contextualized Temporal Attention Mechanism for Sequential Recommendation
[TOC] > [Wu J., Cai R. and Wang H. D\'ej\`a vu: A contextualized temporal attention mechanism for sequential recommendation. WWW, 2020.](http://arxiv. ......
Proj CDeepFuzz Paper Reading: Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
## Abstract 本文： Task: 1. prove invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations 2. prove that ......
explain | 索引优化
## 前言 对于互联网公司来说，随着用户量和数据量的不断增加，慢查询是无法避免的问题。一般情况下如果出现慢查询，意味着接口响应慢、接口超时等问题。如果是高并发的场景，可能会出现数据库连接被占满的情况，直接导致服务不可用。 慢查询的确会导致很多问题，我们要如何优化慢查询呢？ 主要解决办法有： * 监控 ......
Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer
[TOC] > [Fan Z., Liu Z., Zhang J., Xiong Y., Zheng L. and Yu P. S. Continuous-time sequential recommendation with temporal graph collaborative transfo ......
大模型时代的推荐系统Recommender Systems in the Era of Large Language Models (LLMs)
文章地址：https://arxiv.org/abs/2307.02046 笔记中的一些小实验中的模型都是基于GPT-3.5架构的ChatGPT模型。 本文主要讲述了比较具有代表性的方法利用LLM去学习user和item的表示，从预训练、微调和提示三个范式回顾了近期用于增强推荐系统的LLM先进技术， ......
Position-Enhanced and Time-aware Graph Convolutional Network for Sequential Recommendations
# Position-Enhanced and Time-aware Graph Convolutional Network for Sequential Recommendations [TOC] > [Huang L., Ma Y., Liu Y., Du B., Wang S. and Li ......
Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN)
长尾问题是个老大难问题了。
在推荐中可以是用户/物料冷启动，在搜索中可以是中低频query、文档，在分类问题中可以是类别不均衡。长尾数据就像机器学习领域的一朵乌云，飘到哪哪里就阴暗一片。今天就介绍来自Google的一篇解决长尾物品推荐的论文。 ......
transformer解读-更新中
Transformer是一种基于注意力机制的深度学习架构，专门用于处理序列数据，尤其在自然语言处理领域取得了重大突破。它由Google于2017年首次提出，并在各种NLP任务中表现出色，如机器翻译、文本生成和情感分析。 主要特点包括： 自注意力机制：Transformer的核心是自注意力（Self- ......
NLP原理系列1-说清楚transformer原理
NLP原理系列1-说清楚transformer原理 来用思维导图和截图描述。 思维导图的本质是 变化(解决问题)-> 更好的， 或者复杂问题拆分为小问题 以及拆分的思路。 参考链接：李宏毅 transformer原理。 一 tansformer的推理及训练过程 1 tf 训练过程 红框部分是 训练得 ......
Time-aware Path Reasoning on Knowledge Graph for Recommendation
[TOC] > [Zhao Y., Wang X., Chen J., Wang Y., Tang W., He X. and Xie H. Time-aware path reasoning on knowledge graph for recommendation. TOIS, 2022.](h ......
How Can Recommender Systems Benefit from Large Language Models: A Survey 阅读笔记
论文主要从LLM应用在推荐系统哪些部分以及LLM如何应用在推荐系统中，还讨论了目前LLM应用在RS中的一些问题。 ###Where? 推荐系统哪些部分哪里可以应用到大模型？文章中提到了特征工程、特征编码、评分/排序函数、推荐流程控制。 - LLM for Feature Engineering - ......
Transformer速查宝典：模型、架构、训练方法的论文都在这里了
前言 论文大合集，一篇文章就搞定。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
带你上手基于Pytorch和Transformers的中文NLP训练框架
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ......
聊聊HuggingFace Transformer
## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config ......
GPT之路(四) 神经网络架构Transformer工作原理
原文：What Are Transformer Models and How Do They Work? Transformer模型是机器学习中最令人兴奋的新发展之一。它们在论文Attention is All You Need中被介绍。Transformer可以用于写故事、文章、诗歌，回答问题，翻 ......
swin transformer
摘要核心1.本文提出一种可以适用于多种任务的backbone->swin transformer2.Transformer迁移到CV中有两点挑战->物体尺度不一，图像分辨率大3.为了解决尺度不一的问题，Swin Transformer使用了分层的结构(Pyramid)4.为了能够在高分辨率上运行，S ......
mysql 深入学习二 Explain工具介绍
创建表数据： #创建actor表 DROP TABLE IF EXISTS `actor`; CREATE TABLE `actor` ( `id` int(11) NOT NULL, `name` varchar(45) DEFAULT NULL, `update_time` datetime D ......
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命是 _让优秀的机器学习普惠化_ ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 [与 bi ......
transformer模型首次体验代码
首先是安装python，更新pip源到清华源。安装transformer pip install transformer 安装jupyter lab，也简单一行 pip install jupyterlab 现在不想用anaconda了，因为国内没有源了，国外的又慢。直接用pip吧。 然后开始体验之 ......
使用 Transformers 优化文本转语音模型 Bark
🤗 Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。 🤗 Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工 ......