526互联

recommendation personalized explainable transformer

Transformer计算公式

## LLM inference workflow **Generative Inference**. A typical LLM generative inference task consists of two stages: i) the prefill stage which takes a ......
Transformer 公式

bert，Bidirectional Encoder Representation from Transformers

BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上 ......
Representation Bidirectional Transformers Encoder bert

transformer

masked mutil-head attetion mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。其中，padding mask 在所有的 scaled do ......
transformer

A Neural Influence Diffusion Model for Social Recommendation

[TOC] > [Wu L., Sun P., Fu Y., Hong R., Wang X. and Wang M. A neural influence diffusion model for social recommendation. SIGIR, 2019.](https://dl.acm ......
Recommendation Influence Diffusion Neural Social

SocialLGN Light graph convolution network for social recommendation

[TOC] > [Liao J., Zhou W., Luo F., Wen J., Gao M., Li X. and Zeng J. SocialLGN: Light graph convolution network for social recommendation. Information ......
recommendation convolution SocialLGN network social

Transformer历史揭秘及Transformer-DETR

Transformer历史揭秘及Transformer-DETR 揭秘创始八子：聚是一团火，散是满天星 Transformer创始八子深度揭秘：陈旧的身躯留不住年轻的心。 谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatG ......
Transformer Transformer-DETR 历史 DETR

transformer模型的历史

Transformer 模型在深度学习领域，尤其是自然语言处理（NLP）中，起到了革命性的作用。以下是其发展历程的简要概述： 1. **背景**： - 在 Transformer 出现之前，循环神经网络（RNN）及其更先进的版本，如长短时记忆网络（LSTM）和门控循环单元（GRU）是处理序列任务的主 ......
transformer 模型 历史

transformer小白入门

transformer库是huggingface发布的1个框架，非常好用，很多外行看起来高大上的问题，用它都可以轻松解决，先来看1个小例子： 一、情感分析 from transformers import pipeline classifier = pipeline('sentiment-analy ......
transformer

论文解读（CTDA）《Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification论 ......
domain classification cross-domain multi-source Contrastive

Transformers包使用记录

Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（Pytorch/Tensorflow/Jax）无缝转移。以下记录基于HuggingFace官网教程：https://github. ......
Transformers

MySQL之Explain

# 执行计划输出中各列详解 ## table EXPLAIN语句输出的每条记录都对应着某个单表的访问方法， 该条记录的table列代表着该表的表名 这个查询语句只涉及对`sys_user`表的单表查询， 所以EXPLAIN输出中只有一条记录， 其中的table列的值是`sys_user`， 表明这条 ......
Explain MySQL

聊聊Transformer和GPT模型

本文基于《生成式人工智能》一书阅读摘要。感兴趣的可以去看看原文。 可以说，Transformer已经成为深度学习和深度神经网络技术进步的最亮眼成果之一。Transformer能够催生出像ChatGPT这样的最新人工智能应用成果。 ## 序列到序列(seq2seq) Transformer能实现的核心 ......
Transformer 模型 GPT

[机器学习]对transformer使用padding mask

注：本文是对GPT4的回答的整理校正补充。 在处理序列数据时，由于不同的序列可能具有不同的长度，我们经常需要对较短的序列进行填充（padding）以使它们具有相同的长度。但是，在模型的计算过程中，这些填充值是没有实际意义的，因此我们需要一种方法来确保模型在其计算中忽略这些填充值。这就是padding ......
transformer 机器 padding mask

解码Transformer：自注意力机制与编解码器机制详述与代码实现

> 本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理，并展示其在人工智能领域的广泛影响。 > 作者 TechLe ......
机制 解码器 Transformer 注意力 代码

论文解读（SimGCL）《Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation论文作者：Junliang Yu ......
Graph Recommendation Augmentations Contrastive Necessary

MongoDB索引操作和执行计划Explain()详解

一、索引操作 说明，下面的内容举例时，以"dailyTrip"collection为例。 字段内容如下： { "_id" : ObjectId("63ec5a971ddbe429cbeeffe3"), // object id "car_type" : "Gett", // string "date ......
索引 MongoDB Explain

torchvision中的transforms

torchvision是图像处理库，计算机视觉工具包。 在pycharm中使用镜像下载包时在命令行输入（以cv2为例）： #使用国内镜像下载pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple transforms ......
torchvision transforms

Windows11安装python模块transformers报错Long Path处理

Windows11安装python模块transformers报错，报错信息如下 ``` ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'C:\\Users\\274 ......
transformers 模块 Windows python Long

【已解决】module 'torchaudio.transforms' has no attribute 'ToTensor'

1.报错，这两种情况 module 'torchaudio.transforms' has no attribute 'ToTensor' module 'torchvision' has no attribute 'transforms' 2.修改方式： 将导库的方式从 【import torch ......
39 torchaudio transforms attribute ToTensor

论文阅读 | Layer-wised Model Aggregation for Personalized Federated Learning

面向个性化联合学习的分层模型聚合 ==在本文中，我们提出了一种新的pFedLA训练框架，该框架能够区分不同客户端的每一层的重要性，从而能够优化具有异构数据的客户端的个性化模型聚合。==具体来说，我们在服务器端为每个客户端使用一个专用的超网络，它被训练来识别层粒度上的相互贡献因素。同时，引入参数化机制 ......
Personalized Layer-wised Aggregation Federated Learning

[论文速览] Handwriting Transformers

## Pre title: Handwriting Transformers accepted: ICCV 2021 paper: https://arxiv.org/abs/2104.03964 code: https://github.com/ankanbhunia/Handwriting-Tr ......
Transformers Handwriting 论文

论文解读（LightGCL）《LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation论文作者：Cai, Xuheng and Huang, ......
LightGCL Recommendation Contrastive Effective Learning

transform和大模型训练相关

1.数据流程 注：解码的过程会多一个Attention，先加掩码来避免解码获取当前word后的词 数据的计算流程：embeding——》multi head attention——》Add&Norm——》FNN——》Add&Norm——》Linear——》softmax FNN和多头Attentio ......
transform 模型

HS-GCN Hamming Spatial Graph Convolutional Networks for Recommendation

[TOC] > [Liu H., Wei Y., Yin J. and Nie L. HS-GCN: Hamming spatial graph convolutional networks for recommendation. IEEE TKDE.](https://arxiv.org/pdf/ ......
Recommendation Convolutional Networks Hamming Spatial

[论文阅读] Neural Transformation Fields for Arbitrary-Styled Font Generation

## Pre title: Neural Transformation Fields for Arbitrary-Styled Font Generation accepted: CVPR 2023 paper: https://openaccess.thecvf.com/content/CVPR2 ......
Arbitrary-Styled Transformation Generation Arbitrary Neural

transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer

# transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten ......
tensorflow transformer ValueError invalid pointer

基于 Habana Gaudi 的 Transformers 入门

几周前，我们很高兴地 [宣布](https://huggingface.co/blog/zh/habana) [Habana Labs](https://habana.ai) 和 [Hugging Face](https://huggingface.co/) 将开展加速 transformer 模型 ......
Transformers Habana Gaudi

《Decision Transformer: Reinforcement Learning via Sequence Modeling》论文学习

一、Introduction 先前的研究工作表明，Transformer可以对处于高维分布的语义概念进行大规模建模抽象，比较典型地体现如： 基于自然语言的零样本泛化（zero-shot generalization） 分布外图像生成（out-of-distribution image generat ......
Reinforcement Transformer Decision Learning Modeling

Transform操作——移动旋转缩放

Transform操作——移动旋转缩放 1.移动 transform.Translate(Vector3.left * (mouse_x * 15f) * Time.deltaTime); cube.transform.position = cube.transform.position + new ......
Transform

MySQL-explain执行计划

`explain关键字可以模拟优化器执行SQL语句，分析查询语句的性能` `在select语句之前增加explain关键字，MySQL会在查询上设置一个标记，执行查询会返回执行计划的信息，并不会执行这条SQL` ![](https://img2023.cnblogs.com/blog/1645656 ......
MySQL-explain explain MySQL
共551篇  :9/19页 首页上一页9下一页尾页