recommendation personalized explainable transformer
Bertviz: 在Transformer模型中可视化注意力的工具（BERT，GPT-2，Albert，XLNet，RoBERTa，CTRL，etc.)
BertViz BertViz是一个在Transformer模型中可视化注意力的工具，支持transformers库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。它扩展了Llion Jones的Tensor2Tensor可视化工具和HuggingFace的tr ......
MySQL的慢查询、explain、show profile及SQL优化
1、MySQL的慢查询、explain、show profile及SQL优化 https://www.cnblogs.com/linyue09/p/9869163.html 2、MySQL优化 1、查看 profile 开启情况 select @@profiling; 开启profile：set p ......
Bert Pytorch 源码分析：三、Transformer块
```py # PFF 层，基本相当于两个全连接 # 每个 TF 块中位于注意力层之后 class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dro ......
css3缩放 transform: scale() 使用缩放之后顶点对齐问题
css3缩放 transform: scale() 使用缩放之后顶点对齐问题 注意点：想要将缩放之后的div对齐顶点，那么需要将css属性设置为：transform-origin: 0 0 <div style="width: 900px; height: 900px; background: gr ......
工具推荐-personal kanban
# 工具推荐 -- personal kanban ## 看板工具 * 在项目中接触到项目管理工具pingcode中含有看板工具 * 但是实际使用时一般一周才看一下项目进度 * 这个看板的参与度实际上很低 * 为了将日常的工作内容纳入到管理中 * 找到了一款开源的看板工具personal kanba ......
Elasticsearch专题精讲—— REST APIs —— Cluster APIs —— Cluster allocation explain API（解释分配给索引或分片的节点选择过程的API）
REST APIs —— Cluster APIs —— Cluster allocation explain API（用于提供关于特定分片当前分配情况的解释） https://www.elastic.co/guide/en/elasticsearch/reference/8.8/cluster-a ......
《Transformer Quality in Linear Time》论文解读
会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数学表达式如下：T ......
深度学习中的循环神经网络”在Transformer中的应用
[toc] 深度学习中的“循环神经网络”在Transformer中的应用 背景介绍 深度学习在人工智能领域的应用已经取得了巨大的成功，尤其是在自然语言处理和计算机视觉领域。其中Transformer模型是近年来深度学习领域的一项重要研究成果，它是基于自注意力机制的深度神经网络模型，能够有效地提高模型 ......
DSM-5 表演型人格障碍(histrionic personality disorder,HPD)
戏剧化人格障碍是人格障碍的一种，又称表演型人格障碍。患者常显得不成熟、情绪不稳，具有强烈的自我意识和个人表现欲。他们富含敏感而夸张的情感，追求感官刺激，喜欢成为被关注的中心。由于过于重视他人表面的赞同和认可，因此他们的人际关系会很肤浅。他们善于博取同情，用夸张的情感控制甚至威胁他人。过分夸张的表现往 ......
DSM-5 偏执型人格障碍（paranoid personality disorder PPD）
偏执型人格障碍（paranoid personality disorder），又称妄想型人格障碍，其症状常表现为：对别人的回绝、不信任、厌恶过度敏感，而且很容易怀疑别人对自己有这些反面情绪。别人无意中的一举一动也可能被患者视为对其的敌意或阴谋。无理由的怀疑其伴侣在性关系或其他各方面有过不忠行为；顽固 ......
DSM-5 自恋型人格障碍（Narcissistic personality disorder, NPD）
自恋型人格疾患（英语：Narcissistic personality disorder，简称为 NPD），是一种长久性的人格疾患。患者往往会过度夸大强化自我的重要性，过度渴求别人的赞赏，缺乏同理他人行为的能力[2][3]。患者会花很多时间，思考如何获得权力、成功或提升外在形象 。最大的特征之一，就 ......
【环境部署】SPECTER模型-基于transformer的科学出版物
## 论文背景 **标题：**SPECTER: Document-level Representation Learning using Citation-informed Transformers **摘要：**表示学习是自然语言处理系统的关键组成部分。像BERT这样的最新Transformer语 ......
Graph Masked Autoencoder for Sequential Recommendation
[TOC] > [Ye Y., Xia L. and Huang C. Graph masked autoencoder for sequential recommendation. SIGIR, 2023.](http://arxiv.org/abs/2305.04619) ## 概 图 + MA ......
transformers库的使用【一】——pipeline的简单使用
transformers库的使用使用pipeline API来快速使用一些预训练模型 使用预训练模型最简单的方法就是使用pipeline()，transformers提供了一些任务： 1、情感分析（Sentment analysis）：分析文本是正面的还是负面的2、文本生成（in English）： ......
Huggingface Transformers库学习笔记（一）：入门（Get started）
前言 Huggingface的Transformers库是一个很棒的项目，该库提供了用于自然语言理解(NLU)任务(如分析文本的情感)和自然语言生成(NLG)任务(如用新文本完成提示或用另一种语言翻译)的预先训练的模型。其收录了在100多种语言上超过32种预训练模型。这些先进的模型通过这个库可以非常 ......
混合性对话：Towards Conversational Recommendation over Multi-Type Dialogs
## 混合型对话 传统的人机对话研究专注于单一类型的对话，并且往往预设用户一开始就清楚对话目标。但实际应用中，人机对话常常混合了多种类型，例如闲聊、任务导向对话、推荐对话、问答等，并且用户目标是未知的。在这样的混合型对话中，机器人需要主动自然地进行对话推荐。 “混合型对话”这个新颖的任务于2020年 ......
sentence-transformers(SBert)中文文本相似度预测(附代码)
sentence-transformers(SBert)中文文本相似度预测(附代码) https://blog.csdn.net/weixin_54218079/article/details/128687878 https://gitee.com/liheng103/sbert-evaluate ......
解决因transform适配导致ceiusm点击事件不准的问题
因为项目是vue项目，所以改动时候需要改下面路径的文件 \node_modules\cesium\Source\Core\ScreenSpaceEventHandler.js然后修改里面的这个方法（下图） function getPosition(screenSpaceEventHandler, e ......
Time Interval Aware Self-Attention for Sequential Recommendation
[TOC] > [Li J., Wang Y., McAuley J. Time interval aware self-attention for sequential recommendation. WSDM, 2020.](https://dl.acm.org/doi/10.1145/3336 ......
Transformers/SpaCy安装在Android手机(Termux)的Python开发环境
0. 安装Rust(Python库safetensors依赖Rust环境): $ rm -rf ~/.cargo #删除所有Rust残余旧版本 $ pkg install rust #最好安装完退出Termux所有Sessions $ mkdir -p ~/.cargo #重建rust的用户配置目录 ......
vue学习第16天 CSS---3D转换 （translate3d 3d移动、3D旋转 rotate3d、transform-style 是否开启3d环境）
3D转换 转换： 1）3d移动 translate3d 2）3d旋转 rotate3d 3D的特点： 1）近大远小 2）物体后面遮挡不可见 3D转换：我们工作最常用的 3D位移 和 3D旋转 主要知识点： 1、三维坐标系 （z轴，z外(屏幕)+，z内（屏幕）-） 三维坐标系其实就是指立体空间，立体空 ......
vue学习第14天 移动Web开发 --- CSS3 2D转换 (transform) 移动、旋转、缩放
2D转换 转换 （transform）是CS53中具有颠覆性的特征之一，可I以实现元素的位移、旋转、缩放等效果，可以简单理解为变形 1）移动： translate 2）旋转：rotate 3）缩放：scale 1、二维坐标系（x右+，x左-）（y下+，y上-） 2D转换是改变标签在二维平面上的位置和 ......
图解transformer中的自注意力机制
本文将将介绍注意力的概念从何而来，它是如何工作的以及它的简单的实现。 注意力机制 在整个注意力过程中，模型会学习了三个权重:查询、键和值。查询、键和值的思想来源于信息检索系统。所以我们先理解数据库查询的思想。 假设有一个数据库，里面有所有一些作家和他们的书籍信息。现在我想读一些Rabindranat ......
三大特征提取器（RNN/CNN/Transformer）
三大特征提取器 - RNN、CNN和Transformer# 简介# 近年来，深度学习在各个NLP任务中都取得了SOTA结果。这一节，我们先了解一下现阶段在自然语言处理领域最常用的特征抽取结构。 本文部分参考张俊林老师的文章《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CN ......
3.3 Spatial Transformer
# 1. Spatial Transformer Layer ## 1.1 CNN is not invariant to scaling and rotation (1) CNN并不能真正做到scaling和rotation. (2) 如下图所示,在通常情况下,左右两边的图片对于CNN来说是不一样 ......
transform (牛客多校) (双指针+二分+ 中位数妙用+前缀和相减维护)
题目大意: n 个商店在 一条直线上, 有一个xi 然后 有 ai 个商品 你可以把 商店的物品 移动到另一个商店, 代价为 : abs(xi-xj) 在代价不超过T的情况下 你可以选择一个商店来让 其他商店的物品都移到这个商店,问最多移动多少个物品 思路: 双指针维护一个最大的区间, 因为这个最大 ......
解决 `remote: You must use a personal access token with 'api' scope for Git over HTTP.`
## 背景 在家远程办公的时候 `git clone` 报错： ``` remote: HTTP Basic: Access denied remote: You must use a personal access token with 'api' scope for Git over HTTP. ......
利用生成式预训练Transformer实现文本分类和命名实体识别
[toc] 利用生成式预训练Transformer实现文本分类和命名实体识别 随着人工智能技术的不断发展，文本分类和命名实体识别成为了人工智能领域的重要应用。在这些应用中，使用生成式预训练Transformer模型已经成为了一种流行的解决方案。本文将介绍如何利用生成式预训练Transformer实现 ......
Transformer算法的应用
[toc] Transformer 算法的应用 近年来，随着深度学习和自然语言处理领域的迅速发展，Transformer 算法成为了深度学习中最重要的算法之一。Transformer 算法是一种基于自注意力机制的深度神经网络模型，它在处理序列数据时具有极强的并行计算能力和出色的表现力。本文将详细介绍 ......
GPT生成式预训练Transformer架构应用实战
[toc] GPT生成式预训练Transformer架构应用实战 ## 1. 引言 人工智能在过去几年发展迅速，深度学习和Transformer架构成为了当前人工智能领域的热点。GPT生成式预训练Transformer架构是深度学习中的一种新型架构，可以更好地处理自然语言生成任务，因此受到了广泛关注 ......