recommendation personalized explainable transformer
Swin transformer环境
pip install torch==1.7.0+cu101 torchvision==0.8.1+cu101 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html pip install mmcv-full= ......
设置transform导致弹窗字体模糊问题
原因项目中弹出框的样式居中是这样写的：.box { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%);}123456比如盒子的宽度为300px，高度为401.5px，这样transform计算出的50% ......
解决 c3p0报错 Establishing SSL connection without server's identity verification is not recommended
解决 c3p0报错 Establishing SSL connection without server's identity verification is not recommended ?useSSL=false <c3p0-config> <default-config> <property ......
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B ......
分析查询语句：EXPLAIN
一、概述 使用mysqldumpslow工具定位到慢查询语句之后，可以使用explain或describe工具做针对性的分析查询语句。 MySQL种有专门负责优化SELECT语句的优化器模块：通过计算分析系统中收集到的统计信息，为客户端请求的Query提供他认为最优的执行计划。 这个执行计划展示了接 ......
Attention Is All You Need—transformer详解
Attention Is All You Need 论文 transformer代码 以下大部分是根据论文理解进行的总结和概括，如有疑问，欢迎交流~ transformer仅仅使用注意力机制，没有使用任何的卷积或者RNN结构。 传统RNN结构的当前隐层状态$h_t$需要当前时刻的输入以及上一时刻的隐 ......
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
简介 近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型 ......
MySQL8分析利器Explain analyze
EXPLAIN和EXPLAIN ANALYZE区别 EXPLAIN展示查询优化器对该查询计划估计的代价，但是不执行该查询。 EXPLAIN ANALYZE不仅会显示查询计划，还会实际运行语句。 Explain Analyze不影响数据操作方式 EXPLAIN ANALYZE会丢掉任何来自SELECT ......
Explain执行计划分析
id 操作的唯一标识,值越大的操作越先执行 select_type 操作的类型,不同类型的查询效率不同.包括: simple,简单的select语句,查询中不包含自查询或者union primary,查询若包含任何复杂的子部分,最外层查询则被标记为primary subquery,在select或w ......
Transformer
参考： transform的paper出处:https://blog.csdn.net/qq_40585800/article/details/112427990 发展 Transformer是由谷歌于2017年提出的具有里程碑意义的模型，同时也是语言AI革命的关键技术。在此之前的SOTA模型都是以 ......
3_transforms (pytorch tutorial)
Transforms Data does not always come in its final processed form that is required for training machine learning algorithms. We use transforms to perfo ......
深入了解 Transformers – Part 1: 介绍 Transformer 模型
动动发财的小手，点个赞吧！ 自从最新的Large Language Models（LLaM）发布以来，如OpenAI的GPT系列、开源模型Bloom或谷歌发布的LaMDA等，Transformer展现出了巨大的潜力，成为了深度学习的前沿架构楷模。 尽管已经有几篇文章介绍了 transformer 及 ......
论文解读（FGSM）《Explaining and Harnessing Adversarial Examples》
论文信息 论文标题：Explaining and Harnessing Adversarial Examples论文作者：Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy论文来源：ICLR 2015论文地址：download 论文代码：dow ......
猛读论文13 |【CVPR 2022 UDA】Unleashing Potential of Unsupervised Pre-Training with Intra-Identity Regularization for Person Re-Identification
动机 解决（1）对比学习管道中的增强通常会扭曲人物图像中的判别线索（2）细粒度的局部特征人物图像尚未得到充分探索。 思路 方法 ......
猛读论文6 |【CVPR 2022】Camera-Conditioned Stable Feature Generation for Isolated Camera Supervised Person Re-IDentification
用于孤立摄像机监督行人重识别的摄像机条件稳定特征生成 动机 常规ReID，对于一个ID，在不同摄像头拍摄的图片上提取跨相机视图不变特征 而 ISCS情况下，无法做到同一个ID采集到不同摄像头图片 由于跨相机样本在人体 Re-ID 模型训练中起着重要作用，而在 ISCS 设置下不存在此类配对图像，因此 ......
Explain
参考自：https://blog.csdn.net/fsdfkjai/article/details/121770629 select_type：表示对应行是简单查询还是复杂查询 simple：不包含子查询和union的简单查询 primary：复杂查询中最外层的select subquery：包含 ......
Swin Transformer
22年初的屠榜模型 题目：用了移动窗口的层级式的vision transformer 摘要：Swin transformer可以作为CV中通用骨干网络。与NLP不同的第一个是对象尺度的问题，第二是多次提到的分辨率太大的问题，之前工作已经用很多办法减少过输入模型的序列长度。移动窗口可以让每次只计算一个 ......
使用 Transformers 进行图分类
在之前的 博文 中，我们探讨了图机器学习的一些理论知识。这一篇我们将探索如何使用 Transformers 库进行图分类。(你也可以从 此处 下载演示 notebook，跟着一起做！) 目前，Transformers 中唯一可用的图 transformer 模型是微软的 Graphormer，因此本 ......
Unity CharacterController的transform赋值无效（一直下落）问题
题 使用 CharacterController 后 ， 坐标系统会变得混乱，这个是上期说过的问题，各系统之间使用自己的缓存来保持数据，玩家为了模拟重力 不得不持续进行运算。 这样就会令其他坐标操作指令出现无效化或者混乱 unity 也提供了一个简单的解决方案 就是每计算一次之前 都去同步其他坐标操 ......
Transformer网络-Self-attention is all your need
一、Transformer Transformer最开始用于机器翻译任务，其架构是seq2seq的编码器解码器架构。其核心是自注意力机制： 每个输入都可以看到全局信息，从而缓解RNN的长期依赖问题。 输入： （待学习的）输入词嵌入 + 位置编码（相对位置） 编码器结构： 6层编码器： 一层编码器 = ......
MySQL（十四）分析查询语句Explain 七千字总结
分析查询语句：EXPLAIN 1概述 定位了查询慢的SQL之后，就可以使用EXPLAIN或者DESCRIBE工具做针对性的分析查询。两者使用方法相同，并且分析结果也是相同的。 MySQL中有专门负责SQL语句优化的优化器模块，主要功能是计算分析系统中收集到的统计信息，为客户端请求的Query ......
Generative Pre-trained Transformer（GPT）模型技术初探
一、Transformer模型 2017年，Google在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。 ......
image forest transform算法及其实现（Java Web版本）
感觉分水岭算法和骨架算法还挺有趣的，自己空余时间写着玩儿了一下，原理还是参考论文以及其他的代码。 本文实现了 image forest transform 中的 skeleton 算法，也就是提取图片中的骨架，其他的分水岭暂时没搞。 代码中的其他组件都有，需要的话可以自己二次开发实现。 论文暂时没有 ......
04 Viewing Transformation
##关键点 ModelView Transformation Matrix (1-3) Orthographic Projection Matrix (4) Perspective Projection Matrix (5-6) 1. View/Camera/ModelView Transforma ......
03 Transformation
关键点 Affine Transformation (Linear Transformation, Transmation) Homogeneous coordinates Composite Transform 2D and 3D 1. Linear Transformation (2D for ......
DiffuRec: A Diffusion Model for Sequential Recommendation
Li Z., Sun A. and Li C. DiffuRec: A diffusion model for sequential recommendation. arXiv preprint arXiv:2304.00686, 2023. 概 扩散模型用于序列推荐, 性能提升很大. DiffuR ......
现代计算机图形学——P3. Transformation-2D
P3. Transformation P3. Transformation 矩阵和变换联系起来 Reflection Matrix（反射矩阵（名字不重要））： 切变： 旋转： 推导： 旋转矩阵中的B和D可以用（0,1）这个点来推算 线性变换： （先不管这个M） 齐次坐标 为什么要用齐次坐标： 平移变 ......
PgSQL · 最佳实践 · EXPLAIN 使用浅析
背景在使用数据库时，经常会有开发者有这样的疑问：“我的表对应字段已经创建了索引，为什么这个SQL 语句执行还是这么慢？” 虽然数据库SQL 执行慢有很多原因，但是对于PostgreSQL DBA 来说，好像有个共识，遇到用户慢SQL优化的问题，先拿EXPLAIN 命令查看下对应的查询计划，从而可以快 ......
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
前言 美图影像研究院（MT Lab）与中国科学院大学突破性地提出正则化方法 DropKey，用于缓解 Vision Transformer 中的过拟合问题。该方法通过在注意力计算阶段随机 drop 部分 Key 以鼓励网络捕获目标对象的全局信息，从而避免了由过于聚焦局部信息所引发的模型偏置问题，继而 ......
Computer Transformation UVA - 1647
初始串为一个1，每一步会将每个0改成10，每个1改成01，因此1会依次变成 01, 1001, 01101001,… 输入n（n≤1000），统计n步之后得到的串中， “00”这样的连续两个0出现了多少次 f =[0]*1003 g =[0]*1003 f[1]=0 g[1]=1 for i in ......