transformers retentive networks视觉
BZOJ3732 Network 题解 Kruskal重构树入门题
题目链接：[https://hydro.ac/d/bzoj/p/3732](https://hydro.ac/d/bzoj/p/3732) 题目大意： 给定一个图，每次询问两个点 $u$ 和 $v$，在 $u$ 到 $v$ 的所有路径中找一条路径，且这条路径上的所有边的边权最大值最小。 解题思路： ......
小红刷去水印工具：让你轻松摆脱烦人水印，享受纯净视觉盛宴！
大家好！今天我要向大家推荐一款热门的去水印工具——小红刷。随着社交媒体的普及，我们经常会在朋友圈、微博、抖音等平台上看到各种精彩的图片和视频，但是很多时候这些作品都被添加了烦人的水印，影响了我们的观看体验。小红刷去水印工具的出现，为我们解决了这个烦恼，让我们能够轻松摆脱水印的困扰，享受纯净的视觉盛宴 ......
Swin-Transformer 源码学习与使用手册
拜读了VIT以及TNT以及Swin-Transformer 的论文，结合B站up主的分析， 预感Swin-Transformer具有ResNet似的跨里程碑式的意义， 因此学习Swin-Transformer源码及其使用，记录如下。 Run Swin-Tpython -m torch.distrib ......
ICML 2023 | 神经网络大还是小？Transformer模型规模对训练目标的影响
前言 本文研究了 Transformer 类模型结构（configration）设计（即模型深度和宽度）与训练目标之间的关系。结论是：token 级的训练目标（如 masked token prediction）相对更适合扩展更深层的模型，而 sequence 级的训练目标（如语句分类）则相对不适合 ......
【ICML2022】Understanding The Robustness in Vision Transformers
来自NUS&NVIDIA 文章地址：[2204.12451] Understanding The Robustness in Vision Transformers (arxiv.org) 项目地址：https://github.com/NVlabs/FAN 一、Motivation CNN使用滑动 ......
Proj CDeepFuzz Paper Reading: Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
## Abstract 本文： Task: 1. prove invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations 2. prove that ......
Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer
[TOC] > [Fan Z., Liu Z., Zhang J., Xiong Y., Zheng L. and Yu P. S. Continuous-time sequential recommendation with temporal graph collaborative transfo ......
视觉SLAM十四讲 3.6.2实际的坐标转换的例子
在这一讲中，作者没有给出详细的过程，作为初学者还是有点懵。 这道题是有两种解法的 - 四元数解法 - 欧拉矩阵解法 ### 四元数解法 假设一个目标点 $p$在世界坐标系下的坐标是 $$ P_W $$ 利用四元数表示旋转，两个小萝卜坐标系下 $p$ 点坐标有如下公式： $$ p_1 = q_1 * ......
Proj CDeepFuzz Paper Reading: DeepTest: automated testing of deep-neural-network-driven autonomous cars
## Abstract 本文: DeepTest Task: a systematic testing tool for DNN-driven vehicles Method: 1. generated test cases with real-world changes like rain, fo ......
Position-Enhanced and Time-aware Graph Convolutional Network for Sequential Recommendations
# Position-Enhanced and Time-aware Graph Convolutional Network for Sequential Recommendations [TOC] > [Huang L., Ma Y., Liu Y., Du B., Wang S. and Li ......
基于机器视觉的小车轨迹控制软件界面展示
**项目概述：** 硬件：USB摄像头、51单片机、L298N驱动、ESP2866-WiFi模块、移动电源  软件： ......
Empowering Long-tail Item Recommendation through Cross Decoupling Network (CDN)
长尾问题是个老大难问题了。
在推荐中可以是用户/物料冷启动，在搜索中可以是中低频query、文档，在分类问题中可以是类别不均衡。长尾数据就像机器学习领域的一朵乌云，飘到哪哪里就阴暗一片。今天就介绍来自Google的一篇解决长尾物品推荐的论文。 ......
transformer解读-更新中
Transformer是一种基于注意力机制的深度学习架构，专门用于处理序列数据，尤其在自然语言处理领域取得了重大突破。它由Google于2017年首次提出，并在各种NLP任务中表现出色，如机器翻译、文本生成和情感分析。 主要特点包括： 自注意力机制：Transformer的核心是自注意力（Self- ......
NLP原理系列1-说清楚transformer原理
NLP原理系列1-说清楚transformer原理 来用思维导图和截图描述。 思维导图的本质是 变化(解决问题)-> 更好的， 或者复杂问题拆分为小问题 以及拆分的思路。 参考链接：李宏毅 transformer原理。 一 tansformer的推理及训练过程 1 tf 训练过程 红框部分是 训练得 ......
Proj CDeepFuzz Paper Reading: Aries: Efficient Testing of Deep Neural Networks via Labeling-Free Accuracy Estimation
## Abstract 背景： 1. the de facto standard to assess the quality of DNNs in the industry is to check their performance (accuracy) on a collected set of ......
论文阅读 《Pingmesh: A Large-Scale System for Data Center Network Latency Measurement and Analysis》
背景 在我们内部产品中，一直有关于网络性能数据监控需求，我们之前是直接使用 ping 命令收集结果，每台服务器去 ping (N-1) 台，也就是 N^2 的复杂度，稳定性和性能都存在一些问题，最近打算对这部分进行重写，在重新调研期间看到了 Pingmesh 这篇论文，Pingmesh 是微软用来监 ......
Transformer速查宝典：模型、架构、训练方法的论文都在这里了
前言 论文大合集，一篇文章就搞定。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
带你上手基于Pytorch和Transformers的中文NLP训练框架
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ......
解决：docker 443: connect: network is unreachable
1、配置镜像加速器 您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器 sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["h ......
聊聊HuggingFace Transformer
## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config ......
GPT之路(四) 神经网络架构Transformer工作原理
原文：What Are Transformer Models and How Do They Work? Transformer模型是机器学习中最令人兴奋的新发展之一。它们在论文Attention is All You Need中被介绍。Transformer可以用于写故事、文章、诗歌，回答问题，翻 ......
swin transformer
摘要核心1.本文提出一种可以适用于多种任务的backbone->swin transformer2.Transformer迁移到CV中有两点挑战->物体尺度不一，图像分辨率大3.为了解决尺度不一的问题，Swin Transformer使用了分层的结构(Pyramid)4.为了能够在高分辨率上运行，S ......
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命是 _让优秀的机器学习普惠化_ ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 [与 bi ......
3D视觉引导机械手原理分析
下面以康耐视的3D点云相机举例，由于相机出厂默认校准过，所以以下忽略内参推导（后面有机会可以专门做一篇分享），只对外参部分做分享。 1. 手眼标定的意义： 所谓标定，就是求解坐标系之间相对位置关系的变换矩阵的过程。 2. 眼在手外： 这里我们可以讲A坐标系理解为机械臂的底座坐标系，B坐标系为相机坐标 ......
Cognex InSight 相机实现视觉引导机械手&视觉校准&九点标定
1. 校准 1. 非线性校准的作用：主要是为了消除镜头的径向畸变、以及相机非垂直安装引起的透视变形； 2. 校准工具：校正板&标定板（这里只介绍前2种，因为InSight相机不支持DataMatirx标定板） 3. 标定板的选择标准：需要根据项目现场的FOV确定标定板尺寸和单元大小 棋盘格标定板： ......
CF1023F Mobile Phone Network 题解
## 题意 给出 $n$ 个点，$k$ 条未钦定边权的边和 $m$ 条已钦定边权的边，要求为这 $k$ 条未指定边权的边分配权值使其均在图的最小生成树中且最大化这 $k$ 条边的边权之和。 （$1 \le n,k,m \le 5 \times 10^5$）。 ## 题解 首先满足要求这 $k$ 条边 ......
transformer模型首次体验代码
首先是安装python，更新pip源到清华源。安装transformer pip install transformer 安装jupyter lab，也简单一行 pip install jupyterlab 现在不想用anaconda了，因为国内没有源了，国外的又慢。直接用pip吧。 然后开始体验之 ......
使用 Transformers 优化文本转语音模型 Bark
🤗 Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。 🤗 Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工 ......
Transformer计算公式
## LLM inference workflow **Generative Inference**. A typical LLM generative inference task consists of two stages: i) the prefill stage which takes a ......
bert，Bidirectional Encoder Representation from Transformers
BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上 ......