transformers retentive networks视觉
使用大型语言模型进行自主视觉信息搜索
在调整大型语言模型（LLM）以适应任务的多模态输入方面取得了很大进展，包括图像标题,可视问答 （VQA）和开放词汇识别.尽管取得了这些成就，但当前最先进的视觉语言模型（VLM）在视觉信息搜索数据集上表现不佳，例如信息搜索和OK-VQA，需要外部知识才能回答问题。 ......
transformer
masked mutil-head attetion mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。其中，padding mask 在所有的 scaled do ......
基于机器视觉工具箱的车辆检测计数算法matlab仿真
1.算法理论概述 1.1、研究背景 随着城市化进程的加速和汽车保有量的增加，交通拥堵和交通事故等交通问题日益突出，如何对城市交通进行有效管理和调控成为了城市交通管理的重要任务。车辆检测计数是交通管理中的一个重要问题，它可以用于交通状况的监测、交通流量的统计以及交通信号灯的控制等。因此，研究基于机器视 ......
学习笔记：DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for Traffic Flow Forecasting
DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for Traffic Flow Forecasting ICML2022 论文地址：https://proceedings.mlr.press/v162/lan22a.html ......
ACM MM 2023 | 腾讯优图实验室6篇论文入选，含视觉识别、半监督学习等研究方向
前言 近日，腾讯优图实验室6篇论文被国际人工智能多媒体领域顶级会议ACM MM 2023（ACM International Conference on Multimedia）所接收， 涵盖视觉识别、神经绘画和风格化研究、半监督学习等多个研究方向，进一步展示了腾讯优图实验室在人工智能领域的技术能力和 ......
[KDD 2023] All in One- Multi-Task Prompting for Graph Neural Networks
# [KDD 2023] All in One- Multi-Task Prompting for Graph Neural Networks ## 总结 提出了个多任务prompt学习框架，扩展GNN的泛化能力： 1. 统一了NLP和图学习领域的prompt格式，包括prompt token、to ......
SocialLGN Light graph convolution network for social recommendation
[TOC] > [Liao J., Zhou W., Luo F., Wen J., Gao M., Li X. and Zeng J. SocialLGN: Light graph convolution network for social recommendation. Information ......
Transformer历史揭秘及Transformer-DETR
Transformer历史揭秘及Transformer-DETR 揭秘创始八子：聚是一团火，散是满天星 Transformer创始八子深度揭秘：陈旧的身躯留不住年轻的心。 谁曾想过，引发人工智能革命的突破竟源自一个改进机器翻译的想法？ 智东西8月21日消息，据英国《金融时报》报道，被称为“ChatG ......
transformer模型的历史
Transformer 模型在深度学习领域，尤其是自然语言处理（NLP）中，起到了革命性的作用。以下是其发展历程的简要概述： 1. **背景**： - 在 Transformer 出现之前，循环神经网络（RNN）及其更先进的版本，如长短时记忆网络（LSTM）和门控循环单元（GRU）是处理序列任务的主 ......
transformer小白入门
transformer库是huggingface发布的1个框架，非常好用，很多外行看起来高大上的问题，用它都可以轻松解决，先来看1个小例子： 一、情感分析 from transformers import pipeline classifier = pipeline('sentiment-analy ......
论文解读（CTDA）《Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Contrastive transformer based domain adaptation for multi-source cross-domain sentiment classification论 ......
《Zero Stability Well Predicts Performance of Convolutional Neural Networks》
# 《Zero Stability Well Predicts Performance of Convolutional Neural Networks》 ## 文章结构1. 摘要2. 引言3. 预备知识4. 来自现存CNNs的观察5. 零稳定性网络ZeroSNet6. 实验-- 通过零稳定预测性能 ......
OpenCV双目视觉
# OpenCV双目视觉 > 参考资料： > [[双目立体视觉：标定和校正](https://www.zhihu.com/column/c_1339328909662875649) > [双目立体视觉：标定和校正](https://zhuanlan.zhihu.com/p/353311373) > ......
Docker搭建lnmp之network篇
docker pull nginx #拉去最新的nginx镜像 一、搭建vagrant+VagrantBox VM环境 创建Vagrantfile文件 vagrant init 编辑Vagrantfile文件 Vagrant.configure("2") do |config| config.vm. ......
Transformers包使用记录
Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（Pytorch/Tensorflow/Jax）无缝转移。以下记录基于HuggingFace官网教程：https://github. ......
计算机视觉(Computer Vision)，计算机图形学(Computer Graphics)和数字图像(Image Processing)
计算机视觉(Computer Vision)，计算机图形学(Computer Graphics)和数字图像(Image Processing) 从学科分类： Computer Science/ Artificial Intelligence/ Computer Vision Computer Sci ......
计算机视觉五大核心研究任务全解：分类识别、检测分割、人体分析、三维视觉、视频分析
> 本篇文章深入探讨了计算视觉的定义和主要任务。内容涵盖了图像分类与识别、物体检测与分割、人体分析、三维计算机视觉、视频理解与分析等技术，最后展示了无监督学习与自监督学习在计算机视觉中的应用。 > 作者 TechLead，拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦 ......
聊聊Transformer和GPT模型
本文基于《生成式人工智能》一书阅读摘要。感兴趣的可以去看看原文。 可以说，Transformer已经成为深度学习和深度神经网络技术进步的最亮眼成果之一。Transformer能够催生出像ChatGPT这样的最新人工智能应用成果。 ## 序列到序列(seq2seq) Transformer能实现的核心 ......
[机器学习]对transformer使用padding mask
注：本文是对GPT4的回答的整理校正补充。 在处理序列数据时，由于不同的序列可能具有不同的长度，我们经常需要对较短的序列进行填充（padding）以使它们具有相同的长度。但是，在模型的计算过程中，这些填充值是没有实际意义的，因此我们需要一种方法来确保模型在其计算中忽略这些填充值。这就是padding ......
Convolutional neural network (CNN)–extreme learning machine (ELM)
1. 介绍 论文：(2020)Neural networks for facial age estimation: a survey on recent advances. 地址： http://link.springer.com/article/10.1007/s10462-019-09765-w ......
AI-13. 计算机视觉
本章将重点介绍计算机视觉领域，并探讨最近在学术界和行业中具有影响力的方法和应用。 13.1. 图像增广 图像增广在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。 例如，我们可以以不同的方式裁 ......
视觉问答概述
随着人工智能技术的逐渐成熟，计算机视觉、语音、自然语言处理等技术在金融行业的应用从广度和深度上都在加速，这不仅降低了金融机构的运营和风险成本，而且有助于提升客户的满意度，比如利用NLP 技术实现智能问答解决方案，帮助用户即使没有复杂的金融背景知识也能快速找到自己需要的信息，而在寿险、产险、健康险等保 ......
解码Transformer：自注意力机制与编解码器机制详述与代码实现
> 本文全面探讨了Transformer及其衍生模型，深入分析了自注意力机制、编码器和解码器结构，并列举了其编码实现加深理解，最后列出基于Transformer的各类模型如BERT、GPT等。文章旨在深入解释Transformer的工作原理，并展示其在人工智能领域的广泛影响。 > 作者 TechLe ......
README_network
[TOC] #### 1、功能 - 一键拖拽上传 - 默认“未发布”，可选择直接发布 - 重复上传，提示是否更新博客 #### 2、环境 (1)Python 3 - 安装 pyyaml 库：cmd中输入 pip3 install pyyaml ![252274b5022933c43e4859daed ......
使用LabVIEW 实现物体识别、图像分割、文字识别、人脸识别等深度视觉
# 前言 哈喽，各位朋友们，这里是virobotics（仪酷智能），这两天有朋友私信问之前给大家介绍的工具包都可以实现什么功能，最新的一些模型能否使用工具包加载，今天就给大家介绍一下博主目前使用工具包已经实现的深度视觉模型及案例 下表为前期写过的一些范例介绍，朋友们可以按需点击查看 | 名字 |链接 ......
torchvision中的transforms
torchvision是图像处理库，计算机视觉工具包。 在pycharm中使用镜像下载包时在命令行输入（以cv2为例）： #使用国内镜像下载pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple transforms ......
Windows11安装python模块transformers报错Long Path处理
Windows11安装python模块transformers报错，报错信息如下 ``` ERROR: Could not install packages due to an OSError: [Errno 2] No such file or directory: 'C:\\Users\\274 ......
【已解决】module 'torchaudio.transforms' has no attribute 'ToTensor'
1.报错，这两种情况 module 'torchaudio.transforms' has no attribute 'ToTensor' module 'torchvision' has no attribute 'transforms' 2.修改方式： 将导库的方式从 【import torch ......
[论文速览] Handwriting Transformers
## Pre title: Handwriting Transformers accepted: ICCV 2021 paper: https://arxiv.org/abs/2104.03964 code: https://github.com/ankanbhunia/Handwriting-Tr ......