张量 标量 向量pytorch
pytorch gather b2 = a.gather(1, b.view(-1, 1))
import torch a = torch.randint(0, 100, (6,3)) b = torch.Tensor([0, 1, 1, 2, 0, 2]).long() b = b.unsqueeze(1) b0 = b.view(-1, 1) b2 = a.gather(1, b.vie ......
feature map-CAM 和 利用pytorch-hook注册实现CAM可视化
什么是CAM CAM的全称是Class Activation Mapping或Class Activation Map，即类激活映射或类激活图。 论文《Learning Deep Features for Discriminative Localization》发现了CNN分类模型的一个有趣的现象： ......
Python小练习：向量之间的距离度量
Python小练习：向量之间的距离度量 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 本文主要用Python实现三种常见的向量之间的距离度量方式： 1）曼哈顿距离(Manhattan distance, L1范数)：$d(x,y) = \sum\li ......
标量打断流水
标量打断流水（Scalar Operand Interlock）是指在流水线中，两条指令之间存在数据依赖关系，且第一条指令的执行结果需要在下一条指令中使用，但第一条指令尚未完成时，下一条指令已经进入流水线并开始执行，这种情况称为标量打断流水。 在发生标量打断流水时，为了避免数据错误，需要采取一定的措 ......
Pytorch构建超分辨率模型——常用模块
Import required libraries: import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision imp ......
机器学习算法（四）: 基于支持向量机的分类预测（SVM）
机器学习算法（四）: 基于支持向量机的分类预测 本项目链接：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc 1.相关流程 支持向量机（Support Vector Machine，SVM）是一个非常优雅的算法，具有非常完善的 ......
用Python和Pytorch使用softmax和cross-entropy
softmax激活函数 softmax激活函数将包含K个元素的向量转换到（0，1）之间，并且和为1，因此它们可以用来表示概率。 python: def softmax(x): return np.exp(x) / np.sum(np.exp(x), axis=0) x=np.array([0.1, ......
Pytorch中DDP，端口冲突(Address already in use)解决方法
参考：端口冲突(Address already in use)解决方法 ......
基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围
标题有点长，但是基本也说明出了这篇文章的主旨，那就是利用GPT AI智能回答自己设置好的问题 既能实现自己的AI知识库机器人，又能节省ChatGPT调用的token成本费用。 代码仓库地址 document.ai: 基于GPT3.5的通用本地知识库解决方案 下面图片是整个流程： 导入知识库数据 利用 ......
pyTorch 导入预训练词向量 2023
# 测试 Embedding import torch import gensim import torch.nn as nn wvmodel = gensim.models.KeyedVectors.load_word2vec_format("./data/vector.txt",binary=F ......
使用Pytorch构建LSTM网络实现对时间序列的预测
使用Python构建LSTM网络实现对时间序列的预测 1. LSTM网络神经元结构 LSTM网络 神经元结构示意图 在任一时刻 $t$，LSTM网络神经元接收该时刻输入信息 $x_t$，输出此时刻的隐藏状态 $h_t$，而 $h_t$ 不仅取决于 $x_t$，还受到 $t-1$ 时刻细胞状态 (ce ......
笔记-应用向量自回归模型脉冲效应函数的注意事项
计量经济模型Econometric models 2022-07-27 18:51 发表于江苏 https://mp.weixin.qq.com/s/_ZVeVySe319Ap4UvvmnHWA 向量自回归模型，Vector Autoregression Models,VAR， VAR模型的建立不以 ......
R语言独立成分分析fastICA、谱聚类、支持向量回归SVR模型预测商店销量时间序列可视化
全文链接：http://tecdat.cn/?p=31948 原文出处：拓端数据部落公众号 本文利用R语言的独立成分分析（ICA）、谱聚类（CS）和支持向量回归 SVR 模型帮助客户对商店销量进行预测。首先，分别对商店销量的历史数据进行了独立成分分析，得到了多个独立成分；其次，利用谱聚类方法将商店销 ......
DDPG强化学习的PyTorch代码实现和逐步讲解
深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)是受Deep Q-Network启发的无模型、非策略深度强化算法，是基于使用策略梯度的Actor-Critic，本文将使用pytorch对其进行完整的实现和讲解 DDPG的关键组成部分是 Repla ......
Pytorch安装与基础知识
Pytorch安装与基础知识 安装环境：Win10专业版 显卡：Nviida Geforce GTX 1660 Ti 安装 Anacodna 官网下载安装 安装 Cuda Cuda 官网下载安装包。 进入 CMD，使用命令 nvcc -V 测试安装是否成功。 安装 cuDNN 虽然不知道为什么要安装 ......
Colab安装pytorch
如果不能更换pytorch版本需要先卸载。 因为平台是linux所以需要安装linux系统。 !pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 import to ......
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。 本次我们全平台构建基于Stable-Diffusion算 ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......
图卷积神经网络分类的pytorch实现
图神经网络（GNN）目前的主流实现方式就是节点之间的信息汇聚，也就是类似于卷积网络的邻域加权和，比如图卷积网络（GCN）、图注意力网络（GAT）等。下面根据GCN的实现原理使用Pytorch张量，和调用torch_geometric包，分别对Cora数据集进行节点分类实验。 Cora是关于科学文献之 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
安装pytorch-gpu的经验与教训
首先说明 本文并不是安装教程，网上有很多，这里只是自己遇到的一些问题 我是以前安装的tensorflow-gpu的，但是发现现在的学术论文大部分都是用pytorch复现的，因此才去安装的pytorch-gpu 查看自己安装的CUDA nvcc -V 这里我提供一个安装tensorflow时所用的CU ......
pytorch 配置详细过程
#torch github 项目多 方便，api好调用 cpu版本 ###装torch 安装最新版本的就可以。 ###torchvision 要版本对应 算法： torchvision版本号= torch版本号第一个数字-1.torch版本号第二个数字+1.torch版本号第三个数字 所以我的就是： ......
Pytorch优化过程展示：tensorboard
训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboar... ......