pytorch
基于pytorch 的loss监控可视化
基于pytorch 的loss监控可视化 绘制可以train和val在一张图上的趋势图。 1 安装tensorboard pip install tensorboard 2 嵌入代码工程 1） 定义 数据集 # 训练可视化 from torch.utils.tensorboard import Su ......
使用pytorch保存checkpoint以及使用checkpoint例子
https://towardsdatascience.com/how-to-save-and-load-a-model-in-pytorch-with-a-complete-example-c2920e617dee 后续在更新 ......
vscode杂谈-pytorch环境配置
深度学习领域pytorch的使用是必不可少的，网上对于pytorch的使用大多是基于pycharm或者jupyter上的，而vscode相对较少，我也在这里记录一下我的配置过程。 这里我默认大家已经装好anaconda，pytorch和vscode了，网上教程也很多。 1.Python环境的安装 这 ......
pytorch 训练自己的数据集
参考文档：https://blog.csdn.net/weixin_58577392/article/details/124828281 创建一个空的虚拟环境吧 1. 环境： pytorch ：根据自己cuda的环境 ninja yacs cython matplotlib tqdm opencv- ......
使用Pytorch实现对比学习SimCLR 进行自监督预训练
SimCLR（Simple Framework for Contrastive Learning of Representations）是一种学习图像表示的自监督技术。 与传统的监督学习方法不同，SimCLR 不依赖标记数据来学习有用的表示。 它利用对比学习框架来学习一组有用的特征，这些特征可以从未 ......
转（Pytorch项目结构
序 你是否有过这样的经历：炼了一大堆的丹，但过了一周回来看结果，忘记了每个模型对应的配置；改了模型中的一个组件，跑起来一个新的训练，这时候测试旧模型却发现结果跟原来不一样了；把所有的训练测试代码写在一个文件里，加入各种if else，最后一个文件上千行，一个周末没看，回来改一个逻辑要找半天……其实这 ......
pytorch cuda gpu版本与detectron2、jupyter notebook安装
任意版本的pytorch、cuda的gpu版本与detectron2、jupyter notebook安装 1. 简介 本文主要介绍pytorch cuda gpu版本与detectron2、jupyter notebook安装, 主要是基于docker构建AI开发/预测用的环境. 优势与不足 优势 ......
【代码实现】最新PyTorch机器学习与深度学习技术方法
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。 本次内容在掌握深度学习的基础知识，与经 ......
Introduction-to-PyTorch-reading-notes
Introduction to PyTorch 阅读笔记 Datetime: 2023-03-24T20:45+08:00 Categories: Python | MachineLearning 兜兜转转还是来到了 DL 的大门前 写了一半，结果不知道为什么都没了，明明 vscode autosa ......
深度学习之PyTorch实战（4）——迁移学习
（这篇博客其实很早之前就写过了，就是自己对当前学习pytorch的一个教程学习做了一个学习笔记，一直未发现，今天整理一下，发出来与前面基础形成连载，方便初学者看，但是可能部分pytorch和torchvision的API接口已经更新了，导致部分代码会产生报错，但是其思想还是可以借鉴的。 因为其中内容 ......
pytorch gather b2 = a.gather(1, b.view(-1, 1))
import torch a = torch.randint(0, 100, (6,3)) b = torch.Tensor([0, 1, 1, 2, 0, 2]).long() b = b.unsqueeze(1) b0 = b.view(-1, 1) b2 = a.gather(1, b.vie ......
feature map-CAM 和 利用pytorch-hook注册实现CAM可视化
什么是CAM CAM的全称是Class Activation Mapping或Class Activation Map，即类激活映射或类激活图。 论文《Learning Deep Features for Discriminative Localization》发现了CNN分类模型的一个有趣的现象： ......
Pytorch构建超分辨率模型——常用模块
Import required libraries: import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision imp ......
用Python和Pytorch使用softmax和cross-entropy
softmax激活函数 softmax激活函数将包含K个元素的向量转换到（0，1）之间，并且和为1，因此它们可以用来表示概率。 python: def softmax(x): return np.exp(x) / np.sum(np.exp(x), axis=0) x=np.array([0.1, ......
Pytorch中DDP，端口冲突(Address already in use)解决方法
参考：端口冲突(Address already in use)解决方法 ......
pyTorch 导入预训练词向量 2023
# 测试 Embedding import torch import gensim import torch.nn as nn wvmodel = gensim.models.KeyedVectors.load_word2vec_format("./data/vector.txt",binary=F ......
使用Pytorch构建LSTM网络实现对时间序列的预测
使用Python构建LSTM网络实现对时间序列的预测 1. LSTM网络神经元结构 LSTM网络 神经元结构示意图 在任一时刻 $t$，LSTM网络神经元接收该时刻输入信息 $x_t$，输出此时刻的隐藏状态 $h_t$，而 $h_t$ 不仅取决于 $x_t$，还受到 $t-1$ 时刻细胞状态 (ce ......
DDPG强化学习的PyTorch代码实现和逐步讲解
深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)是受Deep Q-Network启发的无模型、非策略深度强化算法，是基于使用策略梯度的Actor-Critic，本文将使用pytorch对其进行完整的实现和讲解 DDPG的关键组成部分是 Repla ......
Pytorch安装与基础知识
Pytorch安装与基础知识 安装环境：Win10专业版 显卡：Nviida Geforce GTX 1660 Ti 安装 Anacodna 官网下载安装 安装 Cuda Cuda 官网下载安装包。 进入 CMD，使用命令 nvcc -V 测试安装是否成功。 安装 cuDNN 虽然不知道为什么要安装 ......
Colab安装pytorch
如果不能更换pytorch版本需要先卸载。 因为平台是linux所以需要安装linux系统。 !pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 import to ......
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。 本次我们全平台构建基于Stable-Diffusion算 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......
图卷积神经网络分类的pytorch实现
图神经网络（GNN）目前的主流实现方式就是节点之间的信息汇聚，也就是类似于卷积网络的邻域加权和，比如图卷积网络（GCN）、图注意力网络（GAT）等。下面根据GCN的实现原理使用Pytorch张量，和调用torch_geometric包，分别对Cora数据集进行节点分类实验。 Cora是关于科学文献之 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......