kldivloss损失pytorch nn
pytorch 训练自己的数据集
参考文档：https://blog.csdn.net/weixin_58577392/article/details/124828281 创建一个空的虚拟环境吧 1. 环境： pytorch ：根据自己cuda的环境 ninja yacs cython matplotlib tqdm opencv- ......
使用Pytorch实现对比学习SimCLR 进行自监督预训练
SimCLR（Simple Framework for Contrastive Learning of Representations）是一种学习图像表示的自监督技术。 与传统的监督学习方法不同，SimCLR 不依赖标记数据来学习有用的表示。 它利用对比学习框架来学习一组有用的特征，这些特征可以从未 ......
转（Pytorch项目结构
序 你是否有过这样的经历：炼了一大堆的丹，但过了一周回来看结果，忘记了每个模型对应的配置；改了模型中的一个组件，跑起来一个新的训练，这时候测试旧模型却发现结果跟原来不一样了；把所有的训练测试代码写在一个文件里，加入各种if else，最后一个文件上千行，一个周末没看，回来改一个逻辑要找半天……其实这 ......
pytorch cuda gpu版本与detectron2、jupyter notebook安装
任意版本的pytorch、cuda的gpu版本与detectron2、jupyter notebook安装 1. 简介 本文主要介绍pytorch cuda gpu版本与detectron2、jupyter notebook安装, 主要是基于docker构建AI开发/预测用的环境. 优势与不足 优势 ......
【代码实现】最新PyTorch机器学习与深度学习技术方法
近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。 本次内容在掌握深度学习的基础知识，与经 ......
Introduction-to-PyTorch-reading-notes
Introduction to PyTorch 阅读笔记 Datetime: 2023-03-24T20:45+08:00 Categories: Python | MachineLearning 兜兜转转还是来到了 DL 的大门前 写了一半，结果不知道为什么都没了，明明 vscode autosa ......
深度学习之PyTorch实战（4）——迁移学习
（这篇博客其实很早之前就写过了，就是自己对当前学习pytorch的一个教程学习做了一个学习笔记，一直未发现，今天整理一下，发出来与前面基础形成连载，方便初学者看，但是可能部分pytorch和torchvision的API接口已经更新了，导致部分代码会产生报错，但是其思想还是可以借鉴的。 因为其中内容 ......
pytorch gather b2 = a.gather(1, b.view(-1, 1))
import torch a = torch.randint(0, 100, (6,3)) b = torch.Tensor([0, 1, 1, 2, 0, 2]).long() b = b.unsqueeze(1) b0 = b.view(-1, 1) b2 = a.gather(1, b.vie ......
feature map-CAM 和 利用pytorch-hook注册实现CAM可视化
什么是CAM CAM的全称是Class Activation Mapping或Class Activation Map，即类激活映射或类激活图。 论文《Learning Deep Features for Discriminative Localization》发现了CNN分类模型的一个有趣的现象： ......
Pytorch构建超分辨率模型——常用模块
Import required libraries: import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision imp ......
用Python和Pytorch使用softmax和cross-entropy
softmax激活函数 softmax激活函数将包含K个元素的向量转换到（0，1）之间，并且和为1，因此它们可以用来表示概率。 python: def softmax(x): return np.exp(x) / np.sum(np.exp(x), axis=0) x=np.array([0.1, ......
Pytorch中DDP，端口冲突(Address already in use)解决方法
参考：端口冲突(Address already in use)解决方法 ......
pyTorch 导入预训练词向量 2023
# 测试 Embedding import torch import gensim import torch.nn as nn wvmodel = gensim.models.KeyedVectors.load_word2vec_format("./data/vector.txt",binary=F ......
使用Pytorch构建LSTM网络实现对时间序列的预测
使用Python构建LSTM网络实现对时间序列的预测 1. LSTM网络神经元结构 LSTM网络 神经元结构示意图 在任一时刻 $t$，LSTM网络神经元接收该时刻输入信息 $x_t$，输出此时刻的隐藏状态 $h_t$，而 $h_t$ 不仅取决于 $x_t$，还受到 $t-1$ 时刻细胞状态 (ce ......
2.3 和2.4 logistic回归损失函数、梯度下降
下图中由给定的每个样本的值和样本对应的标签值得到最终的概率值 Loss函数是在单个训练样本中定义的，它衡量了在单个训练样本上的表现，而成本函数cost,它衡量的是在全体训练样本上的表现,表明参数w和b在训练集上的效果 如何使用梯度下降法莱训练或学习训练集上的参数w和b 下图中阿尔法表示学习率，可以控 ......
DDPG强化学习的PyTorch代码实现和逐步讲解
深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)是受Deep Q-Network启发的无模型、非策略深度强化算法，是基于使用策略梯度的Actor-Critic，本文将使用pytorch对其进行完整的实现和讲解 DDPG的关键组成部分是 Repla ......
Pytorch安装与基础知识
Pytorch安装与基础知识 安装环境：Win10专业版 显卡：Nviida Geforce GTX 1660 Ti 安装 Anacodna 官网下载安装 安装 Cuda Cuda 官网下载安装包。 进入 CMD，使用命令 nvcc -V 测试安装是否成功。 安装 cuDNN 虽然不知道为什么要安装 ......
Colab安装pytorch
如果不能更换pytorch版本需要先卸载。 因为平台是linux所以需要安装linux系统。 !pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 import to ......
[嵌入式RTOS]记录一下因浮点数转为字符串导致精度损失所踩的坑
###1.起因： 工作中对接平台需要将设备的GPS数据传给平台，但是平台采用的不是回调函数将数据直接作为参数返回而是格式化的字符串命令，所以需要将double类型的gps数据格式化输出到字符串中，项目中之前采用的是sprintf进行格式化输出，但是通过打印对比发现有精度损失，所以改成先放大数据100 ......
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。 本次我们全平台构建基于Stable-Diffusion算 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
登峰造极,师出造化,Pytorch人工智能AI图像增强框架ControlNet绘画实践,基于Python3.10
人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画... ......
图卷积神经网络分类的pytorch实现
图神经网络（GNN）目前的主流实现方式就是节点之间的信息汇聚，也就是类似于卷积网络的邻域加权和，比如图卷积网络（GCN）、图注意力网络（GAT）等。下面根据GCN的实现原理使用Pytorch张量，和调用torch_geometric包，分别对Cora数据集进行节点分类实验。 Cora是关于科学文献之 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
交叉熵损失CrossEntropyLoss
在各种深度学习框架中，我们最常用的损失函数就是交叉熵，熵是用来描述一个系统的混乱程度，通过交叉熵我们就能够确定预测数据与真实数据的相近程度。交叉熵越小，表示数据越接近真实样本。 1 分类任务的损失计算 1.1 单标签分类 二分类 单标签任务，顾名思义，每个样本只能有一个标签，比如ImageNet图像 ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......