kldivloss损失pytorch nn
Pytorch 安装
可以使用 Anaconda 安装，我这边直接用 pip 进行安装的 安装torch pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple https://pytorch.org/get ......
深度学习—损失函数专题
损失函数概念 1、对于监督学习：估量神经网络模型的预测值和真实值的不一致的程度，衡量的是：在神经网络训练阶段，某个或若干个输入样本，在输出层上的预测值和真实值之间不一致的程度。 2、广义上（无监督）：衡量两个特征向量之间的差异程度/不一致程度/距离 3、作用：定义最终的损失值，是神经网络误差回传和权 ......
【pytorch】土堆pytorch教程学习（六）神经网络的基本骨架——nn.module的使用
torch.nn 是 pytorch 的一个神经网络库(nn 是 neural network 的简称)。 Containers torch.nn 构建神经网络的模型容器(Containers,骨架)有以下六个： Module Sequential ModuleList ModuleDict Par ......
prompt learning如何计算损失的
在prompt learning中,对于一个类别的多个候选词,损失函数通常会计算所有词的logit和,并与真实标签作比较。以情感分类为例: 假设正面类别有两个候选词:“positive”和“optimistic”。负面类别有两个候选词:“negative”和“pessimistic”。 然后模型会计 ......
pytorch基础学习.md
pytorch入门学习 来源： https://www.bilibili.com/video/BV1hE411t7RN 安装 # 1. 已安装nvidia相关驱动 # 2. 安装 python-pytorch-cuda nsfoxer@ns-pc ~/Temp> yay -Qi python-pyt ......
conda 安装pytorch新环境
1. 创建环境 conda create -n pytorch1.7.1 python=3.7 2. 安装pytorch 安装pytorch官网上面安装指令 https://pytorch.org/get-started/previous-versions/ conda install pytorc ......
Pytorch数据操作
1.Pytorch中tensor的生成与访问 可以使用arange()创建一个张量：如，torch.arange(12)创建0开始的前12个整数： 除非特殊指定，否则新的张量将存放在内存中，并采用CPU计算。 可以使用reshape()来改变张量的形状： 注意，reshape()的发起者是一个张量， ......
Pytorch-Vanilla Transformer的实现
Vanilla Transformer 注意力提示 我们可以将是否包含自主性提示作为将注意力机制与全连接层或汇聚层区别的标准。 定义外部输入至感官的信息为键-值，键是表征值的非自主提示，关注信息为查询（自主性提示） 非自主提示：决策选择偏向于感官输入值，可使用参数化的全连接层或非参数化的最大 ......
Pytorch-Vanilla Transformer的实现
Vanilla Transformer 注意力提示 我们可以将是否包含自主性提示作为将注意力机制与全连接层或汇聚层区别的标准。 定义外部输入至感官的信息为键-值，键是表征值的非自主提示，关注信息为查询（自主性提示） 非自主提示：决策选择偏向于感官输入值，可使用参数化的全连接层或非参数化的最大 ......
Pytorch-模型的保存/复用/迁移
模型的保存与复用 模型定义和参数打印 # 定义模型结构 class LenNet(nn.Module): def __init__(self): super(LenNet, self).__init__() self.conv = nn.Sequential( # [batch, 1, 28, 28 ......
Pytorch模型的保存/复用/迁移
模型的保存与复用 模型定义和参数打印 # 定义模型结构 class LenNet(nn.Module): def __init__(self): super(LenNet, self).__init__() self.conv = nn.Sequential( # [batch, 1, 28, 28 ......
python3.9（anaconda）+pytorch（GPU）
1.新建一个python环境 安装anaconda 5.0.1 安装名为TorchGPU的conda虚拟环境 conda create -n TorchGPU python==3.9 最终效果 conda env list 出错 在如下页面添加conda环境后，解释器列表里没反应 关于错误的链接 h ......
无CUDA安装PyTorch
1.官网选择 2.加国内镜像快速下载 pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple 3.验证是否安装成功 import torch print(torch.__version ......
Python 利用 Pytorch 获取当前GPU信息
import torch def get_gpu_info(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") if device.type == "cuda": # 获取当前GPU名字 gpu_name ......
windows 配置 cuda pytorch
1. 进入 https://pytorch.org，依次选择 PyTorch Build -> Your OS ->Package ->Language ->Compute Platform，然后会生成安装命令或下载链接，执行或下载安装即可 如果没有 GPU，Compute Platform 选 C ......
【pytorch】土堆pytorch教程学习（六）DataLoader 的使用
DataLoader 将数据集（dataset）和采样器（sampler）组合在一起，并在给定数据集上提供迭代。 DataLoader 支持 map 式和 iterable 式的数据集，可进行单进程或多进程加载、自定义加载顺序和可选的自动批处理和内存固定。 先看下实例化一个 DataLoader 所 ......
【2023 · CANN训练营第一季】昇腾AI入门Pytorch
昇腾AI全栈架构 华为AI全栈全场景解决方案为4层，分别为芯片层、芯片使能层、AI框架层和应用使能层。 芯片 基于统一、可扩展架构的系列化AI IP和芯片，为上层加速提供硬件基础。 芯片产品：昇腾310和昇腾910的独立芯片，Nano-Tiny-Lite的非独立芯片。 Ascend层，一切集成电路的 ......
【pytorch】土堆pytorch教程学习（五）torchvision 中的数据集的使用
torchvision 中的数据集使用 在torchvision.datasets模块中提供了许多内置的数据集。 内置的数据集有 CIFAR10、MNIST、COCO等，更多可进入 pytorch 官网查看。 所有内置的数据集都继承了 torch.utils.data.Dataset 类，并且实现了 ......
pytorch模型降低计算成本和计算量
下面是如何使用PyTorch降低计算成本和计算量的一些方法： 压缩模型：使用模型压缩技术，如剪枝、量化和哈希等方法，来减小模型的大小和复杂度，从而降低计算量和运行成本。 分布式训练：使用多台机器进行分布式训练，可以将模型训练时间大大缩短，提高训练效率，同时还可以降低成本。 硬件加速：使用GPU或TP ......
【pytorch】为什么 ToTensor 后紧接 Normalize 操作？
学习 pytorch 的 transforms 一节中产生疑问：ToTensor 操作中图像数据满足 [0,255] 条件会进行线性归一化，映射到 [0,1]。在 ToTensor 操作后一般紧接着 Nomalize 操作，又进行了一次标准差归一化。既然已经归一化了一次，为什么还要再来一次？ 以下是 ......
【pytorch】土堆pytorch教程学习（四）Transforms 的使用
transforms 在工具包 torchvision下，用来对图像进行预处理：数据中心化、数据标准化、缩放、裁剪、旋转、翻转、填充、噪声添加、灰度变换、线性变换、仿射变换、亮度/饱和度/对比度变换等。 transforms 本质就是一个python文件，相当于一个工具箱，里面包含诸如 Resize ......
在PyTorch中，可以对Tensor进行操作的一些函数：view、permute、squeeze、unsqueeze等
tensor是深度学习中非常实用的数据类型，PyTorch包含了许多可以操作tensor的工具，比如重塑、、（不考虑内存底层的具体情况）。 1. 查看Tensor的shape ......
医学图像的深度学习的完整代码示例：使用Pytorch对MRI脑扫描的图像进行分割
图像分割是医学图像分析中最重要的任务之一，在许多临床应用中往往是第一步也是最关键的一步。在脑MRI分析中，图像分割通常用于测量和可视化解剖结构，分析大脑变化，描绘病理区域以及手术计划和图像引导干预，分割是大多数形态学分析的先决条件。 本文我们将介绍如何使用QuickNAT对人脑的图像进行分割。使用M ......
代码笔记27 numpy和pytorch中的多维数组切片
原来还可以用数组切数组，我算是长见识了。不多说了，直接上代码应该可以明白 import numpy as np xyz = np.arange(36).reshape(3, 4, 3) B, N, C = xyz.shape farthest = np.random.randint(0, N, si ......
【pytorch】土堆pytorch教程学习（三）TensorBoard的使用
TensorBoard 是TensorFlow的可视化工具包，提供机器学习实验所需的可视化功能和工具： 跟踪和可视化损失及准确率等指标 可视化模型图（操作和层） 查看权重、偏差或其他张量随时间变化的直方图 将嵌入投射到较低的维度空间 显示图片、文字和音频数据 剖析 TensorFlow 程序 安装 ......
关于pytorch包的测试问题
pytorch的官方github项目有个文件专门用于测试torch是否安装成功，例如：https://github.com/pytorch/pytorch/blob/v1.11.0/test/test_torch.py 但是我们平时测试一个pip包是否安装成功，都是直接import来测试，这样的测试 ......
PyTorch常用操作
数据集加载 1. 网络数据集 加载数据集：https://pytorch.org/vision/stable/datasets.html import torchvision.datasets as datasets import torchvision.transforms as transfor ......
Pytorch2 如何通过算子融合和 CPU/GPU 代码生成加速深度学习
动动发财的小手，点个赞吧！ PyTorch 中用于图形捕获、中间表示、运算符融合以及优化的 C++ 和 GPU 代码生成的深度学习编译器技术入门 计算机编程是神奇的。我们用人类可读的语言编写代码，就像变魔术一样，它通过硅晶体管转化为电流，使它们像开关一样工作，并允许它们实现复杂的逻辑——这样我们就可 ......
【深度学习基础】使用libtorch部署pytorch训练的网络
下载安装配置：https://pytorch.org/cppdocs/installing.html 小例程：https://pytorch.org/cppdocs/frontend.html 官方：https://pytorch.org/tutorials/beginner/Intro_to_To ......
PyTorch保存模型断点以及加载断点继续训练
在训练神经网络时，用到的数据量可能很大，训练周期较长，如果半途中断了训练，下次从头训练就会很费时间，这时我们就想断点续训。 一、神经网络模型的保存，基本两种方式：1. 保存完整模型model， torch.save(model, save_path) 2. 只保存模型的参数， torch.save( ......