kldivloss损失pytorch nn
R语言用Copulas模型的尾部相依性分析损失赔偿费用
原文链接：http://tecdat.cn/?p=22226 最近我们被客户要求撰写关于Copulas的研究报告，包括一些图形和统计输出。 两个随机变量之间的相依性问题备受关注,相依性(dependence)是反映两个随机变量之间关联程度的一个概念 它与相关性(correlation)有区别，常用的 ......
pytorch学习笔记
1 环境 opencv和pytorch pip install opencv-python==4.5.1.48 pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio 0.7.2 -f https://download.p ......
Jetson配置pytorch出现的问题
由于无法安装Anaconda因此使用miniforge进行虚拟环境搭建，具体方法参照： 几个重要网站 ① Jetson Zoo - eLinux.org 包含深度学习需要的下载资源配置 ② 安装pytorch后进行验证： 1 import torch 2 3 def SettingTest(): 4 ......
pytorch
model.train()的作用是启用 Batch Normalization 和 Dropout。 model.eval()的作用是不启用 Batch Normalization 和 Dropout。 训练流程： def train(model, optimizer, epoch, train_l ......
pytorch使用（一）torchvision.ToTensor、torchvision.Normalize（转张量，归一化）
``` import numpy as np import torch import torchvision.transforms from torch.utils.tensorboard import SummaryWriter from torchvision.transforms import ......
先验框的生成(Pytorch)
在学习[动手学CV-Pytorch](https://datawhalechina.github.io/dive-into-cv-pytorch/#/chapter03_object_detection_introduction/3_3?id=_332-%e5%85%88%e9%aa%8c%e6%a ......
AI_Pytorch_参数空间
###AI算法构成 Dataset Model Train Infer Deploy 解耦： 模型训练过程中保存的模型文件是包含前向预测和反向传播的过程， 在实际的工业部署则不需要反向传播，因此需要将模型进行导成部署需要的模型格式 配置化： 配置都会包含三个主要内容：数据配置、网络模型、训练策略 M ......
微型神经网络库MicroGrad-基于标量自动微分的类pytorch接口的深度学习框架
### 一、MicroGrad MicroGrad是大牛Andrej Karpathy写的一个非常轻量级别的神经网络库（框架），其基本构成为一个90行python代码的标量反向传播（自动微分）引擎，以及在此基础上实现的神经网络层。 其介绍如下： > A tiny scalar-valued auto ......
pytorch的学习
三种编译方式的优缺点 Pytroch中的加载数据 主要涉及了两个类，一个叫Dataset,一个叫Dataloader. 举一个不恰当的例子，我们要在诸多的垃圾(数据)中找到我们所需要的垃圾(数据)，Dataset就是将其中的可回收垃圾提取出来，并且将它们进行编号，同时可以根据编号获取相对应的垃圾，同 ......
03常用pytorch剪枝工具
# 常用剪枝工具 ### pytorch官方案例 `import torch.nn.utils.prune as prune` ```python import torch from torch import nn import torch.nn.utils.prune as prune impor ......
怎样导入pytorch gpu版本？
###1.下载anaconda ###2.在anaconda里创建环境 ``` create -n pytorch_gpu # 激活环境 conda activate pytorch_gpu ``` ###3.在环境里install , 然后计算出一个数值来评估output和target之间的差距大小. 在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距 ###参数更新 ......
解释 pytorch ， numpy ++ ，Datavec，Libnd4j，Concepts/Theory，Samediff
@诺澜 PyTorch是一个开源的机器学习框架，它提供了丰富的工具和库，可以有效地进行深度学习任务。PyTorch使用动态计算图的方式来定义和执行计算操作，使得模型的构建和调试更加灵活和直观。 NumPy++（NumPy Plus Plus）是一个C++库，它扩展了Python中的NumPy库的功能 ......
机器学习pytorch：registry机制
一. Registry机制： registry机制常见于一些大型项目中，能让开发者通过输入相应的类名和参数，就能够获得一个初始化好的类。 registry注册器机制的引入是为了使工程的扩展性变得更好。当产品需要增加某个功能需要增加一些新的函数或者类的时候，它可以保证我们复用之前的逻辑。 二. 具体方 ......
机器学习之pytorch环境配置以及cuda安装
关于conda环境下安装cuda配置和pytorch 安装cuda 查看显卡型号 （进入cmd环境下） nvidia-smi 下载对应的cuda CUDA Toolkit Archive | NVIDIA Developer） 选择与cuda相匹配的版本（版本尽量靠近些电脑的） 建议使用迅雷下载，网 ......
AI_Pytorch_损失函数
###数据和向量 损失函数 ###数据的归一化 Z-score 均值方差归一化(standardization）： 把所有数据归一化到均值为0方差为1的分布中。适用于数据分布没有明显的边界，有可能存在极端的数据值。 数据符合正态分布，消除离群点的影响 min-max标准化 最值归一化(Normali ......
AI_Pytorch_Transformer
###基本概念 self-attention最经典的公式 q：query，用来匹配其他单元 k：key，用来被其他单元匹配 v：value，需要被提取的信息 位置编码positon 绝对位置信息：每个词的embedding向量内部顺序 相对位置信息：每个词和每个词之间的顺序（作用于自注意力机制） 目 ......
AI_pytorch_SAM
###分割 不需要训练(training-free)的算法 Few-shot learning指从少量标注样本中进行学习的一种思想 根据样本量 的需求可以分为：传统监督式学习、Few-shot Learning、One-shot Learning、Zero-shot Learning 海量数据 + ......
AI_Pytorch_卷积基本概念
###卷积的特征： 卷积--卷积计算--一种计算规则 滑窗式点乘求和操作 1.网络局部连接（Local Connectivity）2.卷积核参数共享（Parameter Sharing） 局部连接 权值共享 01.卷积层的节点仅仅和其前一层的局部节点相连接，只用来学习局部特征 02.权值共享,就是输 ......
Pytorch | `torch.multiprocessing.spawn` 函数的使用
`torch.multiprocessing.spawn` 是 PyTorch 中用于启动多进程的函数，可以用于分布式训练等场景。其函数签名如下： ```python torch.multiprocessing.spawn( fn, args=(), nprocs=1, join=True, dae ......
PyTorch 从入门到放弃 —— 加载数据
PyTorch 有两种基础数据类型： torch.utils.data.DataLoader 和 torch.utils.data.Dataset. Dataset，它们存储着样本和对应的标记。 Dataset是样本数据集，DataLoader对Dataset进行封装，方便加载、遍历和分批等。 im ......
Bert Pytorch 源码分析：五、模型架构简图
注意力层： ``` 输入 -> LLQ -> @ -> /√ES -> softmax -> @ -> LLO -> Dropout -> 输出 | ↑ ↑ + > LLK + | | | + > LLV + ``` FFN 层： ``` 输入 -> LL1 -> GELU -> Dropout - ......
Bert Pytorch 源码分析：四、编解码器
```py # Bert 编码器模块 # 由一个嵌入层和 NL 个 TF 层组成 class BERT(nn.Module): """ BERT model : Bidirectional Encoder Representations from Transformers. """ def __in ......
Bert Pytorch 源码分析：三、Transformer块
```py # PFF 层，基本相当于两个全连接 # 每个 TF 块中位于注意力层之后 class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dro ......
Pytorch | 输入的形状为[seq_len, batch_size, d_model]和 [batch_size, seq_len, d_model]的区别
首先导入依赖的torch包。 ```python import torch ``` 我们设： + seq_len（序列的最大长度）：5 + batch_size（批量大小）：2 + d_model（每个单词被映射为的向量的维度）：10 + heads（多头注意力机制的头数）：5 + d_k（每个头的 ......
Pytorch | view()函数的使用
### 函数简介 Pytorch中的view函数主要用于Tensor维度的重构，即返回一个有相同数据但不同维度的Tensor。 根据上面的描述可知，view函数的操作对象应该是Tensor类型。如果不是Tensor类型，可以通过`tensor = torch.tensor(data)`来转换。 ## ......
Bert Pytorch 源码分析：二、注意力层
```py # 注意力机制的具体模块 # 兼容单头和多头 class Attention(nn.Module): """ Compute 'Scaled Dot Product Attention """ # QKV 尺寸都是 BS * ML * ES # （或者多头情况下是 BS * HC * M ......
Bert PyTorch 源码分析：一、嵌入层
```py # 标记嵌入就是最普通的嵌入层 # 接受单词ID输出单词向量 # 直接转发给了`nn.Embedding` class TokenEmbedding(nn.Embedding): def __init__(self, vocab_size, embed_size=512): super( ......