损失torch
torch.unique
写代码的时候想把一个张量\(X\)中的最后一个维度进行类似集合那样的操作，于是网上找到了torch.unique这个方法（官方文档） torch.unique(input, sorted=True, return_inverse=False, return_counts=False, dim=Non ......
pytorch(3)损失函数
损失函数 | Mean-Squared Loss https://zhuanlan.zhihu.com/p/35707643 交叉熵损失函数 https://www.zhihu.com/tardis/zm/art/35709485?source_id=1003 ......
机器学习算法原理实现——xgboost，核心是加入了正则化和损失函数二阶泰勒展开
先看总的图： 本质上就是在传统gbdt的决策树基础上加入了正则化防止过拟合，以及为了让损失函数求解更方便，加入了泰勒展开，这样计算损失函数更方便了（除了决策树代码有差别，其他都是gbdt一样，本文仅实现xgboost的决策树）。如下： 再解释各个步骤： 。。。 让gpt来汇总下： 好了，我们直接写下 ......
人脸识别中对比学习的损失函数（演化进程）
参考文献：https://zhuanlan.zhihu.com/p/40775212 https://blog.csdn.net/yiran103/article/details/83684613 1.softmax 在初期，人脸识别模型通常使用softmax损失函数，其实就是在超平面上进行分类划分 ......
使用混合精度导致GNN相关模型训练时出现损失无法下降
使用混合精度导致GNN相关模型训练时出现损失无法下降： 在一次GNN相关的项目中，由于模型训练速度过慢，楼主为了加速开启混合精度。第一天使用时并未出现异常；第二天再次使用，出现了损失函数不下降的问题。经检测，一段包含稀疏矩阵转换而且矩阵计算密集的函数与混合精度发生未知作用，导致该问题。博主关掉混合精 ......
课后作业：怎样处理精度损失
import java.math.BigDecimal; public class TestBigDecimal { public static void main(String[] args) { BigDecimal f1 = new BigDecimal("0.05"); BigDecimal ......
这家电商公司因系统漏洞损失100万！只因没做好这件事……
传统电商品牌 “绑住” 用户的方式，局限于折扣。同质化的“低价策略”让品牌们逐渐丢失了营销竞争力，用户增长疲软。由此，社交电商营销模式应运而生，品牌们可利用社交电商营销系统，解决用户拉新、裂变和沉浸的问题。 但同时，该模式的应用，也为品牌带来了软件安全危机—— 近日，某网络电商公司称：公司营销系统中 ......
torch.tensor与torch.Tensor区别
在pytorch中torch.tensor与torch.Tensor都可以生成新的张量 torch.Tensor是python类，会调用自己的构造函数，是默认张量类型torch.FloatTensor的别名，所以数据传入时会使用全局默认类型（FloatTensor） 而torch.tensor会根据 ......
检查torch是否是gpu版本
检查torch是否是gpu版本 1. 查看PyTorch版本： 打开Python交互式环境，导入torch包，使用命令torch.__version__查看PyTorch版本，如果版本名称中包含“cuda”，则表示是GPU版本。 例如，如果版本名称为“1.7.0+cu101”，则是支持CUDA 10 ......
torch和numpy的维度交换方法
Tensor的维度转置方法 在搭建神经网络的时候，经常会遇到需要交换维度的时候，比如将HWCN的Tensor维度顺序变换为NCHW顺序，此时需要用到Tensor的转置方法。 一般有以下三种方法： 1、numpy.transpose 如果Tensor是由np.Array转换而来，那么可以在 ......
利用 device_map、torch.dtype、bitsandbytes 压缩模型参数控制使用设备
# device_map 以下内容参考 [Huggingface Accelerate文档：超大模型推理方法](https://zhuanlan.zhihu.com/p/606061177) 在 HuggingFace 中有个重要的关键字是 device_map，它可以简单控制模型层部署在哪些硬件上 ......
torch索引需要注意的小细节
1.索引的数据类型必须是int，bool，有时候会出现使用float类型去索引，这个时候会报错提示数据格式不对，这个时候需要检查自己的数据类型 2.加入有个a =tensor([1,2,3]), 当a>1,会取索引tensor([1,2]) ，当a<2,会取索引tensor(0),此时的区别就是：当 ......
torch.nn基础学习教程 | PyTorch nn Basic Tutorial
> 基于`torch.nn`搭建神经网络的基础教程大纲： ## **1. 引言** 在我们开始深入探讨`torch.nn`之前，我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。 ### 1.1 **为什么选择PyTorch？** - * ......
torch和np互相转换
**1.torch转np** ``` # 创建一个形状为[2, 2, 40, 256]的随机张量 torch_tensor = torch.rand(2, 2, 40, 256) # 将张量转换为NumPy数组 numpy_array = torch_tensor.numpy() ``` **2.n ......
BOSHIDA DC电源模块在传输过程中如何减少能量的损失
BOSHIDA DC电源模块在传输过程中如何减少能量的损失 DC电源模块是电子设备中常见的电源转换器，它可以将交流电转换成稳定的直流电，并且具有高效能、低功耗、可控性强等优点。在DC电源模块传输过程中，由于电能的转换过程中会产生一定的能量损失，因此如何减少能量损失，提高转换效率成为一个重要的问题。 ......
torch.argmax()函数-截至2023年8月28日
argmax函数参数dim=0表示从列获取最大值索引，dim=1从行获取最大值索引，dim=-1从最后一个维度获取最大值索引[^argmax参考]。 举例 ```python import torch d = torch.tensor([[9,7,6], [4,8,2], [5,10,0]]) pr ......
torch.sum()用法-截至2023年8月28日
torch.sum()维度0，1，2。比如现在有$3\times\ 2\times3$的张量，理解为3个$2\times3$的矩阵。当dim=0，1，2时分别在哪个维度上相加[^文艺数学君]？下面是具体的矩阵 $$ [1,2,3]\\ [4,5,6]\\\\ [1,2,3] \\ [4,5,6]\\ ......
torch索引使用方式示例
已知b = torch.Tensor([[1],[2]])，请问b[1]和b[[1]]的区别 在 PyTorch 中，b[1] 和 b[[1]] 之间有一个微妙的区别，这涉及到张量的索引和切片操作。让我解释一下两者之间的区别： b[1]：这是使用整数索引来获取张量 b 中的元素。由于 b 是一个形状 ......
解决wsl正确安装torch_sparse、torch_scatter的问题
# 快速解决torch_sparse、torch_scatter安装并正确使用的问题 我们如果直接进行pip install后，会因为pip的机制自动下载最新版本的其他依赖，例如torch等cuda版本。 所以我们需要找到对应自己电脑的cuda版本的模块whl，进行离线安装。 ## 找到对应版本 打 ......
ModuleNotFoundError: No module named 'torch._six'
ModuleNotFoundError: No module named 'torch._six' 由于torch 2.0版本没有这个模块，因此，只需要降低torch版本，就可以解决。 1）新建一个虚拟环境 2）安装低版本torch REF https://blog.csdn.net/wzwddkb ......
win10 CUDA11.1安装torch1.9 / reformer_pytorch
# 环境 - NVIDIA-SMI 457.52 - Driver Version: 457.52 - CUDA Version: 11.1 # 安装torch-gpu 1. `conda create -n torch1.9 python=3.8` 2. `pip install torch==1 ......
深度学习（十三）——损失函数与反向传播
# 一、损失函数：Loss Function > 官网文档：[torch.nn — PyTorch 2.0 documentation](https://pytorch.org/docs/stable/nn.html#loss-functions) ## 1. Loss Function的作用 - ......
Torch计算指标-ACC、Recall、Precision、NDCG、HR、ARHR
Calculating Binary Classification Metrics (Accuracy, Recall, Precision, F1, DCG, NDCG, HR, ARHR) for Batched Data using Torch - Input: pred -> [B, N], ......
torch基础操作汇总(常更新)
已知一个torch tensor[2,4,5,6],要取其中对应的索引位置(2,3),怎么操作 你可以使用 PyTorch 的索引操作来从给定的张量中提取特定索引位置的元素。在你提供的示例中，张量是 [2, 4, 5, 6]，你希望提取的索引位置是 (2, 3)。以下是如何进行操作： import ......
torch tensor,boxes[:][:2] -= boxes[:][:2]/2 报错
因为在 PyTorch 中进行切片操作时，不支持使用 `[:][:2]` 的方式进行多次切片。正确的方式是将两次切片操作合并成一次。在你的代码中，你可能想要对所有的 boxes 进行操作，对每个 box 的前两个元素进行减法操作。 以下是正确的代码示例： ```python import torch ......
Copula估计边缘分布模拟收益率计算投资组合风险价值VaR与期望损失ES|附代码数据
全文链接：http://tecdat.cn/?p=24753 最近我们被客户要求撰写关于风险价值的研究报告，包括一些图形和统计输出。 在这项工作中，我通过创建一个包含四只基金的模型来探索 copula，这些基金跟踪股票、债券、美元和商品的市场指数 摘要 然后，我使用该模型生成模拟值，并使用实际收益和 ......
目前亲测可行的低损失永久修改win10注销及远程瞬间模糊壁纸的笨方法
0. 保证使用习惯：所有软件安装给所有用户，而非当前用户； 1. (假设当前用户命名为origin，保证其正在使用的锁屏壁纸即为想要的壁纸)，在origin环境下新建一个管理员账户(假设命名为tmp)并切换进去； 2. 将tmp的锁屏壁纸修改为想要的壁纸； 3. 在tmp的操作环境下删除原账号(即删 ......
模型超参数基本都没改，测试时加载模型报模型结构不匹配，设置模糊加载模型即：model.load_state_dict(torch.load(model_path), strict=Fasle)，但效果出奇的差
# 原因 跑模型的时候，用的是多卡加载torch.nn.DataParallel(self.model)，测试是用的单卡模糊加载保存的模型权重，很多模型参数都没有加载成功，自然会导致测试效果很差。 # 解决方法 ` # 如果你想要用nn.DataParallel来加载模型 state_dict = ......
BOSHIDA DC电源模块减小输入电源与输出负载之间的能量损失
BOSHIDA DC电源模块减小输入电源与输出负载之间的能量损失 随着电子产品的普及，DC电源模块已成为现代电子设备中不可或缺的组成部分。DC电源模块可以将交流电转化为直流电，并根据需要，以适当的电压和电流提供给输出负载。然而，在输入电源和输出负载之间，存在能量损失的问题，这对于一些特殊领域的应用， ......
torch.cat()
要将一个大小为(2, 2)的PyTorch张量和一个大小为(1, 2)的张量拼接在一起，以形成一个新的大小为(3, 2)的张量，你可以使用PyTorch库中的torch.cat()函数。以下是一个示例代码： import torch # 假设你有一个大小为(2, 2)的张量 tensor1 和一个大 ......