torch

cuda toolkits 是工具包包含cuda和显卡驱动，需要选择显卡合适的版本，到官网查看 cudnn是加速的 torch是需要支持cuda的版本 cuda安装 1、https://blog.csdn.net/RenZuoym/article/details/132211730 2、下载：cud ......

1.AttributeError: module 'torch' has no attribute '_six'报错： 答：指的是安装的pytorch版本里面没有_six.py文件，因为在pytorch2.0版本以后不在具有此文件。 2.两个解决方法 答：①将2.0版本以前的_six.py文件复制到 ......

第1章 torch.nn简介 1.1 torch.nn相关库的导入 #环境准备 import numpy as np # numpy数组库 import math # 数学运算库 import matplotlib.pyplot as plt # 画图库 import torch # torch基础 ......

通常来说，多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中，如果用cpu，则指定gloo后端。用gpu，则指定nccl后端。 多进程训练 只需要mp.spawn即可，每个进程只负责自己的模型训练，不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......

参考网址： https://blog.csdn.net/weixin_44179269/article/details/124573992?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170167791616800197042802 ......

事情的经过就是，跑深度学习代码的时候，遇到了一系列的错误 参数维度对不上 1.运行时，发现预训练模型得到的参数跟我模型要的对不上，傻逼了，当时没看见github得issues里面就有解答，找了大半天，还尝试去改模型参数。 其实就是因为下载的预训练模型参数的版本不对，应该用旧的版本。 cuda用不了 ......

dim (可选): 沿着哪个维度计算最大值，默认是计算整个张量的最大值 写法1x = torch.tensor([[1, 2, 3], [4, 5, 6]]) values,_= torch.max(x, dim=0) print(values) # 输出每行的最大值 [3, 6] tensor([ ......

将张量从GPU移到CPU上 import torch # 创建一个张量并将其放在GPU上 tensor_gpu = torch.randn((3, 3)).cuda() # 将张量从GPU移动到CPU tensor_cpu = tensor_gpu.cpu() ......

在深度学习中，通常使用自动微分（Autograd）来计算梯度，以便进行反向传播和优化。 在这个过程中，PyTorch会构建一个计算图，用于跟踪张量之间的计算关系。这个计算图是由各个张量之间的运算所构成的，以便在进行反向传播时计算梯度。 .detach()方法的作用是创建一个新的张量，与原始张量共享相 ......

拼接tensor torch.cat(tensors, dim): 沿指定维度拼接张量。 tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]]) tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]]) # dim=0 ......

数学运算： a = torch.tensor([[1, 2, 3], [4, 5, 6]]) b = torch.tensor([[7, 8, 9], [10, 11, 12]]) tensor([[1, 2, 3], [4, 5, 6]]) tensor([[ 7, 8, 9], [10, 11, ......

什么时候需要将计算放置再gpt，cuda上 数据，模型放在cuda上计算之后，还用导回cpu吗 用法 torch.cuda.is_available() torch.cuda.device() ......

保存模型有两种方式，方式不同，在调用模型的时候也不同 我更建议用torch.jit。。。这样不需要在写模型的参数 torch.save 保存模型： import torch import torch.nn as nn # 假设 model 是你的 PyTorch 模型 class SimpleMod ......

创建张量： torch.tensor(data): 从数据中创建张量。用列表创建，numpy创建 维度只看[ ] # 一维张量 data_1d = [1, 2, 3] tensor_1d = torch.tensor(data_1d)# 结果tensor([1, 2, 3]) # 二维张量 data ......

定义： 在PyTorch中，张量（tensor）是一种类似于多维数组的数据结构，它是PyTorch的核心数据类型。张量可以具有不同的维度，例如标量（0维张量，类似于一个数字）、向量（1维张量，类似于一维数组）、矩阵（2维张量，类似于二维数组）以及更高维度的数组。 张量的维度，矩阵的维度主要看第一个数 ......

张量操作（Tensors）: 创建张量（列表、numpy、0、1） 张量操作（改变形状、索引切片、） 数学操作（加 乘） 查看形状 Autograd（自动求导）: 定义可训练参数：torch.nn.Parameter自动求导上下文管理器：torch.autograd损失函数：torch.nn.fun ......

torch常见激活函数 目录torch常见激活函数激活函数定义Sigmoid型S激活函数sigmoid函数Tanh函数LogSigmoid函数Softmax函数Softplus函数ReLU型及其改进ReLU函数PReLU函数LeakyReLU函数RReLU函数ReLU6函数ELU指数线性单元SELU ......

当我们想运行yolo v5时候，我们发现有的时候，由于网关问题，proxy会成为阻碍。例如如下错误； 将代码如下修改，就能改好： 1. 原始代码： 2. 增加proxy设置： import urllib.request import torch.hub # 设置代理信息 proxy_support ......

在執行pytorch代碼的時候，突然看到報錯 AssertionError: Torch not compiled with CUDA enabled 這說明了 1. 你pytoch确实安装了 2. 你安装的是cpu版本 作为验证，你可以在python编辑器输入下列代码 如果要在无GPU环境中运行， ......

在西方的天际，正在云海中下沉的夕阳仿佛被溶化着，太阳的血在云海和太空中弥漫开来，映现出一大片壮丽的血红。“这是人类的落日。” 一，miniconda下载安装以及注意事项 1，下载 进入官网miniconda 正常选择最新版Miniconda3 Linux 64-bit, jetson选择Minico ......

按照官网步骤安装完torch-scatter、torch-sparse、torch-cluster和torch-spline-conv等依赖项，也成功安装了torch_geometric，但在导入的时候还是报错： 原因是没有C++环境，在该网址中https://visualstudio.micros ......

torch交叉熵损失 目录torch交叉熵损失熵的理解相对熵交叉熵交叉熵损失函数实现和应用numpy实现pytorch实现torch实现pytorch等价实现参考资料 交叉熵其实就是运用了熵的概念先把模型转化为熵的数值然后用数值去比较模型之间的差异。 熵的理解 熵代表了信息量的多少，或者数据的混乱程 ......

最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......

一、背景 在使用torch的时候，可以通过bool类型对数组进行检索操作。传统的list或者dict都是使用下标和关键字检索。而在torch中可以使用bool类型进行检索，它的的目标主要是以下功能： 替换torch中的某个值 二、使用 torch在bool检索的情况下就是将为检索位置为True的地方 ......

nn.Embedding torch.nn.Embedding 随机初始化词向量矩阵：这种方式很容易理解，就是使用self.embedding = torch.nn.Embedding(vocab_size, embed_dim)命令直接随机生成个初始化的词向量矩阵，此时的向量值符合正态分布N(0, ......

1.Anaconda安装 进入清华镜像网下载：清华大学开源软件镜像站 | Tsinghua Open Source Mirror 1.通过搜索框找到Anaconda 2.点击archive 3.找到与操作系统匹配以及所需的anaconda版本进行下载 4.另存到D盘 5.双击进行安装 6.配置环境变 ......

在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现 1、ValueError: Error initializing to ......

问题：服务器上多块卡，使用其中一张训练的模型，在本地预测的时候报错。 解决：在torch.load中加入map_location，指定一块卡 ......

pytorch torch.nn.BatchNorm1d nn.BatchNorm1d本身不是给定输入矩阵，输出归一化结果的函数，而是定义了一个方法，再用这个方法去做归一化。下面是一个例子。BN = nn.BatchNorm1d(100)input = torch.randn(20, 100)out ......

1、Conv1d 定义class torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 自然语言处理中一个句子序列，一维的，所以使用C ......