图卷 分子 性质pytorch
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
循环神经网络--基于pytorch框架
import matplotlib.pyplot as plt import math import torch from torch import nn from torch.nn import functional as f from d2l import torch as d2l batch_ ......
易基因：MeRIP-seq等揭示mRNA m6A甲基化调控拟南芥的抗寒性分子机制｜植物抗逆
大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 植物通过改变数千个基因的mRNA丰度以促进其生理和代谢过程，从而对低温应激进行响应。在转录后水平上，这些冷应激应答转录本经历可变剪接、microRNA介导的调控和可变多腺苷酸化等。最近研究表明，m6A、m5C等RNA修饰可以影响RNA调 ......
pytorch优化器
#torch.optim.SGD 常用参数列表： params 需要学习的参数 lr 学习率 momentum 冲量 加入冲量后权重更新公式由v=−dx∗lr+v变成v=−dx∗lr+v∗momemtum weight_decay 权重衰减 防止过拟合，原理见[这里](https://zhuanla ......
MindSponge分子动力学模拟——使用迭代器进行系统演化（2023.09）
在经过前面几篇博客的介绍之后，我们可以定义一些目标的分子体系，并且计算其单点能。而分子模拟的精髓就在于快速的迭代和演化，也就是本文所要介绍的迭代器相关的内容。在具备了分子系统、单点能和迭代器这三者之后，就可以正式开始进行分子动力学模拟。常见的模拟过程有：能量极小化、NVT恒温恒容过程、NPT恒温恒压... ......
量化自定义PyTorch模型入门教程
在以前Pytorch只有一种量化的方法，叫做“eager mode qunatization”，在量化我们自定定义模型时经常会产生奇怪的错误，并且很难解决。但是最近，PyTorch发布了一种称为“fx-graph-mode-qunatization”的方方法。在本文中我们将研究这个fx-graph- ......
AGC057E RowCol/ColRow Sort【性质，DP】
给定一个 $n \times m$，值域 $[0,9]$ 的矩阵 $B$，计数有多少个大小相同的矩阵 $A$ 满足下列条件： - 分别对 $A$ 的每一列中元素从小到大排序，再分别对 $A$ 的每一行中元素从小到大排序能够得到 $B$。 - 分别对 $A$ 的每一行中元素从小到大排序，再分别对 $A ......
自定义CUDA实现PyTorch算子的四种简单方法
### 背景 在探索新的深度学习算法的时候，我们可能会遇到PyTorch提供的算子不能满足需求的情况，这时候就需要自定义PyTorch算子，将我们的算法集成到PyTorch的工作流中。同时，为了提高运算效率，算子往往都需要使用CUDA实现。所幸，PyTorch及很多其他Python库都提供了简化这一 ......
Proj CDeepFuzz Paper Reading: Automatic differentiation in PyTorch
## Abstract 本文：描述automatic differentiation module of PyTorch 包括：Lua Torch, Chainer, HIPS Autograd Task: Provides a high-performance environment on dif ......
《动手学深度学习 Pytorch版》 4.4 模型选择、欠拟合和过拟合
# 4.4.1 训练误差和泛化误差 整节理论，详见书本。 # 4.4.2 模型选择 整节理论，详见书本。 # 4.4.3 欠拟合还是过拟合 整节理论，详见书本。 # 4.4.4 多项回归 ```python import math import numpy as np import torch fr ......
《动手学深度学习 Pytorch版》 4.3 多层感知机的简洁实现
```python import torch from torch import nn from d2l import torch as d2l ``` # 模型 ```python net = nn.Sequential(nn.Flatten(), nn.Linear(784, 256), nn. ......
§2. 函数极限的性质
掌握六种类型的函数极限的：唯一性，局部有界性，局部保号性，保不等式性，迫敛性和四则运算。能够熟练运用这些性质求函数极限。 重点习题：第1、2题。第3、5题的结论需要记住。 ......
MindSponge分子动力学模拟——计算单点能（2023.08）
本文主要衔接前面的文章，继“MindSponge的安装与使用”、“MindSponge软件架构”以及“MindSponge中定义一个分子系统”系列文章之后，再讲解一下如何根据一个定义好的分子系统进行力场建模，使用力场来计算单点能，就是一个比较简单的案例。 ......
《动手学深度学习 Pytorch版》 4.2 多层感知机的从零开始实现
```python import torch from torch import nn from d2l import torch as d2l # 经典数据集与batch size batch_size = 256 train_iter, test_iter = d2l.load_data_fas ......
pytorch报错IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python
该错误消息表示您正在尝试索引其中只有一项的数组。例如， In [10]: aten = torch.tensor(2) In [11]: aten Out[11]: tensor(2) In [12]: aten[0] IndexError Traceback (most recent call l ......
《动手学深度学习 Pytorch版》 4.1 多层感知机
```python %matplotlib inline import torch from d2l import torch as d2l ``` # 4.1.1 隐藏层 整节理论，详见书本。 以下展示常见的激活函数。 1. ReLU 函数 $$ \mathrm{ReLU}(x)=\max(x,0 ......
MindSponge分子动力学模拟——定义一个分子系统（2023.08）
本文通过解析MindSponge的源码实现，详细介绍了在MindSponge中Molecule基础分子类的内置属性和内置函数，以及三种相应的分子系统定义方法：我们既可以使用yaml模板文件来定义一个分子系统，也可以从mol2和pdb文件格式中直接加载一个Molecule，还可以直接使用python列... ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
Pytorch环境搭建
https://pytorch.org/ https://blog.csdn.net/weixin_43737866/article/details/127784768 https://www.jianshu.com/p/4c7b9127cf83 https://blog.csdn.net/m0_5 ......
torch.nn基础学习教程 | PyTorch nn Basic Tutorial
> 基于`torch.nn`搭建神经网络的基础教程大纲： ## **1. 引言** 在我们开始深入探讨`torch.nn`之前，我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。 ### 1.1 **为什么选择PyTorch？** - * ......
【pytorch】从零开始，利用yolov5、crnn+ctc进行车牌识别
笔者的运行环境：python3.8+pytorch2.0.1+pycharm+kaggle用到的网络框架：yolov5、crnn+ctc项目地址：[GitHub - WangPengxing/plate_identification: 利用yolov5、crnn+ctc进行车牌识别](https:/ ......
[note] pytorch的几种维度操作方式比对
## pre 今天看代码在想 `torch.unbind + torch.cat` 与 `torch.reshape` 的区别，直观上来看reshape似乎更便利。 ## chatgpt ### 问题 x is a tensor of three dimension, what is the dif ......
pytorch nn.LSTM模块参数详解
nn.LSTM模块参数 input_size ：输入的维度 hidden_size：h的维度 num_layers：堆叠LSTM的层数，默认值为1 bias：偏置 ，默认值：True batch_first： 如果是True，则input为(batch, seq, input_size)。默认值为： ......
带你上手基于Pytorch和Transformers的中文NLP训练框架
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ......
简单的将pytorch模型部署到onnx
1. 创建一个pytorch模型 这里我用的U2Net，直接加载好训练出的权重 model = U2Net(class_nums=4) model.load_state_dict(torch.load(checkpoint_path)) 2. 将pytorch模型转成onnx格式 x = torcg ......
MindSponge分子动力学模拟——软件架构（2023.08）
分子模拟具有众多的应用场景，比如制药领域和材料领域，做好分子模拟的工作，可以极大程度上缩减新药物新材料的研发成本和研发周期。近几年随着GPT-4和Diffusion Model的大火，让大家意识到了AI已经具备了相当的解决问题的能力。因此基于AI的框架和模型，对比AI训练与分子模拟之间的共性，可以实... ......
循环神经网络RNN完全解析：从基础理论到PyTorch实战
>在本文中，我们深入探讨了循环神经网络（RNN）及其高级变体，包括长短时记忆网络（LSTM）、门控循环单元（GRU）和双向循环神经网络（Bi-RNN）。文章详细介绍了RNN的基本概念、工作原理和应用场景，同时提供了使用PyTorch构建、训练和评估RNN模型的完整代码指南。 > 作者 TechLea ......
大连人工智能计算平台——华为昇腾AI平台——高性能计算HPC——如何在MPI中支持multiprocessing和fork操作——如何在HPC平台上使用pytorch——是否可以通过调度器的提交参数绕过HPC的计费系统
本文要讨论的就是如何在MPI中支持multiprocessing和fork操作，但是这个问题同时也是如何在HPC平台如何使用pytorch的问题，可以说这两个问题其实是同一个问题，而这个问题的解决过程中又产生了另一个问题，你就是是否可以通过调度器的提交参数绕过HPC的计费系统？ ......
理解图傅里叶变换和图卷积
图神经网络（GNN）代表了一类强大的深度神经网络架构。在一个日益互联的世界里，因为信息的联通性，大部分的信息可以被建模为图。例如，化合物中的原子是节点，它们之间的键是边。 图神经网络的美妙之处在于它们能够在不牺牲重要细节的情况下直接对图结构数据进行操作。这一点在处理复杂的数据集（如化合物）时尤为明显 ......
win10 CUDA11.1安装torch1.9 / reformer_pytorch
# 环境 - NVIDIA-SMI 457.52 - Driver Version: 457.52 - CUDA Version: 11.1 # 安装torch-gpu 1. `conda create -n torch1.9 python=3.8` 2. `pip install torch==1 ......