pytorch wsl2 cuda wsl
Pytorch中的交叉熵CE和均方误差MSE分别是如何计算的？
本文主要关注输入输出的形状，通过两种标签形式探索一下其计算机制。 交叉熵损失函数 实验设置：假设采用AutoEncoder+分类器。AE负责重构图像，计算MSE。分类器通过latent vector计算23个类别的概率向量。 import torch nn as nn net = AutoEncod ......
ubuntu20.04 opencv 4.2 + opencv_contrib 4.2.0 安装笔记 和 opencv 4.5.4 with cuda 安装笔记
参考： https://docs.opencv.org/4.x/d7/d9f/tutorial_linux_install.html Build with opencv_contrib # 1. Install minimal prerequisites， libgtk2.0-dev pkg-con ......
PyTorch项目源码学习（2）——Tensor代码结构初步学习
PyTorch版本：1.10.0 Tensor Tensor是Pytorch项目较为重要的一部分，其中的主要功能如存储，运算由C++和CUDA实现，本文主要从前端开始探索学习Tensor的代码结构。 结构探索 PyTorch前端位于torch目录下，从_tensor.py可以找到Tensor的pyt ......
使用PyTorch实现混合专家(MoE)模型
Mixtral 8x7B 的推出在开放 AI 领域引发了广泛关注，特别是混合专家（Mixture-of-Experts：MoEs）这一概念被大家所认知。混合专家(MoE)概念是协作智能的象征，体现了“整体大于部分之和”的说法。MoE模型汇集了各种专家模型的优势，以提供更好的预测。它是围绕一个门控网络 ......
Windows10安装cuda失败
安装顺序 首先我们要清楚顺序： 1.NVIDIA Driver 2.CUDA 3.cuDNN 4.TensorFlow 安装注意 驱动和CUDA版本不是一一对应，而是可以兼容向下的，像我的电脑经常安装两三个版本的CUDA，而驱动只有一个最新版本。 由于下载local版本的CUDA安装包会带显卡驱动， ......
安装pytorch/安装jupyterlab并添加已创建环境的kernel
安装pytorch 先创建一个环境，去pytorch官网查找环境所用python版本对应的torch版本，并选择合适的下载命令，在已激活的环境中运行命令，即可安装成功。 安装jupyter jupyter可以按cell运行代码，并且可以边写代码边做笔记。运行conda install jupyter ......
wsl文件最好不要在windows下编译
1 前提描述 我渐渐习惯使用 Win10 Linux Bash Shell，之前用过 Ubuntu 18 通过 Win10 bash，建立文件，在win10中，通过 notepad++ 编辑文件 通过 notepa++ 修改 ubuntu 下的编程文件，除了偶然会修改掉文件的权限，没有大的问题 2 ......
Cannot re-initialize CUDA in forked subprocess.
"Cannot re-initialize CUDA in forked subprocess. " + msg) RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessi ......
CUDA驱动深度学习发展 - 技术全解与实战
全面介绍CUDA与pytorch cuda实战 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人 一、CUDA：定义与演进 CUDA（ ......
Jax报错：Windows系统环境下WSL中运行Jax会导致nvidia-smi报错退出，无法使用nvidia-smi和gpustat
环境： Window11下的WSL： 运行jax，导致nvidia-smi无法使用，不过经过测试发现虽然nvidia-smi报错无法使用，但是GPU已经可以正常使用，调用jax的GPU运行也保持正常，只不过无法使用nvidia-smi对GPU状态进行查询。 ......
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序 ......
Clion 中 Rust 插件开启 WSL 调试
Rust Linux 配置 wsl 中执行命令： curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh 按照可能会卡住，需要在本机中的 Clash for windows 中开启 Lan 选项。 Rust 第三方库安装慢的解决方 ......
WSL2镜像文件压缩
WSL2的镜像文件（*.vhdx）支持自动扩容，但是一般不会自动缩容。一旦某次存放过大文件以后，即使后续删除，镜像文件体积仍然不会缩小，导致大量磁盘空间浪费。因此，可以定期对镜像文件进行手动压缩。 ......
在 macOS 通过 SSH 访问 Windows 的 WSL2 Ubuntu
配置 Windows 和 WSL2，使得能通过其他电脑远程 SSH 到 WSL2 Ubuntu。 一、Win10 安装 WSL2 Ubuntu 注意，是安装 WSL2，方法参考这个 WSL2 配置 C++ 开发环境 enable-virtual-machine-feature 步骤描述： 以管理员身 ......
slam相关-Sophus库cmake报错target "CUDA::cusolver" not found.
报错细节 用cmake编译Sophus库时，有类似如下报错 CMake Error at test/core/CMakeLists.txt:18 (ADD_EXECUTABLE): Target "test_sim3" links to target "CUDA::cublas" but the t ......
PyTorch 的 BatchNorm 层
BatchNorm 层 为了实现输入特征标准化，batch norm 层会维护一个全局均值 running_mean 和全局方差 running_var。网络 train() 时进行统计，eval() 时使用统计值。 除此之外，可选 weight 权重和 bias 权重，这两个权重是会持续参与到网络 ......
WIN11 WSL2 Ubuntu22.04 局域网访问WSL2服务
WIN11 WSL2 Ubuntu22.04 局域网访问WSL2服务 https://blog.csdn.net/u011255605/article/details/131700529 WIN11 下管理员运行 Windows PowerShell执行 netsh interface portpr ......
解决"wsl: 检测到 localhost 代理配置，但未镜像到 WSL。NAT 模式下的 WSL 不支持 localhost 代理"
解决"wsl: 检测到 localhost 代理配置，但未镜像到 WSL。NAT 模式下的 WSL 不支持 localhost 代理" 我的问题 我在启动wsl之前，使用了代理软件。造成网络无法映射到wsl里。 解决方法 关掉代理软件 powershell关掉已启动的wsl,再启动wsl wsl - ......
SciTech-BigDataAIML-PyTorch: 安装PyTorch For Python3.12
安装PyTorch For Python3.12: Release Version: $ pip install torch torchvision torchaudio Pre-Release Version: $ pip install --pre torch torchvision torch ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
简易机器学习笔记（十）Windows下 PaddlePaddle配置CUDA加速环境
前言 大伙既然都来做这个了，那配个CUDA环境肯定是必不可少的了吧（笑） 最前面的最前面， 流程 确定当前设备支持的CUDA版本 安装CUDA Toolkit 和 GPU版的Paddlepaddle 下载cuDNN Archive 手动放置配套的cuDNN到指定文件夹 测试 1.确定当前设备支持的C ......
环境配置问题一些注意的点（Pytorch+cudnn）
1、先安装好Pycharm以及Anaconda 我使用的是Python3.6版本，所以下载了与Python3.6对应的Anaconda，Pycharm下载的是社区版； 2、cudnn版本：首先查看自己电脑NVIDIA版本，从任务管理器中查看GPU型号，再从cudnn官网下载相关配件； 3、在note ......
Window10安装PyTorch
1、参考地址 https://blog.csdn.net/Mind_programmonkey/article/details/99688839 2、安装pytorch-gpu时，网络不好的话可以开手机热点，然后进行下载安装 activate conda activate python3.8 pip ......
pytorch反向传播错误解决：RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
pytorch反向传播错误解决： 错误： RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=T ......
wsl2 通过桥接实现 局域网访问,docker 远程连接执行testcontainer
为了不想在本地安装docker 运行 testcontainer 容器测试,需要wsl2 的所有端口,局域网都可以访问,折腾了3天,最后在 https://zhuanlan.zhihu.com/p/659074950 这篇文章的指引下才实现 首先打开控制面板 点击程序 点击启用或关闭Window功能 ......
AI_GPU-硬件-驱动-cuda
硬件 GeForce 系列 是英伟达主打的消费级GPU产品线 Quadro 系列 是英伟达专业级GPU产品线,针对商业和专业应用领域进行了优化 NVIDIA Quadro P1000显卡 Jetson 系列 是面向边缘计算和人工智能应用的嵌入式开发平台,具备强大的计算和推理能力： Jetson Or ......
cuda流的使用
CUDA流表示一个GPU操作队列，该队列中的操作将以添加到流中的先后顺序而依次执行。可以将一个流看做是GPU上的一个任务，不同任务可以并行执行。使用CUDA流，首先要选择一个支持设备重叠（Device Overlap）功能的设备，支持设备重叠功能的GPU能够在执行一个CUDA核函数的同时，还能在主机 ......
python(pytorch)学习中的法宝
1、dir():打开、查看 比方在Pycharm中输入dir(torch),就可以输出torch中所有的使用方法（函数） 2、help(函数名):对于新手来讲很有用，函数不知道怎么用的时候，可以用该函数调出函数的使用参考。 3、dataset：提供一种方式去获取数据及其label（如何获取每一个数据 ......