pytorch gpu-py ubuntu 20.04
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
Hyperledger Fabric部署与测试（Ubuntu）
Fabric部署与测试 Fabric部署与测试最正确的还是参照官方链接：Hyperledger Fabric官方链接 ok，接下来开始部署Fabric。（以Ubuntu为例） 一、部署Fabric 1.前期准备 安装git sudo apt-get install git 安装curl sudo a ......
Rainbond ubuntu20.04单主机部署及简单应用构建
1、Rainbond是什么？ Rainbond 是一个云原生应用管理平台，使用简单，不需要懂容器、Kubernetes和底层复杂技术，支持管理多个Kubernetes集群，和管理企业应用全生命周期。 2、为什么选择Rainbond？ Rainbond 遵循 以应用为中心 的设计理念，统一封装容器、K ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
Ubuntu18.04编译ZLMediakit支持webrtc
背景 最近在做流媒体相关的一些东西, 比较了一些开源的流媒体服务, 目前 srs 和 ZlmediaKit 项目是评价比较高的, 今天主要在 Ubuntu18.04 上编译 ZlmediaKit, 并支持 webrtc 协议. 准备 源码准备 下载 zlmediakit 源码及其依赖组件源码. gi ......
Ubuntu 22.04 GCC Arm 12.2.rel1编译 DAPLink
记录一下过程. Arm Mbed 应该属于Arm的机构或者是Arm资助的机构. 常用的 DAPLink 基本上都是从这个项目派生的. 仓库主要是使用 Keil, 对 GCC 的支持是 2020 年才正式合并进来的. Ubuntu 下使用 GCC Arm 编译 ......
Ubuntu玩机记录，让我破电脑又飞起来了
写在前面 很早之前的电脑ThinkPad E440，一直没怎么用。最近整理了一下电脑的资料，全部备份到云盘。整理的过程感觉电脑很慢很慢，难受极了。整理完后，终于我要对它下手了！ 我制作了启动U盘，把Ubuntu 22.04的镜像烧录进去，通过U盘启动，把系统装在ThinkPad上。居然电脑出奇的好用 ......
基于 Ubuntu 服务器配置原生的 Socks5 网关代理服务器
常见的代理协议有 http、https、socks4/5 这三种，http协议的代理搭建方案最简单，但是http代理无法访问https网站，https代理无法实现调用远端dns，所以我个人推荐使用Scoks5协议做代理，本文用于记录在Ubuntu系统中搭建Socks5代理的详细步骤，采用dante- ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
Ubuntu20.04/22.04 安装 Arduino IDE 2.x
这周收到两片基于LGT8F328P LQFP32的Arduino Mini EVB, 机器上没有 Arduino 环境需要新安装, 正好感受一下新出的 Arduino IDE 2.x, 记录一下 Ubuntu 20.04/22.04 下安装 Arduino IDE 2.x 的过程. ......
安装Ubuntu系统到中国移动电视盒子
根据B站的视频资料，貌似这个盒子的性价比要比树莓派高一些，所以做了这个安装实验。新年伊始，armbian库也加紧升级，感觉大家都在想尽一切办法告别3年疫情给大家带来的伤害。 B站视频推荐把系统安装在盒子的内部，但是家的盒子平时还连接着电视，如果安装到内部，就会破坏原有的Android系统，就无法看电 ......
普冉PY32系列(二) Ubuntu GCC Toolchain和VSCode开发环境
以下介绍PY32F0系列在Ubuntu下如何使用GCC Arm Embedded Toolchain环境进行开发和烧录. GitHub 仓库地址: https://github.com/IOsetting/py32f0-template ......
Ubuntu下的LGT8F328P MiniEVB Arduino开发和烧录环境
基于 LGT8F328P LQFP32 的 Arduino Mini EVB, 这个板型资料较少, 记录一下开发环境和烧录过程以及当中遇到的问题. ......
安装pytorch-gpu的经验与教训
首先说明 本文并不是安装教程，网上有很多，这里只是自己遇到的一些问题 我是以前安装的tensorflow-gpu的，但是发现现在的学术论文大部分都是用pytorch复现的，因此才去安装的pytorch-gpu 查看自己安装的CUDA nvcc -V 这里我提供一个安装tensorflow时所用的CU ......
在Ubuntu上安装OpenShift并使用
服务器信息 在阿里云买了个抢占式的服务器，地区为华南广州，系统为Ubuntu 20.04，8核16GB。 安装Docker 命令如下： $ apt-get update -y $ apt-get upgrade -y $ apt-get install -y docker.io 安装成功后，检查一下 ......
【实战】yolov8 tensorrt ubuntu部署
ubuntu18.04 yolov8 tensorrt模型加速部署【实战】 TensorRT-Alpha基于tensorrt+cuda c++实现模型end2end的gpu加速，支持win10、linux，在2023年已经更新模型：YOLOv8, YOLOv7, YOLOv6, YOLOv5, YO ......
pytorch 配置详细过程
#torch github 项目多 方便，api好调用 cpu版本 ###装torch 安装最新版本的就可以。 ###torchvision 要版本对应 算法： torchvision版本号= torch版本号第一个数字-1.torch版本号第二个数字+1.torch版本号第三个数字 所以我的就是： ......
用Dockerfile制作一个java应用镜像，ubuntu基础篇
内容介绍： (1) 本章目的，将一个自行开发的java程序webpay-api，制作为docker自定义镜像，并且进行部署。 (2) 实验环境： 物理机：VMware 虚拟机 + CentOS 7.8 x64 Docker：Docker version 20.10.17, build 100c701 ......
Pytorch优化过程展示：tensorboard
训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboar... ......
Pytorch建模过程中的DataLoader与Dataset
处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护，在理想情况下，我们希望数据预处理过程代码与我们的模型训练代码分离，以获得更好的可读性和模块化，为此，PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据... ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Pytorch基础-张量基本操作
Pytorch 中，张量的操作分为结构操作和数学运算，其理解就如字面意思。结构操作就是改变张量本身的结构，数学运算就是对张量的元素值完成数学运算。 ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
Pytorch框架详解之一
Pytorch基础操作 numpy基础操作 定义数组（一维与多维） 寻找最大值 维度上升与维度下降 数组计算 矩阵reshape 矩阵维度转换 代码实现 import numpy as np a = np.array([1, 2, 3, 4, 5, 6]) # array数组 b = np.arra ......
Ubuntu 22.04 搭建K8s集群
本文基于Mac平台和Parallels软件，在其中创建三个Ubuntu系统，搭建了一个3个节点（1个master和2个Node）的K8s集群。 ......
ubuntu1804搭建FTP服务器的方法
搭建FTP服务器 FTP的工作原理： FTP：File Transfer Protocol ，文件传输协议。属于NAS存储的一种协议，基于CS结构。 ftp采用的是双端口模式，分为命令端口和数据端口，命令端口对应命令通道，数据端口对应数据通道。 命令端口：FTP服务器的命令端口默认是tcp/21 数 ......
Pytorch学习笔记之tensorboard
训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboar... ......