pytorch网络vgg
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Python绘制神经网络模型图
本文介绍基于Python语言，对神经网络模型的结构进行可视化绘图的方法。 最近需要进行神经网络结构模型的可视化绘图工作。查阅多种方法后，看到很多方法都比较麻烦，例如单纯利用graphviz模块，就需要手动用DOT语言进行图片描述，比较花时间；最终，发现利用第三方的ann_visualizer模块，可 ......
重学了计算机网络，略有小成，经验全部分享出来
公众号「古时的风筝」，专注于后端技术，尤其是 Java 及周边生态。文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 大家好，我是风筝。 重学计算机网络已经有一段时间了，终于在离开大学多年后又重新拾起了一部分，时至今日已略有小成，并且写了一系列的文 ......
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
Backbone 网络-ResNet 论文解读
残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。ResNet 通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。 ......
神经网络基础部件-卷积层详解
本文深度讲解了卷积计算的原理，并详细介绍了构成所有卷积网络主干的基本元素，包括卷积层本身、填充(padding)和步幅 (stride)的基本细节、用于在相邻区域汇聚信息的汇聚层(pooling)，最后给出卷积层和汇聚层的代码示例和CNN框架结构图。 ......
VMware 虚拟机安装 OpenWrt 作旁路由 单臂路由 img 镜像转 vmdk 旁路由无法上网 没网络
重要注意事项 由于布线原因笔记本只能采用无线的方式连接路由器，在Windows10的环境下使用无线网卡桥接，结果软路由无法上网，翻阅了各种帖子最终发现跟系统底层的协议栈有关系，随即放弃使用有线网卡，不能上网等乱七八糟的问题瞬间解决，因此务必提醒各位，==千万不要使用无线网卡桥接！！！== 参考文章如 ......
【论文笔记】FCN全卷积网络
全卷积网络（FCN）是用于图片语义分割的一种卷积神经网络（CNN），由Jonathan Long，Evan Shelhamer 和Trevor Darrell提出，由此开启了深度学习在语义分割中的应用。语义分割是计算机视觉领域很重要的一个分支，在自动驾驶、地面检测等方面都起到很重要作用。与简单区分前 ......
挖矿僵尸网络蠕虫病毒kdevtmpfsi处理过程(包含部分pgsql线程池满的情况)
背景: pgsql连接时候报错org.postgresql.util.PSQLException: FATAL: sorry, too many clients already, 意思是client已经把连接池占满了. 使用ps -ef | grep postgres删除几个进程, 进入数据库运行S ......
MATLAB人工神经网络ANN代码
本文介绍基于MATLAB实现人工神经网络（ANN）回归的详细代码与操作。 在之前的文章MATLAB实现随机森林（RF）回归与自变量影响程度分析中，我们对基于MATLAB的随机森林（RF）回归与变量影响程度（重要性）排序的代码加以详细讲解与实践。本次我们继续基于MATLAB，对另一种常用的机器学习方法 ......
Python TensorFlow深度神经网络回归：keras.Sequential
本文介绍基于Python语言中TensorFlow的Keras接口，实现深度神经网络回归的方法。 1 写在前面 前期一篇文章Python TensorFlow深度学习回归代码：DNNRegressor详细介绍了基于TensorFlow tf.estimator接口的深度学习网络；而在TensorFl ......
神经网络基础部件-BN层详解
训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个... ......
Java实现BP神经网络MNIST手写数字识别
Java实现BP神经网络，内含BP神经网络类，采用MNIST数据集，包含服务器和客户端程序，可在服务器训练后使客户端直接使用训练结果，界面有画板，可以手写数字 ......
NAPT网络结构下TCP/UDP/ICMP访问外网原理思考
背景 作为程序员，应该都听说过NAT(Network Address Transfer，网络地址转换)这一技术名词，并或多或少大概知道其原理与作用--NAT是用于解决IPv4地址不够用，保证我们能够在IPv6普及前依然可以正常使用互联网而广泛使用的一个技术，其原理正如其名称所示：其可以将私网IP通过 ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
Pytorch：单卡多进程并行训练
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ......
安装pytorch-gpu的经验与教训
首先说明 本文并不是安装教程，网上有很多，这里只是自己遇到的一些问题 我是以前安装的tensorflow-gpu的，但是发现现在的学术论文大部分都是用pytorch复现的，因此才去安装的pytorch-gpu 查看自己安装的CUDA nvcc -V 这里我提供一个安装tensorflow时所用的CU ......
算法学习笔记(8.1): 网络最大流算法 EK, Dinic, ISAP
网络最大流 前置知识以及更多芝士参考下述链接 网络流合集链接：网络流 最大流，值得是在不超过管道~~（边）~~容量的情况下从源点到汇点最多能到达的流量 抽象一点：使 $\sum_{(S, v) \in E} f(S, v)$ 最大的流函数被称为网络的最大流，此时的流量被称为网络的最大流量 有了最大流 ......
神经网络基础部件-激活函数详解
本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。从机器学习的角度来看，神经网络其实就是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得多层神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要... ......
pytorch 配置详细过程
#torch github 项目多 方便，api好调用 cpu版本 ###装torch 安装最新版本的就可以。 ###torchvision 要版本对应 算法： torchvision版本号= torch版本号第一个数字-1.torch版本号第二个数字+1.torch版本号第三个数字 所以我的就是： ......
深度学习之Transformer网络
【博主使用的python版本：3.6.8】 本次没有额外的资料下载 Packages import tensorflow as tf import pandas as pd import time import numpy as np import matplotlib.pyplot as plt ......
基于U-Net网络的图像分割的MindStudio实践
摘要：本实践是基于Windows版MindStudio 5.0.RC3，远程连接ECS服务器使用，ECS是基于官方分享的CANN6.0.RC1_MindX_Vision3.0.RC3镜像创建的。 本文分享自华为云社区《【MindStudio训练营第一季】基于U-Net网络的图像分割的MindStud ......
Pytorch优化过程展示：tensorboard
训练模型过程中，经常需要追踪一些性能指标的变化情况，以便了解模型的实时动态，例如：回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外，我们还希望能够将这些指标以动态图表的形式可视化显示出来。
TensorFlow的附加工具Tensorboar... ......
Pytorch建模过程中的DataLoader与Dataset
处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护，在理想情况下，我们希望数据预处理过程代码与我们的模型训练代码分离，以获得更好的可读性和模块化，为此，PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据... ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Redis网络模型究竟有多强
高效的网络模型是Redis实现高吞吐量的重要底层支撑，是“高性能”的重要原因，却不是“快”的直接理由。本文将从BIO开始介绍，经过NIO、多路复用，最终说回Redis的Reactor模型，力求详尽。 ......
Pytorch基础-张量基本操作
Pytorch 中，张量的操作分为结构操作和数学运算，其理解就如字面意思。结构操作就是改变张量本身的结构，数学运算就是对张量的元素值完成数学运算。 ......