pytorch scitech-bigdataaiml-pytorch bigdataaiml

pytorch图像变换和增强 目录pytorch图像变换和增强总览调整大小灰度变换标准化水平垂直翻转随机旋转中心裁剪随机裁剪亮度对比度饱和度高斯模糊高斯噪声随机块中心区域参考资料 总览 # 使用数据增强技术可以增加数据集中图像的多样性，从而提高模型的性能和泛化能力。 1.尺寸变换 transform ......

基于一个例子，总结过去一个月的学习： import torch from torch import nn from torch.nn import init import numpy as np import sys sys.path.append("..") import d2lzh_pytorc ......

下载数据集 import torch import torchvision import torchvision.transforms as transforms # 定义数据预处理的转换 transform = transforms.Compose( [transforms.ToTensor(), ......

基本运算 import torch # 创建一个自定义的张量 t = torch.tensor([1.0, 2.0, 3.0]) # tensor([1., 2., 3.]) # 求平均值 t.mean() # tensor(2.) # 创建一个指定行列的张量 x = torch.empty(3,5 ......

在本篇文章中，我们全面而深入地探讨了强化学习（Reinforcement Learning）的基础概念、主流算法和实战步骤。从马尔可夫决策过程（MDP）到高级算法如PPO，文章旨在为读者提供一套全面的理论框架和实用工具。同时，我们还专门探讨了强化学习在多个领域，如游戏、金融、医疗和自动驾驶等的具体应 ......

前言 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，它通过卷积层、池化层、全连接层等结构，可以有效地处理如时间序列和图片数据等。关于卷积的概念网络上也比较多，这里就不一一描述了。实战为主当然要从实际问题出发，用代码的方式加深印象。在写代码前，我先说一下为什么我 ......

collate_fn 函数用于处理数据加载器（DataLoader）中的一批数据。在PyTorch中使用 DataLoader 时，通过设置collate_fn，我们可以决定如何将多个样本数据整合到一起成为一个 batch。在某些情况下，该函数需要由用户自定义以满足特定需求。 import torc ......

在本文中，我们深入探讨了注意力机制的理论基础和实际应用。从其历史发展和基础定义，到具体的数学模型，再到其在自然语言处理和计算机视觉等多个人工智能子领域的应用实例，本文为您提供了一个全面且深入的视角。通过Python和PyTorch代码示例，我们还展示了如何实现这一先进的机制。 关注TechLead， ......

官网 https://junyanz.github.io/CycleGAN/ 代码 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix ......

https://zh.d2l.ai/chapter_computer-vision/neural-style.html import torch import torchvision from torch import nn from d2l import torch as d2l # 1阅读内容和 ......

model.train()：启用 Batch Normalization 和 Dropout。作用：对BN层，保证BN层能够用到每一批数据的均值和方差，并进行计算更新；对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。 model.eval()：不启用 Batch ......

1.分治法不能用 局部点干扰性大 2.梯度下降 3. 随机梯度下降 随机梯度下降法(Stochastic Gradient Descent, SGD)：由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法正是为了解决批量梯度下降 ......

LayerNorm层 作用 BatchNorm计算的是一批样本，样本间同一个通道进行正则化 LayerNorm计算的是一个样本内，一个样本内进行正则化。 实现代码 class LayerNorm(nn.Module): def __init__(self,features,eps=1e-6): su ......

本文全面深入地探讨了胶囊网络（Capsule Networks）的原理、构建块、数学模型以及在PyTorch中的实现。通过本文，读者不仅能够理解胶囊网络的基础概念和高级数学原理，还能掌握其在实际问题中的应用方法。 关注TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构 ......

本文深入探讨了深度残差网络（ResNet）的核心概念和架构组成。我们从深度学习和梯度消失问题入手，逐一解析了残差块、初始卷积层、残差块组、全局平均池化和全连接层的作用和优点。文章还包含使用PyTorch构建和训练ResNet模型的实战部分，带有详细的代码和解释。 关注TechLead，分享AI与云服 ......

docker-compose 安装 unbuntu 20.04 version: '3' services: ubuntu2004: image: ubuntu:20.04 ports: - '2256:22' - '3356:3306' - '8058:80' volumes: - my-volu ......

自注意力同时具有并行计算和最短的最大路径长度这两个优势。Transformer 模型完全基于注意力机制，没有任何卷积层或循环神经网络层。尽管 Transformer 最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。 10.7.1 模 ......

1、安装anaconda，使用conda新建虚拟环境 conda create -n pytorch python=3.9 numpy matplotlib pandas jupyter notebook（环境名为pytorch） conda activate pytorch conda deact ......

......

本文深入探讨了深度信念网络DBN的核心概念、结构、Pytorch实战，分析其在深度学习网络中的定位、潜力与应用场景。 关注TechLead，分享AI与云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师 ......

本文深入探讨了长短时记忆网络（LSTM）的核心概念、结构与数学原理，对LSTM与GRU的差异进行了对比，并通过逻辑分析阐述了LSTM的工作原理。文章还详细演示了如何使用PyTorch构建和训练LSTM模型，并突出了LSTM在实际应用中的优势。 关注TechLead，分享AI与云服务技术的全维度知识。 ......

原文链接： https://mp.weixin.qq.com/s/s8jNzTo0DM_LjyUwYDVgGg 2023年10月5日（北京时间），PyTorch社区正式发布2.1版本，经过PyTorch社区与昇腾的持续合作和共同努力，Pytorch 2.1版本已同步支持昇腾NPU，意味着开发者可直接 ......

1早先的预测模型 让我们首先定义预测函数来生成prefix之后的新字符， 其中的prefix是一个用户提供的包含多个字符的字符串。 在循环遍历prefix中的开始字符时， 我们不断地将隐状态传递到下一个时间步，但是不生成任何输出。 这被称为预热（warm-up）期， 因为在此期间模型会自我更新（例如 ......

上一节使用的高斯核的指数部分可以视为注意力评分函数（attention scoring function），简称评分函数（scoring function）。 后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图： ......

import torch from torch import nn from d2l import torch as d2l 1964 年提出的 Nadaraya-Watson 核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。 10.2.1 生成数据集 根据下面的非线性函数生 ......

参考 https://pytorch.org/blog/compiling-numpy-code/ 在mac M2 机器上, 快了50%， 但没有好几倍。可能和依赖libomp有关 brew install libomp python test_np.py test_np.py 代码如下 impor ......

ViT｜ Vision Transformer ｜理论 + 代码_哔哩哔哩_bilibili 1 不用卷积神经网络那些东西（CNN）了全部用Transforme 。 2 大规模数据训练，小规模数据应用。 3 效果相当 计算训练资源更少。 转换思想 224*224像素图像 - 单个像素（视为一个词to ......

多层堆叠 多头得到到多个结果 z1 z2 z1 z2经过 feed forward neural network网络 全连接层得到向量r1 r2. 既然是向量，就可以重复输入网络了 然后就可以重复堆积层了。 layernorm 应用了残差网络思想（确保加的层不会导致比原来系统差） 1 加操作：输出+ ......

10.5. 多头注意力 — 动手学深度学习 2.0.0 documentation (d2l.ai) Multi-Head Attention | 算法 + 代码_哔哩哔哩_bilibili 代码实现 x[1,4,2] 1几个样本（句子） 4 预测步长（4个单词） 2每个单词的编码后特征长度 ......

10.1.1 生物学中的注意力提示 “美国心理学之父” 威廉·詹姆斯提出的双组件（two-component）框架： 非自主性提示：基于环境中物体的突出性和易见性 自主性提示：受到了认知和意识的控制 10.1.2 查询、键和值 注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示 在注意力 ......