深度pytorch 5.1
课程二第一周：深度学习的实用层面
深度学习的实用层面 Train/Dev/Test sets 深度学习是一个典型的高度迭代的过程，需要不断地进行循环测试，来找到最适合当前网络的超参。一方面可以提升迭代的效率，另一方面可以避免过度拟合等问题。 在实践中，（合理的）高质量训练集、验证集和测试集，有助于提升迭代的效率。 Train/Dev ......
《动手学深度学习 Pytorch版》 9.4 双向循环神经网络
之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。 9.4.1 隐马尔可夫模型中的动态规划 数学推导太复杂了，略。 9.4.2 双向模型 双向循环神经网络（bidirectional RNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。 ......
LSTM-CRF模型详解和Pytorch代码实现
在快速发展的自然语言处理领域，Transformers 已经成为主导模型，在广泛的序列建模任务中表现出卓越的性能，包括词性标记、命名实体识别和分块。在Transformers之前，条件随机场(CRFs)是序列建模的首选工具，特别是线性链CRFs，它将序列建模为有向图，而CRFs更普遍地可以用于任意图 ......
《动手学深度学习 Pytorch版》 9.3 深度循环神经网络
将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系 将深度架构中的函数依赖关系形式化，第 \(l\) 个隐藏层的隐状态表达式为： \[\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol ......
Pika v3.5.1发布！
Pika 社区很高兴宣布，我们今天发布已经过我们生产环境验证 v3.5.1 版本，https://github.com/OpenAtomFoundation/pika/releases/tag/v3.5.1 。 该版本不仅做了很多优化工作，还引入了多项新功能。这些新功能包括 动态关闭 WAL、Rep ......
《动手学深度学习 Pytorch版》 9.2 长短期记忆网络（LSTM）
解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器（long short-term memory，LSTM）。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近 20 年。 9.2.1 门控记忆元 为了记录附加的信息，长 ......
Pytorch-（三）张量
1、张量支持的数据类型 （1）获取/设置Pytorch默认的张量类型 import torch # 2、张量Tensor # 2.1、获取/设置Pytorch的默认类型 def DefaultType_func(): dtype=torch.tensor([1,2,3.4]).dtype print ......
【Python&RS】基于GDAL栅格数据/图片位深度（bit）转换
最近在用OpenCv库处理图片时发现cv库无法读取64位的tif影像，所有想通过Python将64位的图片转换成8位的。今天就跟大家分享一下如何利用Python的GDAL库，实现栅格数据/图片的位深度转换。 ......
pytorch 量化相关参考
ref: https://blog.csdn.net/znsoft/article/details/130788437 import torch import torch.quantization class M(torch.nn.Module): def __init__(self): super ......
pytorch一些准备工作
conda常用指令 激活以及退出当前虚拟环境 conda activate xxx conda deactivate 创建以及删除 conda create -n xxx python=3.8 conda remove -n xxx 查看当前虚拟环境有哪些 conda info --envs 查看当 ......
深度学习基础认知简明梳理
深度学习基础简明梳理-基于李宏毅油管课程 前言 该内容为基于博主对深度学习的认知与实践经验的对李宏毅油管上课程的简要理解，有局限偏差之处，敬请谅解。后续随着学习的深入会进行一定修正。 本质概述 此处不会特意探讨机器学习与深度学习之间的差别，纵观这些领域，它们所构建的方法论为：寻找到一个模型（函数）， ......
深度学习模型_锁死种子
import torch import random import os import numpy as np def seed_setting(seed): random.seed(seed) # os.environ['']=str(seed) np.random.seed(seed) torc ......
神经网络入门篇：为什么深度学习会兴起？
为什么深度学习会兴起？ 这篇我们来讲故事，关于为什么深度学习会兴起的故事~ 深度学习和神经网络之前的基础技术理念已经存在大概几十年了，为什么它们现在才突然流行起来呢？ 因为多亏数字化社会的来临，现在的数据量都非常巨大，我们花了很多时间活动在这些数字的领域，比如在电脑网站上、在手机软件上以及其它数字化 ......
《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）
我们可能会遇到这样的情况： 早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和，目标是在序列的末尾辨别校验和是否正确。在这种情况下，第一个词元的影响至关重要。我们希望有某些机制能够在一个记忆元里存储重要的早期信息。如果没有这样的机制，我们将不得不给这 ......
pytorch问题集合
根据kernel size,stride和padding计算卷积后的尺寸 对于PyTorch中的1维卷积层nn.Conv1d,输出序列长度可以根据以下公式计算:假设:- 输入序列长度:L_in - 卷积核大小:K - 步长:S - 填充:P 则输出序列长度为: python L_out = (L_i ......
[pytorch] 训练时冻结一部分模型的参数 —— module.requires_grad_(False)
prologue title: [pytorch] 训练时冻结一部分模型的参数 —— module.requires_grad_(False) 代码用到一个解码器\(dec\)，希望用它预测生成结果\(g\)的counting encode并用以计算损失，以此约束生成器生成合理的结果（能解码出正确的 ......
pytorch(10.2.2) 注意力汇聚理论 代码测试
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html from d2l import torch as d2l import torch from torch import nn #@save def show_hea ......
pytorch_Tensorboard的使用
SummaryWriter（）将什么写入文件中，如果不指定的话，就写入默认的 需要两个方法 writer.add_image() wruter.add_scalar() from torch.utils.tensorboard import SummaryWriter # 导入tensorboard ......
pytorch(9.7) keras-Embedding 嵌入层
https://www.tensorflow.org/text/guide/word_embeddings 将文本表示为数字 机器学习模型将向量（数字数组）作为输入。处理文本时，您必须做的第一件事是想出一种策略，将字符串转换为数字（或“矢量化”文本），然后再将其输入模型。 1独热编码 作为第一个想法 ......
pytorch官网方法安装报错 | 【解决方法】
pytorch官网给出了两种安装方法 conda pytorch, 去这里检查conda的pytorch的历史版本 pip torch， 去这里检查pip的torch的历史版本 pytorch和torch的区别 pip 的 torch 集成了pytorch（cpu版的pytorch）和 pytorc ......
使用Pytorch实现频谱归一化生成对抗网络(SN-GAN)
自从扩散模型发布以来，GAN的关注度和论文是越来越少了，但是它们里面的一些思路还是值得我们了解和学习。所以本文我们来使用Pytorch 来实现SN-GAN 谱归一化生成对抗网络是一种生成对抗网络，它使用谱归一化技术来稳定鉴别器的训练。谱归一化是一种权值归一化技术，它约束了鉴别器中每一层的谱范数。这有 ......
《动手学深度学习 Pytorch版》 8.7 通过时间反向传播
8.7.1 循环神经网络的梯度分析 本节主要探讨梯度相关问题，因此对模型及其表达式进行了简化，进行如下表示： \[\begin{align} h_t&=f(x_t,h_{t-1},w_h)\\ o_t&=g(h_t,w_o) \end{align} \]参数字典： \(t\) 表示时间步 \(h_t ......
pytorch(10.2) 注意力汇聚理论
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html https://zhuanlan.zhihu.com/p/265108616 Attention注意力机制与self-attention自注意力机制 Attenti ......
Tinyalsa PCM API 实现深度剖析
高级 Linux 音频架构 (ALSA) 用于为 Linux 操作系统提供音频和 MIDI 功能。它可以高效地支持所有类型的音频接口，从消费者声卡到专业的多通道音频接口。它支持全模块化的音频驱动。它是 SMP 和线程安全的。它提供了用户空间库 (alsa-lib) 来简化应用程序编程并提供了更高级的 ......
pytorch(9-1) 门控循环单元
复杂实现 import torch from torch import nn from torch.nn import functional as F from d2l import torch as d2l from API_86 import * # 1-1 初始化权重 W b def get_ ......
【地表最强】深度学习环境配置攻略 | 【nvidia-driver】, 【cuda toolkit】, 【cudnn】, 【pytorch】
更新截止到 2023.10.16 1.要素： linux（ubuntu 22.04） nvidia-driver（也叫做 cuda driver）：英伟达GPU驱动，命令：nvidia-smi cuda (也叫做 cuda toolkit): 这个必须有。CUDA是NVIDIA创建的一个并行计算平台 ......
pytorch的 jit功能不应该叫aot功能吗？
jit简介 pytorch的jit功能是为了生成类似于计算图的功能，能加快模型速度，便于部署，属于是取tensorflow之长补自己之短。 jit由来 之所以叫jit，是因为他仍然属于实时解释的范畴，但是能预先生成中间量，“审时度势”地实时运行。 参考 可以看这位帖子：https://zhuanla ......
挖掘文本的奇妙力量：传统与深度方法探索匹配之道
挖掘文本的奇妙力量：传统与深度方法探索匹配之道 文本向量表示咋做？文本匹配任务用哪个模型效果好？ 许多 NLP 任务的成功离不开训练优质有效的文本表示向量。特别是文本语义匹配（Semantic Textual Similarity，如 paraphrase 检测、QA 的问题对匹配）、文本向量检索（ ......
吴恩达深度学习笔记
B站看的视频，课太长了，180多节，但搬运的没有作业练习，最好找个能练习的 1，假设模型时，以前（2011版机器学习）用西塔代表参数组成的向量，现在用w代表参数组成的向量，b代表西塔0，x还是特征与样本组成的矩阵。 目的还是求系数w，进而确定模型。 比较一个样本的预测结果与实际结果的函数，是损失函数 ......