杂症 疑难pytorch pycharm
解决pycharm中Python console显示中文乱码
找了很多方法，以下方法解决了问题： 第一步：file—settings，在搜索框搜索console，找到Python console 第二步：在右侧Environment variables一栏输入PYTHONIOENCODING=UTF-8 第三步：在最下面的Starting script里，最后 ......
pytorch(10.2) 自注意力理论 固定C变化到可变C
1早先的预测模型 让我们首先定义预测函数来生成prefix之后的新字符， 其中的prefix是一个用户提供的包含多个字符的字符串。 在循环遍历prefix中的开始字符时， 我们不断地将隐状态传递到下一个时间步，但是不生成任何输出。 这被称为预热（warm-up）期， 因为在此期间模型会自我更新（例如 ......
《动手学深度学习 Pytorch版》 10.3 注意力评分函数
上一节使用的高斯核的指数部分可以视为注意力评分函数（attention scoring function），简称评分函数（scoring function）。 后续把评分函数的输出结果输入到softmax函数中进行运算。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。该过程可描述为下图： ......
《动手学深度学习 Pytorch版》 10.2 注意力汇聚：Nadaraya-Watson 核回归
import torch from torch import nn from d2l import torch as d2l 1964 年提出的 Nadaraya-Watson 核回归模型是一个简单但完整的例子，可以用于演示具有注意力机制的机器学习。 10.2.1 生成数据集 根据下面的非线性函数生 ......
疑难地名读音
中国大陆县以上行政区划名称疑难读音(飞麦 <fitmap@qq.com> 2023-10-23):上海 闵行 (mǐn háng) 区云南 普洱 镇沅 (zhèn yuán) 县云南 曲靖 (qū jìng) 市云南 楚雄 牟定 (móu dìng) 县云南 西双版纳 勐海 (měng hǎi) ......
用pytorch 2.1 加速 numpy 代码
参考 https://pytorch.org/blog/compiling-numpy-code/ 在mac M2 机器上, 快了50%， 但没有好几倍。可能和依赖libomp有关 brew install libomp python test_np.py test_np.py 代码如下 impor ......
pytorch(10.5) Transformer 用到视觉模块
ViT｜ Vision Transformer ｜理论 + 代码_哔哩哔哩_bilibili 1 不用卷积神经网络那些东西（CNN）了全部用Transforme 。 2 大规模数据训练，小规模数据应用。 3 效果相当 计算训练资源更少。 转换思想 224*224像素图像 - 单个像素（视为一个词to ......
pytorch(10.4) 多层堆叠
多层堆叠 多头得到到多个结果 z1 z2 z1 z2经过 feed forward neural network网络 全连接层得到向量r1 r2. 既然是向量，就可以重复输入网络了 然后就可以重复堆积层了。 layernorm 应用了残差网络思想（确保加的层不会导致比原来系统差） 1 加操作：输出+ ......
pytorch(10.3) 多头注意
10.5. 多头注意力 — 动手学深度学习 2.0.0 documentation (d2l.ai) Multi-Head Attention | 算法 + 代码_哔哩哔哩_bilibili 代码实现 x[1,4,2] 1几个样本（句子） 4 预测步长（4个单词） 2每个单词的编码后特征长度 ......
《动手学深度学习 Pytorch版》 10.1 注意力提示
10.1.1 生物学中的注意力提示 “美国心理学之父” 威廉·詹姆斯提出的双组件（two-component）框架： 非自主性提示：基于环境中物体的突出性和易见性 自主性提示：受到了认知和意识的控制 10.1.2 查询、键和值 注意力机制与全连接层或汇聚层区别开来的元素：是否包含自主性提示 在注意力 ......
Pycharm中用matplolib进行图形交互
- 解决办法: 恢复python的默认绘图figure窗口 - 如图: 点击文件–>设置–>Python Scientific, 然后将“在工具窗口中显示绘图”前面的勾去掉即可.  takes from 0 to 1 positional arguments but 2 were given 问题： 我猜出这个报错的都是这么写的： x_data = [1,2,3] y_data = [4,5,6] sns.scatter ......
windows的深度学习环境软件版本（cuda/cudnn/pytorch）
恢复内容开始 为了方便多个深度学习框架的环境配置，推荐使用anoconda进行搭建。 CUDA Toolkit Archive | NVIDIA Developer 恢复内容结束 ......
Pytorch深度学习环境配置 | NVIDIA-driver + Pytorch + miniconda
为了验证我的环境配置方法没有问题，我特意租了两小时云服务器来从0配置环境。 云服务器厂家：Ucloud ubuntu22.04 3090 * 2 1. 装 NVIDIA-driver 参考：https://zhuanlan.zhihu.com/p/366882419 1.1. 下载驱动 nvidia ......
《动手学深度学习 Pytorch版》 9.8 束搜索
本节将介绍几大： 贪心搜索（greedy search）策略 穷举搜索（exhaustive search） 束搜索（beam search） 9.8.1 贪心搜索 贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步 \(t'\)，都从 \(\boldsymbol{Y}\) 中找到具有最高条件 ......
《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构
为了处理这种长度可变的输入和输出， 可以设计一个包含两个主要组件的编码器-解码器（encoder-decoder）架构： 编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。 解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。 9.6. ......
《动手学深度学习 Pytorch版》 9.7 序列到序列学习（seq2seq）
循环神经网络编码器使用长度可变的序列作为输入，将其编码到循环神经网络编码器固定形状的隐状态中。 为了连续生成输出序列的词元，独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。 要点： “<eos>”表示序列结束词元，一旦输出序列生成此词元，模型就会停 ......
使用Pytorch Geometric 进行链接预测代码示例
PyTorch Geometric (PyG)是构建图神经网络模型和实验各种图卷积的主要工具。在本文中我们将通过链接预测来对其进行介绍。 链接预测答了一个问题:哪两个节点应该相互链接?我们将通过执行“转换分割”，为建模准备数据。为批处理准备专用的图数据加载器。在Torch Geometric中构建一 ......
PyTorch大更新，编译代码速度暴增35倍！视觉模型一键部署，头显Quest 3可用
前言 最近，在Pytorch发布会上，发布移动端Pytorch解决方案ExecuTorch，实现在移动端设备上大范围地部署AI工具，并推出最新版本Pytorch2.1，推理速度大幅提升。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新 ......
深度学习（pytorch载入onnx测试）
测试模型用之前文章训练的Alexnet模型。 首先将pth文件转为onnx文件: import torch import torch.nn as nn # 自定义AlexNet模型 class AlexNet(nn.Module): def __init__(self): super(AlexNet ......
《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集
机器翻译（machine translation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neural machine translation）。 import os import torch from d2l import torch as d2l 9 ......
《动手学深度学习 Pytorch版》 9.4 双向循环神经网络
之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。 9.4.1 隐马尔可夫模型中的动态规划 数学推导太复杂了，略。 9.4.2 双向模型 双向循环神经网络（bidirectional RNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。 ......
LSTM-CRF模型详解和Pytorch代码实现
在快速发展的自然语言处理领域，Transformers 已经成为主导模型，在广泛的序列建模任务中表现出卓越的性能，包括词性标记、命名实体识别和分块。在Transformers之前，条件随机场(CRFs)是序列建模的首选工具，特别是线性链CRFs，它将序列建模为有向图，而CRFs更普遍地可以用于任意图 ......
《动手学深度学习 Pytorch版》 9.3 深度循环神经网络
将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系 将深度架构中的函数依赖关系形式化，第 \(l\) 个隐藏层的隐状态表达式为： \[\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol ......
《动手学深度学习 Pytorch版》 9.2 长短期记忆网络（LSTM）
解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器（long short-term memory，LSTM）。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近 20 年。 9.2.1 门控记忆元 为了记录附加的信息，长 ......
Pytorch-（三）张量
1、张量支持的数据类型 （1）获取/设置Pytorch默认的张量类型 import torch # 2、张量Tensor # 2.1、获取/设置Pytorch的默认类型 def DefaultType_func(): dtype=torch.tensor([1,2,3.4]).dtype print ......
pytorch 量化相关参考
ref: https://blog.csdn.net/znsoft/article/details/130788437 import torch import torch.quantization class M(torch.nn.Module): def __init__(self): super ......
pytorch一些准备工作
conda常用指令 激活以及退出当前虚拟环境 conda activate xxx conda deactivate 创建以及删除 conda create -n xxx python=3.8 conda remove -n xxx 查看当前虚拟环境有哪些 conda info --envs 查看当 ......