卷积 深度

《动手学深度学习 Pytorch版》 9.7 序列到序列学习(seq2seq)

循环神经网络编码器使用长度可变的序列作为输入,将其编码到循环神经网络编码器固定形状的隐状态中。 为了连续生成输出序列的词元,独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。 要点: “<eos>”表示序列结束词元,一旦输出序列生成此词元,模型就会停 ......
序列 seq 深度 Pytorch seq2seq

使用卷积神经网络训练手写数字识别模型(CNN)

https://www.cnblogs.com/zylyehuo/ 效果展示 目录结构 README.md # Basic MNIST Example pip install -r requirements.txt python main.py # CUDA_VISIBLE_DEVICES=2 py ......
卷积 神经网络 模型 神经 数字

4. 卷积神经网络

1. 机器学习中两个主要问题 1.1 回归 1.2 分类 分类是可交换的,可以将狗称为第一类,猫是第二类,也可以反过来。 卷积是可交换的 上式是分类的损失函数,\(y\)是0或1,\(\hat {y} \epsilon [0 , 1]\) 2. 数学过程 上图就是卷积的运算 后证明:若\(u(x) ......
卷积 神经网络 神经 网络

深度学习(pytorch载入onnx测试)

测试模型用之前文章训练的Alexnet模型。 首先将pth文件转为onnx文件: import torch import torch.nn as nn # 自定义AlexNet模型 class AlexNet(nn.Module): def __init__(self): super(AlexNet ......
深度 pytorch onnx

《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集

机器翻译(machine translation)指的是将序列从一种语言自动翻译成另一种语言,基于神经网络的方法通常被称为神经机器翻译(neural machine translation)。 import os import torch from d2l import torch as d2l 9 ......
深度 机器 Pytorch 数据 9.5

哪款最适合你?7大免费需求管理工具深度比较

分享7款不错的免费需求管理工具:1.PingCode;2.Worktile;3. Trello;4. Asana;5. JIRA;6. ClickUp;7. Monday.com。选择免费还是付费的需求跟踪工具是一个大多数人都会面临的问题。免费工具的最大优点显而易见——它们不收费。但这也意味着这些工 ......
管理工具 深度 需求 工具

课程二第一周:深度学习的实用层面

深度学习的实用层面 Train/Dev/Test sets 深度学习是一个典型的高度迭代的过程,需要不断地进行循环测试,来找到最适合当前网络的超参。一方面可以提升迭代的效率,另一方面可以避免过度拟合等问题。 在实践中,(合理的)高质量训练集、验证集和测试集,有助于提升迭代的效率。 Train/Dev ......
层面 深度 课程

《动手学深度学习 Pytorch版》 9.4 双向循环神经网络

之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模,然而也存在需要后文预测前文的情况。 9.4.1 隐马尔可夫模型中的动态规划 数学推导太复杂了,略。 9.4.2 双向模型 双向循环神经网络(bidirectional RNNs)添加了反向传递信息的隐藏层,以便更灵活地处理此类信息。 ......
神经网络 双向 深度 神经 Pytorch

卷积认知

前言 博主研究生时期研究的课题有关于点云的深度学习。对于点云这一三维数据形式的深度学习研究,相关工作启发于二维图像深度学习处理,由此对于点云的特征提取也采用卷积这一形式。但在实践过程中,点云的卷积衍生出了多种方法。 因此该随笔主要内容为对卷积这一概念的个人理解与梳理。 卷积字面意义的探讨 参考他人的 ......
卷积

什么是卷积

参考文献:https://blog.csdn.net/zhibing_ding/article/details/125254670 不断的学习,就会有不同的认识和理解. 卷积操作的基本思想是提取输入数据的局部特征,这有助于网络捕捉图像中的空间结构和模式。 卷积核是一个小的矩阵,通常是正方形的,它在输 ......
卷积

卷积神经网络中卷积层、池化层、全连接层的作用(摘录)

1. 卷积层的作用卷积层的作用是提取输入图片中的信息,这些信息被称为图像特征,这些特征是由图像中的每个像素通过组合或者独立的方式所体现,比如图片的纹理特征,颜色特征。 比如下面这张图片,蓝色框框住的地方就是脸部特征,这些特征其实是由一个个像素所组成的。 再者这是一张彩色图片,它包含R、G、B三个通道 ......
卷积 全连 神经网络 神经 作用

《动手学深度学习 Pytorch版》 9.3 深度循环神经网络

将多层循环神经网络堆叠在一起,通过对几个简单层的组合,产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系 将深度架构中的函数依赖关系形式化,第 \(l\) 个隐藏层的隐状态表达式为: \[\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol ......
深度 神经网络 神经 Pytorch 网络

《动手学深度学习 Pytorch版》 9.2 长短期记忆网络(LSTM)

解决隐变量模型长期信息保存和短期输入缺失问题的最早方法之一是长短期存储器(long short-term memory,LSTM)。它与门控循环单元有许多一样的属性。长短期记忆网络的设计比门控循环单元稍微复杂一些,却比门控循环单元早诞生了近 20 年。 9.2.1 门控记忆元 为了记录附加的信息,长 ......
长短 深度 记忆 Pytorch 网络

6.卷积神经网络

卷积层的作用一 在说卷积层之前, 我想先说一下为什么会有卷积层; 前面几个博客提到的神经网络都是用矩阵乘法来建立输入和输出之间的关系, 如果有n个输入和m个输出, 那么就需要n*m个参数; 如果n和m很大并且有多个全连接层的话需要的参数数量是庞大的; 卷积层就是通过三个特性来解决这个问题: 稀疏连接 ......
卷积 神经网络 神经 网络

【Python&RS】基于GDAL栅格数据/图片位深度(bit)转换

最近在用OpenCv库处理图片时发现cv库无法读取64位的tif影像,所有想通过Python将64位的图片转换成8位的。今天就跟大家分享一下如何利用Python的GDAL库,实现栅格数据/图片的位深度转换。 ......
栅格 深度 数据 Python 图片

深度学习基础认知简明梳理

深度学习基础简明梳理-基于李宏毅油管课程 前言 该内容为基于博主对深度学习的认知与实践经验的对李宏毅油管上课程的简要理解,有局限偏差之处,敬请谅解。后续随着学习的深入会进行一定修正。 本质概述 此处不会特意探讨机器学习与深度学习之间的差别,纵观这些领域,它们所构建的方法论为:寻找到一个模型(函数), ......
深度 基础

深度学习模型_锁死种子

import torch import random import os import numpy as np def seed_setting(seed): random.seed(seed) # os.environ['']=str(seed) np.random.seed(seed) torc ......
深度 种子 模型

神经网络入门篇:为什么深度学习会兴起?

为什么深度学习会兴起? 这篇我们来讲故事,关于为什么深度学习会兴起的故事~ 深度学习和神经网络之前的基础技术理念已经存在大概几十年了,为什么它们现在才突然流行起来呢? 因为多亏数字化社会的来临,现在的数据量都非常巨大,我们花了很多时间活动在这些数字的领域,比如在电脑网站上、在手机软件上以及其它数字化 ......
学习会 神经网络 深度 神经 网络

《动手学深度学习 Pytorch版》 9.1 门控循环单元(GRU)

我们可能会遇到这样的情况: 早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况,其中第一个观测值包含一个校验和,目标是在序列的末尾辨别校验和是否正确。在这种情况下,第一个词元的影响至关重要。我们希望有某些机制能够在一个记忆元里存储重要的早期信息。如果没有这样的机制,我们将不得不给这 ......
单元 深度 Pytorch 9.1 GRU

《动手学深度学习 Pytorch版》 8.7 通过时间反向传播

8.7.1 循环神经网络的梯度分析 本节主要探讨梯度相关问题,因此对模型及其表达式进行了简化,进行如下表示: \[\begin{align} h_t&=f(x_t,h_{t-1},w_h)\\ o_t&=g(h_t,w_o) \end{align} \]参数字典: \(t\) 表示时间步 \(h_t ......
深度 Pytorch 时间 8.7

Tinyalsa PCM API 实现深度剖析

高级 Linux 音频架构 (ALSA) 用于为 Linux 操作系统提供音频和 MIDI 功能。它可以高效地支持所有类型的音频接口,从消费者声卡到专业的多通道音频接口。它支持全模块化的音频驱动。它是 SMP 和线程安全的。它提供了用户空间库 (alsa-lib) 来简化应用程序编程并提供了更高级的 ......
深度 Tinyalsa PCM API

【地表最强】深度学习环境配置攻略 | 【nvidia-driver】, 【cuda toolkit】, 【cudnn】, 【pytorch】

更新截止到 2023.10.16 1.要素: linux(ubuntu 22.04) nvidia-driver(也叫做 cuda driver):英伟达GPU驱动,命令:nvidia-smi cuda (也叫做 cuda toolkit): 这个必须有。CUDA是NVIDIA创建的一个并行计算平台 ......
地表 nvidia-driver 深度 toolkit pytorch

挖掘文本的奇妙力量:传统与深度方法探索匹配之道

挖掘文本的奇妙力量:传统与深度方法探索匹配之道 文本向量表示咋做?文本匹配任务用哪个模型效果好? 许多 NLP 任务的成功离不开训练优质有效的文本表示向量。特别是文本语义匹配(Semantic Textual Similarity,如 paraphrase 检测、QA 的问题对匹配)、文本向量检索( ......
深度 文本 力量 传统 方法

吴恩达深度学习笔记

B站看的视频,课太长了,180多节,但搬运的没有作业练习,最好找个能练习的 1,假设模型时,以前(2011版机器学习)用西塔代表参数组成的向量,现在用w代表参数组成的向量,b代表西塔0,x还是特征与样本组成的矩阵。 目的还是求系数w,进而确定模型。 比较一个样本的预测结果与实际结果的函数,是损失函数 ......
深度 笔记

基于深度学习框架的基因组预测新模型SoyDNGP

目录简介材料方法数据集SoyDNGP的模型结构比对模型的处理主要结果SoyDNGP在大豆基因组预测中展现了出色的能力大豆基因组预测中SoyDNGP与其他算法的性能比较SoyDNGP模型在不同大豆群体中的多功能预测能力SoyDNGP 在大豆之外的广泛应用SoyDNGP是一个面向大豆基因组预测的开放友好 ......
基因组 基因 框架 深度 模型

Redis持久化深度解析

Redis被广泛使用作为一个高性能的键值存储系统。Redis以其卓越的性能和灵活性赢得了开发者们的青睐。然而,这些优点都离不开它强大的持久化机制 ......
深度 Redis

狄利克雷卷积

更新日志: 2023/10/15:发布文章 一、前置芝士 积性函数 卷积 二、定义 对于两个数论函数 \(f(x),g(x)\) 的狄利克雷卷积的结果 \(h(x)\) 定义为 \(h(x) = \sum_{d|x} f(d)g(\frac x d)\),简记为 \(h = f*g\) 特别地,由于 ......
卷积

Easysearch压缩模式深度比较:ZSTD+source_reuse的优势分析

引言 在使用 Easysearch 时,如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式,各有千秋。本文将重点探讨一种特别的压缩模式:zstd + source_reuse,我们最近重新优化了 source_reuse,使得它在吞吐量和存储效率方面都表现出色。 ......
source_reuse Easysearch 深度 优势 模式

深度学习不如GBLUP的原因

深度学习,尤其是最近几年,被广泛宣传为可以处理复杂问题的强大工具。然而,我们必须理解,在某些特定的问题或数据集上,传统的方法有时可能更适合或更稳定。以下是一些可能解释为什么在考虑G × E交互效应时,深度学习没有表现得像GBLUP模型那么好的原因: 数据量和复杂性:深度学习模型,特别是大型的网络,需 ......
深度 原因 GBLUP

深度学习模型在基因组选择中的预测能力(统计、总结)

Gianola et al. [61]: 应用:基因组选择。 比较:多层感知器(MLP)与贝叶斯线性回归(BRR)。 结果:在小麦数据集中,随着隐藏层神经元数量的增加,MLP的预测能力提高。MLP对BRR的性能提高了11.2%至18.6%。在Jersey数据集中,MLP也超越了BRR,特别是在脂肪产 ......
基因组 基因 深度 模型 能力