神经网络
物理信息神经网络(PINN)
什么是物理信息神经网络(PINN)？ 宋家豪, 曹文博, and 张伟伟. "FD-PINN: 频域物理信息神经网络." 力学学报 55.5 (2023): 1195-1205. 物理信息神经网络（PINN）是一种将深度学习与物理建模相结合的方法，用于求解偏微分方程（PDE)和其他物理问题。PINN ......
基于支持向量机SVM和MLP多层感知神经网络的数据预测matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 支持向量机（SVM）和多层感知器（MLP）是两种常用的机器学习算法，它们在数据预测和分类任务中都有广泛的应用。下面将详细介绍这两种算法的原理和数学公式。 一、支持向量机（SVM） 支持向量机是一种二分类算法，其基 ......
神经网络优化篇：详解偏差，方差（Bias /Variance）
偏差，方差 注意到，几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，可能听说过这两个概念，但深度学习的误差很少权衡二者，总是分别考虑偏差和 ......
深度学习中前馈神经网络的认识以及损失函数，梯度下降的一些算法
1.前馈神经网络 前馈神经网络就是上次提到的网络模型的基础上它仅可以向前传播，往前传播应该有的权值w，不断提取特征 2.损失函数 损失函数是什么？ 它是输入之后在隐藏层的传播过程中每一次数据传入对它预测结束之后都有一个预测值，这个预测值和真实得出来的结果有一定的误差，对这个误差进行拟合，需要用一些函 ......
神经网络优化篇：详解训练，验证，测试集（Train / Dev / Test sets）
训练，验证，测试集 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数 ......
神经网络Python代码完整版及其代码解析
1、读取数据集和标签集 1 def loadDataSet(): 2 data = [] 3 label = [] 4 fr = open('testSet.txt') 5 for line in fr.readlines(): # 循环读写，fr是一个已经打开的文件对象，readline（）函数会 ......
神经网络入门篇：深度学习和大脑的关联性（What does this have to do with the brain?）
深度学习和大脑的关联性 开始讲故事（手动狗头） 深度学习和大脑有什么关联性吗？ 关联不大。 那么为什么会说深度学习和大脑相关呢？ 当你在实现一个神经网络的时候，那些公式是你在做的东西，你会做前向传播、反向传播、梯度下降法，其实很难表述这些公式具体做了什么，深度学习像大脑这样的类比其实是过度简化了我们 ......
聊聊神经网络模型流程与卷积神经网络的实现
神经网络模型流程 神经网络模型的搭建流程，整理下自己的思路，这个过程不会细分出来，而是主流程。 在这里我主要是把整个流程分为两个主流程，即预训练与推理。预训练过程主要是生成超参数文件与搭设神经网络结构；而推理过程就是在应用超参数与神经网络。 卷积神经网络的实现 在 聊聊卷积神经网络CNN中，将卷积神 ......
SPSS modeler利用类神经网络对茅台股价涨跌幅度进行预测
全文链接：https://tecdat.cn/?p=34459 原文出处：拓端数据部落公众号 分析师：Xu Zhang 数据变得越来越重要，其核心应用“预测”也成为各个行业以及产业变革的重要力量。对于股市来说，用人工智能来对股价进行预测成为量化投资的一个重要手段。本项目帮助客户运用powerBI获取 ......
神经网络入门篇：详解参数VS超参数（Parameters vs Hyperparameters）
参数 VS 超参数 什么是超参数？ 比如算法中的learning rate \(a\)（学习率）、iterations(梯度下降法循环的数量)、\(L\)（隐藏层数目）、\({{n}^{[l]}}\)（隐藏层单元数目）、choice of activation function（激活函数的选择）都需 ......
神经网络入门篇：详解搭建神经网络块（Building blocks of deep neural networks）
搭建神经网络块 这是一个层数较少的神经网络，选择其中一层（方框部分），从这一层的计算着手。在第\(l\)层有参数\(W^{[l]}\)和\(b^{[l]}\)，正向传播里有输入的激活函数，输入是前一层\(a^{[l-1]}\)，输出是\(a^{[l]}\)，之前讲过\(z^{[l]} =W^{[l] ......
聊聊 神经网络模型 预训练生成超参数实现
概述 在上一篇博客中，已经阐述了预训练过程中，神经网络中超参数的计算逻辑，本文，从程序实现的角度，将数学计算转换为程序代码，最终生成超参数文件；并将替换 聊聊 神经网络模型 示例程序——数字的推理预测 中已训练好的超参数文件，推理预测数字，最终比对下两者的精确度。 神经网络层实现 首先，根据神经网络 ......
聊聊 神经网络模型 传播计算逻辑
概述 预训练过程就是在不断地更新权重超参数与偏置超参数，最后选择合适的超参数，生成超参数文件。上一篇博客 是使用已有的预训练超参数文件，要训练自己的超参数，需要对神经网络层中前向传播与反向传播计算熟悉，了解计算逻辑，才能不断地更新选择合适的超参数。 神经网络计算详解 整个神经网络的层数是4层，从顺序 ......
神经网络入门篇：详解核对矩阵的维数（Getting your matrix dimensions right）
核对矩阵的维数 当实现深度神经网络的时候，其中一个常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。 \(w\)的维度是（下一层的维数，前一层的维数），即\({{w}^{[l]}}\): (\({{n}^{[l]}}\),\({{n}^{[l-1]}}\))； \(b\)的维度是（下 ......
聊聊 神经网络模型 示例程序——数字的推理预测
之前学习了解过了神经网络、CNN、RNN、Transformer的内容，但出了在魔塔上玩过demo，也没有比较深入的从示例去梳理走一遍神经网络的运行流程。从数字推测这个常用的示例走一遍主流程。 MNIST数据集 MNIST是机器学习领域 最有名的数据集之一，被应用于从简单的实验到发表的论文研究等各种 ......
机器学习中的典型算法——卷积神经网络（CNN）
1.机器学习的定位 AI，是我们当今这个时代的热门话题，那AI到底是啥？ 通过翻译可知：人工智能，而人工智能的四个核心要素： -数据 -算法 -算力 -场景 然后机器学习是人工智能的一部分，机器学习里面又有新的特例：深度学习。 通俗来说机器学习即使用机器去学习一部分数据，然后去预测新的数据所属的某一 ......
聊聊卷积神经网络CNN
卷积神经网络（Convolutional Neural Network，CNN）是一种被广泛应用于图像识别、语音识别和自然语言处理等领域的深度学习模型。与RNN、Transformer模型组成AI的三大基石。 在卷积神经网络中，相比较普通的神经网络，增加了卷积层(Convolution)和池化层(P ......
神经网络入门篇：详解深层网络中的前向传播（Forward propagation in a Deep Network）
深层网络中的前向传播 先说对其中一个训练样本\(x\)如何应用前向传播，之后讨论向量化的版本。 第一层需要计算\({{z}^{[1]}}={{w}^{[1]}}x+{{b}^{[1]}}\)，\({{a}^{[1]}}={{g}^{[1]}} {({z}^{[1]})}\)（\(x\)可以看做\({ ......
神经网络入门篇之深层神经网络：详解前向传播和反向传播（Forward and backward propagation）
深层神经网络（Deep L-layer neural network） 复习下前面的内容： 1.逻辑回归，结构如下图左边。一个隐藏层的神经网络，结构下图右边： 注意，神经网络的层数是这么定义的：从左到右，由0开始定义，比如上边右图，\({x}_{1}\)、\({x}_{2}\)、\({x}_{3}\ ......
人工神经网络ANN中的前向传播和R语言分析学生成绩数据案例|附代码数据
全文链接：http://tecdat.cn/?p=19936 最近我们被客户要求撰写关于人工神经网络ANN的研究报告，包括一些图形和统计输出。 在本教程中，您将学习如何在R中创建神经网络模型 这里考虑人工神经网络具有一个隐藏层，两个输入和输出。 输入为 x1 和 x2。 两个权重乘以各自的权重 w1 ......
神经网络入门篇：详解随机初始化（Random+Initialization）
当训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果把权重或者参数都初始化为0，那么梯度下降将不会起作用。 来看看这是为什么。 有两个输入特征，\(n^{[0]} = 2\)，2个隐藏层单元\(n^{[1]}\)就等于2。 因此与一个隐 ......
基于HOG特征提取和GRNN神经网络的人脸表情识别算法matlab仿真,测试使用JAFFE表情数据库
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 该算法主要由两个部分组成：HOG特征提取和GRNN神经网络。下面将详细介绍这两个部分的原理和数学公式。 1.HOG特征提取 HOG（Histogram of Oriented Gradients）是一种局部特征描 ......
PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子|附代码数据
全文下载链接：http://tecdat.cn?p=26519 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 一个简单的编码器-解码器LSTM神经网络应用于时间序列预测问题：预测天然气价格，预测范围为 10 天。“进入”时间步长也设置为 10 天。) 只需要 10 天来推断 ......
大规模神经网络优化：神经网络损失空间“长”什么样？
前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 ......
R语言中的神经网络预测时间序列：多层感知器（MLP）和极限学习机（ELM）数据分析|附代码数据
原文链接：http://tecdat.cn/?p=23485 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于神经网络的研究报告，包括一些图形和统计输出。 用于R语言的多层感知器（MLP）和极限学习机（ELM）进行时间序列预测。请注意，由于神经网络无法利用GPU处理，因此大型网络的训练速度往 ......
卷积神经网络中的平移不变性
一、什么是平移不变性 1. 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。 所以上面的描述就对应着各种不变性： 平移不变性：T ......
神经网络中间层特征图可视化（输入为音频）（二）
相比（一）个人感觉这种方法更好 import librosa import numpy as np import utils import torch import matplotlib.pyplot as plt class Hook: def __init__(self): self.featu ......
神经网络梯度爆炸和消失
神经网络梯度爆炸和消失 目录神经网络梯度爆炸和消失现象说明产生原因解决方法优化激活函数权重初始化和正则化BN归一化操作使用残差结构梯度裁剪预训练+微调参考资料 层数比较多的神经网络模型在训练的时候会出现梯度消失(gradient vanishing problem)和梯度爆炸(gradient ex ......
神经网络入门篇：直观理解反向传播（Backpropagation intuition）
详细推导反向传播 下图是逻辑回归的推导： 回想一下逻辑回归的公式(参考公式1.2、公式1.5、公式1.6、公式1.15) 公式1.38： \[\left. \begin{array}{l} {x }\\ {w }\\ {b } \end{array} \right\} \implies{z={w}^ ......