神经网络
P5333 [JSOI2019] 神经网络
题面传送门 本来以为 \(m\) 这么小是 \(m\sum k_i\log k\) 的 NTT 的，写完发现一点不用（ 首先我们发现，这样的图上面的一个哈密顿回路可以表示成原森林若干条链，每个点都在其中一条链上，且相邻两条链不在同一棵树上。 先跑一个 DP 把 \(f_{i,j}\) 表示用 \(j ......
从规则到神经网络：机器翻译技术的演化之路
在本文中，我们深入探讨了机器翻译的历史、核心技术、特别是神经机器翻译（NMT）的发展，分析了模型的优化、挑战及其在不同领域的应用案例。同时，我们还提出了对未来机器翻译技术发展的展望和潜在的社会影响。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理 ......
神经网络优化篇：如何理解 dropout（Understanding Dropout）
理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效 ......
基于pytorch写一个三层神经网络，训练数据并导出模型
import torch import torch.nn as nn import torch.optim as optim # 定义三层神经网络 class ThreeLayerNN(nn.Module): def __init__(self, input_size, hidden_size1, ......
神经网络量化流程（第一讲TensorRT）
TensorRT量化工具，支持PTQ和QAT量化 基本流程：读取模型-》转化为IR进行图分析，做一些优化策略 一、TensorRT量化模式 TensorRT有两种量化模式：分别是implicitly以及explicitly量化，前者是隐式量化，在7.0及之前版本用的较多；后者显式量化在8.0版本后才 ......
深度学习的典型神经网络类型——卷积神经网络（CNN）
1.CNN的定位 CNN属于深度学习中的一类典型神经网络，是一种前馈神经网络，它采用的是SGD（随机梯度下降）算法，它的人工神经元可以相应一部分覆盖范围内的单元，在图像处理方面的表现十分出色。 CNN在模式分类领域，因其避免了对图像的前期的预处理，所以它可以直接输入图像得到结果。 2.CNN的构成 ......
神经网络基础-目录
神经网络基础(11)机器学习、深度学习模型、模型训练 神经网络基础(1)激活函数(1)sigmoid与二元逻辑分类的神经元模型 神经网络基础(2)激活函数(2)sigmoid与多分类的神经网络模型 神经网络基础(3)激活函数(3)SoftMax与多分类神经网络模型 神经网络基础(4)逻辑分类标签与O ......
神经网络可视化新工具：TorchExplorer
TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下： TorchExplorer是一款创新的人工智能工具，专为使用非常规神经网络架构的研究人员设计。可以在本地或者wandb中生成交互式Vega自定义图表，提供网络结构的模块级可视化。在左边的面板可以模块级方式展现神经网络 ......
电信行业客户流失预测：KNN、朴素贝叶斯、逻辑回归、LDA/QDA、随机森林、支持向量机、CART、神经网络
全文链接：https://tecdat.cn/?p=34635 原文出处：拓端数据部落公众号 分析师：Lingzi Lu 客户流失是一个存在于各个行业的严重问题，这一问题也同样受到众多电信服务提供商的关注——因为获得一个新客户的成本远远超过保留一个老客户的成本。因此，探索可能对客户流失产生重要影响的 ......
pytorch——基于循环神经网络的情感分类
任务目标 基于给定数据集，进行数据预处理，搭建以LSTM为基本单元的模型，以Adam优化器对模型进行训练，使用训练后的模型进行预测并计算预测分类的准确率。 数据集信息 IMDB数据集是一个对电影评论标注为正向评论与负向评论的数据集，共有25000条文本数据作为训练集，25000条文本数据作为测试集。 ......
神经网络优化篇：详解dropout 正则化（Dropout Regularization）
dropout 正则化 除了\(L2\)正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”。 假设在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节 ......
神经网络
模型演进卷积神经网络--循环神经网络--Transformer 卷积神经网络 CNN 主要处理图像的神经网络卷积本身是一种数学计算先观察--再记忆存储 循环神经网络 RNN 语义存在上下文的前后依赖关系循环神经网络的上一级节点的输出继续往下一级进行传递，事后对序列数据的上下文影响进行建模后续的每一个 ......
BP神经网络思想及其Python实现
神经网络是一种模拟人类大脑工作方式的计算模型。它由神经元组成，这些神经元相互连接形成网络。每个连接都有一个权重，而神经元则通过激活函数处理输入并生成输出。神经网络可以分为输入层、隐藏层和输出层。在训练过程中，神经网络通过调整权重来学习模式和特征，使其能够进行预测或分类任务。这种学习过程通常依赖于反向 ......
P2 什么是神经网络
深度学习指的是训练神经网络，有时候规模很大 那么神经网络到底是什么？？？ 比方说我们现在有这么一张图 这张图叫： Housing Price Prediction 我们有的数据是六个房子的面积和每平米的单价。 我们现在知道了logestic回归模型，我们将数据输入这个模型，会拟合出一条穿过这些数据的 ......
【Pytorch基础实战】第二节，卷积神经网络
项目地址 https://gitee.com/wxzcch/pytorchbase/tree/master/leason_2 源码 import torch from torch import nn, optim from torch.autograd import Variable from to ......
神经网络优化篇：为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?）
为什么正则化有利于预防过拟合呢？ 通过两个例子来直观体会一下。 左图是高偏差，右图是高方差，中间是Just Right。 现在来看下这个庞大的深度拟合神经网络。知道这张图不够大，深度也不够，但可以想象这是一个过拟合的神经网络。这是的代价函数\(J\)，含有参数\(W\)，\(b\)。添加正则项，它可 ......
神经网络2
1- 模型 模型结构 特征表示能力 训练效率 模型复杂度 鲁棒性 CNN 局部连接、权值共享的卷积结构 对局部特征提取能力强，适用于图像、语音等领域 训练效率高，可并行化处理 模型结构相对简单，参数较少，不适用于处理序列数据 对数据噪声、变形等鲁棒性一般 RNN 具有循环连接的结构，如LSTM、GR ......
神经网络
模型演进卷积神经网络--循环神经网络--Transformer 卷积神经网络 CNN 主要处理图像的神经网络卷积本身是一种数学计算先观察--再记忆存储 循环神经网络 RNN 语义存在上下文的前后依赖关系循环神经网络的上一级节点的输出继续往下一级进行传递，事后对序列数据的上下文影响进行建模后续的每一个 ......
matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类|附代码数据
全文下载链接：http://tecdat.cn/?p=19751 本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类 。 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 要训练深度神经网络对序列数据进行分类，可以使用LSTM网络。LSTM网络使您可以将序列数据输入 ......
经典卷积神经网络LeNet&AlexNet&VGG
LeNet LeNet-5是一种经典的卷积神经网络结构，于1998年投入实际使用中。该网络最早应用于手写体字符识别应用中。普遍认为，卷积神经网络的出现开始于LeCun等提出的LeNet网络，可以说LeCun等是CNN的缔造者，而LeNet则是LeCun等创造的CNN经典之作网络结构图由下图所示： L ......
神经网络优化篇：详解正则化（Regularization）
正则化 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少的网络误差。 如果怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方 ......
聊聊神经网络的优化算法
优化算法主要用于调整神经网络中的超参数，使得训练数据集上的损失函数尽可能小。其核心逻辑是通过计算损失函数对参数的梯度（导数）来确定参数更新方向。 SGD Stochastic Gradient Descent(随机梯度下降法)：随机梯度下降算法是一种改进的梯度下降方法，它在每次更新参数时，只随机选择 ......
神经网络优化篇：机器学习基础（Basic Recipe for Machine Learning）
机器学习基础 下图就是在训练神经网络用到的基本方法：（尝试这些方法，可能有用，可能没用） 这是在训练神经网络时用到地基本方法，初始模型训练完成后，首先要知道算法的偏差高不高，如果偏差较高，试着评估训练集或训练数据的性能。如果偏差的确很高，甚至无法拟合训练集，那么要做的就是选择一个新的网络，比如含有更 ......
PINN——加入物理约束的神经网络
【摘要】 基于物理信息的神经网络（Physics-informed Neural Network， 简称PINN），是一类用于解决有监督学习任务的神经网络，它不仅能够像传统神经网络一样学习到训练数据样本的分布规律，而且能够学习到数学方程描述的物理定律。与纯数据驱动的神经网络学习相比，PINN在训练过 ......
神经网络算法原理简述
神经网络算法是一种模拟人类神经系统运作的机器学习算法。它由多个神经元（或称为节点）组成，每个神经元都与其他神经元连接，并通过这些连接传递信息。神经网络通过学习大量数据，自动调整连接的权重，从而实现模式识别、分类、回归等任务。神经网络算法的原理可以分为以下几个步骤： 输入层：神经网络的第一层是输入层， ......
基于小波神经网络的网络流量预测算法matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022A 3.算法理论概述 网络流量能直接反映网络性能的好坏，网络流量的建模与预测对于大规模网络的规划设计、网络资源管理以及用户行为的调节等方面都具有积极意义。本课题首先介绍了网络流量的特征，在分析了小波理论的基础上提出了一种基于小波变换的 ......
week2-神经网络基础
1. Binary Classification 如上图所示是经典的二分类问题。输入的图片是3通道64*64像素的，有3个64*64的矩阵，把这些像素亮度放入一个特征向量（feature vector）x。（按照通道的顺序排列下来，如上图的X）,向量x的总维度就是64*64*3，为12288。用n_ ......
Nougat：结合光学神经网络，引领学术PDF文档的智能解析、挖掘学术论文PDF的价值
Nougat：结合光学神经网络，引领学术PDF文档的智能解析、挖掘学术论文PDF的价值 这是Nougat的官方存储库，Nougat是一种学术文档PDF解析器，可以理解LaTeX数学和表格。 Project page: https://facebookresearch.github.io/nougat ......
神经网络是如何工作的？
作为一名程序员，我们习惯于去了解所使用工具、中间件的底层原理，本文则旨在帮助大家了解AI模型的底层机制，让大家在学习或应用各种大模型时更加得心应手，更加适合没有AI基础的小伙伴们。 ......