速率 网路learning神经
从规则到神经网络：机器翻译技术的演化之路
在本文中，我们深入探讨了机器翻译的历史、核心技术、特别是神经机器翻译（NMT）的发展，分析了模型的优化、挑战及其在不同领域的应用案例。同时，我们还提出了对未来机器翻译技术发展的展望和潜在的社会影响。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理 ......
【scikit-learn基础】--『监督学习』之 岭回归
岭回归（Ridge Regression）是一种用于处理共线性数据的线性回归改进方法。和上一篇用基于最小二乘法的线性回归相比，它通过放弃最小二乘的无偏性，以损失部分信息、降低精度为代价来获得更实际和可靠性更强的回归系数。 1. 概述 岭回归的模型对于存在大量相关特征（这些特征之间存在很高的相关性）的 ......
神经网络优化篇：如何理解 dropout（Understanding Dropout）
理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效 ......
【scikit-learn基础】--『监督学习』之 线性回归
线性回归是一种用于连续型分布预测的机器学习算法。其基本思想是通过拟合一个线性函数来最小化样本数据和预测函数之间的误差。 1. 概述 常见的线性回归模型就是：\(f(x) = w_0+w_1x_1+w_2x_2+...+w_nx_n\)这样的一个函数。其中 \((w_1,w_2,...w_n)\)是模 ......
基于pytorch写一个三层神经网络，训练数据并导出模型
import torch import torch.nn as nn import torch.optim as optim # 定义三层神经网络 class ThreeLayerNN(nn.Module): def __init__(self, input_size, hidden_size1, ......
强化学习研究方向(研究领域）现有的不足（短板、无法落地性） —— Why You (Probably) Shouldn’t Use Reinforcement Learning
外文原文： Why You (Probably) Shouldn’t Use Reinforcement Learning 地址： https://towardsdatascience.com/why-you-shouldnt-use-reinforcement-learning-163bae193 ......
FLAC: Federated Learning with Autoencoder Compression and Convergence Guarantee-2022
目的：减少通信量(成本)，例如VGGNet架构具有大约1.38亿个参数（4264 Mb） 方法：具有自动编码器压缩（Autoencoder Compression）且具有收敛保证（Convergence Guarantee）；利用冗余信息（the redundant information）和FL的 ......
神经网络量化流程（第一讲TensorRT）
TensorRT量化工具，支持PTQ和QAT量化 基本流程：读取模型-》转化为IR进行图分析，做一些优化策略 一、TensorRT量化模式 TensorRT有两种量化模式：分别是implicitly以及explicitly量化，前者是隐式量化，在7.0及之前版本用的较多；后者显式量化在8.0版本后才 ......
A novel local-global dependency deep learning model for soil mapping
程哥的一区文章 “A novel local-global dependency deep learning model for soil mapping” (Li 和 Zhang, 2022, pp. -) (pdf) 研究问题：“工 程 “ discrete” 特征不能反映环境协变量 之间 的相 ......
深度学习的典型神经网络类型——卷积神经网络（CNN）
1.CNN的定位 CNN属于深度学习中的一类典型神经网络，是一种前馈神经网络，它采用的是SGD（随机梯度下降）算法，它的人工神经元可以相应一部分覆盖范围内的单元，在图像处理方面的表现十分出色。 CNN在模式分类领域，因其避免了对图像的前期的预处理，所以它可以直接输入图像得到结果。 2.CNN的构成 ......
[论文阅读] Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation
Pre title: Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation accepted: ICME 2023 paper: https://ieeexplore.ie ......
神经网络基础-目录
神经网络基础(11)机器学习、深度学习模型、模型训练 神经网络基础(1)激活函数(1)sigmoid与二元逻辑分类的神经元模型 神经网络基础(2)激活函数(2)sigmoid与多分类的神经网络模型 神经网络基础(3)激活函数(3)SoftMax与多分类神经网络模型 神经网络基础(4)逻辑分类标签与O ......
How to Master the Popular DBSCAN Clustering Algorithm for Machine Learning
Overview DBSCAN clustering is an underrated yet super useful clustering algorithm for unsupervised learning problems Learn how DBSCAN clustering works ......
【scikit-learn基础】--『预处理』之 缺失值处理
数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以 提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性 整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集 提高数据性能，对数据的值进行变换，规约等（比如无量纲化），让算法更加 ......
神经网络可视化新工具：TorchExplorer
TorchExplorer是一个交互式探索神经网络的可视化工具，他的主要功能如下： TorchExplorer是一款创新的人工智能工具，专为使用非常规神经网络架构的研究人员设计。可以在本地或者wandb中生成交互式Vega自定义图表，提供网络结构的模块级可视化。在左边的面板可以模块级方式展现神经网络 ......
电信行业客户流失预测：KNN、朴素贝叶斯、逻辑回归、LDA/QDA、随机森林、支持向量机、CART、神经网络
全文链接：https://tecdat.cn/?p=34635 原文出处：拓端数据部落公众号 分析师：Lingzi Lu 客户流失是一个存在于各个行业的严重问题，这一问题也同样受到众多电信服务提供商的关注——因为获得一个新客户的成本远远超过保留一个老客户的成本。因此，探索可能对客户流失产生重要影响的 ......
论文精读：ST2Vec：道路网络中的时空轨迹相似性学习（ST2Vec: Spatio_Temporal Trajectory Similarity Learning in Road Networks）
论文精读：ST2Vec 道路网络中的时空轨迹相似性学习 《ST2Vec: Spatio-Temporal Trajectory Similarity Learning in Road Networks》 论文链接：https://doi.org/10.48550/arXiv.2112.09339 一 ......
pytorch——基于循环神经网络的情感分类
任务目标 基于给定数据集，进行数据预处理，搭建以LSTM为基本单元的模型，以Adam优化器对模型进行训练，使用训练后的模型进行预测并计算预测分类的准确率。 数据集信息 IMDB数据集是一个对电影评论标注为正向评论与负向评论的数据集，共有25000条文本数据作为训练集，25000条文本数据作为测试集。 ......
神经网络优化篇：详解dropout 正则化（Dropout Regularization）
dropout 正则化 除了\(L2\)正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”。 假设在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节 ......
【scikit-learn基础】--『预处理』之 离散化
数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以 提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性 整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集 提高数据性能，对数据的值进行变换，规约等（比如无量纲化），让算法更加 ......
神经网络
模型演进卷积神经网络--循环神经网络--Transformer 卷积神经网络 CNN 主要处理图像的神经网络卷积本身是一种数学计算先观察--再记忆存储 循环神经网络 RNN 语义存在上下文的前后依赖关系循环神经网络的上一级节点的输出继续往下一级进行传递，事后对序列数据的上下文影响进行建模后续的每一个 ......
BP神经网络思想及其Python实现
神经网络是一种模拟人类大脑工作方式的计算模型。它由神经元组成，这些神经元相互连接形成网络。每个连接都有一个权重，而神经元则通过激活函数处理输入并生成输出。神经网络可以分为输入层、隐藏层和输出层。在训练过程中，神经网络通过调整权重来学习模式和特征，使其能够进行预测或分类任务。这种学习过程通常依赖于反向 ......
Hierarchical Clustering-based Personalized Federated Learning for Robust and Fair Human Activity Recognition-2023
任务：人类活动识别任务Human Activity Recognition HAR 指标：系统准确性、公平性、鲁棒性、可扩展性 方法：1. 提出一个带有层次聚类（针对鲁棒性和公平的HAR）个性化的FL框架FedCHAR；通过聚类（利用用户之间的内在相似关系）提高模型性能的准确性、公平性、鲁棒性。 2 ......
P2 什么是神经网络
深度学习指的是训练神经网络，有时候规模很大 那么神经网络到底是什么？？？ 比方说我们现在有这么一张图 这张图叫： Housing Price Prediction 我们有的数据是六个房子的面积和每平米的单价。 我们现在知道了logestic回归模型，我们将数据输入这个模型，会拟合出一条穿过这些数据的 ......
【Pytorch基础实战】第二节，卷积神经网络
项目地址 https://gitee.com/wxzcch/pytorchbase/tree/master/leason_2 源码 import torch from torch import nn, optim from torch.autograd import Variable from to ......
《Learning Transferable Visual Models From Natural Language Supervision》论文学习
一、Abstract 最先进的计算机视觉系统被训练用以预测一组预定的固定目标类别。这种受限的监督方式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何新的视觉概念。因此，直接从关于图像的原始描述文本中学习是一个有希望的替代方法，它利用了更广泛的因特网监督来源。 我们证明了预测哪个标题与哪张 ......
神经网络优化篇：为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?）
为什么正则化有利于预防过拟合呢？ 通过两个例子来直观体会一下。 左图是高偏差，右图是高方差，中间是Just Right。 现在来看下这个庞大的深度拟合神经网络。知道这张图不够大，深度也不够，但可以想象这是一个过拟合的神经网络。这是的代价函数\(J\)，含有参数\(W\)，\(b\)。添加正则项，它可 ......
神经网络2
1- 模型 模型结构 特征表示能力 训练效率 模型复杂度 鲁棒性 CNN 局部连接、权值共享的卷积结构 对局部特征提取能力强，适用于图像、语音等领域 训练效率高，可并行化处理 模型结构相对简单，参数较少，不适用于处理序列数据 对数据噪声、变形等鲁棒性一般 RNN 具有循环连接的结构，如LSTM、GR ......
神经网络
模型演进卷积神经网络--循环神经网络--Transformer 卷积神经网络 CNN 主要处理图像的神经网络卷积本身是一种数学计算先观察--再记忆存储 循环神经网络 RNN 语义存在上下文的前后依赖关系循环神经网络的上一级节点的输出继续往下一级进行传递，事后对序列数据的上下文影响进行建模后续的每一个 ......
【scikit-learn基础】--『预处理』之 分类编码
数据的预处理是数据分析，或者机器学习训练前的重要步骤。通过数据预处理，可以 提高数据质量，处理数据的缺失值、异常值和重复值等问题，增加数据的准确性和可靠性 整合不同数据，数据的来源和结构可能多种多样，分析和训练前要整合成一个数据集 提高数据性能，对数据的值进行变换，规约等（比如无量纲化），让算法更加 ......