速率 网路learning神经
神经网络基础篇：梯度下降法（Gradient Descent）
梯度下降法 梯度下降法可以做什么？ 在 测试集上，通过最小化代价函数（成本函数）\(J(w,b)\)来训练的参数\(w\)和\(b\)， 如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数） 梯度下降法的形象化说明 在这个图中，横轴表示 的空间参数\(w\)和\(b\)，在实践中，\(w ......
神经网络基础篇：逻辑回归的代价函数
逻辑回归的代价函数（Logistic Regression Cost Function） 为什么需要代价函数： 为了训练逻辑回归模型的参数参数\(w\)和参数\(b\)，需要一个代价函数，通过训练代价函数来得到参数\(w\)和参数\(b\)。先看一下逻辑回归的输出函数： 为了让模型通过学习调整参数， ......
[论文速览] SimCSE@ Simple Contrastive Learning of Sentence Embeddings
Pre title: SimCSE: Simple Contrastive Learning of Sentence Embeddings accepted: EMNLP 2021 paper: https://arxiv.org/abs/2104.08821 code: https://githu ......
umicv cv-summary1-全连接神经网络模块化实现
全连接神经网络模块化实现 Linear与Relu单层实现 LossLayer实现 多层神经网络 不同梯度下降方法 Dropout层 今天这篇博文针对Assignment3的全连接网络作业，对前面学习的内容进行一些总结 在前面的作业中我们建立神经网络的操作比较简单，也不具有模块化的特征，在A3作业中， ......
Scikit-learn 的 preprocessing.LabelEncoder函数：标签编码
参考文档：https://pythonjishu.com/sklearn-preprocessing-labelencoder/ 转换类别数据为整数：LabelEncoder 可以将字符串或其他类别型数据转换为整数。例如，如果你有一个特征包含类别 "红色"、"绿色" 和 "蓝色"，LabelEnco ......
神经网络基础篇：逻辑回归
逻辑回归(Logistic Regression) 对于二元分类问题来讲，给定一个输入特征向量\(X\)，它可能对应一张图片，想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，想要一个算法能够输出预测，只能称之为\(\hat{y}\)，也就是对实际值 \(y\) 的估计。更正式地来说，想让 \ ......
揭秘计算机的神经系统：探索计算机的基本组成
本文将揭秘计算机的神经系统，探索计算机的基本硬件组成。从CPU、内存、主板、I/O设备到显卡，逐一介绍其功能和作用。同时，还将讨论冯·诺依曼体系结构和哈佛结构的区别，帮助读者更好地理解计算机的工作原理。 ......
Paper Reading: Sample and feature selecting based ensemble learning for imbalanced problems
为了克服现有集成方法的缺点，本文提出一种新的混合集成策略——样本和特征选择混合集成学习 SFSHEL。SFSHEL 考虑基于聚类的分层对大多数样本进行欠采样，并采用滑动窗口机制同时生成多样性的特征子集。然后将经过验证训练的权重分配给不同的基学习器，最后 SFSHEL 通过加权投票进行预测。SFSHE... ......
使用卷积神经网络训练手写数字识别模型(CNN)
https://www.cnblogs.com/zylyehuo/ 效果展示 目录结构 README.md # Basic MNIST Example pip install -r requirements.txt python main.py # CUDA_VISIBLE_DEVICES=2 py ......
强化学习Q-Learning和DQN算法
1 Q-Learning 强化学习中有state和action的两个重要概念。而Q-Learning算法就是用来得到在state上执行action的未来预期奖励。具体的算法流程如下： 初始化一个Q-table。 在当前状态\(s\)选择一个动作\(a\)。 执行动作\(a\)，转移到新的状态\(s' ......
4. 卷积神经网络
1. 机器学习中两个主要问题 1.1 回归 1.2 分类 分类是可交换的，可以将狗称为第一类，猫是第二类，也可以反过来。 卷积是可交换的 上式是分类的损失函数，\(y\)是0或1，\(\hat {y} \epsilon [0 , 1]\) 2. 数学过程 上图就是卷积的运算 后证明：若\(u(x) ......
神经网络基础篇：详解二分类(Binary Classification)
二分类 注：当实现一个神经网络的时候，通常不直接使用for循环来遍历整个训练集（编程tips） 举例逻辑回归 逻辑回归是一个用于二分类(binary classification)的算法。首先从一个问题开始说起，这里有一个二分类问题的例子，假如有一张图片作为输入，比如这只猫，如果识别这张图片为猫，则 ......
《动手学深度学习 Pytorch版》 9.4 双向循环神经网络
之前的序列学习中假设的目标是在给定观测的情况下对下一个输出进行建模，然而也存在需要后文预测前文的情况。 9.4.1 隐马尔可夫模型中的动态规划 数学推导太复杂了，略。 9.4.2 双向模型 双向循环神经网络（bidirectional RNNs）添加了反向传递信息的隐藏层，以便更灵活地处理此类信息。 ......
基于神经网络的图像识别研究
基于神经网络的图像识别是计算机视觉领域的一个热门研究方向，尤其是深度学习技术的兴起。以下是一些与基于神经网络的图像识别相关的关键主题和研究方向： 1. 卷积神经网络（CNN）： CNN是图像识别领域最重要的神经网络之一。研究人员一直在改进CNN的架构，如LeNet、AlexNet、VGG、GoogL ......
卷积神经网络中卷积层、池化层、全连接层的作用(摘录)
1. 卷积层的作用卷积层的作用是提取输入图片中的信息，这些信息被称为图像特征，这些特征是由图像中的每个像素通过组合或者独立的方式所体现，比如图片的纹理特征，颜色特征。 比如下面这张图片，蓝色框框住的地方就是脸部特征，这些特征其实是由一个个像素所组成的。 再者这是一张彩色图片，它包含R、G、B三个通道 ......
《动手学深度学习 Pytorch版》 9.3 深度循环神经网络
将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生一个灵活的机制。其中的数据可能与不同层的堆叠有关。 9.3.1 函数依赖关系 将深度架构中的函数依赖关系形式化，第 \(l\) 个隐藏层的隐状态表达式为： \[\boldsymbol{H}^{(l)}_t=\phi_l(\boldsymbol ......
GRLSTM：基于图的残差LSTM轨迹相似性计算《GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM》(知识图谱嵌入、图神经网络、残差网络、点融合图、多头图注意力网络GAT、残差LSTM、点感知损失函数(图的点损失函数、轨迹的点损失函数))
2023年10月18日，14:14。 来不及了，这一篇还是看的翻译。 论文：GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM(需要工具才能访问) Github： AAAI 2023的论文。 摘要 轨迹相似 ......
Learn Git in 30 days—— 第 30 天：分享工作中几个好用的 Git 操作技巧
写的非常好的一个Git系列文章，强烈推荐 原文链接：https://github.com/doggy8088/Learn-Git-in-30-days/tree/master/zh-cn 终于来到了最后一天，这篇文章将分享几个好用的 Git 操作技巧，或许可以节省你不少 Git 版控过程的时间。 如 ......
6.卷积神经网络
卷积层的作用一 在说卷积层之前, 我想先说一下为什么会有卷积层; 前面几个博客提到的神经网络都是用矩阵乘法来建立输入和输出之间的关系, 如果有n个输入和m个输出, 那么就需要n*m个参数; 如果n和m很大并且有多个全连接层的话需要的参数数量是庞大的; 卷积层就是通过三个特性来解决这个问题： 稀疏连接 ......
Robust Graph Representation Learning via Neural Sparsification
目录概符号说明NeuralSparse Zheng C., Zong B., Cheng W., Song D., Ni J., Yu W., Chen H. and Wang W. Robust graph representation learning via neural sparsifica ......
论文阅读 Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection
原始题目：Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection 中文翻译：Generalized Focal Loss：学习用于密集目标检测的 Qual ......
神经网络入门篇：为什么深度学习会兴起？
为什么深度学习会兴起？ 这篇我们来讲故事，关于为什么深度学习会兴起的故事~ 深度学习和神经网络之前的基础技术理念已经存在大概几十年了，为什么它们现在才突然流行起来呢？ 因为多亏数字化社会的来临，现在的数据量都非常巨大，我们花了很多时间活动在这些数字的领域，比如在电脑网站上、在手机软件上以及其它数字化 ......
神经网络入门篇：神经网络的监督学习
神经网络的监督学习 关于神经网络也有很多的种类，考虑到它们的使用效果，有些使用起来恰到好处，但事实表明，到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别，下面来举例看看。 在监督学习中你有一些输入\(x\)，想学习到一个函数来映射到一些输出\(y\)，比如之前提到 ......
Meta Learning概述
Meta Learning概述（一） 回顾Machine Learning 定义一个function（神经网络等），该function上有很多参数，参数统一定义为θ，对于一个猫狗分类器来说，当猫狗的图片经过f(θ)时，函数会输出一个猫或狗的结果 定义一个Loss function，L(θ) 使用优化 ......
神经网络入门篇：神经网络到底是什么东西
神经网络到底是什么东西 我们常常用深度学习这个术语来指训练神经网络的过程。有时它指的是特别大规模的神经网络训练。那么神经网络究竟是什么呢？ 举例说明-通俗易懂 第一个例子 从一个房价预测的例子开始讲起。 假设你有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺或者平方米，并且 ......
《Deep Residual Learning for Image Recognition》阅读笔记
论文标题 《Deep Residual Learning for Image Recognition》 撑起CV界半边天的论文 Residual ：主要思想，残差。 作者 何恺明，超级大佬。微软亚研院属实是人才辈出的地方。 初读 摘要 提问题： 更深层次的神经网络更难训练。 提方案： 提出了残差网络 ......
Sequence to Sequence Learning with Neural Networks
Sequence to Sequence Learning with Neural Networks 关键词：LSTM，Seq2Seq 📜 研究主题 采用深度神经网络DNN 使用LSTM，并翻转输入句子顺序提升性能 ✨创新点： 更换seq2seq中RNN单元为LSTM，有提升对长句子训练速度的可能 ......
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 关键词：GRU、Encoder-Decoder 📜 研究主题 提出了Encoder-Decoder结构，采用两 ......
各神经网络模型全称
博客地址：https://www.cnblogs.com/zylyehuo/ 人工神经网络 -- ANN -- Artificial Neural Networks 卷积神经网络 -- CNN -- Recurrent NeConvolutional Neural Networks 递归（循环）神经 ......
数字人论文:Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion
老规矩. 直接第三章 3. 端到端网络结构 给一个audio 短窗口, 也就是片段. 我们预测窗口中间时刻的面部表情. 我们把表情看做一个全端点的向量 (后面我们会看这是什么的一种刻画面部) 一旦我们网络训完, 我们回各个时间点同时生成, 并行. 即使不需要过去的帧画面, 依然生成很稳定的画面. ( ......