速率 网路learning神经
Dynamic Client Association for Energy-Aware Hierarchical Federated Learning
1 简单说明 这个文章是讲基于能量意识的动态用户选择， 在hfl的框架下。 因为边缘服务器到客户端这个层级存在着一些选择的关系。 发表在wcnc，一个c类会议上。 2 摘要 Abstract-Federated learning (FL) has become a promising solutio ......
通过时序和上下文对比学习时间序列表征《Time-Series Representation Learning via Temporal and Contextual Contrasting》(时间序列、时序表征、时态和上下文对比、对比学习、自监督学习、半监督学习)
现在是2023年11月14日的22:15，肝不动了，要不先回寝室吧，明天把这篇看了，然后把文档写了。OK，明天的To Do List. 现在是2023年11月15日的10:35，继续。 论文：Time-Series Representation Learning via Temporal and C ......
神经网络入门篇：激活函数（Activation functions）
激活函数 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。到目前为止，之前的博客只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。 在神经网路的前向传播中，\(a^{[1]} = \sigma(z^{[1]})\)和\(a^{[2]} =\sigma(z^ ......
机器学习——深度循环神经网络
到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对一个单层来说，这可能具有相当的挑战性。 之前在线性模型中，我们通过添加更多的层来解决这个问题。 而在循环神经网络中 ......
神经网络中间层特征图可视化（输入为音频）
import librosa import numpy as np import utils import torch import torch.nn.functional as F from matplotlib import pyplot as plt from torchvision.mode ......
神经网络入门篇：详解向量化实现的解释（Justification for vectorized implementation）
向量化实现的解释 先对几个样本计算一下前向传播，看看有什么规律： 公式1.16： \(z^{[1](1)} = W^{[1]}x^{(1)} + b^{[1]}\) \(z^{[1](2)} = W^{[1]}x^{(2)} + b^{[1]}\) \(z^{[1](3)} = W^{[1]}x^{ ......
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢? 量化:牺牲精度换取效率 量化是关 ......
Reinforcement Learning Chapter 1
本文参考《Reinforcement Learning：An Introduction（2nd Edition）》Sutton. 强化学习是什么 传统机器学习方法可分为有监督与无监督两类； 有监督学习 > 任务驱动 无监督学习 > 数据驱动 强化学习则可看作机器学习的“第三范式” > 模拟驱动，具体 ......
RLHF · PBRL | 发现部分 D4RL tasks 不适合做 offline reward learning 的 benchmark
发现对于很多任务，（只要给出专家轨迹），将 reward 设为 0 或随机数，也能学出很好 policy，证明这些任务不适合用来评测 reward learning 的性能好坏。 ......
TRL(Transformer Reinforcement Learning) PPO Trainer 学习笔记
(1) PPO Trainer TRL支持PPO Trainer通过RL训练语言模型上的任何奖励信号。奖励信号可以来自手工制作的规则、指标或使用奖励模型的偏好数据。要获得完整的示例，请查看examples/notebooks/gpt2-sentiment.ipynb。Trainer很大程度上受到了原 ......
神经网络入门篇：详解多样本向量化（Vectorizing across multiple examples）
多样本向量化 与上篇博客相联系的来理解 逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤： 图1.4.1 上篇博客中得到的四个等式。它们给出如何计算出\(z^{[1 ......
m基于GA-CNN遗传优化卷积神经网络的手势识别算法matlab仿真
1.算法仿真效果 matlab2022a仿真结果如下： CNN训练结果 GA优化之后的CNN训练结果 GA优化过程得到的均值收敛过程 CNN与GA优化CNN的识别率对比 本课题采用的数据库如下： 2.算法涉及理论知识概要 基于GA-CNN遗传优化卷积神经网络的手势识别算法是一种结合了遗传算法（GA） ......
A Learning Method for Feature Correspondence with Outliers读书笔记
A Learning Method for Feature Correspondence with Outliers 2022年 论文地址：A Learning Method for Feature Correspondence with Outliers | IEEE Conference Pub ......
机器学习——循环神经网络的实现
独热编码 回想一下，在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难。 我们通常将每个词元表示为更具表现力的特征向量。 最简单的表示称为独热编码（one-hot encoding）， 它在 3.4.1节中介绍过。 简言之，将每个索引映射为相互不 ......
机器学习——循环神经网络
隐状态 无隐状态的神经网络 有隐状态的循环神经网络 循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络。 基于循环神经网络的字符级语言模型 回想一下 8.3节中的语言模型， 我们的目标是根据过去的和当前的词元预测下一个词元， 因此我们将原始序列移位一 ......
【深度学习笔记】第3章-神经网络基础
参考书籍： 邓立国等《python深度学习原理、算法与案例》清华大学出版社 3.3 感知机 3.3.1 感知机模型 感知机，又称阈值逻辑单元（Threshold Logic Unit，TLU）/线性阈值单元（Linear Threshold Unit，LTU） 经典数据集：Iris Data Set ......
深度学习模型---卷积神经网络
深度学习 深度学习模型是一种机器学习方法，它模仿人脑神经网络的结构和功能，通过多层次的神经网络进行学习和推断。深度学习模型在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。 深度学习模型的基本单元是神经网络，它由大量的人工神经元组成，每个神经元都与其他神经元相连。深度学习模型的深度指的是神 ......
SuperGlue: Learning Feature Matching with Graph Neural Networks论文笔记
SuperGlue: Learning Feature Matching with Graph Neural Networks 源码: github.com/magicleap/SuperGluePretrainedNetwork 背景： 主要解决图像中点之间的对应关系。 主要方法： 上图为该方法的 ......
Deep Learning：工业自动化和生产效率的变革者
Deep Learning 将改变工业。机器将能够完成那些需要人类智慧的工作。伴随着企业流程数字化和数据收集的发展，Deep Learning 的应用也将增加，使人类和机器之间的合作更加高效。这将彻底改变自动化和生产，实现更高效且更正确的决策流程以及更高的生产力，同时显著降低开发成本。 在我们的播客 ......
神经网络入门篇：详解计算一个神经网络的输出（Computing a Neural Network's output）
一个神经网络的输出 首先，回顾下只有一个隐藏层的简单两层神经网络结构： 图1.3.1 其中，\(x\)表示输入特征，\(a\)表示每个神经元的输出，\(W\)表示特征的权重，上标表示神经网络的层数（隐藏层为1），下标表示该层的第几个神经元。这是神经网络的符号惯例，下同。 神经网络的计算 关于神经网络 ......
神经网络入门篇：详解神经网络概述和表示
神经网络概述（Neural Network Overview） 先开始快速浏览一下如何实现神经网络。上篇博客了解了逻辑回归，了解了这个模型(见图1.1.1)如何与下面公式1.1建立联系。 图1.1.1 : 公式1.1： \[\left. \begin{array}{l} x\\ w\\ b \end ......
机器学习——深度卷积神经网络AlexNet
AlexNet相对于LeNet的主要优势包括: 1. 更深的网络结构 AlexNet有8层结构,而LeNet只有5层。网络更加深入有利于学习更抽象的高级特征。 2. 使用ReLU激活函数 AlexNet使用ReLU激活函数,避免梯度消失问题,使得深层网络的训练更加容易。 3. 引入Dropout操作 ......
神经网络基础篇：详解logistic 损失函数（Explanation of logistic regression cost function）
详解 logistic 损失函数 在本篇博客中，将给出一个简洁的证明来说明逻辑回归的损失函数为什么是这种形式。 回想一下，在逻辑回归中，需要预测的结果\(\hat{y}\),可以表示为\(\hat{y}=\sigma(w^{T}x+b)\)，\(\sigma\)是熟悉的\(S\)型函数 \(\sig ......
基于Mel谱图和卷积神经网络的音频识别
基于Mel谱图和卷积神经网络的音频识别 摘要——近年来，由于其许多潜在的应用，自动声音识别受到了越来越多的研究兴趣。其中包括视频/音频内容的自动标记和机器人的实时声音检测。虽然图像分类是一个研究较多的话题，但声音识别还不太成熟。在这项研究中，利用了为图像分类开发的鲁棒机器学习技术，并将其应用于声音识 ......
神经网络基础篇：关于 python_numpy 向量的说明（A note on python or numpy vectors）
关于 python_numpy 向量的说明 主要讲Python中的numpy一维数组的特性，以及与行向量或列向量的区别。并说一下在实际应用中的一些小技巧，去避免在coding中由于这些特性而导致的bug Python的特性允许使用广播（broadcasting）功能，这是Python的numpy程序 ......
神经网络基础篇：详解向量化逻辑回归(Vectorizing Logistic Regression)
向量化逻辑回归 讨论如何实现逻辑回归的向量化计算。这样就能处理整个数据集，甚至不会用一个明确的for循环就能实现对于整个数据集梯度下降算法的优化 首先回顾一下逻辑回归的前向传播步骤。所以，如果有 \(m\) 个训练样本，然后对第一个样本进行预测，需要这样计算。计算 \(z\)，正在使用这个熟悉的公式 ......
神经网络基础篇：Python 中的广播（Broadcasting in Python）
Python 中的广播 这是一个不同食物(每100g)中不同营养成分的卡路里含量表格，表格为3行4列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。行表示不同的营养成分，从上到下依次为碳水化合物，蛋白质，脂肪。 那么，现在想要计算不同食物中不同营养成分中的卡路里百分比。 现在计算苹果中 ......
01神经网络
主要还是有了初步的了解吧。 1.ReLU函数（线性整流函数） 前面为0后面为直线 2.神经网络 堆叠一些简单的神经元，可以获得一个稍微大的神经网络。 输入特征值x，根据输入参数 中间的小圈叫做神经网络中的隐藏神经元。 给定足够多的训练实例x，y，神经网络就可以很好拟合出函数建立x与y的关系。 3.监 ......
2023CVPR_Spatial-Frequency Mutual Learning for Face Super-Resolution
一. Network：SFMNet 1.网络采用U-Net结构，其中SFMLM-i是不同分辨率的每层结构 2.SPB是空域分支，FRB是频域分支，分别经过FRB和SPB的两个分支信息经过FSIB分支进行信息的融合 3. FRB结构： class FreBlock9(nn.Module): def _ ......