速率 网路learning神经
《RAPL: A Relation-Aware Prototype Learning Approach for Few-Shot Document-Level Relation Extraction》阅读笔记
代码 原文地址 预备知识： 1.什么是元学习（Meta Learning）？ 元学习或者叫做“学会学习”（Learning to learn），它是要“学会如何学习”，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力。由于元学习可帮助模型在少量样本下快速学习，从元学习的使用角度看，人们也称 ......
【五期李伟平】CCF-A（AAAI'21）Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
Nagalapatti, Lokesh , and R. Narayanam . "Game of Gradients: Mitigating Irrelevant Clients in Federated Learning." (2021). 针对联邦学习中相关客户端选择（FRCS）的问题，本文提 ......
matlab使用长短期记忆（LSTM）神经网络对序列数据进行分类|附代码数据
全文下载链接：http://tecdat.cn/?p=19751 本示例说明如何使用长短期记忆（LSTM）网络对序列数据进行分类 。 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 要训练深度神经网络对序列数据进行分类，可以使用LSTM网络。LSTM网络使您可以将序列数据输入 ......
【scikit-learn基础】--『监督学习』之 支持向量机分类
支持向量机也是一种既可以处理分类问题，也可以处理回归问题的算法。关于支持向量机在回归问题上的应用，请参考：TODO 支持向量机分类广泛应用于图像识别、文本分类、生物信息学（例如基因分类）、手写数字识别等领域。 1. 算法概述 支持向量机的主要思想是找到一个超平面，将不同类别的样本最大化地分隔开。超平 ......
神经网络优化篇：详解指数加权平均数（Exponentially weighted averages）
指数加权平均数 比如这儿有去年伦敦的每日温度，所以1月1号，温度是40华氏度，相当于4摄氏度。世界上大部分地区使用摄氏度，但是美国使用华氏度。在1月2号是9摄氏度等等。在年中的时候，一年365天，年中就是说，大概180天的样子，也就是5月末，温度是60华氏度，也就是15摄氏度等等。夏季温度转暖，然后 ......
游戏AI行为决策——MLP（多层感知机/人工神经网络）
游戏AI行为决策（特别篇）——MLP（附代码与项目） 你一定听说过神经网络的大名，你有想过将它用于游戏AI的行为决策上吗？其实在（2010年发布的）《最高指挥官2》中就有应用了，今天请允许我班门弄斧一番，与大家一同用C#实现最经典的神经网络——多层感知机（Multilayer Perceptron， ......
Golang throttled是一个基于GCRA的速率限制库
Golang throttled是一个基于GCRA的速率限制库 原创 Eagle1949 技术源泉 2024-01-07 07:01 发表于河南 1人听过 Throttled包实现了对HTTP端点等资源的速率限制访问。它使用通用信元速率算法（GCRA）来限制对资源（如HTTP端点）的访问，从而实现速 ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
神经网络学习笔记（1）
1、神经元 神经元是神经网络中的基本单元。 每一个神经元包括两个参数：权重系数和偏置系数b。 神经网络的学习过程就是通过优化更新每一个神经元的权重和偏置系数，使得输出值Y更接近其真实值。 假设神经元的输入向量为 ,那么输出，其中 是该神经元选定的激活函数。 x1、x2表示输入量 w1、w2为权重，几 ......
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 ......
【scikit-learn基础】--『监督学习』之 随机森林分类
随机森林分类算法是一种基于集成学习（ensemble learning）的机器学习算法，它的基本原理是通过对多个决策树的预测结果进行平均或投票，以产生最终的分类结果。 随机森林算法可用于回归和分类问题。关于随机森林算法在回归问题上的应用可参考：TODO 随机森林分类算法可以应用于各种需要进行分类或预 ......
神经网络优化篇：详解Mini-batch 梯度下降（Mini-batch gradient descent）
Mini-batch 梯度下降 机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助快速训练模型。 其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练 ......
【scikit-learn基础】--『监督学习』之 决策树分类
决策树分类算法是一种监督学习算法，它的基本原理是将数据集通过一系列的问题进行拆分，这些问题被视为决策树的叶子节点和内部节点。决策树的每个分支代表一个可能的决策结果，而每个叶子节点代表一个最终的分类结果。 决策树分类算法的历史可以追溯到1980年代初，当时研究者开始探索用机器学习来解决分类问题。在19 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据
原文链接：http://tecdat.cn/?p=23689 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 本文探索Python中的长短期记忆（LSTM）网络，以及如何使用它们来进行股市预测 （ 点击文末“阅读原文”获取完整代码数据）。 在本文中，你将看到如何使用一个被称为 ......
神经网络优化篇：梯度检验应用的注意事项（Gradient Checking Implementation Notes）
梯度检验应用的注意事项 分享一些关于如何在神经网络实施梯度检验的实用技巧和注意事项。 首先，不要在训练中使用梯度检验，它只用于调试。意思是，计算所有\(i\)值的\(d\theta_{\text{approx}}\left[i\right]\)是一个非常漫长的计算过程，为了实施梯度下降，必须使用\( ......
【scikit-learn基础】--『监督学习』之 贝叶斯分类
贝叶斯分类是一种统计学分类方法，基于贝叶斯定理，对给定的数据集进行分类。它的历史可以追溯到18世纪，当时英国统计学家托马斯·贝叶斯发展了贝叶斯定理，这个定理为统计决策提供了理论基础。 不过，贝叶斯分类在实际应用中的广泛使用是在20世纪80年代，当时计算机技术的进步使得大规模数据处理成为可能。 1. ......
dotnet webapi miniapi learn note
GameStore.Api/Dtos.cs using System.ComponentModel.DataAnnotations; namespace GameStore.Api.Dtos; public record GameDto(int Id, string Name, string Gen ......
[NLP复习笔记] 神经网络及BP算法
1. 神经网络 1.1 神经元 神经元（Neuron）或节点（Node） 是神经网络的基本单元。下图是一个简单的神经元示意图，\(x\) 表示 输入（\(\text{Input}\)）， \(x_i\) 表示来自于前面第 \(i\) 个 神经元（\(\text{Neuron}\)）的输入，通常会增加 ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
《An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning》阅读笔记
代码 原文地址 预备知识： 1.什么是MIL？ 多示例学习（MIL）是一种机器学习的方法，它的特点是每个训练数据不是一个单独的实例，而是一个包含多个实例的集合（称为包）。每个包有一个标签，但是包中的实例没有标签。MIL的目的是根据包的标签来学习实例的特征和分类规则，或者根据实例的特征来预测包的标签。 ......
CF940F Machine Learning题解
题目链接：洛谷 或者 CF 不是特别难的题，抽象下题意就是算区间次数出现的次数 mex 和带单点修改。看到范围 \(1e5\) 还带修改，传统的 mex 求法里貌似就莫队类算法好带修，考虑带修莫队。 然而涉及到 mex 问题，你可能不由自主地想到回滚莫队求 mex 只删不加的板子题：P4137 Rm ......
CF940FMachine Learning题解
题目链接：洛谷 或者 CF 不是特别难的题，抽象下题意就是算区间次数出现的次数 mex 和带单点修改。看到范围 \(1e5\) 还带修改，传统的 mex 求法里貌似就莫队类算法好带修，考虑带修莫队。 然而涉及到 mex 问题，你可能不由自主地想到回滚莫队求 mex 只删不加的板子题：P4137 Rm ......
【技术探讨】一种多节点5Km（1.2M bps速率）实时Sub-G无线通信的物联网通讯解决方案
应用案例分析： 针对在高速公路上货车行驶过程中收集5公里范围内的GPS定位数据，上报云服务器端，最终实时显示每一辆货车的运行轨迹，用户的项目需求如下：200辆货车（无线从站节点），要求很高的实时性，每秒发5包，每个GPS定位数据报文30个字节，这样200辆车同时上报每秒需要发送30K的字节（200 ......
《python神经网络读书笔记》
感想： 人工智能 是一门古老的学科，意思是人为的创造出和人类相似的智能体。在很多科幻影视作品中都有描述，甚至有的影视作品中不是使用计算机来实现人工智能。但是实际上这门学科在21世纪之前一直没什么进展。20世纪时，这门学科的主要研究方向是通过写一些强制判断逻辑来模拟智能体。实现出来的智能体基本都属于人 ......
特斯拉神经网络初探
先递上特斯拉的AI 模型HydraNets（2020） 2022年，特斯拉宣布将在其自动驾驶车辆中发布一种全新的算法：Occupancy Networks，主要用来解决以下两个问题： 问题1：检测到的物体不是数据集中训练的对象； 问题2：在基于LiDAR的系统中，可以根据检测到的物体确定对象的存在 ......
神经网络优化篇：详解梯度检验（Gradient checking）
梯度检验 梯度检验帮节省了很多时间，也多次帮发现backprop实施过程中的bug，接下来，看看如何利用它来调试或检验backprop的实施是否正确。 假设的网络中含有下列参数，\(W^{[1]}\)和\(b^{[1]}\)……\(W^{[l]}\)和\(b^{[l]}\)，为了执行梯度检验，首先要 ......
【scikit-learn基础】--『监督学习』之 逻辑回归分类
逻辑回归这个算法的名称有一定的误导性。虽然它的名称中有“回归”，当它在机器学习中不是回归算法，而是分类算法。因为采用了与回归类似的思想来解决分类问题，所以它的名称才会是逻辑回归。 逻辑回归的思想可以追溯到19世纪，由英国统计学家Francis Galton在研究豌豆遗传问题时首次提出。然而，真正将逻 ......
What I Learned In 2023 - Alexandr Wang
一篇共鸣的博文：https://alexw.substack.com/p/what-i-learned-in-2023 小小年纪，已悟到这个层次，实至名归。 每年年底，我都会写下过去一年的主要经验教训并发送给At the end of every year, I write up the major ......
神经网络优化篇：详解梯度的数值逼近（Numerical approximation of gradients）
在实施backprop时，有一个测试叫做梯度检验，它的作用是确保backprop正确实施。因为有时候，虽然写下了这些方程式，却不能100%确定，执行backprop的所有细节都是正确的。为了逐渐实现梯度检验，首先说说如何计算梯度的数值逼近。 先画出函数\(f\)，标记为\(f\left( \thet ......