reinforcement transformer decision learning
《RAPL: A Relation-Aware Prototype Learning Approach for Few-Shot Document-Level Relation Extraction》阅读笔记
代码 原文地址 预备知识： 1.什么是元学习（Meta Learning）？ 元学习或者叫做“学会学习”（Learning to learn），它是要“学会如何学习”，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力。由于元学习可帮助模型在少量样本下快速学习，从元学习的使用角度看，人们也称 ......
【五期李伟平】CCF-A（AAAI'21）Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
Nagalapatti, Lokesh , and R. Narayanam . "Game of Gradients: Mitigating Irrelevant Clients in Federated Learning." (2021). 针对联邦学习中相关客户端选择（FRCS）的问题，本文提 ......
CF1506D - Epic Transformation
思路 用优先队列模拟 ac代码 #include <bits/stdc++.h> using namespace std; using i64 = long long; const i64 inf = 8e18; typedef pair<int, int> pii; const int N = 5 ......
【scikit-learn基础】--『监督学习』之 支持向量机分类
支持向量机也是一种既可以处理分类问题，也可以处理回归问题的算法。关于支持向量机在回归问题上的应用，请参考：TODO 支持向量机分类广泛应用于图像识别、文本分类、生物信息学（例如基因分类）、手写数字识别等领域。 1. 算法概述 支持向量机的主要思想是找到一个超平面，将不同类别的样本最大化地分隔开。超平 ......
LLM series: Transformer
🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
[NLP复习笔记] Transformer
1. Transformer 概述 1.1 整体结构 \(\text{Transformer}\) 主要由 \(\text{Encoder}\) 和 \(\text{Decoder}\) 两个部分组成。\(\text{Encoder}\) 部分有 \(N = 6\) 个相同的层，每层包含 一个 \( ......
【scikit-learn基础】--『监督学习』之 随机森林分类
随机森林分类算法是一种基于集成学习（ensemble learning）的机器学习算法，它的基本原理是通过对多个决策树的预测结果进行平均或投票，以产生最终的分类结果。 随机森林算法可用于回归和分类问题。关于随机森林算法在回归问题上的应用可参考：TODO 随机森林分类算法可以应用于各种需要进行分类或预 ......
RNN 和 Transformer 复杂度比较
这里假设BatchSize为 1，就是单样本的情况。 原始 RNN 块： （1）单步计算 H，包含两个矩阵向量乘法，和一个激活，复杂度HidSize² （2）一共有SeqLen步，所以整体复杂度SeqLen * HidSize² LSTM 块： （1）单步计算 F I C_hat O，包含八个矩阵向 ......
【scikit-learn基础】--『监督学习』之 决策树分类
决策树分类算法是一种监督学习算法，它的基本原理是将数据集通过一系列的问题进行拆分，这些问题被视为决策树的叶子节点和内部节点。决策树的每个分支代表一个可能的决策结果，而每个叶子节点代表一个最终的分类结果。 决策树分类算法的历史可以追溯到1980年代初，当时研究者开始探索用机器学习来解决分类问题。在19 ......
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
【scikit-learn基础】--『监督学习』之 贝叶斯分类
贝叶斯分类是一种统计学分类方法，基于贝叶斯定理，对给定的数据集进行分类。它的历史可以追溯到18世纪，当时英国统计学家托马斯·贝叶斯发展了贝叶斯定理，这个定理为统计决策提供了理论基础。 不过，贝叶斯分类在实际应用中的广泛使用是在20世纪80年代，当时计算机技术的进步使得大规模数据处理成为可能。 1. ......
dotnet webapi miniapi learn note
GameStore.Api/Dtos.cs using System.ComponentModel.DataAnnotations; namespace GameStore.Api.Dtos; public record GameDto(int Id, string Name, string Gen ......
《An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning》阅读笔记
代码 原文地址 预备知识： 1.什么是MIL？ 多示例学习（MIL）是一种机器学习的方法，它的特点是每个训练数据不是一个单独的实例，而是一个包含多个实例的集合（称为包）。每个包有一个标签，但是包中的实例没有标签。MIL的目的是根据包的标签来学习实例的特征和分类规则，或者根据实例的特征来预测包的标签。 ......
CF940F Machine Learning题解
题目链接：洛谷 或者 CF 不是特别难的题，抽象下题意就是算区间次数出现的次数 mex 和带单点修改。看到范围 \(1e5\) 还带修改，传统的 mex 求法里貌似就莫队类算法好带修，考虑带修莫队。 然而涉及到 mex 问题，你可能不由自主地想到回滚莫队求 mex 只删不加的板子题：P4137 Rm ......
CF940FMachine Learning题解
题目链接：洛谷 或者 CF 不是特别难的题，抽象下题意就是算区间次数出现的次数 mex 和带单点修改。看到范围 \(1e5\) 还带修改，传统的 mex 求法里貌似就莫队类算法好带修，考虑带修莫队。 然而涉及到 mex 问题，你可能不由自主地想到回滚莫队求 mex 只删不加的板子题：P4137 Rm ......
ICLR 2022: Anomaly Transformer论文阅读笔记+代码复现
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy（通过关联差异进行时序异常检测），主要提出了一种无监督的异常点检测算法，并在6个benchmarks上测试，获取良好结果。 论文链 ......
【scikit-learn基础】--『监督学习』之 逻辑回归分类
逻辑回归这个算法的名称有一定的误导性。虽然它的名称中有“回归”，当它在机器学习中不是回归算法，而是分类算法。因为采用了与回归类似的思想来解决分类问题，所以它的名称才会是逻辑回归。 逻辑回归的思想可以追溯到19世纪，由英国统计学家Francis Galton在研究豌豆遗传问题时首次提出。然而，真正将逻 ......
What I Learned In 2023 - Alexandr Wang
一篇共鸣的博文：https://alexw.substack.com/p/what-i-learned-in-2023 小小年纪，已悟到这个层次，实至名归。 每年年底，我都会写下过去一年的主要经验教训并发送给At the end of every year, I write up the major ......
【scikit-learn基础】--『监督学习』之 K-近邻分类
KNN（K-近邻），全称K-Nearest Neighbors，是一种常用的分类算法。KNN算法的历史可以追溯到1957年，当时Cover和Hart提出了“最近邻分类”的概念。但是，这个算法真正得到广泛认知和应用是在1992年，由Altman发表的一篇名为“K-Nearest Neighbors”的 ......
概率霍夫变换（Progressive Probabilistic Hough Transform）原理详解
概率霍夫变换（Progressive Probabilistic Hough Transform）的原理很简单，如下所述： 1.随机获取边缘图像上的前景点，映射到极坐标系画曲线； 2.当极坐标系里面有交点达到最小投票数，将该点对应x-y坐标系的直线L找出来； 3.搜索边缘图像上前景点，在直线L上的点 ......
【scikit-learn基础】--『监督学习』之 随机森林回归
随机森林回归（Random Forest Regression）是一种在机器学习领域广泛应用的算法，由美国科学家 Leo Breiman 在2001年提出。它是一种集成学习方法，通过整合多个决策树的预测结果来提高预测精度和稳定性。 随机森林回归适用于各种需要预测连续数值输出的问题，如金融领域的股票价 ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......
《Ensemble deep learning: A review》阅读笔记
论文标题 《Ensemble deep learning: A review》 集成深度学习： 综述 作者 M.A. Ganaie 和 Minghui Hu 来自印度理工学院印多尔分校数学系和南洋理工大学电气与电子工程学院 本文写的大而全。 初读 摘要 集成学习思想： 结合几个单独的模型以获得更好的 ......
learned_inertial_model_odometry 复现
据集 BlackBrid 数据集，总大小4.9TB，但是可以按需获取 其下载程序 python sequenceDownloader.py FLIGHT ENVIRONMENT DATASETFOLDER 举例说明 FLIGHT clover/yawForward/maxSpeed5p0 ENVIR ......
【scikit-learn基础】--『监督学习』之 决策树回归
决策树算法是一种既可以用于分类，也可以用于回归的算法。 决策树回归是通过对输入特征的不断划分来建立一棵决策树，每一步划分都基于当前数据集的最优划分特征。它的目标是最小化总体误差或最大化预测精度，其构建通常采用自上而下的贪心搜索方式，通过比较不同划分标准来选择最优划分。 决策树回归广泛应用于各种回归问 ......
【scikit-learn基础】--『监督学习』之 支持向量机回归
在机器学习中，支持向量机（Support Vector Machine）算法既可以用于回归问题，也可以用于分类问题。 支持向量机（SVM）算法的历史可以追溯到1963年，当时前苏联统计学家弗拉基米尔·瓦普尼克（Vladimir N. Vapnik）和他的同事阿列克谢·切尔沃宁基斯（Alexey Ya ......
Visual Transformer 与归纳偏置
开端 ViT（Visual Transformer）是 2020 年 Google 团队提出的将 Transformer 应用在图像分类的模型，但是当训练数据集不够大的时候，ViT 的表现通常比同等大小的 ResNets 要差一些。 为什么呢？寻找答案的过程中，发现了 归纳偏置 这个概念。 在阅读 ......