training zero achieving论文
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION论文阅读笔记
Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 ......
美国财团是如何控制美国教育界的 —— 哈佛史上最短任期！53岁女校长宣布辞职，博士论文被指抄袭
相关： 哈佛史上最短任期！53岁女校长宣布辞职，博士论文被指抄袭 ......
[论文阅读] Self-conditioned Image Generation via Generating Representations
Pre title: Self-conditioned Image Generation via Generating Representations accepted: arXiv 2023 paper: https://arxiv.org/abs/2312.03701 code: https:/ ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
论文写作方法
公式居中编号靠右 https://www.bilibili.com/video/BV1Xd4y1Z7Xi/?spm_id_from=333.337.search-card.all.click&vd_source=f0c0211a242fdec2b56aa48b9d63c70e 公式编辑器：matht ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
机器学习周刊 第4期：动手实战人工智能、计算机科学热门论文、免费的基于ChatGPT API的安卓端语音助手、每日数学、检索增强 (RAG) 生成技术综述
LLM开发者必读论文：检索增强（RAG）生成技术综述！ 目录： 1、动手实战人工智能 Hands-on Al 2、huggingface的NLP、深度强化学习、语音课 3、Awesome Jupyter 4、计算机科学热门论文 5、LLM开发者必读论文:检索增强 (RAG) 生成技术综述 6、App ......
机器学习周刊03:如何学习深度学习？2024 年学习生成式 AI 路线图、如何构建高效的RAG系统、苹果 腾讯最新论文、阿里DreaMoving
腾讯推出的 AppAgent，是一个多模态智能体，通过识别当前手机的界面和用户指令直接操作手机界面，能像真实用户一样操作手机！ 机器学习周刊：关注Python、机器学习、深度学习、大模型等硬核技术 1、如何学习深度学习？ 最近X上有推友重提这篇文章，是网友看过 Jeremy 教授的 fast.ai ......
CF1270G Subset with Zero Sum
G. Subset with Zero Sum 很妙。 一开始冲着背包去想的，显然不行。 考虑他条件给的这个 \(i − n \le a_i \le i − 1\) 化简一下得到 \[1 \le i - a_i \le n \]题目要去求 \[\sum \limits_{i \in S} a_i = ......
ICLR 2022: Anomaly Transformer论文阅读笔记+代码复现
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy（通过关联差异进行时序异常检测），主要提出了一种无监督的异常点检测算法，并在6个benchmarks上测试，获取良好结果。 论文链 ......
CF1270G Subset with Zero Sum
题目链接：洛谷 或者 CF 比较朴素的题，首先观察题目条件： \[ i-n \le a_i \le i-1 \Rightarrow 1 \le i-a_i \le n \text{，所以易知 } i-a_i \text{ 必定是某一点} \]考虑构造题目所说 \[\sum_{i=x_1}^{x_{t ......
NeurIPS 2023 | 腾讯 AI Lab 18 篇入选论文解读
前言 NeurIPS 2023（Neural Information Processing Systems）神经信息处理系统大会是当前全球最负盛名的 AI 学术会议之一，将于 12 月 10 日在美国新奥尔良召开。官方信息显示，本届会议共有 12343 篇有效论文投稿，接收率为 26.1％，略高于 ......
ChatGPT论文降重Prompt
你是一个已经阅读过大量论文的论文写作专家。我正在设计一个基于xxx系统。接下来，我将给你一个论文段落，你可以使用调整句子用词、句子结构等方法，重新描述这段话，对文章的内容进行润色，使之更加接近论文的写作风格。你也可以自己增添一些描述和内容。 ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
论文精读—多智能体算法在无人机集群的运用
导：“在阅读一篇论文后，要对这几个方面有清晰的认识，动机、创新点和实验设计，外加自己对这篇论文有什么想法” 论文解读：本文组织如下:第二节介绍了相关工作，第三节介绍了大规模搜索场景和系统模型，第四节详细介绍了基于marl的无人机群搜索方法，第五节讨论了仿真设置和实验结果，第六节总结了本文。 建模思考 ......
C. Training Before the Olympiad
原题链接 题解 事实1.两个数合并后的数一定是偶数 事实2.如果没有发生奇数和偶数合并，那么最终的结果一定是所有数的和 事实3.每发生一次奇数和偶数合并，最后的结果会减一 总结 综上所述，Masha会尽量选择同奇或同偶合并，但在有同奇的情况下，会优先选择同奇，因为合并会产生偶数，且Olya需要用到奇 ......
CF1916C Training Before the Olympiad
思路 首先，我们可以考虑两个人会怎么操作，如果是选择了两个偶数和两个奇数，那么答案不会减小，如果选择了一个奇数一个偶数，那么答案会减小一。 所以想使答案大的人应该尽量选择前一种方案，想使答案小的人应该尽量选择后一种方案。 但这还不是最优的，想使答案大的人在可以选择两个奇数时，绝对不会选择两个偶数，因 ......
AAAI 2024 | 腾讯优图实验室27篇论文入选，含表格结构识别、异常图像生成、医学图像分割等研究方向
前言 AAAI 2024 (AAAI Conference on Artificial Intelligence) 人工智能国际会议于近日公布论文录用结果，本届会议共收到9862篇份论文投稿，最终录用2342篇论文，录用率23.75%。AAAI 是美国人工智能协会主办的年会，同时也是是人工智能领域中 ......
go-zero微服务框架
https://blog.csdn.net/weixin_42094245/article/details/131203304?ops_request_misc=&request_id=&biz_id=102&utm_term=Gin%E6%A1%86%E6%9E%B6%E7%9A%84%E9%94 ......
三分钟学完科研论文常用统计图
统计分析的结果通常包括统计图和统计表。统计图是一种用图形表示数据的方式，它能够直观地展示数据的分布、趋势和关系。科研论文中常见的统计图包括条形图、饼图、折线图、散点图等。这些图形可以帮助人们快速地理解和分析数据，找出其中的规律和特征。今天就来讲一讲常用的科研统计图。 一、统计图结构 统计图一般包括5 ......
GPT Zero 是什么？
from https://openaigptguide.com/gptzero/ 在人工智能技术飞速发展的今天，人们对于文字内容的准确性和可信度要求越来越高。例如在学术研究领域，防止抄袭和造假是非常重要的。而对于普通用户而言，辨别哪些内容是由人工智能生成的，哪些内容是由人类编写的，也逐渐成为一个亟待 ......
InstructGPT《InstructGPT: Training language models to follow instructions with human feedback》解读
背景 GPT-3 虽然在各大 NLP 任务以及文本生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 ......
论文笔记：全同态加密研究进展-白利芳等
论文笔记：全同态加密研究进展-白利芳等 同态加密–概念 同态性 给定2个代数结构间的映射，**$ \delta: A \to B\(，满足\)\delta(x _A y)=\delta(x) _B \delta(y)\(**，这里这种映射\)\delta \(就可以看作是同态加密中的“加密”操作，即 ......
c zero length array 零长度数组
struct userdata { uint32_t len; uint8_t data[0]; }; 在阅读一些开源代码时，比如linux kernel，会发现上面这种用法，这种叫做零长度数组。有什么作用呢？简单来说为了开发便利，顺便节省空间。 使用限制 只能放在结构体结尾，也就是一个结构体只能有 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
大模型涉及到的比较经典的论文
大模型涉及到的比较经典的论文： 2014 Neural Machine Translation by Jointly Learning to Align and Translate - This paper introduces an attention mechanism in RNNs to i ......
【论文精读#1】SPGAN-DA：用于领域自适应遥感图像语义分割的语义保留生成对抗网络
作者: Yansheng Li 发表年代: 2023 使用的方法: 无监督领域自适应(UDA)、GAN、ClassMix、边界增强 来源: IEEE TGRS 方向: 语义分割 期刊层次: CCF B；工程技术1区；IF 8.2 文献链接： https://doi.org/10.1109/TGRS. ......
linux内核中的zero-page
zero-page 操作系统给用户新分配的内容(通过mmap或者brk)都是清零过的，但是这些虚拟地址通常都是按需分配物理页面。这里的“按需”的需求可能是读取，也可能是写入。如果只是读取，只要保证读取内容是零即可，在MMU的基础上，可以让“所有”虚拟地址都映射到内容为0的物理页面中。 这样如果申请的 ......
论文推荐：大型语言模型能自我解释吗?
这篇论文的研究主要贡献是对LLM生成解释的优缺点进行了调查。详细介绍了两种方法，一种是做出预测，然后解释它，另一种是产生解释，然后用它来做出预测。 最近的研究发现，即使LLM是在特定数据上训练的，也不能认识到训练的知识与推理上下文之间的联系。 因此一些人认为之为“X链”的方法非常重要。因为要求LLM ......