understanding pre-training generative improving
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION论文阅读笔记
Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 ......
An improved LSTM-based model for identifying high working intensity load segments of the tractor load spectrum
一区top Computers and Electronics in Agriculture 题目： “基于改进 lstm 的拖拉机载荷谱高工作强度载荷段识别模型” (pdf) “An improved LSTM-based model for identifying high working in ......
基于融合语义信息改进的内容推荐算法。Improved content recommendation algorithm integrating semantic information.
引言 路漫漫其修远兮，吾将上下而求索。每天一篇论文，做更好的自己。 本文读的这篇论文为发表于2023年5月28日的一篇名为《基于融合语义信息改进的内容推荐算法》（基于融合语义信息改进的内容推荐算法）的文章，文章主要介绍了基于内容的推荐技术在电子商务和教育领域的广泛应用，以及传统基于内容推荐技术在语义 ......
mybatis-generator:generate生成器将另外的数据库内同名表生成
问题： 在使用mybatis-generator:generate生成器时，会生成别的数据库内同表名； 因为是相同表名。 解决： 在生成器的配置文件中的数据库连接地址内添加： <!--放置生成其他库同名表--> <property name="nullCatalogMeansCurrent" val ......
Understanding JSON Web Encryption (JWE)
copy from: https://www.scottbrady91.com/jose/json-web-encryption By default, JSON Web Tokens (JWTs) are base64url encoded JSON objects signed using a ......
[论文阅读] Self-conditioned Image Generation via Generating Representations
Pre title: Self-conditioned Image Generation via Generating Representations accepted: arXiv 2023 paper: https://arxiv.org/abs/2312.03701 code: https:/ ......
Understanding the linux kernel Chapter2 Memory Addressing
Physical Memory Layout unavailable address for kernel either because they map hardware devices’ I/O shared memory or because the corresponding page fr ......
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
Understanding q-value and FDR in Differential Expression Analysis
Understanding q-value and FDR in Differential Expression Analysis Daqian Introduction to q-value and FDR In differential gene expression analysis, res ......
开课吧前端1期.阶段5：generator，模块化与babel
复习：ES6 变量let、箭头function、参数等、map、reduce、filter、forEach Promise消除回调，Promise.all([p1,p2,p3]).then() 单独Promise并不能帮我们解决所有问题，还有2个兄弟是从Promise过度出来的，generator ......
初中英语优秀范文100篇-048My English Has Improved-我的英文水平提高了
PDF格式公众号回复关键字:SHCZFW048 记忆树 1 When I entered junior middle school,there were so many subjects that I had to stay up every night to review what I had l ......
《A Novel Table-to-Graph Generation Approach for Document-Level Joint Entity and Relation Extraction》阅读笔记
代码 原文地址 文档级关系抽取（DocRE）的目的是从文档中提取实体之间的关系，这对于知识图谱构建等应用非常重要。然而，现有的方法通常需要预先识别出文档中的实体及其提及，这与实际应用场景不一致。为了解决这个问题，本文提出了一种新颖的表格到图生成模型（TAG），它能够在文档级别上同时抽取实体和关系。T ......
Understanding ELF, the Executable and Linkable Format
address:https://www.opensourceforu.com/2020/02/understanding-elf-the-executable-and-linkable-format/ Whenever we compile any code, the output that we ......
初中英语优秀范文100篇-041Computer Improves My English Study-电脑有助于我英语学习
PDF格式公众号回复关键字:SHCZFW041 记忆树 1 Nowadays, we cannot live without computers for one day. 翻译 现在，我们一天都无法离开电脑。 简化记忆 电脑 句子结构 1Nowadays是副词，表示“现在”，作状语。 2we can ......
python生成器generator的用法
通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。 所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不 ......
神经网络优化篇：如何理解 dropout（Understanding Dropout）
理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
POLIR-Int-Generative AI in 2024: The 6 most important consumer tech trends for next year
Generative AI in 2024: The 6 most important consumer tech trends for next year Qualcomm executives reveal key trends in AI, consumer technology and mo ......
Generative AI generates tricky choices for managers
Generative AI generates tricky choices for managers Transformational technologies can be very trying THE REMARKABLE capabilities of generative artific ......
[论文阅读] Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation
Pre title: Learning Component-Level and Inter-Class Glyph Representation for few-shot Font Generation accepted: ICME 2023 paper: https://ieeexplore.ie ......
论文阅读-Self-supervised and Interpretable Data Cleaning with Sequence Generative Adversarial Networks
1. GARF 简介 代码地址：https://github.com/PJinfeng/Garf-master 基于 SeqGAN 提出了一种自监督、数据驱动的数据清洗框架——GARF。 GARF 的数据清洗分为两个步骤： 规则生成 (Rule generation with SeqGAN)：利用 ......
Rethinking and Improving Relative Position Encoding for Vision Transformer: ViT中的位置编码
Rethinking and Improving Relative Position Encoding for Vision Transformer * Authors: [[Kan Wu]], [[Houwen Peng]], [[Minghao Chen]], [[Jianlong Fu]], ......
Ansor：Generating High-Performance Tensor Program for Deep Learning
Ansor：Generating High-Performance Tensor Program for Deep Learning Abstract 高性能的张量程序对于保证深度神经网络的高效执行十分关键，但是在不同硬件平台上获取高性能的张量程序并不容易。近年的研究中，深度学习系统依赖硬件供应商提 ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
generative AI
Welcome to generative AI for everyone. Since the release of ChatGPT, AI specifically, generative AI has caught the attention of many individuals, corp ......
Generative AI: Friend or Foe?
Generative AI: Friend or Foe? Introduction Artificial intelligence (AI) is rapidly changing the world around us, and the writing and publishing indust ......
《MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models》论文学习
一、ABSTRACT 最新的GPT-4展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特性在以往的视觉-语言模型中很少见。然而，GPT-4背后的技术细节仍然未公开。我们认为，GPT-4增强的多模态生成能力源自于复杂的大型语言模型（LLM）的使用。 为了检验这一现象，我们 ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
Performance Improvements in .NET 8 & 7 & 6 -- Thread【翻译】
线程 .NET 的最近版本在线程、并行、并发和异步等方面做出了巨大的改进，例如 ThreadPool 的完全重写（在 .NET 6 和 .NET 7 中），异步方法基础设施的完全重写（在 .NET Core 2.1 中），ConcurrentQueue 的完全重写（在 .NET Core 2.0 中 ......