Language
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
南阳师范大学 外国语学院 Foreign language school
省内外高校 郑州大学河南大学河南师范大学 信阳师范学院 安阳师范学院省外洛阳师范学院 商丘师范学院 北京外国语大学 上海外国语大学 广东外语外贸大学 西安外国语大学 天津外国语大学 大连外国语大学 四川外国语大学 ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
Language Models are Unsupervised Multitask Learners
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ OpenAI blog, 2019 ......
InstructGPT《InstructGPT: Training language models to follow instructions with human feedback》解读
背景 GPT-3 虽然在各大 NLP 任务以及文本生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 ......
GPT-3《Language Models are Few-Shot Learners》解读
GPT-3 和 GPT-2差别 1. 效果上，超出 GPT-2 非常多，能生成人类难以区分的新闻文章；2. 主推 few-shot，相比于 GPT-2 的 zero-shot，具有很强的创新性；3. 模型结构略微变化，采用 sparse attention 模块；4. 海量训练语料 45TB（清洗后 ......
GPT-2 《Language Models are Unsupervised Multitask Learners》解读
背景 GPT1采用了pre-train + fine-tuning训练方式，也就是说为了适应不同的训练任务，模型还是需要在特定任务的数据集上微调，仍然存在较多人工干预的成本。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
《OneLLM: One Framework to Align All Modalities with Language》论文学习
一、Abstract 随着LLM的兴起，由于其强大的语言理解和推理能力，在学术和工业界中越来越受欢迎。LLM的进展也启发了研究人员将LLM作为多模态任务的接口，如视觉语言学习、音频和语音识别、视频理解等，因此多模态大语言模型(Multimodal Large Language Model， MLLM ......
《Learning Transferable Visual Models From Natural Language Supervision》论文学习
一、Abstract 最先进的计算机视觉系统被训练用以预测一组预定的固定目标类别。这种受限的监督方式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何新的视觉概念。因此，直接从关于图像的原始描述文本中学习是一个有希望的替代方法，它利用了更广泛的因特网监督来源。 我们证明了预测哪个标题与哪张 ......
large language model evaluation
1 Evaluate medical model fine-tuned by llama 1.1 evaluation dataset here how to organize the dataset ......
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习 ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
《ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst》论文学习
一、Abstract 构建能够感知现实世界多种模态信信号，并解决各种任务的通用模型，是人工智能领域一个吸引人的目标。 在本文中，我们介绍了ChatBridge，这是一个新颖的多模态语言模型，它利用语言的表达能力作为催化剂，来弥合不同模态之间的差距。我们证明，只需要使用双模态的语言配对数据（image ......
《MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models》论文学习
一、ABSTRACT 最新的GPT-4展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特性在以往的视觉-语言模型中很少见。然而，GPT-4背后的技术细节仍然未公开。我们认为，GPT-4增强的多模态生成能力源自于复杂的大型语言模型（LLM）的使用。 为了检验这一现象，我们 ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
A fast and simple algorithm for training neural probabilistic language models
目录概Noise contrastive estimation Mnih A. and Teh Y. W. A fast and simple algorithm for training neural probabilistic language models. ICML, 2012. 概 NCE ......
Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
目录概InstructRecInstruction Generation Zhang J., Xie R., Hou Y., Zhao W. X., Lin L., Wen J. Recommendation as instruction following: a large language mo ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
《REBEL Relation Extraction By End-to-end Language generation》阅读笔记
论文来源 代码地址 相关视频（YouTube） 相关概念： 1.What is natural language understanding (NLU)? Natural language understanding (NLU) is a branch of artificial intellige ......
GLIP:Grounded Language-Image Pre-training
Grounded Language-Image Pre-training 目录Grounded Language-Image Pre-training简介摘要Introduction统一的损失函数方法总结参考资料 GLIPv1: Grounded Language-Image Pre-trainin ......
国际化-语言代码表-Language Codes
af Afrikaans 南非语 af-ZA Afrikaans (South Africa) 南非语 af Afrikaans 南非语 af-ZA Afrikaans (South Africa) 南非语 ar Arabic 阿拉伯语 ar-AE Arabic (U.A.E.) 阿拉伯语(阿联酋) ......
什么是 SAP XML annotation language server
来自 SAP 官方的解释： The XML annotation language server accelerates how you work with annotations in the code editor. Context-sensitive code completion displ ......
Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning
0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
Towards Reasoning in Large Language Models A Survey
Reasoning 定义 推理：以逻辑和系统的方式进行思考，利用证据和过往经验来得出结论或作出抉择。 演绎推理Deductive Reasoning 结论来源于前提假设的阳性 前提假设：哺乳动物都有肾脏 前提假设：鲸是哺乳动物 结论：鲸有肾脏 归纳推理Inductive Reasoning 结论来源 ......
office the language DLL 'VBE7INTL.DLL' is not be found
其实是缺少vba，安装组件就可以了 解决方案：在卸载程序的面板中，找到office，右键选择更改，选择添加或删除功能，勾选如下两项就可以了 记得关掉office后再打开就好了 ......
学习笔记：A Survey on Large Language Model basedAutonomous Agents
挑选了自己感兴趣的部分整理了一下。 目录A Survey on Large Language Model basedAutonomous Agents1 LLM-AA Construction1.1 Architecture Design2 LLM-AA Application3 LLM-AA Ev ......
《PC Assembly Language》笔记——第一章-介绍
《PC Assembly Language》Paul A. Carter 第1章-介绍Introduction 1.2 Computer Organization 1.2.1 内存（Memory） 单位 大小 word 2 bytes double word 4 bytes quad word 8 ......
【论文阅读】Improving language understanding by generative pre-training
原始题目：Improving language understanding by generative pre-training 中文翻译：通过生成预训练提高语言理解能力 发表时间：2018年 平台：Preprint 文章链接：https://www.mikecaptain.com/resource ......