instructgpt instructions training language
Coding Languages used in Smart cars
Smart cars utilize a variety of programming languages for different purposes within their systems. The choice of programming language often depends on ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
[ABC273D] LRUD Instructions 题解
[ABC273D] LRUD Instructions 题解 很好的一道大模拟，使我爆 \(0\)。 思路解析 大模拟，我们只需要用一个 \(x,y\) 表示我们当前的位置，而对于每一个移动，我们就判断在当前移动方向上离当前点最近的点，若该点在当前行进路线上，则把当前位置设为该点前面的一个。 其中判 ......
南阳师范大学 外国语学院 Foreign language school
省内外高校 郑州大学河南大学河南师范大学 信阳师范学院 安阳师范学院省外洛阳师范学院 商丘师范学院 北京外国语大学 上海外国语大学 广东外语外贸大学 西安外国语大学 天津外国语大学 大连外国语大学 四川外国语大学 ......
3_5 Interpreters for Languages with Abstraction
3_5 Interpreters for Languages with Abstraction The Calculator language provides a means of combination through nested call expressions. However, ther ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
C. Training Before the Olympiad
原题链接 题解 事实1.两个数合并后的数一定是偶数 事实2.如果没有发生奇数和偶数合并，那么最终的结果一定是所有数的和 事实3.每发生一次奇数和偶数合并，最后的结果会减一 总结 综上所述，Masha会尽量选择同奇或同偶合并，但在有同奇的情况下，会优先选择同奇，因为合并会产生偶数，且Olya需要用到奇 ......
CF1916C Training Before the Olympiad
思路 首先，我们可以考虑两个人会怎么操作，如果是选择了两个偶数和两个奇数，那么答案不会减小，如果选择了一个奇数一个偶数，那么答案会减小一。 所以想使答案大的人应该尽量选择前一种方案，想使答案小的人应该尽量选择后一种方案。 但这还不是最优的，想使答案大的人在可以选择两个奇数时，绝对不会选择两个偶数，因 ......
Language Models are Unsupervised Multitask Learners
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ OpenAI blog, 2019 ......
InstructGPT《InstructGPT: Training language models to follow instructions with human feedback》解读
背景 GPT-3 虽然在各大 NLP 任务以及文本生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 ......
GPT-3《Language Models are Few-Shot Learners》解读
GPT-3 和 GPT-2差别 1. 效果上，超出 GPT-2 非常多，能生成人类难以区分的新闻文章；2. 主推 few-shot，相比于 GPT-2 的 zero-shot，具有很强的创新性；3. 模型结构略微变化，采用 sparse attention 模块；4. 海量训练语料 45TB（清洗后 ......
GPT-2 《Language Models are Unsupervised Multitask Learners》解读
背景 GPT1采用了pre-train + fine-tuning训练方式，也就是说为了适应不同的训练任务，模型还是需要在特定任务的数据集上微调，仍然存在较多人工干预的成本。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
《OneLLM: One Framework to Align All Modalities with Language》论文学习
一、Abstract 随着LLM的兴起，由于其强大的语言理解和推理能力，在学术和工业界中越来越受欢迎。LLM的进展也启发了研究人员将LLM作为多模态任务的接口，如视觉语言学习、音频和语音识别、视频理解等，因此多模态大语言模型(Multimodal Large Language Model， MLLM ......
《Learning Transferable Visual Models From Natural Language Supervision》论文学习
一、Abstract 最先进的计算机视觉系统被训练用以预测一组预定的固定目标类别。这种受限的监督方式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何新的视觉概念。因此，直接从关于图像的原始描述文本中学习是一个有希望的替代方法，它利用了更广泛的因特网监督来源。 我们证明了预测哪个标题与哪张 ......
large language model evaluation
1 Evaluate medical model fine-tuned by llama 1.1 evaluation dataset here how to organize the dataset ......
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习 ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
Instruction-Following Agents with Multimodal Transformer
概述 提出了InstructRL，包含一个multimodal transformer用来将视觉obs和语言的instruction进行编码，以及一个transformer-based policy，可以基于编码的表示来输出actions。 前者在1M的image-text对和NL的text上进行训 ......
《ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst》论文学习
一、Abstract 构建能够感知现实世界多种模态信信号，并解决各种任务的通用模型，是人工智能领域一个吸引人的目标。 在本文中，我们介绍了ChatBridge，这是一个新颖的多模态语言模型，它利用语言的表达能力作为催化剂，来弥合不同模态之间的差距。我们证明，只需要使用双模态的语言配对数据（image ......
《MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models》论文学习
一、ABSTRACT 最新的GPT-4展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特性在以往的视觉-语言模型中很少见。然而，GPT-4背后的技术细节仍然未公开。我们认为，GPT-4增强的多模态生成能力源自于复杂的大型语言模型（LLM）的使用。 为了检验这一现象，我们 ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
A fast and simple algorithm for training neural probabilistic language models
目录概Noise contrastive estimation Mnih A. and Teh Y. W. A fast and simple algorithm for training neural probabilistic language models. ICML, 2012. 概 NCE ......
手搭train版的openstack
准备两台虚拟机分别作为controller节点和compute节点 主机 硬件 IP 虚拟机网卡 controller 2cpu+4GB内存+60GB硬盘 192.168.238.30 192.168.108.30 NAT模式 仅主机模式 compute 2cpu+4GB内存+50GB硬盘 192. ......
Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
目录概InstructRecInstruction Generation Zhang J., Xie R., Hou Y., Zhao W. X., Lin L., Wen J. Recommendation as instruction following: a large language mo ......
CentOS7离线部署OpenStack Train版本
CentOS7离线部署OpenStack Train版本CentOSOpenStack 一、在线安装OpenStack 在线安装的过程中，把下载的所有包都保存下来，然后导入到离线环境中再进行安装。 在虚拟机里装了一个CentOS 7系统，使用的CentOS 7 内核版本是：3.10.0-1160.e ......
CentOS7离线部署OpenStack Train版本
CentOS7离线部署OpenStack Train版本CentOSOpenStack 一、在线安装OpenStack 在线安装的过程中，把下载的所有包都保存下来，然后导入到离线环境中再进行安装。 在虚拟机里装了一个CentOS 7系统，使用的CentOS 7 内核版本是：3.10.0-1160.e ......
神经网络优化篇：详解训练，验证，测试集（Train / Dev / Test sets）
训练，验证，测试集 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 创建新应用的过程中，不可能从一开始就准确预测出这些信息和其他超级参数 ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......