Instruct

## 数据收集细节 InstructGPT中数据收集是一个关键的过程，包括收集什么类型的数据、如何筛选标注人员等等。InstructGPT类型的数据是与InstructGPT三阶段训练相对应，而筛选标注人员，则是为了收集的数据质量更高。从下面数据收集细节可以看出为什么要进行标注人员筛选。 ### 标 ......

## 总览 大规模“指令调整”的语言模型，即**指令微调的LLM**，已经表现出非凡的**零样本能力**，尤其是推广**新任务上**。 然而，这些模型严重依赖于人类编写的指令数据，而这些数据通常在数量、多样性和创造力方面受到限制，因此阻碍了调整模型的通用性。 基于上述背景，作者提出了**Self-i ......

https://www.bilibili.com/video/BV1hd4y187CR 在刚刚结束的 NeurIPS 和 EMNLP 上面，有一个很有意思的现象，就是大家都在讨论一个工作，这个工作既没有发表在 NeurIPS 上面，也没有发表在 EMNLP 上面，它甚至连一篇论文都没有，这就是 Ch ......

NLP的四范式 NLP发展到今天已经进入到了LLM的时代，随着模型越来越大，在zero-shot/few-shot的情形下也表现的越来越好，NLP也进入到了新的研究范式里面。学术界按发展时间线将NLP归纳到四个范式： 1），传统的基础学习范式。 2），基于word2vec，cnn，rnn的全监督深度 ......