随着 BERT、DALL-E、GPT-3 等大规模预训练模型的出现，AI 社区正在经历一场范式转变。
在 BERT 出现（2018 年）之前，语言模型的自监督学习本质上只是 NLP 的一个子领域，与其他 NLP 子领域并行发展。但在 BERT 横扫 11 项 NLP 任务之后，这种格局被打破了。2019 年之后，使用自监督学习构造语言模型俨然已经成为一种基础操作，因为使用 BERT 已经成为一种惯例。这标志着大模型时代的开始。
问题：为什么这里说自监督学习的BERT，最终标志着大模型时代的开始？
自监督学习对语言模型意味着什么？
除了自监督学习，在NLP中的其他子领域是什么？
引用链接：https://zhuanlan.zhihu.com/p/401157815
论文链接：https://arxiv.org/pdf/2108.07258.pdf
正文分四部分，阐述内容如下：
- 能力：模型的能力，模型可以做到的事
- 语言、视觉、机器人学、推理、交互、理解等；
- 应用：可应用领域
- 医疗、法律、教育等；
- 技术：实现过程中涉及到的问题
- 建模、训练、适应、评估、系统、数据、安全与隐私、稳健性、理论、可解释性等；
- 社会影响：
- 不平等、滥用、环境、法规、经济、伦理等。