大型语言模型的科学挑战 | 2023 人工智能大会青年科学家论坛
复旦大学 邱锡鹏
MOSS模型开发过程
-
中文预训练基座（CPT, CBART）2021.9
-
对话模型（MOSS）2023.2
-
工具增强（MOSS-Plugin）2023.4
大模型时代，自然语言处理还存在吗？
graph LR
G[V1]-->A1
A1[输入]
B1[基础模型]
C1[词法分析]
D1[信息抽取]
E1[特定任务]
F1[输出]
A1-->B1
B1-->C1
C1-->D1
D1-->E1-->F1
H[V2]-->A2
A2[输入]
B2[基础模型]
C2[词法分析]
D2[信息抽取]
E2[特定任务]
F2[输出]
A2-->B2
B2-->C2-->F2
B2-->D2-->F2
B2-->E2-->F2
I[V3]-->A
A[输入]
B[LLMs]
F[输出]
A--->B
B--->F
-
生成范式为主流
- 代表模型：Google BERT
- S2S: Google T5
- LM: ChatGPT
-
大模型带来的问题
- 同质化严重
- 赛道拥挤
- 重回特征工程
- 算力高消耗高
- 评估困难
大模型的科学价值
- 基于Transformer的语言模型（自然语言的语义组合）
- 思维链能力来源
- 大模型训练目标（端到端训练减少泛化误差）
- “幻觉”（模型生成不正确无意义的文本）
当前多模态模型
- Modality-specific encoder
- Multi-model input -> text output
- Text instructions
- Continous encoding
SpeechGPT模型
- 接入语音离散化导入GPT
- 实现跨模态接入（实现多语言，多方式输出）