第一讲

发布时间 2024-01-13 16:47:31作者: viewoverlook

大模型受众广泛原因

成为发展通用人工智能的重要途径

过去使用专用模型,一个模型一个问题;现在提倡通用模型,即一个模型应对多种任务,多种模态。

书生浦语大模型

image.png

从模型到应用

image.png

开放体系

  1. 数据: 多模态融合(领域广泛), 精细化处理(数据经过清理和筛选),价值观对齐
  2. 预训练:高科扩展,极致的性能优化,兼容主流,开箱即用
  3. 微调:增量续训(模型学习新知识,如某个垂类领域额度知识),有监督微调(理解遵循各种指令或注入少量领域知识),多种生态,适配多种硬件(NVIDIA 20系以上所有显卡,最低只需要8G显存即可微调7B模型)
  4. 部署:大语言模型特点(开销大,动态shape,模型简单transformer结构且大部分decoder-only),根据特点提供LMDeploy来提供GPU解决方案
  5. 评测:OpenCompass评测集
  6. 应用:局限性(最新信息获取,可靠性,数学计算,工具使用与交互),由此让大模型向智能体转变