浦语书生大模型实战训练营01笔记

发布时间 2024-01-09 21:13:37作者: 编程随行

大模型总的发展趋势:单一模型处理单一任务到一个模型解决多个任务

书生.浦语大模型开源历程:internLM大模型发布-》全面商业、开源支持8k语境全链路开源体系》多模态预训练语料库开源发布-》1.1版本迭代升级,开源智能体框架支持语言模型到智能体升级转换-》增强版发布开源工具全线升级

书生.浦语大模型种类:1.轻量级(70亿参数,10000亿数据,8k长对话能力,多个调用模板支持)2.中量级(200亿参数降低耗时出结果速度变快,语料长度变成16k)3.重量级(1230亿模型参数支持,支持高精度api调用实现各类action的智能体),性能够强

应用上的一些特点:自动根据业务场景进行判断选择模型,减少算力需求

开源链路体系:1.2T多种类数据集

​ 2.预训练-参数微调

​ 3.支持低成本微调

​ 4.支持部署性能高

​ 5.性能复现语料库丰富

​ 6.支持多种智能体ACTION应用

微调:1.增量训练微调2.有监督微调,支持多种生态和算法适配多种硬件