如何高度优化适用于企业的AI (三) 上传及微调模型

发布时间 2023-06-27 21:37:56作者: KhalidDu

接下来, 我们就要上传我们的数据, 来训练我们自己的模型了

openai api fine_tunes.create -t XXXX_jsonl-m davinci

这行命令的含义是, 我们调用openAI的api 通过微调的方式来创建一个模型, -t的含义是指定要使用的truning data, -m的含义是, 指定要使用训练的模型, 如果不写, 则可能会默认使用最老的模型, 当然, 这里每个模型用于训练的时间是不同的
image.png
这里我们使用davinci模型来进行微调
这可能需要等待一段时间
在这个过程中可能会出现, 客户端断开连接的情况
image.png
但这并不意味着, 我们的微调失败了, 而是, 不再向我们提供实时更新
我们可以通过执行
openai api fine_tunes.follow -i ft-6oDIQl93mRzLXXXXXXXXXXXXX命令来查看我们是否微调结束
当然, 我们能做的, 也只能这么来看微调是否结束
image.png
直到展示出上面的信息, 我们微调模型, 正式成功且结束
那微调成功了, 让我们来尝试一下我们训练的模型
这里我们可以在https://platform.openai.com/playground页面进行微调模型的测试
image.png

image.png
image.png
响应是成功了, 但是, 我们又迎来了一个新的问题: 随着我们提高max_tokens, AI胡说八道的数据原来越多
但到此为止, 至少基础机制是成功了的
接下来, 让我们开始弄清楚到底出了什么问题

关注一下, 持续更新~
公众号