GPT前世今生-二刷论文
1 GPT3 专门网站
提供api ，开放各种任务
2 GPT2怎么来的
transformer 编码器+解码器
-> GPT 只是使用了解码器
-> BERT 使用了编码器
-> GPT2 1）使用解码器 2）多任务学习变化 带有prompt， 提示词的标注。
zeroshot
3)参数量增大
-> GPT3 1）使用解码器 2) 多任务学习变化 带有prompt， 提示词的标注。 zeroshot oneshot fewshot 3) 参数量提升100倍
3 GPT3与chatGPT关系
GPT3 旨在完成AIGC任务， 可以胜任文本生成，诗歌生成等，chatGPT，仅在聊天对话方面特别突出。
4 名词解释
AIGC->GPT3->chatGPT
->GPT4
AIGC：ai生成内容
5 他们的参数量级
GPT2 GPT3 chatGPT
参数：17亿 1750亿 13亿
算力大小：6G 670G 5G
6 GPT3与GPT2关系？
GPT3 1 使用了zeroshot ， oneshot ， fewshot ，做了大量实验
2 参数量 提升了100倍
3 结构为宽度和深度变化
引入了sparse transformers 层结构 具体可以参看论文
7 RL在哪里？
可能是在训练chatGPT中实现的。