ChatGPT的训练费用以及成功原因

发布时间 2023-11-16 14:32:49作者: Angry_Panda

 

参考:

https://baijiahao.baidu.com/s?id=1772914234034992726&wfr=spider&for=pc

 

 

================================

 

 

关于ChatGPT的成功原因,引用中的回答:

益于ChatGPT商业和营销方面的成功,能够瞬间让人们目睹了大模型的可落地性,而不是继续隐匿在漫长的技术迭代中。

 

 

一个是预训练成本问题。

国盛证券曾经估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。

包括在今年1月,平均每天约有1300万独立访客使用ChatGPT,对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。