KVCache

在GPT的推理过程中，它根据完整的提问和回答的已生成部分，来生测下一个词（的概率）。 例如，我们的提问是【天王盖地虎，】，回答是【宝塔镇河妖。】。 那么第一次，GPT根据【天王盖地虎，】生成【宝】，之后根据【天王盖地虎，宝】生成【塔】，以此类推，直到碰上终止符。 这里面提问【天王盖地虎，】的QKV实 ......