你是在那看了野鸡营销号

缓存机制已经在尽力优化了，现在缓存的token价格只有10分之一

只是把一些已经固定的知识专门存起来，模型可以直接查表获取这些知识，而不是像以前那样还得推理。

应该思考东西更多更快了，毕竟把固定知识当做不用推理

这和模型本身关系不大，一般都是靠各种外挂的记忆工具和检索工具之类的。模型本身能做到应该最多也就是注意力机制之类，这只能让它的表现变好，附带上下文还是根本手段省略不掉。

怎么说呢，深度去理解那个论文，我个人感觉是类似于，就是类似哈，是把聊天内容全都缓存进内容，然后利用rag全量检索。并不是每一次都附带全部上下文。
当然这只是浅在的一个理解，他们团队肯定是有升级方法。