我对跑分看得比较少,因为我认为模型复合维度,哪怕精简化至少也有上百个,想用简单的低于十个维度去评判一个模型能力。那就是看个乐,除非是差距一个量级,不然10-20%估计都看不出啥来。我注重实践更多
-
实测下第一感受,目前是在30wtokens环境下,能够理解我设计的复杂机制
在之前的版本中,这个复杂机制,如果我不用关键词去强调,强行聚焦注意力,正确触发的概率连1%都不到,甚至我用关键词去强调了,依然有一半概率不能理解。
而目前的版本,我完全没有特意强调,正确率高得惊人。
这有好几个可能性,比如说理解能力提高,一个是能够省下来大量注意力来判断我的机制,另一个是同等注意力能处理更复杂的逻辑。也有可能就是谷歌单纯加算力了,给模型强行堆数值比如强行扩大注意力窗口等等。
-
但反正在我看来,这个提升非常恐怖,意味着——设计复杂机制矫正AI能力的做法存在相当可行性了。
相当于系统提示词对模型的 可塑性的影响 大大提升。
-
实测下第一感受,目前是在30wtokens环境下,能够理解我设计的复杂机制
在之前的版本中,这个复杂机制,如果我不用关键词去强调,强行聚焦注意力,正确触发的概率连1%都不到,甚至我用关键词去强调了,依然有一半概率不能理解。
而目前的版本,我完全没有特意强调,正确率高得惊人。
这有好几个可能性,比如说理解能力提高,一个是能够省下来大量注意力来判断我的机制,另一个是同等注意力能处理更复杂的逻辑。也有可能就是谷歌单纯加算力了,给模型强行堆数值比如强行扩大注意力窗口等等。
-
但反正在我看来,这个提升非常恐怖,意味着——设计复杂机制矫正AI能力的做法存在相当可行性了。
相当于系统提示词对模型的 可塑性的影响 大大提升。












