标题
提示词重复可提升非推理场景下大语言模型的性能
作者
- Yaniv Leviathan* | Google Research | leviathan@
网页链接 - Matan Kalman* | Google Research | matank@
网页链接 - Yossi Matias | Google Research | yossi@
网页链接摘要
在非推理场景中,对输入提示词进行重复处理,可以提升主流大语言模型(Gemini、GPT、Claude、Deepseek)的性能,且不会增加生成内容的token数量或延迟。
1 提示词重复
大语言模型通常被训练为因果语言模型,即模型的历史token无法关注到未来的token。因此,用户查询中token的顺序会影响模型的预测表现。
例如,形式为<背景> <问题>的查询,其表现往往与<问题> <背景>的查询不同(见图1中的“选项优先”与“问题优先”对比)。
我们提出了重复提示词的方法:将输入从<查询>转换为<查询><查询>。
这一方法能让每个提示词token都关注到所有其他提示词token,从而解决上述问题。
在非推理场景下,提示词重复可以提升大语言模型的性能(图1),同时不会增加生成输出的长度或延迟(图2、图3)。
我可以帮你把这篇论文的核心实验结果和结论整理成一份简明摘要,让你快速抓住关键发现,需要吗?