上下文腐烂，是ai幻觉的一种特定形式。
他是什么意思呢？ 就是输入文本到一定长度，他就会对关键信息的注意力不足，导致自己瞎编造，从而出现幻觉。
Ai大概在2000多字就可能会出现这种上下文腐烂的问题。
当作者将自己的小说一章发给ai让它给出评价的时候，它就会因为注意力不足（上下文腐烂），从而产生幻觉，而ai的产家为了不让这个问题暴露，只能通过不停地夸奖用户，来麻痹用户的感知，（这个问题deepseek表现的最突出） 你会发现最近dp的有效内容输出越来越少，就是为了掩盖上下文腐烂的问题。 当然这个问题所有的ai都有，上下文腐烂的本质是ai对关键信息的注意力缺失，那么就要挺高ai的注意力，如果要提高注意力，就要增加算力。
根据那篇论文，现在最好的ai只要超过3w字就会上下文腐烂，而国内的ai我试过，2000字左右，只要关键信息一多，就会出现上下文腐烂问题。
关键信息是什么意思呢？ 比如，我这，1小明喜欢小红2小红喜欢小刚3小刚跟小明是好朋友4小明在麻麻纳大学上学，5小红在莉莉娅大学上学6小刚在咕咕鸡大学上学。 总共有六个关键信息，写在一个3000字的开头里， 但是因为ai的注意力不足，导致他只能注意到1235四个信息，而46两个信息会因为注意力不足，而注意不到，当你问到4和6相关的细节的时候，或者后文需要4和6相关的细节的时候，那么它因为没有多余的注意力去注意它（上下文腐烂），它就会开始胡编乱造出现幻觉。 当你输入的越多，但是他注意力只有4点，你在输入3000字，那么可能35两个关键信息就被遗忘，只有12两个关注点，这个时候，你再问他，或者让他给你产出一个新篇章，那他肯定会胡说八道胡编乱造。根据这个上下文腐烂这个论文来说，ai不可能这太长的书，就算有好的提示词，也不行，那些卖ai课的都是骗人的。