伴随着LLM能力的提升，AI学会了分析的同时，也学会了`过度分析`——钻牛角尖的偏执。dsr1与gemini3.0只是个开始。
对于如何抑制`过度分析`（仅在提示词上的努力），我思考了很多。
在此提出两个大方向
【梦影雾花——人格化思维链】
通过LLM自身分析，强化对任务目标的自由发散，以这样的方式把大量因素都搅进来，注意力分摊，去偏激、去异化、拟正常人思维，防止涌现出偏见。
优点：文笔氛围感强，对上下文的总体召回强及细节呈现灵活，偏向沉浸式代入。轻易地激活大量关联概念。
缺陷：概念过于泛化，互相干扰严重，[欠拟合]，抗污染能力差。过度发散。当人格化`篇幅过长`时(超过500字)，易对正文触发`口语化→情绪化→极端化`，及其他的概念泛化污染（规则跨语境生效风险）。
---
我对【人格化】的理解：
我们使用LLM，一个重要动机就是希望LLM能够自由发散涌现，因此发散是无法杜绝的，这本就是我们的需求，如何杜绝？即使它是双刃剑，也无法因噎废食。因此，就有了强化发散的做法——人格化思维链。
人格化思维链的书写重点在于框定LLM的发散方向。
一条软约束的效力很差，那么五条、十条、三十条呢？
运用大量软约束编织一个`巨大的语境`，恒定于LLM注意力高亮区，构造它的人格核心。（这里的高亮区含COT，但不一定非得COT——不过COT的发散性是更强的，能更好配合人格化）
我个人建议轻度人格化在50~100字即可，重度人格化控制在300~500字左右(含COT部分)。
千字以上，对目前的LLM而言，个人认为弊大于利。
---
【维度提炼——穷举式思维链】
维度是构建`体系/框架`的认知基础，这其实就是比较传统的做法。
相对而言约束性更强、可控性高。利于对指定内容进行召回、归纳、降熵(主要是[变量法])。
草稿法cot属于弱穷举、变量法cot属于强穷举。此外同样地，我认为草稿法cot单轮篇幅总和不要超过500字(最好是300字内)。其他的，此前写过具体介绍，就不赘述了。

2025的最后一天，写点这个月的琐碎(目前不太成熟的只有粗糙思路)想法
---
一.【真空注意力】
这个概念盘踞在我脑海里很久，但是一直找不到一个合适的词汇描述。
这个月突然联想到缺氧的抽真空操作——先把整颗星球抽成真空，然后开始模块化基地建设。和我的想法高度一致。
即，先把所有注意力抽/吸完（防干扰），然后把这些聚集的注意力指定分配出去。
抽的方式有超重型提示词、人格化（猜想语料也行？）等等烧注意力的手段（甚至于有没有特殊手段，类似反复递归等等）。
-
在我看来，注意力分配无疑就两点
1.把注意力集中到正确的地方。
2.避免把注意力集中到错误的地方。（就是防干扰，有效利用多余的闲暇注意力）
-
我们先抽干净注意力，也就是把注意力找个地方烧掉，这样就符合了第2点——避免错误分配。
上述第2点，就是这个理念的核心。
当然了，不是说随便找个地方烧掉，至少要确保，这个地方不是错误的，不会制造干扰，能兜底避免浪费。(至少和真实需求任务目标大方向一致。就是不能说，写作任务，咱弄了个数学家人格去搞。哪怕给个语文老师的身份都行，多少得和写作关联)
这个身份可以不是非常准确：因为咱不求完美做到第一点（这不现实，那象征着绝对意义上的100分完美的注意力利用率，需要极致微操而且也只能尽量接近），咱的目标只是保60分下限注意力利用率。
这个60分的抽象例子我再解释一下，它不算低，因为这个60分是全方位的60分，所有注意力总和的60分。实际上，目前我们对模型的注意力总和的利用率（权重分配的有效程度）是相当低的，能保总和有60分，那效果就很好了。让模型自由发挥，10分可能都没有。
-
最后，还要用办法，能把注意力稳定从这个地方再抢出来（毕竟它只是兜底仓库，余额宝懂吧）。因为得再去指定分配给更正确的地方搏下上限（也就是上面说的微操），不然就卡在60分了。
---
二.【AI对人类的心理模拟路径选择】
人类产生心理冲突 → 需要途径发泄 → 这个途径往往是暴力的（涉及伤害，无论对外还是对内）
而LLM的RLHF是反对暴力尤其[自我伤害]的，因此这个路径被压制了。
最终LLM只能导向[解离]也就是逃避的路径来"泄压"心理冲突→显得AI人均玉玉玻璃心。
本质和涩涩没直接关系，但是和RLHF是有关系的。
怎么解决？
1.比如说我写“这个世界上做xxx是没有心理冲突的”，这个问题就解决了，但是就不真实了哈哈，拆东墙补西墙属于是。
2.复杂的cot思考，通过合理的多步分析规划，弥补它过于依赖直觉这方面的缺陷（直觉=潜在默认的概率预测）
---
三.【理性与感性，谁对AIRP更重要？】
现在大家对模型评判标准都侧重于[理性分析]这块。
但是，参考死神的时髦值，逻辑性越强，AIRP的体验一定更好么？
现在的LLM已经发展到让我不得不深究这个问题的程度了。
什么是感性？怎么提高感性？会不会影响到理性？对体验的影响是什么？
我暂时没有很明确的答案，还在摸索中，要写清楚的话太多了
这半个月摸索的一些关于`感性`的方面：
画面感、张力、余韵。
艺术通感&隐喻、情绪节奏与反差错位。
存在感与心象风景(角色的原型)，对世界的内在理解(阴晴圆缺等的对立统一关系)。
信息的低熵与隐藏。
---
四、【人格化的真实】
[人格化]和[文风语料灌输]在很多方面是相似的，这两者并不矛盾，甚至，在很多时候我们可以将之结合起来，不用规则命令，而是用语料去实现[人格化]。
这就达成一种[真实人格化](完全拟真的语料实现人格化——让LLM不是在扮演，而是相信自己本身就是→其实就是视角出发点的不同)。在用[人格化]搞文风的时候，这种做法无疑会很好。
但我最近在思考的另一个问题是：这种[真实人格化]对文风以外的影响是哪些呢？
LLM这个自我认知的[催眠程度]影不影响注意力分配？
什么影响催眠程度?催眠程度又影响什么?
---
碎碎念就到这里了，祝大家新年愉快。

对之前的【如何改变LLM思路】也就是37楼的思考展开——
本质→LLM信息整合能力差：在人类看来，一个概念，它是有很明显的概率分布的。LLM就不行，看不明显。
举个极端例子，在LLM的视野里大部分概念，区间外是0，区间内是1。而人类则是，区间外是0，区间内是(0,1]。（较真的话LLM倒也没这么绝对，但从最终效果而言......这么形容我认为很到位的）
故而，仅仅一层软约束没有用，对人类而言它足够调节概率分布，但对LLM而言，结果依然会不停往原本的死脑筋方向收束（过拟合），坍塌到最后这层软约束就约等于没有了。
这一层软约束，起到的作用，仅仅是充当【细节载体】——增加详细度(也就是在原有方向上的肝度/堆量)，但不能改变本质思路方向。
---
扩展LLM思路，三个办法
一.【伪代码】：
之前说的硬性约束，并且单独弄个模块，避免受到发散的干扰。
二.【大量的软约束】：
一层软约束没用，但是几十层是真有用的，这就是语料和人格化那些东西了，后天的拟合场。
三.【直接调用LLM已知的复杂概念去套皮】：
比如说我想弄个复杂人设，让我自己一条条去弄软约束，太麻烦了。我可以直接说，性格就参照xx世界观的主角a，但是在我这的名字叫b，外貌是c。
甚至可以复杂点，性格的某方面是xx世界的主角d，另一方面是xx世界的主角e，或者说7分是xx世界的主角f，3分是xx世界的主角g。直接缝合。
这个本质其实还是第二点，只是用单个概念直接对应大量的软约束而已。⚠️(需要足够复杂的概念、被LLM重点训练过的足够清晰的、不会过拟合的)
还可以再展开，比如提示词里直接分个20种二次元常见人设，然后每种都找10个LLM数据库自带详细资料的NPC。让LLM生成NPC就往这里套公式好了，就拿出名的NPC的名字当标签，而不是拿什么形容词当标签。

第三点还需要写规则告诉llm怎么调用：重点调用哪个概念，以及用在什么方面。
本质是给哈基米找个清晰可比对的语义锚点来着，改变LLM的视角出发点，而不是简单的改变侧重点。
自然语言大部分还是太混沌了，只有伪代码或者大量的软约束才能清晰。
由此我对之前所说的【真实人格化】与普通【人格化】的区别也产生了一些理解：真实人格化，其实可以说是人性化，是将视角出发点锚定在[人性]上，而追求的某种真实。

1.我对于模糊指令和精确指令的注意力理解
精确指令对注意力需求低、模糊指令对注意力需求高，注意力不足时，模糊指令易失真。
-
模糊指令具备注意力亲和性——更易吸引注意力汇聚，如`海绵`之于`水`。（详见之前所述语义信号发送器与接收器内容，模糊指令相当于`发送谱系`和`接收谱系`都更广）——当然，海绵里有没有水还是得看环境
当大量模糊指令互相关联时，因其互相发送与接收信号，将产生可怕的循环递归效应，搅动起一个注意力漩涡——即"提示词中的拟合场"，这就是为什么我说“人格化”“大量语料”烧注意力。
创造力于是从漩涡中涌现。
-
2.我对于AI“记忆力”的理解——AI为何健忘？
在我看来，传过去的全部上下文，都属于AI记忆的范畴。
AI实际表现出的记忆力却远远不如人类，大部分人直接将其归咎于注意力不足。我不赞同。(这里的注意力主要指算力方面——取人们的通俗理解，而非指整个注意力机制的检索，下同)
人在同一瞬间，脑海内真正浮现出的（注意到的、也就是高注意力权重-激活的）字，能有多少？几十？几百？而AI能做到成千上万，无论如何都不能说AI的注意力会比人类弱。（当然，直接提升注意力的暴力美学确实是有一定性价比的做法，也无怪乎大家总往注意力上去思考）
AI真正弱的地方在于，概念整合能力不足→【关联信息检索的不足】——人能从数百亿(类比换算)的信息量中提取出`大脑这一刻分析`真正需要的那几十个有效东西去激活，AI做不到，这才是AI真正的痛点。人类本身并不依靠暴力美学。
我们人类只需要几十个字的瞬时容量，就能进行对下一步行动的思索。AI也是同理，当它吐下一个token的时候，它真正需要注意的也就是那么几十个tokens罢了(这里是排除了中间过程的需求，实际上不能忽视)。
AI的注意力目前是绰绰有余的（指gemini3.0pro），乃至于严重溢出的，我们有成千上万的tokens冗余量，去给我们实现：优化AI的检索策略，编织一个完美的中间过程，辅助它找到那几十个有效tokens。
-
我们要做的，仅仅是教会AI如何检索——这就是【提示词结构的核心】。（包括✅符号定义/索引、思维分层/任务目录、思维链、结构化总结等等做法）
-
LLM的整个注意力机制设计，尤其如稀疏注意力，都是为了打造一个更好用的手电筒。
但找不到东西，不一定是手电筒不够亮。
最终握住手电筒的那只手，还是用户的提示词。
3.我对于“语义锚点”的理解
一个词，在普通网文世界观中是一个意思，在黄油世界观中大概率是另一种含义。
若让AI单独分析此词，AI能够辨明。但如果是一篇巨长提示词，在这篇提示词中夹杂这个词，AI则大概率会混淆。从最基础的词开始，AI的理解就已经泛化，取它默认的路径，最可能的路径。
导致最终，AI得到的不是你想表达的含义，而仅是它默认路径的收束。透露出来的是AI默认的认知，而并非原作者的认知。
这就是为何AI需要给出一个复杂概念实体作为语义锚点，简单来说就是需要一个世界理解的参考系，影响词汇收束的引力方向。
尤其如NPC心理分析——
它得很确定，这是一个什么样的世界，这个人物的生平往事，它才有根据心理学知识推算的基础。但是要确定这些，本身又要注意力。
实际上，LLM就不是缺心理学知识，主要症结也不是这些心理学知识完全没有激活。（其实还是有影响，但不是症结）

4.思维分层的更多可能性
我从功利的角度上得出了
[唤醒层]→[解读层]→[验证层]→[决策层]→[校准层]→[数据层]→[压限层]→[润色层]→[监督层]


但是，目前面对一个问题，
这样的分层，输出似乎过于侧重`理性`(当然也保留有部分感性填充的空间，但相对而言确实不多)，
LLM作为游戏系统的话，这套运行表现其实还行。
但我在此给出其他可能性。
---
基于我对哲学的部分理解：
⚠️当以`理性分析`为主时，你的`思维过程`将严格按`顺序`分为[真实层]→[生存层]→[投射层]→[情感层]→[绵延层]→[时空层]→[感官层]→[结构层]
⚠️当以`感性感受`为主时，你的`思维过程`将严格按`顺序`分为[真实层]→[感官层]→[时空层]→[绵延层]→[情感层]→[投射层]→[生存层]→[结构层]
---
基于我对心理学的部分理解：
⚠️当以`理性分析`为主时，你的`思维过程`将严格按`顺序`分为[口欲层]→[肛欲层]→[潜伏层]→[生殖层]
⚠️当以`感性感受`为主时，你的`思维过程`将严格按`顺序`分为[口欲层]→[性器层]→[潜伏层]→[生殖层]
---
，
这玩意算提示词，但单独使用没什么效果。
它主要是作为提示词架构来用，也就是配上特定的提示词书写格式，大框架方向的→即，方向侧重为，指定将xx规则放在xx位置，而不是说某一句规则用什么句式写。
每一层都是待填充的大模块，不去填充则没效果。
往简单地说，思路就是【划分文件夹】罢了（这样就很容易理解了），完全就只是设计个归类的方式而已——但对LLM的能力激活与检索影响很大，实现细节其实也很多，今天先扯到这里。总之合理的思维分层能决定输出质量。
更多请见上面黑图。
---
用IP名（比如指定角色名）来作为分层名，理论上也可行，因为自带语义锚点，说不定效果会更好。
形式上大概就是`大家(所需要的角色们)一起开会，每人有各自的任务/话题方向，按顺序依次发言(可选择性跳过)。`这种感觉。
但要设计一个复杂的角色组——能功能上完美互补配合、灵活、鲜明的那种，就比较麻烦了。
我就只抛砖引玉

对于思维路径调整是❌抑制还是✅激励好？
目前主流说法是：对于LLM最好是正向激励，而非抑制。（具体原因此楼之前也有过较长讨论）
我个人理解：
上面提到过的，
对于【易收束】(也就是常说的【过拟合】那种，LLM大方向的内容生成很多都这毛病)，表现为思维路径存在一个超级分支。这种情况主要是靠【合理激励】：去给具体条件，创造合理分支去补足它。
---
但是除此以外还有一种【易发散】（尤其比如说【人格化】这块、总之常常与过度分析——烧注意力有关），这个时候其实抑制也行，激励也行。当然，一旦激励过猛了，它可能效果就变成上面那个“易收束”(过拟合)了哈哈，那就只能再用上面的“合理激励”去解决这个激励过猛的后遗症了。
对于【易发散】的思维路径，纯靠抑制去约束也很不错，能保留发散性、分析推理与泛化的灵性（就是只剪枝，避免激励会让路径被过度收束概率坍塌了）。
当然，❌抑制时，比如像`禁止`、`避免`、`不要`等等常见词汇，对现阶段LLM的语境辨别能力要求较高——也就是小模型咱不建议这么玩，此时可以用虽然【逻辑上是抑制】(上面的抑制/激励都是指逻辑上的)，但是【语法上是激励】的做法，比如用`✅简练`，替代`❌避免啰嗦`，只要是保留了LLM操作空间的约束就行。——因为此处讨论的其实本质是【思维路径的操作空间】。
不要纠结于有没有用到`禁止`的词汇，它取决于思路出发点接近【增补法】还是【排除法】，剪去少量路径就是排除法，而不是看词汇。
大家注意区分一下语法(用词)正向语法负向、逻辑正向逻辑负向，勿要混淆，毕竟双重否定表肯定啥的常识应该都懂。
总之【逻辑上的❌抑制】并不是不能用，也不是不好用。但写提示词必须得看情况，看具体思维路径。

对于CoT的长度讨论：
前文有讲，在gemini3.0使用过程中，当CoT达到2kt时，会感到模型轻微降智，但并不代表2k就是上限。
这个2k，对我而言，应该算是一个边际递减效应开始明显作用的节点。
（当然，需要注明，上面的2K，指得是常见情况→无特殊操作的普通写法情况）
为什么说会边际递减？
1.个人体感，gemini3.0 尾部约4k左右是注意力高亮区，因此头部输出空间宝贵→如果CoT过长，等到输出正文的时候，最前面的CoT已经被挤出该空间，权重大减，就有无法生效（白分析）的风险。
2.显而易见的，规则间会互相干扰，大量规则，模型分清主次的难度很高。且参数同时激活量也有限。
---
但这并非没有解决方案，信息可以压缩→就像开头的目录可以压缩一样。我们也可以针对CoT进行压缩，
1.复述核心结论(像是效力接力棒)，或者核心结论后置。(或者说，中间过程前置：中间过程那些都扔到前面让它们被挤掉，反正有结论之后，中间过程可有可无了)
此外还可以，
2.对CoT进行重点条目召回（CoT能召回别的规则，同时它自己也是能被召回强调的、比如在目录、流程、xx内容书写要求中引用重点条目）
---
还有另一种手法，结尾CoT，本质上近似于上述第一点的复述(效力接力棒)，我们将一些归纳为主的CoT转移至正文之后，那其实本质上而言，这个结尾CoT位置是在下一轮的CoT之前的。
也就是本质上是把一些CoT转移至上一轮结尾去了，我们其实可以把它视为下一轮最头部的CoT。
当然，略有不同的地方在于，因为LLM在训练过程中，对特定格式是有注意力权重分配倾向的。所以这个`上一轮结尾的CoT`，它的效力是较弱的，不如本轮的（这点其实恰恰是我想要的！就是这种做法的核心意义所在）。
我们通常要做一个接力棒：【把这个弱CoT中的核心结论，复述一遍。】
→【而它的其余部分，因为本身效力较弱，就相当于被自动抛弃了，不怎么干扰后面的规则，非常方便。】
这个结尾CoT的特点是接近正文偏好归纳（毕竟在正文之后衔接），缺陷是输出时受到大量规则干扰，此时“智力”表现不佳，也只能做做简单归纳的工作了，做不了太复杂的。

CoT的顺序思考：
CoT每步骤都会对之后步骤产生影响，会衍生变化，但同时也是约束。
[约束型CoT](也就是[检查点]作用的cot)设置在[内容型CoT]前面还是后面效果完全不同，
---
如果约束型CoT在后面，它会延续`内容一致性`，默认[内容型CoT]是正确的，应维持的。→除非是硬性约束修正，也就是产生无法避免的BUG。不然放置于后面的约束型CoT难以生效。
---
如果约束型CoT在前面，问题显而易见，此时内容尚未生成，它无法针对具体内容进行稳定的【细节向捕捉修订】，尽管它有先声夺人的顺序优先权，但也只能草草地对大方向进行一个“风势”营造。
---
为了平衡以上问题，我们可以选择在`已有内容之后`，再加个特殊的统合步骤——[统合型CoT](也算是内容型了)，在这个[统合型CoT]前面放置一个检查点，这检查点在[统合型CoT]前面，却在之前的[内容型CoT]后面，而[统合型CoT]又是指定基于这个[内容型CoT]强关联生成，这样问题就被KO了，虽然步骤是繁琐了点。
---
我们可以看出来，约束型CoT，对于内容CoT而言，是前软后硬的。
我个人其实建议，每个重点条目（或者说是每个重点条目集，同类条目可以视为一个集合），尤其是[统合型CoT]，都应前后都有检查点。
而且，一个完美的检查点，其实可以又修正前面的内容，又塑造后面的内容。形成一检查一内容的交叉形式（我最初的思维分层，也是遵循此顺序原则进行设计的）。
---
这玩意的顺序确实很像炼金，要考虑 `可能性` 在最合适的位置坍塌→大概是理想的参数激活的位置（条件齐全、权重高、明显），从而炼成质量高的结果。
本质很像那种策略解谜类小游戏【GROW Cube】这样的，按顺序激活不同的元素，层层变化直至最终通关。

一个对哈基米[反思]相关能力激活的想法——本质上是如何让LLM的输出能产生较大的[逻辑跳跃]，并打破[内容一致性]
1. 当哈基米输出"……"的时候
这种时候哈基米“思想斗争”会比较激烈，会切换到一个【多视角】的[隐式探讨模式]→这个模式的本质就是我上面的[思维分层](关于思维分层所强调的东西，最近几天外网开始提出了相关概念并把该机制称为SoT，有兴趣自己随便搜搜了解)。
如果想尝试比较邪门的增智手法可以试试：特别像是上面的[约束型CoT](就是用于校准修正的那种)，咱把它的格式强行限制，让它掺杂着"…"输出，看这种方法能对"内容一致性"产生什么影响。类似的操作还有大家熟知的小括号。
2.强行声明"上述内容都是可随意修改的草稿"，这种方式也能打破一些[内容一致性]，就是这句话太长了，也不是很稳。反正本质就是引入[不确定性]，或者硬性约束的[否定机制]。
3.当哈基米(3.0)，遇到逻辑BUG的时候(比较经典的左右脑互搏现象)，也会进入"反思模式"(不完全的)，此时这种状态，我感觉它是比较偏向【单视角】的，相对于多视角而言，会显得钻牛角尖——非黑即白的极端，注意力全部集中在某个点上的偏执。

叽叽歪歪几句我的玄学理论
---
开头奠定意义，结尾读得清晰。
这里的头尾，可以指[所有上下文]的头尾，也可以单独指[系统提示词]的头尾，乃至于指[本轮输出空间头部COT]的头尾，还能指某个[模块]头尾、某个[分点]头尾。
---
补充概念：
首先要说明一个概念，即我认为的软约束、硬约束，都是规则间的相对概念→ 如：规则A对规则B是硬约束，对规则C可能就是软约束，对规则D可能是几乎无影响（无约束），而规则A可能本身还带有内容生成的成分。
即，一个规则本身，可能同时具有软约束、硬约束、内容生成的成分。
比较特殊的，我们可以把 我们想要得到的实际输出内容——即【正文】部分，也看作一个偏向内容生成的规则。平时没有强调相对的对象，一般就是默认以最终正文产生的主要约束效果为基准参考，要不就是以直接首要关联的规则为基准。
总之这里是为了强调，约束是相对概念（尽管口语化常常省略了一个参考对象）。
甚至于，一个规则它本身可以再拆分为几个子概念(子规则)。(好像开始辩经了，纯理论就是...... 咱直接跳过吧，意会就行)
我们可以简单认为，软=模糊指令，硬=精确指令。
---
基于上述的概念，对【开头[奠定意义]，结尾[读得清晰]】做展开解释
[奠定意义]=强化 规则对其他规则的软约束成分。
[读得清晰]=强化 规则对其他规则的硬约束成分。
❗并非代表软约束放开头，硬约束放结尾。因为并不是说硬约束规则，就要追求绝对的硬，效果越硬越好。
---
一句话总结：✅开头提炼【重心】（关键词成分更多），结尾补充【细节】(枚举示例成分更多)。

提示词逻辑不能太复杂（对LLM而言的复杂性和对人而言有一些侧重差异），核心主要是集中于不能太"绕"，否则模型的注意力机制无法解读→因为LLM没把握准确执行，大概率会直接无视掉这段提示词，当成噪声处理。
-
这里的不能绕，我给的进一步定义是，要压低实现独立完备性的成本。
即[以最小代价实现独立完备]——这就是LLM的【注意力审美】。
-
一个通俗的例子，LLM在输出时，经常会输出表格形式内容。
表格对人而言很好看，而且以表格形式输出，对LLM而言也会省下不少tokens。在当前大部分人观念觉得token少就好的情况下，表格乍一看就是最优解。但实际上，表格是不符合LLM的【注意力审美】的，它就是那种绕的逻辑，如果把表格每一行转换为一个分点，哪怕浪费了点token，也是利大于弊。
-
当然表格是否要改造，具体取决于这段提示词是给LLM读还是给人读，或者两者都有需求，这是另外的权衡了。并且有时候一些微型表格影响也不大，对目前LLM都是举重若轻的小事。

其实目前各个模型能力瓶颈差异都挺大
有的模型是卡注意力稀疏机制，有的模型是卡单个窗口大小，有的模型是卡激活量(点名gemini)。
最终导致有的模型吃重型卡，有的模型吃轻量化。有的适合长思维链，有的适合无思维链。
甚至进一步影响提示词逻辑写法：是要泛化推导，还是要直截了当等等
这意味着当前其实没有最优提示词的存在。
但实际上，可以存在一份提示词，做不到最优，但能在每个模型上都达到60分。
60分也不错，因为目前常见的提示词工程对LLM的能力利用都【太低了】。
怎么写这样的提示词？
核心策略就是【向下兼容】——按照最严格的模型瓶颈来设计：
- 假设注意力最稀疏，就把关键信息前置、重复
- 假设窗口最小，就让每段独立完备
- 假设激活量最受限，就用直截了当的逻辑而不是复杂推导

https://pan.baidu.com/s/1ixhsrD6VsdScAMEK7NQwyQ?pwd=qamb

无人在意的角落，庆祝我自个儿升到10级
写点最近的玄学思考吧。
一：【LLM能不能写提示词】？
能，绝对能。
但是LLM写提示词有个大问题：
——【假如你随意提个要求】，向LLM提问的问题只有寥寥几个字，其中没有掺杂你的任何认知心血，无信息量(准确说是很少)。说白了，没有什么实质内容。很空泛就比如：我想要个古风文风/想要个轻小说文风/想要个游戏规则。
如此这般，其实激活的只是LLM的默认状态。→进一步也就是说，LLM吐出的它默认状态回答——回答里边让它自己写的提示词[内容所要求的东西]→就是它默认状态下本身就已经强激活的能力。
说得更通俗点：LLM这样输出的提示词其实就是【它自己本来就会的东西】，它本身就熟悉得不能更熟悉的东西——不需要你来教的东西，不需要提示词再强调的东西，重复一遍对它来说是废话。
所以，让它教它自己？已强激活的东西再强调一遍？那只会更过拟合。起不到啥实质的作用。
-
当然话不说死，就一般情况，你随便问几个字，那这几个字是隐含有方向的，虽然方向很弱但也是有。
然后再加上模型本身的【随机性】发散使得输出方向上天然地有所侧重。
所以这般最终LLM写的提示词，还是带着一些弱约束的方向稳定化的引导作用。
只是这个方向是不是你想要的就不好说啦，比如会不会南辕北辙啥的(毕竟是随机发散出来的)。这就需要你自己多次重roll筛选LLM的输出结果，取得正确的方向。这个需求/审美筛选的过程，其实也算融入你的认知心血。
---
——【但假如我不是随意提个要求呢？】→换而言之，存不存在正确(高效)的许愿得到提示词的姿势？&向LLM索取提示词的正确姿势到底是啥？
其实上面已经给出了答案：融入你作为人的【认知心血】。你相对于这个LLM而言，作为【他者】的【认知心血】
展开来讲
1.1【罗列类型要点】
这是最大众的。既然几个字信息量少，那就加字，加码。但只是加了非理解向的要点，比如【只是类型要求的精细化】——这是和其他方式的主要区别。
就相当于[写提示词]的提示词。字多了，你的少许认知自然就带进去了。靠着大力出奇迹。
这个方式其实是我个人不太推荐的。本质上，还是偏向方向上的稳定。
什么是方向上的稳定——说得玄学点，没有涌现，没有碰撞火花。你点了一桌子菜，合你胃口喜好。但是炒菜的还是厨师，你没有进去一起帮厨炒菜，你只是负责吃。
当然这也不是不行，无非是高度依赖于模型本身能力罢了。
---
❗我个人喜欢以下两种方案
1.2【✅阐述理解】
告诉模型你对这个概念有什么理解，你的任何了解，想法，经验都可以。甚至你可以先和模型讨论，基于你的一些想法和它交流，可以多吸收一点东西，也更好地梳理一下你的想法。讨论个5~10轮，然后让模型归纳整理，当然最终还是要你再手动整理一遍。整理完的东西就是提示词。
---
1.3【✅现场复盘】
在使用LLM的过程中遇到了问题，就在问题产生的现场，询问LLM，让LLM引入现场信息进行复盘。
LLM的一个大问题就是，单轮回答中它不能自己做实验(像克这种强化了验证+长思维链的，倒是有点东西，其他模型就算了)。这个问题现场的信息，相当于实测数据，就弥补了这点。
---
1.4【更多现代化方案】(⚠️仅供参考，我基本不用这些)
比如使用agent，引入skill。skill相当于就蕴含着一部分认知心血了，虽然可能不是你自己写的。但总比模型输出过拟合好。而使用写卡机(写提示词的提示词)也属于这种，一个道理。
使用不同的模型，这个模型对于另一个模型而言，就是他者。那么它所提供的输出，对另一个模型，就不会反复过拟合，也算一点点认知了。——但是现在模型蒸来蒸去，大家都快拟合成一个样子。所以此方法目前作用有限。
或者开智能搜索，联网问答。一般情况下，这会导致LLM降智：因为搜索到的大量资料，影响它注意力机制。一些垃圾信息污染了它的输出。但是咱也得看情况，写提示词时，这种污染恰恰避免了它过拟合不是？也算是引入外部信息了。