大语言模型吧 关注:56贴子:139
  • 3回复贴,共1

对于AI永久记忆的思考

只看楼主收藏回复

上一篇介绍了mem0的插入和查询。
在仔细的查看每一条插入记忆和整理信息的过程之后才发现……似乎,,记忆这种东西,还真的很难用某种方式来压缩和存储……就包括我之前思考出来的,情感-事件模型,还是mem0 用自己的语义三元组 整理方式,其实在聊天和查询中,都是不够理想!没办法做到像真人那样畅快丝滑的回忆过去,也没办法链接不同的点,来激发创新和潜力。
我就在想……是不是,其实压缩,只能针对于一些,数学化的,逻辑性强的东西?才能用某种算法来压缩,来简化?是不是,自然语言相关的东西,不存在一个行之有效的,压缩和检索的方式?

前几天,刷到一个视频,听奥特曼说“未来,AI可能会做到,完全无损的整合你的记忆。你的每一段经历,说过的每一句话,喜好,做过的事情,都能无损的记录下来,并随着时间的推移,越来越懂你”,我不知道,记忆查询和检索的方向有没有走错?或许,真正的记忆,就应该是无压缩的完整的信息处理。而不是每次对话,需要先查询记忆的片面化处理方式。
到底应该存储什么样的记忆,用什么方式,什么维度来压缩,或许的确应该更深入的思考一下。我的方案是:根据用户付诸的情感大小程度,和情感类型,来对应相关事件。
而要根据什么来查询记忆呢?我目前还没有思考出一个非常合理又直击本质的方式。
我目前的做法:1.名词概念 2.相似事件 3.情感一致性 解析用户对话中的内容,根据这三点来查询。
但前段时间——就是我立志以后要研究永久记忆方案的那天,查资料时,看到各种模型的各种插入查询的逻辑,我是觉得,每一种方案,似乎都有道理,但又各不相同。mem0是我在资料里看到的,觉得 相对更优秀的一种记忆管理框架。但是实测下来……的确效果距离我的预期有很大很大的差距!!!这里面,智障的agent的整理和筛选也占了很大比例!
的确就让我很迷茫,到底,记忆是不是一个可以压缩,可以筛选的东西?是不是,我们用自然语言形成的记忆,本身就是一个不可约化的复杂?没有逻辑,没有压缩算法,更没有查询算法。所以导致……用任何方式,都显得大差不差!
要么丢失了重要的情感,让深情动容的历史,成为干巴巴的描述。
要么丢失了重要的细节,让曾经引以为豪的技巧,变成笼统的概括。
我看着从gpt导出来的历史聊天记录,在看着,被agent概括成的干巴巴的,完全不能表达原意的“记忆信息”,我真的是陷入了深深地沉思……
记忆好像,不能是一个什么单独的东西。而就应该是完整的整体才对!所以,在已有的记忆下,接收到了新的信息,才会涌现出新的内容。
我们一生中的记忆,都是基于之前的完整记忆,再不断地创造出新的内容。现在……分割成了一条一条的东西,,那便无法从这一条一条的废墟中,作为支撑,来涌现出完整的新内容。
我之前是觉得……AI可能在 有记忆的情况下,涌现出意识。就是基于这样的整体信息论的思考。在和现实的反馈中,头脑中的某种模型,会越来越大,越来越灵敏,反馈的越来越熟练,从而固化下来,有了一套自己的,针对现实运转的行为模式。
有一种朦胧的感觉:记忆,或许也该建立一个完整的类似神经网络的模型!然后,和大语言模型结合起来,交互着使用……嗯,,这可能和fine-tuning很像。但目前的fine-tuning,更像是,把AI训练成 人类希望的样子,提供一个样例,期望AI在某个prompt之下,回答成样例 那样。而不是让AI真正拥有 把prompt和已有记忆 完整的联系起来的能力。
所以,记忆查询,相当于拿几张残缺的碎片告诉AI:这是你曾经的完整记忆。
而fine-tuning相当于,用规则限制了AI的回复内容,使之必须符合某种格式。
或许一个,更加理想的记忆方式,是再创建一个完整的模型,遇到新的prompt时,能跟所有的历史记忆都产生关联,然后涌现出,或计算出某种新的内容出来。再结合大语言模型,来做到个性化的回复和创造。

唉……我也不知道这种天马行空的灵感,会不会在未来有用到的一天,也不知道,应该用什么方式去实现,去模拟。。但是目前,我能找到的,相对表现比较好的方式,就是mem0了。
接下来,看看本地的源码,争取能在本地插入数据,使用上graph模式。。然后再进行下一步的发展和探索。


IP属地:陕西1楼2025-06-11 00:42回复
    如果有能够原生支持无限上下文的RNN类模型(Gated DeltaNet、RWKV、Atlas或类似的)也许能有更生动富有细节的记忆,但是RNN类模型的隐藏状态是有限的始终是无法承载无限的记忆,且现在也并没有真正无限上下文的RNN模型


    IP属地:广东来自Android客户端2楼2025-06-11 23:21
    回复
      2025-10-11 19:04:21
      广告
      不感兴趣
      开通SVIP免广告
      是有使用记忆对模型进行不断finetune的路线的,可以搜索“大语言模型 持续学习”


      IP属地:广东来自Android客户端3楼2025-06-11 23:23
      收起回复