← 全部文章

给 agent 加记忆之前,先量一量原始记录加检索的账

俯拍的工作台:一只手拿着放大镜,凑在亮着的看片灯上查看几条彩色胶片底片,上方挂着一排排装在透明袋里的底片,左边是一盏橙色台灯
封面 · 来源: Jakub Żerdzicki / Unsplash
目录
  1. 原始记录加检索,七组设置赢了六组
  2. 贵在写入:百万 token 的对话,0.33 小时对 26.95 小时
  3. 每加工一次,就丢一部分证据
  4. 复杂记忆有用的地方,比想象的窄
  5. 场景早期,先量这四个数

做 agent 应用时,记忆架构常常在第一周就定了:抽取事实、写摘要、建图谱、让模型自己更新记忆库。我的建议是先别急。场景早期,先把原始对话存好,搭一个检索基线,量清楚记忆要花多少、能答对多少,再决定要不要上复杂的记忆层。10 月的两篇论文给了这么做的理由,Latent Space 的 AINews 也把它总结成一句:原始历史仍是很强的记忆基线。4

原始记录加检索,七组设置赢了六组

第一篇论文的基线很朴素:把对话连同时间戳切成 256 token 的窗口,向量检索取最近的 128 个,再用重排模型挑出 15 个交给大模型回答,中间没有任何抽取、摘要或改写。它和 Mem0、MemOS 等 12 个记忆系统比了 4 个基准,在 7 组基准与模型的组合里拿了 6 个第一,比最强的记忆系统高 0.13 到 5.53 分。唯一输的一组是 DeepSeek-V4-Flash 跑 MEME,差 1.52 分。1

第二篇论文换了一批系统,结论相同:在 LongMemEval-S 上,原始记录检索得 78.0,六个显式记忆系统里最好的 LightMem 是 64.0。作者的原话是,没有一个显式记忆系统超过最强的原始记录基线。2

贵在写入:百万 token 的对话,0.33 小时对 26.95 小时

FIG.1同一段约一百万 token 的对话(BEAM-1M)全部写入记忆所花的时间。MemOS 是完成写入的记忆系统里最快的,Memora 最慢。

记忆系统每写入一轮对话,都要调用大模型去抽取、合并、更新。BEAM-1M 是一段 1,710 条消息、接近一百万 token 的对话,原始记录检索写完只要 0.33 小时,记忆系统要 3.25 到 26.95 小时。在 MemoryAgentBench 上,三个带记忆管理的系统写入加检索用掉 2,160 万到 1.093 亿个 token、2.9 到 8.8 小时,原始记录检索是 12 分钟。1

FIG.2六个记忆系统按构建时间从少到多排列,右边是各自的准确率。构建最贵的 A-Mem 准确率倒数第二,没有一个超过原始记录检索。

花得多也不一定答得好。图 2 里构建时间差了 35 倍,准确率却没有跟着涨。2

每加工一次,就丢一部分证据

第一篇论文还做了个实验:把每个记忆系统导出的全部内容都交给模型,不再受检索限制,准确率仍比直接读原始证据低 7.58 到 29.38 分。作者提醒,这个差距不全是写入时丢的信息。1第二篇论文用理想检索也看到同样的现象。2

对要审计的场景,这一点更重要:原始记录能直接追溯到用户说过的原话,摘要和抽取出的事实做不到。代价是存储和隐私,原始对话要能按用户删除。1

复杂记忆有用的地方,比想象的窄

记忆系统的优势集中在少数几类问题:该拒答时拒答、处理前后矛盾的信息、排时间顺序,以及上下文预算很紧、回答模型较小的时候;这些优势在两个基准之间也不稳定。2另一组叫 MemoryTax 的测试用一段 419 轮的对话,Pi 搭配 Opus 5.5 直接搜索原始历史,得分 99%,成本不到塞满上下文的一半;Mem0 这类记忆层只帮到了较弱的模型。也有反方向的结果:Toloka 和 xmemory 报告记忆机制在 11 个模型上都带来了提升。3

场景早期,先量这四个数

  1. 每段对话写入要花多少时间和 token;
  2. 每次查询的延迟和成本;
  3. 在自己的问题上答对多少,尤其是拒答、矛盾、时间顺序这几类;
  4. 原始记录存多久、删除一个用户要多少工作。

基线够用就停在这里。某类问题持续答错,或者上下文预算确实很紧,再只给这一类加结构化记忆,并和基线并排比。

参考

  1. Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought, arXiv
  2. Do Conversational Agents Need Explicit Memory? A Controlled Comparison with Raw-History Retrieval, arXiv
  3. [AINews] Black October, Latent Space
  4. [AINews] Kimi 3.1 Pro: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month, Latent Space

评论