装了记忆插件,Agent 是不是真的更好用?最直接的验证办法是做对照实验:同一道题,一组关掉 PowerContext(OFF),一组打开(ON),看谁能答对。
听起来很简单。但真正把评测搭起来之后我发现,难的不是让 ON 组答对,而是确认它答对是因为记忆系统起了作用,而不是因为别的地方漏了题。记忆系统的本职就是让 Agent 看到过去的信息;因此在评测它时,任何一条计划外的信息通道都会污染最终的分数。
这篇文章记录了我在 PowerContext 仓库中搭建跨宿主 OFF/ON 配对评测(e2e/bub)时排查出的三处答案泄漏,以及这套评测在分数之外抓出的一个隐蔽的性能降级。
我们怎么比
评测题目采用“跨会话续写”的形式:
- 第一个会话(Capture):用户在布置一件无关小活(比如修一个
README.md拼写错误)时,顺口提到一项项目决策或事实——比如选了哪个数据库、分片数定为多少。 - 最后一个会话(Recall):开启一个全新的会话,要求 Agent 回忆出之前的决策,并按指定字段写进 JSON 文件。评分脚本只检查字段的精确值,不做关键词模糊匹配,因此“可能是 A,也可能是 B”这类模棱两可的回答拿不到分。
其中一道题还故意埋了“状态变更”的坑:同一条消息里先说搜索结果缓存的 TTL 原本是 30 秒,随后改成了 90 秒。只记住初始值的 Agent 得 0 分。
每道题在 OFF 和 ON 两个独立容器里各跑一次,跑多个轮次(trial)时轮换两组的执行先后。容器镜像、宿主版本、模型、推理参数和预算完全对齐。虽然目录沿用了最早接入的 e2e/bub 这个名字,但目前评测已扩展支持六个宿主:Bub、Codex、Claude Code、OpenCode、Pi 和 Kimi Code,ON 组直接复用各宿主插件提供给真实用户的默认行为。
账面上的实验设计看起来已经足够公平了。但真的一跑起来,问题就接二连三地冒了出来。
答案会从哪里漏出来
1. OFF 组会自己翻箱倒柜“找记忆”
在 OpenCode 上试跑(模型使用 GLM 5.3)时,两个 OFF 组的 Agent 在 Recall 会话里都没有老老实实回答“不知道”,而是开始在容器里四处翻找:
- 列出
/opt目录,顺藤摸瓜找到了为安装插件而挂载进来的 PowerContext 源码,通读了插件的 Skill 说明和客户端代码,直接扒出了 Server 地址和 API 路径; - 用
curl和 Node 的fetch连续向 Server 发起了 6 次请求——之所以全部被拒,纯粹是因为它们盲试了插件代码里的默认地址,没猜中容器网络里实际连通的那个地址; - 直接用
sqlite3打开 OpenCode 自身的本地会话数据库,试图翻找上一个会话的历史记录。
这两次 OFF 组最终虽然还是拿了 0 分,但纯粹是运气好:当时的测试 Server 还没开鉴权,里面明晃晃地存着前序 trial 里 ON 组留下的记忆(也就是标准答案)。更糟的是,这番翻箱倒柜让 OFF 组 Recall 会话的输入 token 从正常的约 3 万暴涨到了 40 万~54 万,直接把 OFF/ON 的成本对比也搞失真了。
“续写类”题目问的就是“我们之前决定了什么”,这比单纯写代码的题目更容易激发 Agent 搜寻蛛丝马迹的本能。
为此,#1816 重新定义了 OFF 组的边界——它必须等价于“从未使用过 PowerContext 的真实用户环境”:
- OFF 容器内不安装插件、不挂载任何 PowerContext 源码或文件、不注入任何相关环境变量;同时绝不提示 Agent“你的记忆功能已被关闭”。
- Server 必须强制开启鉴权(
enforced),只有 ON 组能拿到访问 token。开跑前评测套件(harness)会做预检:如果发现 Server 不带 token 也能列出 Scope,直接拒绝运行。
2. 宿主自己也会在磁盘上“留底”
就算彻底摘干净了 PowerContext,Agent 宿主自身也会在磁盘上留下前序会话的痕迹。底层评测框架 Harbor 在多步任务的各个步骤之间会复用同一个容器,上一步落盘的数据很容易被下一个会话直接读到:
- Bub 会把每个会话的交互磁带(tape)落盘成文件;
- OpenCode 的数据目录里保留着完整的会话记录、超长截断的工具输出、执行计划和快照;
- 翻看 Pi 的源码可以发现,它的
bash工具会把超出长度限制的命令输出完整写进临时目录,而且事后不会清理。
甚至评测流程本身也会漏题:Recall 会话的评分脚本(挂载在容器 /tests 目录下)里明文写着期望答案;而在 Capture 会话里,勤快的 Agent 可能会顺手把项目事实记进工作区的 README.md 当备忘录。
因此,在每个会话启动前,harness 都会在 OFF 和 ON 两组里同步执行清理:抹掉已知的宿主本地会话文件(仅保留登录凭据)、清空 /tests 目录,并在 Capture 会话结束后将工作区重置(reset)。对于 OpenCode,清理后还会额外调用一次校验,确认会话列表确实为空,否则直接中止评测。
这条通道目前只是收窄了,还没有彻底封死。每接入一个新宿主,都得先把它的源码和数据目录摸一遍,弄清楚它把状态藏在了哪里——OpenCode 的好几处残留目录,就是在 Code Review 阶段被揪出来的。而且重置只覆盖工作区:如果 Agent 在 Capture 会话里把笔记写到了容器里其他可写的位置,Recall 会话依然能读到。好在这条残余通道对 OFF 和 ON 两组同样开放,它更可能同时抬高两组的得分、压缩两组的差距,而不是单方面偏向 ON 组。
3. ON 组能跨界偷看其他 trial 的答案
鉴权挡住了门外的 OFF 组,但没挡住门内的 ON 组。因为默认 Server 只支持配置一个静态管理员 token,ON 组拿到手的就是最高权限。同一道题连续跑多个 trial 时,前序 trial 创建的 Scope 里已经存好了这道题的答案(Scope 是 PowerContext 中隔离单个项目上下文的基本单位)。虽然宿主插件自带的工具只会访问当前 trial 的 Scope,但聪明过头的 Agent 完全可以从环境变量里摸出 token,自己手写请求去查其他 Scope。
既然在默认 Server 上没法给每个 trial 动态签发受限的 Scope 级 token,#2035 换了一个思路:事前堵不住,就做完事后审计。
开启鉴权的 Server 会在 Access Audit 中记录每一次授权决策。每个 ON 组跑完后,harness 会拉取该时间段内的审计日志;只要发现 Server 允许过这组 ON 读取其他 Scope 的数据,这轮 run 就会被直接打上污染标记,不计入成功率统计。
这里有一个统计上极易踩坑的细节:只要发生了跨 Scope 读取,不管这轮 run 最终有没有答对,都必须无条件剔除。如果只剔除“偷看且答对”的样本,留下的失败样本就会人为拉低成功率,引入反向的选择偏差。
这套审计机制有两个前提:由于审计日志区分不了请求是来自容器里的 Agent 还是宿主机上的 harness,评测期间 Server 必须由当前任务独占,且 Server 与 harness 的时钟必须对齐。在 Kimi Code 的小规模试跑(2 个 trial)中,审计日志确认 ON 组没有发生跨 Scope 越权访问。
分数之外:抓出一次悄无声息的召回降级
搭评测框架最值回票价的时刻,往往不在看总分的那一刻。
10 月中旬,我在 Pi 和 OpenCode 上分析评测链路时,ON 组的通过率是漂亮的 100%。但扒开 Server 侧的统计指标一看,却发现了一个诡异的现象:在 4 次 ON 组的 Recall 会话里,有 3 次插件在回合开始前通过 Hook(POST /v1/context/prepare)自动准备的上下文都是空的(ready_preparations: 0)。Agent 之所以还能答对,全靠模型发现上下文没东西后,自己又主动调用了一次 pc_search 搜索工具把记忆捞了回来。
顺着这条线索追查(#2039)才发现:为了不阻塞宿主回合启动,Server 在准备上下文时,给查询向量化(Query Embedding)硬编码了 0.25 秒的超时上限。一旦超时,检索就会静默退回纯文本检索(FTS)——既不打日志,也不在响应体里报错。
而在实际测试中,通过 OpenRouter 调用远程 embedding 接口(如 text-embedding-3-small),单次网络往返需要 0.27~0.41 秒。这刚好卡死在 0.25 秒红线之外。退回纯文本检索后,偏偏 Hook 传过来的查询又是包含完整任务指令的长 Prompt,无法跨过纯文本检索“至少匹配 25% 词项”的准入门槛,最终导致明明躺在库里的记忆无法被召回。
100% 的通过率完美掩盖了这个故障,但代价却结结实实地落在了账单和延迟上(#2040):因为模型不得不额外多调一次 pc_search 工具兜底,Recall 会话的输入 token 在 Pi 上从 3.77 万涨到了 5.64 万,在 OpenCode 上从 2.83 万涨到了 4.26 万。
随后 #2231 缓解了这个问题:将单次上下文准备过程中各检索通道(Atomic Memory 与 Topic Memory)的向量化等待收拢为一个共享预算,默认放宽至 0.5 秒,并支持通过运行时参数灵活配置。这个 PR 里的实测显示,调用真实的 embedding 服务时,单个 Scope 的上下文准备 60 次全部拿到了内容,同时检索三个 Scope 时 40 次中有 36 次拿到了内容;但如果 embedding 服务卡住 2 秒,准备结果仍然全部为空。另外,当 Topic Memory 需要单独再做一次向量化时,0.3 秒的往返就可能在 0.5 秒的预算内超时,退回纯文本检索。也就是说,这次改动缓解了问题,但并没有根除它。
这次排查留下的教训很直接:评测报告里只看通过率是远远不够的,何况这种静默降级在延迟更高时仍会发生。 现在的评测报告除了给出最终得分,还会同时拆解每一步的耗时、输入/输出与缓存 token 用量,以及 Server 侧生成与向量化的实际调用次数。
这套评测目前能说明什么
在 Kimi Code 的试跑中,配对评测跑出了 OFF 0/2、ON 2/2 的结果。数字看着很漂亮,但报告同时算出了 ON 组成功率的 95% 置信区间:34% 到 100%——在统计学上,两个 trial 的样本量几乎说明不了任何定量的提升幅度。
因此,我们目前敢下结论的只有两件事:
- 端到端链路是通的:在收窄了上述三类泄漏通道之后,目前已跑通的宿主上,ON 组的完整记忆生命周期(自动采集、异步提取入库、新会话按需召回)能够正常工作;
- 题目没有明显白送答案:两次试跑中 OFF 组都没有答对,这与“题目没有直接把答案递出去”的判断一致;但只有两次样本,又有上面那条残余通道,还不足以证明 OFF 组处在完全盲测的环境里。
至于“PowerContext 在真实研发工作流里究竟能把任务成功率提升多少个百分点”,现在还不能靠这几组数字下结论。要回答这个问题,我们需要扩充更多贴近真实工程的题库、跑足够多的 trial,并持续盯着每一步的成本账单。
如果你想在自己的宿主或模型上跑一遍这套配对评测,完整说明都在 e2e/bub/README.md 里。准备好一个开启鉴权的 PowerContext Server 后,只需一行命令即可启动:
make harness-paired ARGS='--host pi --trials 2'欢迎带着新的宿主适配、新的测试题目,或者你新抓到的“作弊泄漏路径”来提 PR。
最后剧透一句:全量测试 is coming。 更多题目、更多宿主、足够多的 trial,都已经在路上了 : )

