# 给记忆系统打分之前，先把答案藏好 (https://powercontext.oceanbase.io/zh/blog/fair-memory-evaluation-off-on/)

装了记忆插件，Agent 是不是真的更好用？最直接的验证办法是做对照实验：同一道题，一组关掉 PowerContext（OFF），一组打开（ON），看谁能答对。

听起来很简单。但真正把评测搭起来之后我发现，难的不是让 ON 组答对，而是**确认它答对是因为记忆系统起了作用，而不是因为别的地方漏了题**。记忆系统的本职就是让 Agent 看到过去的信息；因此在评测它时，任何一条计划外的信息通道都会污染最终的分数。

这篇文章记录了我在 PowerContext 仓库中搭建跨宿主 OFF/ON 配对评测（[`e2e/bub`](https://github.com/oceanbase/powercontext/tree/master/e2e/bub)）时排查出的三处答案泄漏，以及这套评测在分数之外抓出的一个隐蔽的性能降级。

## 我们怎么比 [#我们怎么比]

评测题目采用“跨会话续写”的形式：

- **第一个会话（Capture）**：用户在布置一件无关小活（比如修一个 `README.md` 拼写错误）时，顺口提到一项项目决策或事实——比如选了哪个数据库、分片数定为多少。
- **最后一个会话（Recall）**：开启一个全新的会话，要求 Agent 回忆出之前的决策，并按指定字段写进 JSON 文件。评分脚本只检查字段的精确值，不做关键词模糊匹配，因此“可能是 A，也可能是 B”这类模棱两可的回答拿不到分。

其中一道题还故意埋了“状态变更”的坑：同一条消息里先说搜索结果缓存的 TTL 原本是 30 秒，随后改成了 90 秒。只记住初始值的 Agent 得 0 分。

每道题在 OFF 和 ON 两个独立容器里各跑一次，跑多个轮次（trial）时轮换两组的执行先后。容器镜像、宿主版本、模型、推理参数和预算完全对齐。虽然目录沿用了最早接入的 `e2e/bub` 这个名字，但目前评测已扩展支持六个宿主：**Bub、Codex、Claude Code、OpenCode、Pi 和 Kimi Code**，ON 组直接复用各宿主插件提供给真实用户的默认行为。

账面上的实验设计看起来已经足够公平了。但真的一跑起来，问题就接二连三地冒了出来。

## 答案会从哪里漏出来 [#答案会从哪里漏出来]

### 1. OFF 组会自己翻箱倒柜“找记忆” [#1-off-组会自己翻箱倒柜找记忆]

在 OpenCode 上试跑（模型使用 GLM 5.3）时，两个 OFF 组的 Agent 在 Recall 会话里都没有老老实实回答“不知道”，而是开始在容器里四处翻找：

- 列出 `/opt` 目录，顺藤摸瓜找到了为安装插件而挂载进来的 PowerContext 源码，通读了插件的 Skill 说明和客户端代码，直接扒出了 Server 地址和 API 路径；
- 用 `curl` 和 Node 的 `fetch` 连续向 Server 发起了 6 次请求——之所以全部被拒，纯粹是因为它们盲试了插件代码里的默认地址，没猜中容器网络里实际连通的那个地址；
- 直接用 `sqlite3` 打开 OpenCode 自身的本地会话数据库，试图翻找上一个会话的历史记录。

这两次 OFF 组最终虽然还是拿了 0 分，但纯粹是运气好：当时的测试 Server 还没开鉴权，里面明晃晃地存着前序 trial 里 ON 组留下的记忆（也就是标准答案）。更糟的是，这番翻箱倒柜让 OFF 组 Recall 会话的输入 token 从正常的约 3 万暴涨到了 40 万～54 万，直接把 OFF/ON 的成本对比也搞失真了。

“续写类”题目问的就是“我们之前决定了什么”，这比单纯写代码的题目更容易激发 Agent 搜寻蛛丝马迹的本能。

为此，[#1816](https://github.com/oceanbase/powercontext/pull/1816) 重新定义了 OFF 组的边界——**它必须等价于“从未使用过 PowerContext 的真实用户环境”**：

- OFF 容器内不安装插件、不挂载任何 PowerContext 源码或文件、不注入任何相关环境变量；同时绝不提示 Agent“你的记忆功能已被关闭”。
- Server 必须强制开启鉴权（`enforced`），只有 ON 组能拿到访问 token。开跑前评测套件（harness）会做预检：如果发现 Server 不带 token 也能列出 Scope，直接拒绝运行。

### 2. 宿主自己也会在磁盘上“留底” [#2-宿主自己也会在磁盘上留底]

就算彻底摘干净了 PowerContext，Agent 宿主自身也会在磁盘上留下前序会话的痕迹。底层评测框架 Harbor 在多步任务的各个步骤之间会复用同一个容器，上一步落盘的数据很容易被下一个会话直接读到：

- **Bub** 会把每个会话的交互磁带（tape）落盘成文件；
- **OpenCode** 的数据目录里保留着完整的会话记录、超长截断的工具输出、执行计划和快照；
- 翻看 **Pi** 的源码可以发现，它的 `bash` 工具会把超出长度限制的命令输出完整写进临时目录，而且事后不会清理。

甚至评测流程本身也会漏题：Recall 会话的评分脚本（挂载在容器 `/tests` 目录下）里明文写着期望答案；而在 Capture 会话里，勤快的 Agent 可能会顺手把项目事实记进工作区的 `README.md` 当备忘录。

因此，在每个会话启动前，harness 都会在 OFF 和 ON 两组里同步执行清理：抹掉已知的宿主本地会话文件（仅保留登录凭据）、清空 `/tests` 目录，并在 Capture 会话结束后将工作区重置（reset）。对于 OpenCode，清理后还会额外调用一次校验，确认会话列表确实为空，否则直接中止评测。

这条通道目前只是收窄了，还没有彻底封死。每接入一个新宿主，都得先把它的源码和数据目录摸一遍，弄清楚它把状态藏在了哪里——OpenCode 的好几处残留目录，就是在 Code Review 阶段被揪出来的。而且重置只覆盖工作区：如果 Agent 在 Capture 会话里把笔记写到了容器里其他可写的位置，Recall 会话依然能读到。好在这条残余通道对 OFF 和 ON 两组同样开放，它更可能同时抬高两组的得分、压缩两组的差距，而不是单方面偏向 ON 组。

### 3. ON 组能跨界偷看其他 trial 的答案 [#3-on-组能跨界偷看其他-trial-的答案]

鉴权挡住了门外的 OFF 组，但没挡住门内的 ON 组。因为默认 Server 只支持配置一个静态管理员 token，ON 组拿到手的就是最高权限。同一道题连续跑多个 trial 时，前序 trial 创建的 Scope 里已经存好了这道题的答案（Scope 是 PowerContext 中隔离单个项目上下文的基本单位）。虽然宿主插件自带的工具只会访问当前 trial 的 Scope，但聪明过头的 Agent 完全可以从环境变量里摸出 token，自己手写请求去查其他 Scope。

既然在默认 Server 上没法给每个 trial 动态签发受限的 Scope 级 token，[#2035](https://github.com/oceanbase/powercontext/pull/2035) 换了一个思路：**事前堵不住，就做完事后审计**。

开启鉴权的 Server 会在 Access Audit 中记录每一次授权决策。每个 ON 组跑完后，harness 会拉取该时间段内的审计日志；只要发现 Server 允许过这组 ON 读取其他 Scope 的数据，这轮 run 就会被直接打上污染标记，不计入成功率统计。

这里有一个统计上极易踩坑的细节：**只要发生了跨 Scope 读取，不管这轮 run 最终有没有答对，都必须无条件剔除**。如果只剔除“偷看且答对”的样本，留下的失败样本就会人为拉低成功率，引入反向的选择偏差。

这套审计机制有两个前提：由于审计日志区分不了请求是来自容器里的 Agent 还是宿主机上的 harness，评测期间 Server 必须由当前任务独占，且 Server 与 harness 的时钟必须对齐。在 Kimi Code 的小规模试跑（2 个 trial）中，审计日志确认 ON 组没有发生跨 Scope 越权访问。

## 分数之外：抓出一次悄无声息的召回降级 [#分数之外抓出一次悄无声息的召回降级]

搭评测框架最值回票价的时刻，往往不在看总分的那一刻。

10 月中旬，我在 Pi 和 OpenCode 上分析评测链路时，ON 组的通过率是漂亮的 100%。但扒开 Server 侧的统计指标一看，却发现了一个诡异的现象：在 4 次 ON 组的 Recall 会话里，有 3 次插件在回合开始前通过 Hook（`POST /v1/context/prepare`）自动准备的上下文都是空的（`ready_preparations: 0`）。Agent 之所以还能答对，全靠模型发现上下文没东西后，自己又主动调用了一次 `pc_search` 搜索工具把记忆捞了回来。

顺着这条线索追查（[#2039](https://github.com/oceanbase/powercontext/issues/2039)）才发现：为了不阻塞宿主回合启动，Server 在准备上下文时，给查询向量化（Query Embedding）硬编码了 **0.25 秒**的超时上限。一旦超时，检索就会静默退回纯文本检索（FTS）——既不打日志，也不在响应体里报错。

而在实际测试中，通过 OpenRouter 调用远程 embedding 接口（如 `text-embedding-3-small`），单次网络往返需要 **0.27～0.41 秒**。这刚好卡死在 0.25 秒红线之外。退回纯文本检索后，偏偏 Hook 传过来的查询又是包含完整任务指令的长 Prompt，无法跨过纯文本检索“至少匹配 25% 词项”的准入门槛，最终导致明明躺在库里的记忆无法被召回。

100% 的通过率完美掩盖了这个故障，但代价却结结实实地落在了账单和延迟上（[#2040](https://github.com/oceanbase/powercontext/issues/2040)）：因为模型不得不额外多调一次 `pc_search` 工具兜底，Recall 会话的输入 token 在 Pi 上从 **3.77 万涨到了 5.64 万**，在 OpenCode 上从 **2.83 万涨到了 4.26 万**。

随后 [#2231](https://github.com/oceanbase/powercontext/pull/2231) 缓解了这个问题：将单次上下文准备过程中各检索通道（Atomic Memory 与 Topic Memory）的向量化等待收拢为一个共享预算，默认放宽至 **0.5 秒**，并支持通过运行时参数灵活配置。这个 PR 里的实测显示，调用真实的 embedding 服务时，单个 Scope 的上下文准备 60 次全部拿到了内容，同时检索三个 Scope 时 40 次中有 36 次拿到了内容；但如果 embedding 服务卡住 2 秒，准备结果仍然全部为空。另外，当 Topic Memory 需要单独再做一次向量化时，0.3 秒的往返就可能在 0.5 秒的预算内超时，退回纯文本检索。也就是说，这次改动缓解了问题，但并没有根除它。

这次排查留下的教训很直接：**评测报告里只看通过率是远远不够的**，何况这种静默降级在延迟更高时仍会发生。 现在的评测报告除了给出最终得分，还会同时拆解每一步的耗时、输入/输出与缓存 token 用量，以及 Server 侧生成与向量化的实际调用次数。

## 这套评测目前能说明什么 [#这套评测目前能说明什么]

在 Kimi Code 的试跑中，配对评测跑出了 **OFF 0/2、ON 2/2** 的结果。数字看着很漂亮，但报告同时算出了 ON 组成功率的 95% 置信区间：**34% 到 100%**——在统计学上，两个 trial 的样本量几乎说明不了任何定量的提升幅度。

因此，我们目前敢下结论的只有两件事：

1. **端到端链路是通的**：在收窄了上述三类泄漏通道之后，目前已跑通的宿主上，ON 组的完整记忆生命周期（自动采集、异步提取入库、新会话按需召回）能够正常工作；
2. **题目没有明显白送答案**：两次试跑中 OFF 组都没有答对，这与“题目没有直接把答案递出去”的判断一致；但只有两次样本，又有上面那条残余通道，还不足以证明 OFF 组处在完全盲测的环境里。

至于“PowerContext 在真实研发工作流里究竟能把任务成功率提升多少个百分点”，现在还不能靠这几组数字下结论。要回答这个问题，我们需要扩充更多贴近真实工程的题库、跑足够多的 trial，并持续盯着每一步的成本账单。

如果你想在自己的宿主或模型上跑一遍这套配对评测，完整说明都在 [`e2e/bub/README.md`](https://github.com/oceanbase/powercontext/blob/master/e2e/bub/README.md) 里。准备好一个开启鉴权的 PowerContext Server 后，只需一行命令即可启动：

```bash
make harness-paired ARGS='--host pi --trials 2'
```

欢迎带着新的宿主适配、新的测试题目，或者你新抓到的“作弊泄漏路径”来提 PR。

最后剧透一句：**全量测试 is coming。** 更多题目、更多宿主、足够多的 trial，都已经在路上了 : )
