产品评测
衡量上下文带来的改变。
LoCoMo 衡量长期对话的事实回忆；LoCoMo Plus 检验系统能否记住并运用隐含约束；SWE-bench Pro 衡量项目上下文能否帮助 Codex 解决更多代码仓库问题。
| 系统 | 准确率 | 搜索 p95 |
|---|---|---|
| PowerContext | 90.78% | 1.38 秒 |
| PowerMem | 87.79% | 1.44 秒 |
| 完整上下文 | 52.9% | 17.12 秒 |
LoCoMo：找回正确上下文
LoCoMo 根据跨 Session 的长对话提问。PowerContext 需要先找到相关对话依据，再生成答案。本次结果覆盖类别 1 至 4，共 1,540 道计分题。
90.78% 问答准确率
PowerContext 答对 1,540 道题中的 1,398 道，比完整上下文方案高 37.88 个百分点。搜索 p95 为 1.38 秒，单题回答约使用 1.65k Token。
LoCoMo Plus：运用隐含的记忆约束
当新问题与早先线索并不相似，系统仍需要记住并运用用户的状态、目标、价值取向与因果背景。这里对比三个模型下，原生 PowerContext 与接入 Jev 候选筛选后的测试得分。
每行模型同时用于 Memory 抽取与回答；Jev 用于检索后的候选筛选，不替换抽取或回答模型。
- 向量模型
- qwen3.7-text-embedding
- 1024 维
这六组分数由项目方提供，对应的运行清单、汇总、协议与模型/Judge 配置、运行哈希及原始输出尚未公开供复核。可复现说明针对评测工具，不代表这些具体分数已公开验证。
本组最高得分
69.28%
GPT-4o · PowerContext + Jev
最大得分差
+8.925
GPT-4o-mini · 个百分点
| 抽取与回答模型 | 原生 PowerContext | PowerContext + Jev | 得分差 |
|---|---|---|---|
| GPT-4o-mini | 40.855% | 49.78% | +8.925个百分点 |
| Qwen3.7-plus | 60.37% | 68.947% | +8.577个百分点 |
| GPT-4o | 65.082% | 69.28% | +4.198个百分点 |
SWE-bench Pro：把上下文转化为可用补丁
为了衡量 PowerContext 对结果的影响，我们用同一套 Codex 配置在 public v2 的 731 个任务上完成两次运行。两组仅改变是否启用 PowerContext。
这是一组固定任务集上的配对运行，不是 SWE-bench Pro 官方提交。Agent 运行存在随机性，因此分数只描述这两次运行。
与公开结果对照
汇集 LoCoMo、LoCoMo Plus 的公开评测结果，以及 SWE-bench Pro 官方 Public 榜单。各条目附有评测配置与来源链接。
LoCoMo / SWE-bench Pro：2026 年 8 月 31 日核验
15 个系统 · 全部 1,540 道计分题
- 1Zep供应商实测94.70%
- 2EverMemOS第三方实测94.50%
- 3XMDB供应商实测93.20%
- 4TrueMemory Pro开放评测工具93.00%
- 5Mem0供应商实测92.50%
- 6PowerContext项目实测90.78%
- 7Honcho供应商实测89.90%
- 8Dakera可复现供应商实测88.20%
- 9PowerMem项目实测87.79%
- 10Memvid开放评测工具85.65%
- 11Genesys认证供应商实测85.55%
- 12Engram第三方实测84.50%
- 13MemHQ开放评测工具83.20%
- 14Logica Mind开放评测工具72.50%
- 15Supermemory第三方实测65.40%
- 原生 PowerContext
- 65.082%
- PowerContext + Jev
- 69.28%
这六组分数由项目方提供，对应的运行清单、汇总、协议与模型/Judge 配置、运行哈希及原始输出尚未公开供复核。可复现说明针对评测工具，不代表这些具体分数已公开验证。
公开 Cognitive 成绩
8 个公开条目 · 2026 年 10 月 7 日核验- T-Mem74.81%T-Mem 论文 · 表 3Cognitive；GPT-4.1-mini 构建；GPT-4o 回答；Gemini-2.5-Flash Judge
- HyperMem48.63%T-Mem 论文 · 表 3Cognitive；T-Mem 论文中的基线实验
- MemOS32.67%T-Mem 论文 · 表 3Cognitive；T-Mem 论文中的基线实验
- Gemini-2.5-Pro26.06%LoCoMo Plus 论文 · 表 1Cognitive；完整上下文；Gemini-2.5-Flash Judge
- GPT-4o21.05%LoCoMo Plus 论文 · 表 1Cognitive；完整上下文；Gemini-2.5-Flash Judge
- A-Mem17.20%LoCoMo Plus 论文 · 表 1Cognitive；GPT-4o 回答；Gemini-2.5-Flash Judge
- Mem015.80%LoCoMo Plus 论文 · 表 1Cognitive；GPT-4o 回答；Gemini-2.5-Flash Judge
- SeCom14.90%LoCoMo Plus 论文 · 表 1Cognitive；GPT-4o 回答；Gemini-2.5-Flash Judge
排名上界根据置信区间计算；区间重叠时会出现并列和跳号。
- 1Muse Spark 1.1Meta · mini-swe-agent61.50%±3.10
- 1gpt-5.4 (xHigh)OpenAI · mini-swe-agent59.10%±3.56
- 3Muse SparkMeta · mini-swe-agent55.00%±3.60
- 3claude-opus-4-6 (thinking)Anthropic · mini-swe-agent51.90%±3.61
- 5gemini-3.1-pro (thinking)Google · mini-swe-agent46.10%±3.60
- 5claude-opus-4-5-20251101Anthropic · Scale 实测45.89%±3.60
- 5claude-4-5-SonnetAnthropic · Scale 实测43.60%±3.60
- 5gemini-3-pro-previewGoogle · Scale 实测43.30%±3.60
- 5claude-4-SonnetAnthropic · Scale 实测42.70%±3.59
- 10gpt-5-2025-08-07 (High)OpenAI · Scale 实测41.78%±3.49
- 10gpt-5.2-codexOpenAI · Scale 实测41.04%±3.57
- 10claude-4-5-haikuAnthropic · Scale 实测39.45%±3.55
- 10qwen3-coder-480b-a35bAlibaba · Scale 实测38.70%±3.55
- 14minimax-2.1MiniMax · Scale 实测36.81%±3.55
- 14gemini-3-flashGoogle · Scale 实测34.63%±3.55
- 16gpt-5.2OpenAI · Scale 实测29.94%±2.15
- 16kimi-k2-instructMoonshot · Scale 实测27.67%±3.25
- 18qwen3-235b-a22bAlibaba · Scale 实测21.41%±2.25
- 19gpt-oss-120bOpenAI · Scale 实测16.20%±2.67
- 19deepseek-v3p2DeepSeek · Scale 实测15.56%±2.63
- 21gemma-3-27b-itGoogle · Scale 实测11.38%±2.15
- 21llama3-1-405b-instructMeta · Scale 实测11.18%±2.15
- 21glm-4.6Z.ai · Scale 实测9.67%±2.15
- 24llama4-maverick-17b-instructMeta · Scale 实测5.24%±1.24
- 25codestral-2405Mistral · Scale 实测1.51%±1.51
评测方法与来源
三项评测的方法依据与评测工具；模型、评分规则与数据范围必须一并阅读。
LoCoMo
LoCoMo Plus
SWE-bench Pro
把 PowerContext 接入工作流
可以从受支持的 Agent 开始，也可以通过 HTTP API 接入自己的应用。仓库包含运行时、集成和评测工具。