PersonaMem
bowen-upenn/PersonaMem —— 一个多项选择式的个性化基准（arXiv:2504.14225，"Know Me, Respond to Me"，宾夕法尼亚大学 2025）。每道题把模型放在与一位模拟用户长期、不断演变的对话中的某个时点，要求它从四个选项中选出最佳回复——即最符合该用户所分享的事实、以及其偏好随时间如何变化的那一个。我们运行 v1 / 32k 切分：589 道题，覆盖 7 种个性化「技能」。
它是多项选择，不是自由文本问答。 标准答案是一个字母
(a)–(d)；评分采用对所选字母的精确匹配，不使用 LLM 评判——与数据集作者本身的协议一致（原文：「评估过程中不涉及任何 LLM 评判者」）。我们以mode=raw（不做巩固）运行，以隔离出检索层本身的表现。
我们如何评测
对每道题，我们只截取该用户在提问时点之前的对话——为每个 (对话, 截断点) 组合建立一个独立的 Hebb 分区，恰好保存 turns[:end_index]。检索被限制在该分区内，因此一道题永远看不到同一用户的未来轮次，也看不到任何其他人物的历史。随后：
- 为该问题检索 top-10 条记忆（
all-MiniLM-L6-v2384 维嵌入 +BAAI/bge-reranker-base交叉编码器重排——均为出厂默认），走的是 MCP 服务、CLI 与 Web 控制台同一个/api/v1/search接口。 - 把这 10 条记忆 + 问题 + 四个选项交给阅读模型，让它选出一个字母（
DeepSeek-V4-Pro，温度 0）。 - 对解析出的字母与标准字母做精确匹配评分。无 LLM 评判，无自由文本打分。
PersonaMem 不提供逐题证据 id，因此这里没有 Recall@k——头条指标就是端到端的 MCQ 准确率。
参照系——请对照这些数字来读
PersonaMem 很难，正确的标尺不是 LoCoMo / LongMemEval 那种 90%+ 的召回数字（任务不同，上限也不同）：
| 参照（v1-32k，全上下文） | MCQ 准确率 |
|---|---|
| 随机基线（四选一） | 25% |
| 最强前沿模型——GPT-4.5 / GPT-4.1 / Gemini-1.5，完整 32k 上下文 | 约 50–52% |
| 推理模型（o1 / o3-mini / o4-mini / DeepSeek-R1） | 无优势（约 50%） |
| Llama-4-Maverick | 约 43% |
来源：arXiv:2504.14225——前沿模型在多项选择设定下「徘徊在约 52%」；把 128k 上下文通过剔除无关对话压到 32k 并无显著变化，因此 32k 上限 ≈ 128k 上限。
Hebb Mind 在 PersonaMem 上的结果
v0.1.7，生产一致配置——all-MiniLM-L6-v2（384 维）+ BAAI/bge-reranker-base 重排，search_top_k=10，DeepSeek-V4-Pro 阅读模型温度 0，四选一 MCQ 精确匹配，全部 589 题（v1-32k）。
| 指标 | 数值 | 来源 |
|---|---|---|
| MCQ 准确率 | 69.4%（409/589） | eval/reports/personamem/v1/run-1/personamem.md |
这越过了 25% 的随机基线，并高于约 50–52% 的全上下文前沿上限——而它只读取 top-10 检索记忆，而非完整的 32k 对话。解读：对这些题目，聚焦检索已足以找回相关的用户历史，这与论文自身「剔除无关上下文并不损害准确率」的发现一致。
分技能拆解
| 题型 | 准确率 |
|---|---|
| recalling_the_reasons_behind_previous_updates | 88.9% |
| provide_preference_aligned_recommendations | 76.4% |
| recall_user_shared_facts | 74.4% |
| generalizing_to_new_scenarios | 73.7% |
| recalling_facts_mentioned_by_the_user | 70.6% |
| track_full_preference_evolution | 66.2% |
| suggest_new_ideas | 39.8% |
这一分布与数据集的难度曲线吻合：在「回忆偏好为何改变」上最强，在生成性、前瞻性的「提出新点子」上最弱——后者也是论文标注的最难题型（许多前沿模型在该型上接近随机）。错误与低检索相关性相关：当支撑性轮次落在 top-10 之外时，阅读模型会选到一个貌似合理但错误的选项。
可比性提醒。 （1）阅读模型与论文不同——我们用 DeepSeek-V4-Pro，而约 50–52% 的上限数字来自 GPT-4.5 / Gemini-1.5。因此 69.4% 并非严格同条件的「Hebb 超越上限」论断——它反映的是检索加上一个强阅读模型。要单独分离检索的贡献，需要同一阅读模型在全上下文上的对照实验。（2）数据集版本——这是 PersonaMem v1-32k（589 题），不是更新的 v2（约 5,000 题，schema 不同）；切勿拿 v1 的数字与 v2 比较。（3）基础设施——8/589（1.4%）题在机器负载较高时触发了 HTTP 读超时并被判为错误；仅按已作答题计，准确率为 70.4%。（4）
valid_choice_rate= 98.6%（在所有非报错题上，阅读模型都返回了可解析的字母）。
与各竞品的对比
唯一一份第一方、版本明确的参照是上文论文给出的全上下文前沿上限（约 50–52%）。一些记忆框架也报告过 PersonaMem 数字，但它们的数据集版本（v1 还是 v2）、题量、阅读/底座模型均未锁定，因而与上表并非同条件可比，这里仅列出以作参考：
| 系统 | 报告的 MCQ 准确率 | 提醒 |
|---|---|---|
| Hebb Mind（v0.1.7，DeepSeek-V4-Pro 阅读，top-10） | 69.4% | v1-32k，589 题，本页 |
| 前沿上限（GPT-4.5 / Gemini-1.5，全上下文） | 约 50–52% | v1-32k，论文 |
| EverMemOS / MemOS / Mem0 / Zep / memU | 53.2 / 50.7 / 43.9 / 43.4 / 38.7 | 社区报告；版本与底座未经核实 |
如果你有版本明确的公开数字，欢迎提交 PR。