← 指南 · English · 日本語 · Português

更新于 2026-11-19

本页目录
  1. 模式
  2. 前置条件
  3. 第 1 步 — 先手动让一条 trace 可回放
  4. 第 2 步 — 冻结成 eval,而不是 bug 报告
  5. 第 3 步 — 先按行为分组再上量
  6. 第 4 步 — 把整个规程固化成一个 skill
  7. 第 5 步 — 每周定时跑
  8. Verify it
  9. 常见陷阱
  10. 自检
  11. 来源

指南 15 — 生产 trace 驱动的"活"评测集

目标: 一套自己会长大的 agent 评测集——一个定时 Devin 每周读生产环境的真实对话,在你系统的完整副本里复现每个失败,然后开 PR 把失败固化成回归测试。 难度: 进阶 来源部署: Rox 的 Living Evals——Rox 已经没人手写 eval。每周一个 Devin 读 Braintrust 里的生产 trace,在注入合成数据的 Rox 完整副本里复现每个失败、回放到 agent 犯同一个错,然后开 PR。评测集覆盖真实使用量的 72%(手写只有 43–57%),且逐周增长。 来源: Living Evals 全文(Brian Xu,2026 年 10 月)· 发布串

模式

生产 traces(可观测平台)
        │  每周抽样(~350 条对话)
        ▼
按行为分组(goal · output · mutation · target)
        │  数百条对话 → ~130 个行为
        ▼
对每个覆盖不足的行为:
   合成数据 → 完整副本 preview 环境 → 回放请求
   → 与生产 trace 对比 → 冻结为 eval → 开 PR
        ▼
人只 review PR,不写 eval

前置条件

第 1 步 — 先手动让一条 trace 可回放

上调度之前:挑一条你的 agent 失败过的真实对话。让 Devin 拉 trace、写出恰好覆盖请求所触数据的合成数据、拉起系统副本、回放请求直到同一个失败出现。手动都复现不了一个失败,周循环只会产出零。

第 2 步 — 冻结成 eval,而不是 bug 报告

产物是一条提交的 eval,不是一条 Slack 消息。Rox 的约定:请求逐字复制自生产;注入的数据复现精确条件(如"最新的会议没有 transcript")。改数据的请求用代码断言;只回复的请求用 LLM judge 评分标准。

第 3 步 — 先按行为分组再上量

每条对话都跑循环是浪费——多数请求形状重复。Rox 用四个标签定义行为:goal(用户要什么)· output(返回什么)· mutation(不动/创建/编辑/发送)· target(指名 vs 推断对象)。每周 ~350 条对话收敛到 ~130 个行为;只为覆盖不足的行为造 eval。

第 4 步 — 把整个规程固化成一个 skill

trace→eval 循环活在 Devin 遵循的一个 skill 文件里:拉 trace → 合成 → preview env → 回放 → 对比 → 冻结 → PR。循环产出坏 eval 时,改 skill,绝不手改 eval——这才是复利动作。

第 5 步 — 每周定时跑

cron automation(指南 6):拉本周 traces → 分组 → 对每个覆盖不足的行为跑循环 → 开一个 PR 装新 eval。人 review PR;Devin 拥有整个评测集。

Verify it

常见陷阱

自检

  1. 为什么要在完整副本里回放而不是 mock 数据层?(mock 会把它替换掉的代码里的 bug 藏住——agent 改的状态越多,mock 本身就成了你实际在测的东西。)
  2. 为什么先把对话按行为分组再写 eval?(多数请求形状重复——goal/output/mutation/target 四个标签让一条 eval 覆盖多条对话,覆盖率才映射到真实用量。)
  3. 复利动作是改 eval 还是改 skill?(skill——手改 eval 教不了 Devin 任何东西;改好的 skill 永远产出更好的 eval。)

来源