← ガイド · English · Português · 中文

更新 2026-11-19

このページの目次
  1. パターン
  2. 前提条件
  3. ステップ 1 — まず 1 件のトレースを手動でリプレイ可能にする
  4. ステップ 2 — バグ報告ではなく eval として凍結する
  5. ステップ 3 — スケール前に行動でグルーピングする
  6. ステップ 4 — 手順全体をスキルとしてエンコードする
  7. ステップ 5 — 週次でスケジュールする
  8. 検証チェックリスト
  9. 落とし穴
  10. 理解度チェック
  11. 出典

ガイド 15 — 本番トレースから育つリビング eval

目標: あなたのエージェントのための、自分で書く eval スイート——定期実行される Devin が実際の本番会話を読み、システムの完全コピーで各失敗を再構築し、その失敗を回帰テストとして追加する PR を開く。 レベル: 上級 出典となる導入事例: Rox の Living Evals——Rox ではもう誰も eval を手書きしない。週次 Devin が Braintrust の本番トレースを読み、合成データを仕込んだ Rox の完全コピーで各失敗を再構築し、エージェントが同じ間違いをするまでリプレイし、PR を開く。このスイートは実使用の 72% をカバー(手書き eval は 43–57%)で、週ごとに成長し続ける。 出典: Living Evals 記事(Brian Xu、2026 年 10 月)· ローンチスレッド

パターン

本番トレース(オブザーバビリティ基盤)
        │  週次サンプル(約350会話)
        ▼
行動にグルーピング(goal · output · mutation · target)
        │  数百の会話 → 約130の行動
        ▼
カバー不足の各行動について:
   データ合成 → 完全コピーのプレビュー環境 → リクエストをリプレイ
   → 本番トレースと比較 → eval として凍結 → PR を開く
        ▼
人間がレビューするのは eval 執筆ではなく PR

前提条件

ステップ 1 — まず 1 件のトレースを手動でリプレイ可能にする

何かをスケジュールする前に:エージェントが失敗した実際の会話を 1 件選ぶ。Devin にトレースを引かせ、リクエストが触れたものを正確にカバーする合成データを書かせ、システムコピーを立ち上げ、同じ失敗が起きるまでリクエストをリプレイさせる。1 件の失敗を手動で再現できなければ、週次ループは何も生まない。

ステップ 2 — バグ報告ではなく eval として凍結する

成果物は Slack メッセージではなくコミット済み eval。Rox の規約:リクエストは本番から一字一句コピー;シードデータは正確な条件を再現する(例:「最新の会議にトランスクリプトがない」)。データを変更するリクエストにはコード表明を、返信のみのリクエストには LLM 審判ルーブリックを付ける。

ステップ 3 — スケール前に行動でグルーピングする

すべての会話でループを回すのは無駄——ほとんどのリクエストは同じ形を繰り返す。Rox の 4 ラベルが行動を定義する:goal(ユーザーの意図)· output(返ってくるもの)· mutation(なし/作成/編集/送信)· target(明示 vs 推論されたオブジェクト)。週約 350 会話が約 130 行動に圧縮される;カバー不足の行動だけに eval を作る。

ステップ 4 — 手順全体をスキルとしてエンコードする

トレース→eval ループは Devin が従う 1 つのスキルファイルに住む:トレース取得 → 合成 → プレビュー環境 → リプレイ → 比較 → 凍結 → PR。ループが悪い eval を産んだら、スキルを直す。eval を手でパッチするな——それが複利の一手。

ステップ 5 — 週次でスケジュールする

cron 自動化(ガイド 6):その週のトレースを取得 → グルーピング → カバー不足の各行動でループを実行 → 新 eval 入りの PR を 1 件開く。人間がレビューするのは PR;Devin がスイートを所有する。

検証チェックリスト

落とし穴

理解度チェック

  1. モックしたデータ層ではなく完全コピーでリプレイする理由は?(モックは置き換えたコード内のバグを隠しうる——エージェントが多くの状態を編集するほど、モックが実際にテストしている対象になる)
  2. eval を書く前に会話を行動にグルーピングする理由は?(ほとんどのリクエストは形を繰り返す——goal/output/mutation/target のラベル付けで 1 つの eval が多くの会話をカバーでき、カバレッジが実使用に対応する)
  3. 複利の一手は eval を直すことか、スキルを直すことか?(スキル——手パッチされた eval は Devin に何も教えない;直されたスキルは永遠により良い eval を産む)

出典