← ガイド · English · Português · 中文
このページの目次
ガイド 15 — 本番トレースから育つリビング eval
目標: あなたのエージェントのための、自分で書く eval スイート——定期実行される Devin が実際の本番会話を読み、システムの完全コピーで各失敗を再構築し、その失敗を回帰テストとして追加する PR を開く。 レベル: 上級 出典となる導入事例: Rox の Living Evals——Rox ではもう誰も eval を手書きしない。週次 Devin が Braintrust の本番トレースを読み、合成データを仕込んだ Rox の完全コピーで各失敗を再構築し、エージェントが同じ間違いをするまでリプレイし、PR を開く。このスイートは実使用の 72% をカバー(手書き eval は 43–57%)で、週ごとに成長し続ける。 出典: Living Evals 記事(Brian Xu、2026 年 10 月)· ローンチスレッド
パターン#
本番トレース(オブザーバビリティ基盤)
│ 週次サンプル(約350会話)
▼
行動にグルーピング(goal · output · mutation · target)
│ 数百の会話 → 約130の行動
▼
カバー不足の各行動について:
データ合成 → 完全コピーのプレビュー環境 → リクエストをリプレイ
→ 本番トレースと比較 → eval として凍結 → PR を開く
▼
人間がレビューするのは eval 執筆ではなく PR
前提条件#
- 本番にあるエージェントまたは AI 機能と、会話レベルのトレーシング(Rox は Braintrust を使用;LangSmith/自前ログでも可——リクエスト + レコード + 触れたツール呼出が必要)
- システムのデプロイ可能なコピー(プレビュー環境、ステージング、または VM 内の
docker compose up)——モックではなく - リポジトリ内のコードとしてのテスト——eval が単なるコミット済みファイルになるように
ステップ 1 — まず 1 件のトレースを手動でリプレイ可能にする#
何かをスケジュールする前に:エージェントが失敗した実際の会話を 1 件選ぶ。Devin にトレースを引かせ、リクエストが触れたものを正確にカバーする合成データを書かせ、システムコピーを立ち上げ、同じ失敗が起きるまでリクエストをリプレイさせる。1 件の失敗を手動で再現できなければ、週次ループは何も生まない。
ステップ 2 — バグ報告ではなく eval として凍結する#
成果物は Slack メッセージではなくコミット済み eval。Rox の規約:リクエストは本番から一字一句コピー;シードデータは正確な条件を再現する(例:「最新の会議にトランスクリプトがない」)。データを変更するリクエストにはコード表明を、返信のみのリクエストには LLM 審判ルーブリックを付ける。
ステップ 3 — スケール前に行動でグルーピングする#
すべての会話でループを回すのは無駄——ほとんどのリクエストは同じ形を繰り返す。Rox の 4 ラベルが行動を定義する:goal(ユーザーの意図)· output(返ってくるもの)· mutation(なし/作成/編集/送信)· target(明示 vs 推論されたオブジェクト)。週約 350 会話が約 130 行動に圧縮される;カバー不足の行動だけに eval を作る。
ステップ 4 — 手順全体をスキルとしてエンコードする#
トレース→eval ループは Devin が従う 1 つのスキルファイルに住む:トレース取得 → 合成 → プレビュー環境 → リプレイ → 比較 → 凍結 → PR。ループが悪い eval を産んだら、スキルを直す。eval を手でパッチするな——それが複利の一手。
ステップ 5 — 週次でスケジュールする#
cron 自動化(ガイド 6):その週のトレースを取得 → グルーピング → カバー不足の各行動でループを実行 → 新 eval 入りの PR を 1 件開く。人間がレビューするのは PR;Devin がスイートを所有する。
検証チェックリスト#
- [ ] 実際の本番障害がプレビュー環境で決定的にリプレイできる——同じユーザーリクエスト、同じ悪い結果
- [ ] eval ファイルがリポジトリにあり、CI で走り、旧挙動で失敗し修正で通る
- [ ] カバレッジが推測ではなく本番トラフィック構成に対して測定されている——Rox の 72% のように報告する
- [ ] 悪い eval が eval ではなくスキルの編集で直された
落とし穴#
- モックリプレイ。 Rox の以前の手法はモックしたデータ層経由でリプレイしていた——モックは置き換えたコード自体のバグを隠しうる。完全コピーを使う;プレビュー環境の存在意義は忠実度。
- フレークな判定。 コード変更がなくても約 8 回に 1 回の eval は実行ごとに合否が変わる——エージェントは非決定的。失敗は信頼する前に読む;単発フレークでアラートしない。
- 好みを測る eval。 スイートが捕らえるのは行動の退行(ツール経路の死亡、対応リクエストの未処理)でありスタイルではない——すべての失敗が修正可能な欠陥を指すべき。
理解度チェック#
- モックしたデータ層ではなく完全コピーでリプレイする理由は?(モックは置き換えたコード内のバグを隠しうる——エージェントが多くの状態を編集するほど、モックが実際にテストしている対象になる)
- eval を書く前に会話を行動にグルーピングする理由は?(ほとんどのリクエストは形を繰り返す——goal/output/mutation/target のラベル付けで 1 つの eval が多くの会話をカバーでき、カバレッジが実使用に対応する)
- 複利の一手は eval を直すことか、スキルを直すことか?(スキル——手パッチされた eval は Devin に何も教えない;直されたスキルは永遠により良い eval を産む)