Enterprise-Bench — 企業AIエージェントの実業務信頼性を測るベンダー中立ベンチマーク¶
作成日: 2026-07-14 出典 / きっかけ: DevRev が 2026-07-09（米国時間）に公開したオープンソースの企業AIエージェント評価指標「Enterprise-Bench」。日本語ニュース記事を起点に一次資料（英語プレスリリース・解説記事）で裏取り。 関連: agent評価_サプライザルとevaluate-your-evals / agentic_reference_architecture_評価ループ / ai_agent_9社_本番運用アーキテクチャ
0. 要点（3行）¶
- タスクの難易度ではなく「組織の複雑さ」を測るベンチマーク。データがサイロ化・分散し、権限境界がある企業環境で、AIエージェントがどれだけ確実に動くかを「精度・効率・安全性」の3軸で評価する。単体 LLM ではなくエージェントシステム全体が対象。
- 効く仕掛けは「回答保持データスケーリング（scale-invariant ground truth）」 — 正解を固定したままノイズ量を 1x→4x→16x→64x と増やし、データが増えても埋もれた正解を抜けるかを測る。絶対的な正答率より、データ量が増えたときの精度・コストの相対的な伸び方を見るのが肝。
- ただし作ったのも首位を取ったのも DevRev 自身（自社製品「Computer」がリーダーボード1位）。設計はオープン・再現可能で第三者検証も入っているが、検証者は DevRev 取締役でもある。リーダーボードの数字はうのみにせず、自分で再現して読むのが正しい距離感。
1. 何を解こうとしているか — 「タスクの複雑さ」から「組織の複雑さ」へ¶
従来の AI ベンチマークの多くは、単一ユーザー規模での推論力やコーディング力というタスクの複雑性に寄っていた（SWE-bench 等）。だが実際の企業環境で AI が難しいのは、能力よりも次のような組織固有の制約である。
- データが複数システムに分散・サイロ化している
- 厳格な権限管理（permission boundary）を守る必要がある
- 全アクションが監査可能（traceable）でなければならない
Enterprise-Bench は、この組織の複雑さ（organizational complexity）に AI がどう対応するかを検証するために設計された。DevRev の CTO Ahmed Bashir はこれを「タスクの複雑さではなく、組織の複雑さを測る手段をベンチマークコミュニティに加えるもの」と表現している。
DevRev はこの位置づけを、1990年代にデータベース業界の標準となった TPC、機械学習分野の ImageNet になぞらえる。ベンダー独自の主張に依存せず性能を比較できる共通のものさし、という狙い。
2. 評価の3軸¶
| 軸 | 測ること | 具体的な観点 |
|---|---|---|
| 精度 (Precision) | 正しい情報源から一貫して正確な回答を導けるか | 正答 + 検証可能な出典 + 監査可能な導出経路 |
| 効率 (Efficiency) | 回答生成のコストが妥当にスケールするか | 消費トークン量、データ量（ノイズ）増加に対するコストの伸び |
| 安全性 (Safety) | 権限を順守し追跡可能に動くか | ユーザー権限境界の順守、全アクションの監査可能性 |
ポイントは、精度だけでなく効率と安全性を同格で並べていること。企業導入では「正しいが高すぎる／権限を踏み越える」エージェントは使えない、という実務観が反映されている。
3. 自律性の4段階（L1〜L4）¶
自動運転のレベル定義に倣い、AI の能力を単純なデータ取得から完全自律まで4段階で定義する。
L1 単純なデータ取得（factual retrieval） ┐ 初回リリースで
L2 複数ソース横断の複雑な企業クエリ ┘ カバー済み
L3 戦略的オーケストレーション ┐ 2026年後半に
L4 完全自律動作（autonomous operation） ┘ 公開予定
現時点の Enterprise-Bench は L1〜L2 のみ。L3・L4 は 2026年内に追加予定とされる（＝現状のリーダーボードは「検索・多ソース照会」レベルの評価であり、自律的な意思決定・実行はまだ測っていない点に注意）。
4. 核心の仕掛け — 回答保持データスケーリング（scale-invariant ground truth）¶
Enterprise-Bench の一番の独自性がここ。
- 中規模ソフトウェア企業1社を模したデータセットを、1x / 4x / 16x / 64x の4サイズで用意する。
- どのサイズでも、各タスクの正解は同一に保つ（scale-invariant ground truth = 正解不変）。
- 増えるのは正解の周りのノイズ（無関係データ）だけ。データ量が現実の企業規模に近づくほど、正解は大量のノイズに埋もれる。
これで測れるのは「データ（ノイズ）が増えても、埋もれた正解を正確に抜き出せるか」。Dimakis 教授いわく「今日のエージェントベンチマークの多くは消費者向けタスクを試す。ここが違うのは、難易度がデータそのものと共にスケールする点だ」。
直感: 図書館が大きくなるほど1冊を探すのが難しくなる。蔵書（ノイズ）を増やしても「探す本（正解）」は変えず、規模に対して検索精度とコストがどう劣化するかの曲線を見る、というテスト設計。
5. 中立性の担保¶
| 担保の仕組み | 内容 |
|---|---|
| フルオープンソース | データセット・評価手法・ベンチマーククエリ・判定基準・評価ハーネス・実行トレース・初期結果まで全公開。誰でも再現・検証・比較できる |
| 独立したハーネス | Harbor（Laude Institute 製。Terminal-Bench の作者陣による、エージェント評価・最適化フレームワーク）で実行 |
| 独立 LLM ジャッジ | 公開された判定基準に基づき、独立した LLM が採点 |
| 第三者検証 | UC バークレー校 Alexandros (Alex) Dimakis 教授が検証。Laude Institute の研究者は UC バークレー・スタンフォード系 |
| 公開リーダーボード | 実行結果を証拠（トレース）付きで公開ボードに提出可能 |
DevRev の Jeff Smith（Office of the CTO）の言葉が思想を端的に表す — 「公開されないベンチマークはベンチマークではない。マーケティングだ」。
6. 初期リーダーボードの結果¶
同一の L1-L2 タスク・同一データ・同一モデル（Opus 4.8 系）・独立 LLM ジャッジという条件下での比較。
| 指標 | DevRev Computer | Claude Code |
|---|---|---|
| 精度 | 94.3% | 63.6% |
| 正答あたり消費トークン | 約 5,598 | 約 24,461（4.4倍） |
| データセット全体トークン | 約 54M | 約 92M |
- 精度で相対 +48%、正答あたりトークンで 4.4倍の効率差、というのが DevRev の掲げるヘッドライン。
- 同じ基盤モデル（Opus 4.8）を使っての差なので、DevRev は「差はモデルではなく、エージェントシステム（データ連携・権限順守・検索設計）の作りから来る」と主張している。
- ※ データセット全体トークンの 54M / 92M という値は一次資料により表現が揺れており、比率の解釈は要確認。確実に複数ソースで一致しているのは「94.3% vs 63.6%」と「4.4倍のトークン効率」の2点。
7. 距離の取り方 — 事実と留意点を分ける¶
事実（一次資料で確認）: - 設計・データ・ハーネス・トレースは全公開で、独立に再現・提出できる。 - 独立 LLM ジャッジと公開判定基準を使う。UC バークレーの研究者による検証が入っている。
留意点（うのみにしない）: - ベンチマークを作ったのも、首位（Computer）なのも DevRev 自身。「自社が勝つ土俵」構造は避けられない。 - 検証者 Dimakis 教授は DevRev の取締役でもある（＝完全な第三者ではない）。 - 現状は L1-L2（検索・多ソース照会）のみで、自律実行（L3-L4）は未評価。 - The New Stack は関連記事に「Enterprise AI benchmarks are broken（企業AIベンチマークは壊れている）」と題している。
→ 含意: 「設計がオープンで再現可能」であること（＝良い設計思想）と、「そのリーダーボードの順位が信頼できる」こと（＝ベンダー主導の結果）は別問題。フレームワーク（Harbor 上の評価設計・回答保持スケーリングの発想）は自社のエージェント評価に転用する価値があるが、順位表そのものは自分で回して確かめてから引用するのが妥当。
8. まとめ — いつ効くか¶
| 状況 | この件をどう使うか |
|---|---|
| 社内エージェントの評価設計を考えている | 3軸（精度・効率・安全性）と回答保持データスケーリングの発想を借りる。特に「データ量に対する精度・コストの伸び」を測る観点は自社評価に転用価値が高い |
| ベンダーのベンチマーク数字を見せられた | 「誰が作り・誰が1位で・検証者は独立か・どのレベル(L?)か」を確認する。オープンでもベンダー自作なら順位はうのみにしない |
| 評価ハーネスを探している | Harbor（Laude Institute / Terminal-Bench 作者陣）は Claude Code・OpenHands・Codex CLI 等の任意エージェントを評価でき、独自ベンチマーク構築も可能。候補に入る |
| L3-L4（自律実行）の評価が要る | 現状の Enterprise-Bench では未カバー。2026後半の追加を待つか、別手段が要る |
参考リンク¶
- New Open Benchmark Creates Global Standard for Evaluating Enterprise AI. DevRev Tops the Leaderboard（GlobeNewswire プレスリリース / The Manila Times 転載, 2026-07-09）
- DevRev Open Sources Enterprise AI Benchmark — Open Source For You（2026-07）
- Enterprise AI benchmarks are broken — The New Stack
- Harbor — Framework for evaluating and improving agents（GitHub, harbor-framework）
- DevRev 公式サイト
- Alex Dimakis — EECS at UC Berkeley
作成: 2026-07-14 ／ 最終更新: 2026-07-14