AI 駆動開発時代の品質保証（山本直弥・上田瀟逸 / KAG）— 「作る AI」と「評価する AI」を分け、人間は基準と仕組みを作る¶
作成日: 2026-07-19 出典 / きっかけ: 山本直弥（Nao）・上田瀟逸（ハリネズミ）「AI駆動開発時代の品質保証」（KAG AI WEEK Summer Day4 〜KDDI DIGITAL GATE ゲスト会〜、2026-07-16） https://speakerdeck.com/naonana777/aiqu-dong-kai-fa-shi-dai-pin-zhi-bao-zheng 関連: azukiazusa_設計中心のaiコーディング開発プロセス_整理 / moongift_ai時代の開発生産性_個人技からチーム設計へ_整理 / agent評価_サプライザルとevaluate-your-evals / enterprise_bench_企業aiエージェント評価ベンチマーク_整理 / sign_off_layer_ai時代の承認とオーナーシップ_整理 / dena_職種横断ai活用_sdd_と週次共有会_整理
0. 要点（3行）¶
- AI がコードを量産する時代の QA（品質保証）を「AI 対 AI」で組む話。核は「作る AI（実装）と評価する AI（テスト・レビュー・リリース判定）を役割分離する」こと。人手レビューが追いつかない（コード量2倍近く／レビュー時間 +91% とされる）ので、評価側も AI 化する。
- リリース判定は3段階のゲート（BLOCK / Deploy with Caution / Safe to Release）で自動化しつつ、最終判定は人間が持つ。従来の「完全一致テスト＋カバレッジ」では毎回出力が変わる AI エージェントを評価できないので、Helpfulness スコア・A/B テスト・自動スコアリングという新しい評価軸を足す。
- 人間の役割は「基準づくり・仕組みづくり・振り返り」へ移る。コードレビューや修正 PR 生成そのものは AI に寄せ、人はレビュー基準・セキュリティポリシー・成功条件・評価閾値を設計する。これを回す枠組みがループエンジニアリング（反復性・失敗検知・エージェント完結・客観的な完成定義）。
1. 何が変わるか — 量産がレビューを壊す¶
| 指標（スライド） | 変化 |
|---|---|
| タスク完了数 | +21% |
| PR マージ数 | +98%（＝コード量が2倍近く） |
| PR レビュー時間 | +91% |
→ 従来の人力レビューでは対応不能。だから評価・品質保証そのものを AI 化・仕組み化する必要がある。cf. moongift_ai時代の開発生産性_個人技からチーム設計へ_整理（レビューが律速）。
2. 中心アイデア — 「作る AI」と「評価する AI」の分離¶
- 作る AI（実装。Kiro 等の仕様駆動 IDE）と、評価する AI（テスト実行・評価・リリース判定）を役割で明確に分ける。
- 仕様作成段階から品質を確保する（後工程でテストするだけでなく、上流で成功条件を定義）。
- → azukiazusa_設計中心のaiコーディング開発プロセス_整理 の「実装セッションと別セッションでレビュー（履歴バイアス排除）」と同じ発想を、チーム/基盤レベルに広げたもの。
3. 登場ツール（スライド記載・正式名称/実在は要確認）¶
| ツール | 役割（スライド） | 補足 |
|---|---|---|
| Kiro | 仕様作成・AI 駆動開発 | AWS の仕様駆動エージェント IDE（実在） |
| AgentCore Evaluations | エージェント出力の自動スコアリング | Amazon Bedrock AgentCore 系と思われる（要確認） |
| AWS DevOps Agent | テスト実行・評価、リリース判定、独自ルール適用 | 正式名称要確認 |
| AWS Continum（原文ママ） | セキュリティレビュー・脆弱性検出・修正提案 | 綴り・正式名称要確認（"Continuum" か） |
| SkillOpt | Skill の評価・最適化（GUI 対応） | 発表者側の取り組みと思われる・要確認 |
| SkillOpt-Sleep | 利用ログから自己進化（プレビュー） | 同上 |
ツール名は聞き取り/スライド由来で綴りが不確か。引用時は原典・公式で確認すること。
4. テスト戦略の転換 — 「実行」から「根本原因分析」へ¶
- 従来: 機械的なテスト実行（決まったテストを回す）。
- これから: 根本原因分析＋解決案の立案まで AI が行う。テスト対象外のコード変更も自動検出してテストを生成する（カバレッジの穴を AI が埋める）。
5. リリース判定は3段階ゲート¶
| 判定 | 意味 |
|---|---|
| BLOCK | 重大な問題。リリース阻止 |
| Deploy with Caution | リスクはあるが致命的でない。注意付きでデプロイ可 |
| Safe to Release | 重大問題なし |
品質ゲートの例:
- カバレッジ目標値の設定
- 組織独自ルールの定義（例:「tmp 付き関数は NG」）
→ 2値（pass/fail）でなく3段階にすることで、「軽微なリスクは注意付きで通す」現実的な運用にする。ただし cf. §7、最終リリース判定は人間。
6. AI エージェント評価の難しさと新しい評価法¶
なぜ従来手法が効かないか: - 通常のプログラムは「完全一致テスト」「カバレッジ計測」ができる。 - AI エージェントの出力は毎回異なり、判断の質が重要 → 完全一致もカバレッジも当てにならない。
新しい評価法:
| 手法 | 中身 |
|---|---|
| Helpfulness 評価 | ユーザー視点での有用性をスコア化 |
| A/B テスト | プロンプトを比較して最適化 |
| AgentCore Optimization | スコア向上のため改善案を自動提案 |
→ 「正解と一致するか」でなく「役に立つか（LLM-as-a-judge 的なスコアリング）」で測る転換。cf. agent評価_サプライザルとevaluate-your-evals / enterprise_bench_企業aiエージェント評価ベンチマーク_整理。
7. 人間の役割の転換¶
| 従来型（AI に寄せる） | 新型（人間が担う） |
|---|---|
| コードレビュー | 基準づくり: レビュー基準・セキュリティポリシー定義 |
| 脅威モデリング | 仕組みづくり: テスト基準・成功条件・評価閾値の設計 |
| 修正 PR 生成 | 振り返り・学習: エージェント出力の改善サイクル構築 |
原則: 最終的なリリース判定は人が行う（AI に寄せても、責任の所在は人間）。→ sign_off_layer_ai時代の承認とオーナーシップ_整理 と同じ「承認・オーナーシップは人間」。
8. ループエンジニアリング — 自動改善が回る条件¶
AI に品質保証を委ねる前提として、タスクがループに乗る条件を定義:
- 反復性がある
- 失敗検知ができる
- エージェントが完結できる
- 完成が客観的に定義できる
SkillOpt-Sleep の自動改善サイクル（プレビュー）:
→ 「使う→ログ→改善→検証→反映」を夜間に自律で回す。上の4条件（特に失敗検知＋客観的完成定義）が満たせるタスクだからループ化できる。
9. まとめ — 状況 → この講演の答え（早見表）¶
| 局面 | 答え |
|---|---|
| 量産でレビューが追いつかない | 評価する AI を立て、作る AI と役割分離 |
| AI 出力は毎回変わる | 完全一致でなく Helpfulness / A/B / 自動スコアリングで評価 |
| リリースの可否 | 3段階ゲートで自動判定、ただし最終判定は人間 |
| 人間は何をするか | コードを書く/レビューするより基準・仕組み・振り返りを設計 |
| 品質保証を自動化するには | ループエンジニアリングの4条件（反復・失敗検知・完結・客観的完成）を満たす形に切る |
一言で: AI が「作る」を量産する時代の QA は、評価も AI 化して「作る AI × 評価する AI」で回し、人間は基準と仕組みと最終判定に退くこと。テストは「一致確認」から「役立つかの評価＋根本原因分析」へ、品質ゲートは pass/fail から3段階へ変わる。
注意・留保¶
- 本資料はイベント登壇スライド（KAG AI WEEK）。数値（タスク +21% / PR +98% / レビュー +91%）は出典未確認。引用時は原典に当たること。
- ツール名（AWS Continum / AWS DevOps Agent / AgentCore Evaluations / SkillOpt / SkillOpt-Sleep）は綴り・正式名称・実在が不確か。Kiro（AWS の仕様駆動 IDE）は実在。AgentCore は Amazon Bedrock AgentCore 系と思われるが要確認。
- 「ループエンジニアリング」はこの発表の枠組み用語。個人ラボ（harness-loop-lab）の関心とも重なるが、定義は発表者に準ずる。
- 発表者・上田瀟逸は新刊『Mastra による AI エージェント開発・運用［実践入門］』（2026-07-06 発売）の著者の一人。
参考リンク¶
- 山本直弥・上田瀟逸: AI駆動開発時代の品質保証（Speaker Deck, 2026-07-16） — https://speakerdeck.com/naonana777/aiqu-dong-kai-fa-shi-dai-pin-zhi-bao-zheng
- Kiro（AWS の仕様駆動エージェント IDE・関連参照） — https://kiro.dev/
- 『Mastra による AI エージェント開発・運用［実践入門］』（上田瀟逸ほか、2026-07-06） — 関連書籍
作成: 2026-07-19 ／ 最終更新: 2026-07-19