dbt|Analytics Engineer から Context Engineer へ — 構造化された共有コンテキスト層¶
作成日: 2026-08-10 出典 / きっかけ: dbt Labs ブログ "From analytics engineer to context engineer"(+姉妹記事 "Bringing structured context to AI with dbt") 関連: 意味層_enforced_cube_dbt_looker_整理 / aiエージェント時代のデータ基盤論争_意味層は要るか_整理 / context_engineering_ast活用 / cerebras_社内ナレッジベース_統一embeddingsとhybrid_search_整理 / 社内mcp共通基盤_認証認可ログ_整理 / クラシル_データ基盤2人運用_data_owner_tier_ai_agent_整理
0. 要点(3行)¶
- 主張は「analytics engineer は context engineer に進化する」。スキルセットは同じ(モデリング+メタデータ整備)だが、対象が指標のモデリング → データエステート全体へ広がり、非構造化データ(通話ログ・PDF・JIRA)も全部が対象になる。
- 効く仕組みは「生データを直接 LLM に食わせない」。全員が似た質問を生 transcript に投げると冗長なトークンと API 制約が出る。DWH 側に要約を作って配信したらトークンコストが約98%減、しかも文脈品質は維持〜向上(=dbt の主張)。
- 結論=「構造化された共有コンテキスト層」を全社に敷く。dbt が DWH の上に載るのと同じ構図で、AI を元のデータスタックの上に載せる。文脈を指標と同じく SSoT(source of truth)として整備・ガバナンスするのが context engineer の仕事。cf. aiエージェント時代のデータ基盤論争_意味層は要るか_整理
1. 主張 — 役割の進化(analytics engineer → context engineer)¶
- 同じスキルセット(データモデリング、メタデータ整備、SSoT 化)で、やる対象が拡張する。
- これまで: メトリクスをモデリングする
- これから: データエステート全体をマッピングし、あらゆるデータソースが対象(構造化+非構造化)
- LLM の進歩で、PDF・JIRA チケット・通話ログのような非構造化データを DWH 内で移動・保存・モデリング・処理し、エージェント AI の文脈(context)として使えるようになった。
- = 「AI 向けの文脈を作る人」という新しい役割。既存の analytics engineer が最有力候補。
キャリア含意: これは「データ職の陳腐化」ではなく職能の横展開。メトリクス設計・SSoT・メタデータ整備という既存の強みが、そのまま AI 時代の中核スキルになる、というポジティブな再定義。
2. きっかけ — 定性データ分析が"解禁"された¶
- Claude / ChatGPT のエージェントが、大規模な定性データ分析という新ユースケースを解禁。
- 結果、通話ログ(call transcript)テーブル(例: Gong から取り込んだもの)が DWH の価値ある資産になった。
3. 中核の実例 — 生 transcript 直叩きの罠と、要約配信¶
問題(アンチパターン) - 全員が似たデータに似た質問をする(「Gong の transcript ちょうだい」「要約して」)。 - 直接 MCP が生の raw transcript を繰り返しクエリする → 冗長なトークンコストと API 制約(レート制限)。
解決 - DWH 側に transcript の要約(summaries)を作って配信する。 - → トークンコストが約98%減、文脈の品質は維持〜むしろ向上(=dbt の顧客事例としての主張)。
[アンチパターン]
各エージェント → 直MCP → 生transcriptを毎回フルクエリ ⇒ トークン爆発・API制約
[context engineering]
生transcript → DWHで要約・構造化(1回) → 要約を配信 ⇒ トークン ~98%減・品質維持
※ 98% は dbt ブログの主張(顧客事例)。本文は getdbt.com が WebFetch を一律 404 で弾くため直接取得できず、検索インデックスの抜粋+姉妹記事で相互補強した数値。厳密な母数・条件は原典要確認。
4. 構造化された共有コンテキスト層(structured shared context layer)¶
- データチームが全社向けの「構造化された共有コンテキスト層」を作る。
- 構図は明快: dbt が DWH の上に載るのとまったく同じやり方で、AI を元のデータスタックの上に載せる。
- この層の定義: データモデルに意味を与える「ロジック+メタデータ」の維持された層。これが AI 出力を
- 予測可能(predictable)
- ガバナンス可能(governed)
- 説明可能(explainable)
- コスト効率的(cost-efficient) — compute だけでなくトークン使用量も にする土台になる。
- 思想: 文脈(context)を、メトリクスと同じように SSoT として扱う。「会社の知識を構造化し、トークンコストが爆発しないよう最適化する」。
5. dbt での実装(姉妹記事: Bringing structured context to AI with dbt)¶
課題: メトリクス・定義・ポリシー・データ関係・運用ルールといった重要知識が、ダッシュボード・ドキュメント・散在 SQL に散らばる。共有の権威ある意味層が無いと AI 出力は不安定になり、幻覚・回答の不整合・高コストな手戻りを招く。
dbt MCP Server が、AI エージェントに dbt プロジェクトへの構造化された直接アクセスを与える:
| MCP ツール | 公開するもの |
|---|---|
| Semantic Layer tool | メトリクス(ビジネス質問に答える) |
| Discovery tool | データ資産の発見(dbt Discovery API) |
| CLI tool | 自然言語→SQL クエリ実行 |
| Fusion tool | (Fusion エンジン連携) |
| Admin tool | 管理系 |
- 既存のアクセス制御を尊重し、AI ツール/BI/オーケストレーションをまたいで相互運用可能。
- MCP=Anthropic が 2024年11月に公開したオープン標準。エージェントがカスタム接続なしに信頼できるデータへリアルタイムアクセスできる。cf. 社内mcp共通基盤_認証認可ログ_整理
- これらが束になって dbt の「構造化コンテキスト層」= あらゆる AI システムにとって単一で説明可能な SSoT を形成する。「AI systems stop guessing and start reasoning(AI は当てずっぽうをやめ、推論を始める)」。
6. なぜ効くか(一言で)¶
- メトリクスを SSoT 化して BI を信頼可能にしたのと同じことを、文脈(非構造化含む)に対してやる。
- 生データを毎回 LLM に舐めさせる(=トークン浪費+幻覚)のをやめ、意味づけ・要約・メタデータの層を1回作って使い回す。
- = 「点数(生データ量)で殴る」から「構造(意味層)で効かせる」への移行。RAG のハイブリッド検索や統一 embeddings 層(cerebras_社内ナレッジベース_統一embeddingsとhybrid_search_整理)とも地続き。
7. まとめ — 持ち帰る手¶
| 状況 | 借りる手 / 判断 |
|---|---|
| エージェントが生データを直叩きしてトークン爆発 | DWH で要約・構造化して配信(要約を SSoT 化)。dbt 事例で ~98% 減 |
| AI の回答が不安定・幻覚が出る | 構造化された共有コンテキスト層(ロジック+メタデータ)を先に敷く |
| 非構造化データ(通話ログ/PDF/チケット)を活かしたい | DWH に取り込み、analytics engineer の作法(モデリング+メタデータ)で意味づけ |
| 既存の analytics engineer の役割が不安 | context engineer へ横展開。SSoT/メタデータの強みがそのまま AI の中核に |
| dbt を使っている | dbt MCP Server(Semantic Layer / Discovery / CLI / Fusion / Admin)でメトリクス・lineage・docs・metadata をエージェントに公開、既存アクセス制御を尊重 |
一言で: 「AI に生データを丸投げ」ではなく、意味づけした構造化コンテキスト層を1回作って使い回す。analytics engineer が積んできた「SSoT とメタデータの整備力」が、そのまま context engineer の武器になる、という筋のいい再定義。
参考リンク¶
- 原典: dbt Labs "From analytics engineer to context engineer" — https://www.getdbt.com/blog/from-analytics-engineer-to-context-engineer ※WebFetch は 404(bot 対策)。内容は検索インデックス+姉妹記事で補強
- 姉妹記事: "Bringing structured context to AI with dbt" — https://www.getdbt.com/blog/bringing-structured-context-to-ai-with-dbt
- "How the dbt MCP Server connects AI to trusted data" — https://www.getdbt.com/blog/mcp
- dbt MCP Server 開発者ブログ — https://docs.getdbt.com/blog/introducing-dbt-mcp-server / docs: https://docs.getdbt.com/docs/dbt-ai/about-mcp
- The context engineering playbook(dbt roundup, Claire Gouze) — https://roundup.getdbt.com/p/the-context-engineering-playbook
作成: 2026-08-10 / 最終更新: 2026-08-10