コンテンツにスキップ

dbt|Analytics Engineer から Context Engineer へ — 構造化された共有コンテキスト層

作成日: 2026-08-10 出典 / きっかけ: dbt Labs ブログ "From analytics engineer to context engineer"(+姉妹記事 "Bringing structured context to AI with dbt") 関連: 意味層_enforced_cube_dbt_looker_整理 / aiエージェント時代のデータ基盤論争_意味層は要るか_整理 / context_engineering_ast活用 / cerebras_社内ナレッジベース_統一embeddingsとhybrid_search_整理 / 社内mcp共通基盤_認証認可ログ_整理 / クラシル_データ基盤2人運用_data_owner_tier_ai_agent_整理


0. 要点(3行)

  • 主張は「analytics engineer は context engineer に進化する」。スキルセットは同じ(モデリング+メタデータ整備)だが、対象が指標のモデリング → データエステート全体へ広がり、非構造化データ(通話ログ・PDF・JIRA)も全部が対象になる。
  • 効く仕組みは「生データを直接 LLM に食わせない」。全員が似た質問を生 transcript に投げると冗長なトークンと API 制約が出る。DWH 側に要約を作って配信したらトークンコストが約98%減、しかも文脈品質は維持〜向上(=dbt の主張)。
  • 結論=「構造化された共有コンテキスト層」を全社に敷く。dbt が DWH の上に載るのと同じ構図で、AI を元のデータスタックの上に載せる。文脈を指標と同じく SSoT(source of truth)として整備・ガバナンスするのが context engineer の仕事。cf. aiエージェント時代のデータ基盤論争_意味層は要るか_整理

1. 主張 — 役割の進化(analytics engineer → context engineer)

  • 同じスキルセット(データモデリング、メタデータ整備、SSoT 化)で、やる対象が拡張する。
  • これまで: メトリクスをモデリングする
  • これから: データエステート全体をマッピングし、あらゆるデータソースが対象(構造化+非構造化)
  • LLM の進歩で、PDF・JIRA チケット・通話ログのような非構造化データを DWH 内で移動・保存・モデリング・処理し、エージェント AI の文脈(context)として使えるようになった。
  • = 「AI 向けの文脈を作る人」という新しい役割。既存の analytics engineer が最有力候補。

キャリア含意: これは「データ職の陳腐化」ではなく職能の横展開。メトリクス設計・SSoT・メタデータ整備という既存の強みが、そのまま AI 時代の中核スキルになる、というポジティブな再定義。


2. きっかけ — 定性データ分析が"解禁"された

  • Claude / ChatGPT のエージェントが、大規模な定性データ分析という新ユースケースを解禁。
  • 結果、通話ログ(call transcript)テーブル(例: Gong から取り込んだもの)が DWH の価値ある資産になった。

3. 中核の実例 — 生 transcript 直叩きの罠と、要約配信

問題(アンチパターン) - 全員が似たデータに似た質問をする(「Gong の transcript ちょうだい」「要約して」)。 - 直接 MCP が生の raw transcript を繰り返しクエリする → 冗長なトークンコストAPI 制約(レート制限)

解決 - DWH 側に transcript の要約(summaries)を作って配信する。 - → トークンコストが約98%減、文脈の品質は維持〜むしろ向上(=dbt の顧客事例としての主張)。

[アンチパターン]
  各エージェント → 直MCP → 生transcriptを毎回フルクエリ  ⇒ トークン爆発・API制約

[context engineering]
  生transcript → DWHで要約・構造化(1回) → 要約を配信  ⇒ トークン ~98%減・品質維持

※ 98% は dbt ブログの主張(顧客事例)。本文は getdbt.com が WebFetch を一律 404 で弾くため直接取得できず、検索インデックスの抜粋+姉妹記事で相互補強した数値。厳密な母数・条件は原典要確認。


4. 構造化された共有コンテキスト層(structured shared context layer)

  • データチームが全社向けの「構造化された共有コンテキスト層」を作る。
  • 構図は明快: dbt が DWH の上に載るのとまったく同じやり方で、AI を元のデータスタックの上に載せる
  • この層の定義: データモデルに意味を与える「ロジック+メタデータ」の維持された層。これが AI 出力を
  • 予測可能(predictable)
  • ガバナンス可能(governed)
  • 説明可能(explainable)
  • コスト効率的(cost-efficient) — compute だけでなくトークン使用量も にする土台になる。
  • 思想: 文脈(context)を、メトリクスと同じように SSoT として扱う。「会社の知識を構造化し、トークンコストが爆発しないよう最適化する」。

5. dbt での実装(姉妹記事: Bringing structured context to AI with dbt)

課題: メトリクス・定義・ポリシー・データ関係・運用ルールといった重要知識が、ダッシュボード・ドキュメント・散在 SQL に散らばる。共有の権威ある意味層が無いと AI 出力は不安定になり、幻覚・回答の不整合・高コストな手戻りを招く。

dbt MCP Server が、AI エージェントに dbt プロジェクトへの構造化された直接アクセスを与える:

MCP ツール 公開するもの
Semantic Layer tool メトリクス(ビジネス質問に答える)
Discovery tool データ資産の発見(dbt Discovery API)
CLI tool 自然言語→SQL クエリ実行
Fusion tool (Fusion エンジン連携)
Admin tool 管理系
  • 既存のアクセス制御を尊重し、AI ツール/BI/オーケストレーションをまたいで相互運用可能
  • MCP=Anthropic が 2024年11月に公開したオープン標準。エージェントがカスタム接続なしに信頼できるデータへリアルタイムアクセスできる。cf. 社内mcp共通基盤_認証認可ログ_整理
  • これらが束になって dbt の「構造化コンテキスト層」= あらゆる AI システムにとって単一で説明可能な SSoT を形成する。「AI systems stop guessing and start reasoning(AI は当てずっぽうをやめ、推論を始める)」。

6. なぜ効くか(一言で)

  • メトリクスを SSoT 化して BI を信頼可能にしたのと同じことを、文脈(非構造化含む)に対してやる
  • 生データを毎回 LLM に舐めさせる(=トークン浪費+幻覚)のをやめ、意味づけ・要約・メタデータの層を1回作って使い回す
  • 「点数(生データ量)で殴る」から「構造(意味層)で効かせる」への移行。RAG のハイブリッド検索や統一 embeddings 層(cerebras_社内ナレッジベース_統一embeddingsとhybrid_search_整理)とも地続き。

7. まとめ — 持ち帰る手

状況 借りる手 / 判断
エージェントが生データを直叩きしてトークン爆発 DWH で要約・構造化して配信(要約を SSoT 化)。dbt 事例で ~98% 減
AI の回答が不安定・幻覚が出る 構造化された共有コンテキスト層(ロジック+メタデータ)を先に敷く
非構造化データ(通話ログ/PDF/チケット)を活かしたい DWH に取り込み、analytics engineer の作法(モデリング+メタデータ)で意味づけ
既存の analytics engineer の役割が不安 context engineer へ横展開。SSoT/メタデータの強みがそのまま AI の中核に
dbt を使っている dbt MCP Server(Semantic Layer / Discovery / CLI / Fusion / Admin)でメトリクス・lineage・docs・metadata をエージェントに公開、既存アクセス制御を尊重

一言で: 「AI に生データを丸投げ」ではなく、意味づけした構造化コンテキスト層を1回作って使い回す。analytics engineer が積んできた「SSoT とメタデータの整備力」が、そのまま context engineer の武器になる、という筋のいい再定義。


参考リンク

  • 原典: dbt Labs "From analytics engineer to context engineer" — https://www.getdbt.com/blog/from-analytics-engineer-to-context-engineer ※WebFetch は 404(bot 対策)。内容は検索インデックス+姉妹記事で補強
  • 姉妹記事: "Bringing structured context to AI with dbt" — https://www.getdbt.com/blog/bringing-structured-context-to-ai-with-dbt
  • "How the dbt MCP Server connects AI to trusted data" — https://www.getdbt.com/blog/mcp
  • dbt MCP Server 開発者ブログ — https://docs.getdbt.com/blog/introducing-dbt-mcp-server / docs: https://docs.getdbt.com/docs/dbt-ai/about-mcp
  • The context engineering playbook(dbt roundup, Claire Gouze) — https://roundup.getdbt.com/p/the-context-engineering-playbook

作成: 2026-08-10 / 最終更新: 2026-08-10