コンテンツにスキップ

AI支出を横ばいに保つ方法(トークン使用量は指数関数的に増加する中で)

出典: Brian Armstrong(Coinbase CEO)のポスト。 https://x.com/brian_armstrong/status/2070670644577280109

要点(一言で)

コスト抑制の正解は「摩擦(使用上限)や支出アラート」ではなく、より良いデフォルト・ルーティング・キャッシングという仕組み側の最適化。目標は使用トークンを減らすことではなく、無駄なトークンを減らすこと。結果としてAI支出をほぼ半分に削減しつつ、トークン使用量は増加を継続できた。

5つの施策

1. より良いデフォルト(使用上限ではなく)

  • エンジニアは好きなモデルを選べる。ただしデフォルトが効く
  • LLMゲートウェイ経由で、オープンウェイトモデル(例: GLM 5.2、Kimi 2.7)をデフォルトに設定する実験中。同時に「タスクに合ったモデルを選べ」と促し続ける。
  • 従業員の91%は使用上限に一度も到達していなかった → 上限を下げてアラートを増やすのではなく、より安価なデフォルトへ移行する判断。
  • コードレビューでは多様なモデルが使われるため、互いの作業をクロスチェックできる副次効果。

2. より良いルーティング

  • カスタムハーネスでプロンプトを前処理し、キャッシュヒットとモデル価格を考慮して最適モデルへルーティング
  • 例: 計画立案は最先端モデルが欲しいが、実行フェーズでは過剰になることがある(フェーズで使い分ける)。
  • 最終的には人間がモデルを選ぶべきではない——AIがこの選択を自動化できる。

3. より良いキャッシング

  • キャッシュミスがコストを最も簡単に押し上げる要因。
  • 全リクエストをキャッシュ意識で組み、可能な限りウォームキャッシュを再利用
  • 例: LibreChatで適切に実装したところ、キャッシュヒット率が5%→60%に向上。

4. コンテキストをスリムに保つ

  • タスク切り替え時は新鮮なセッションから始める
  • ファイルコンテキストを狭く絞る
  • 未使用ツールを切断する
  • ただ圧縮(compact)するだけではダメ。狙いは無駄なトークンを減らすこと

5. より良い可視性

  • エンジニアは好きなだけトークンを使い、好きなモデルを選べるが、使用状況を可視化する。
  • AIに多く支出するほど、より大きなインパクトを期待する(抑制ではなく説明責任のフレーミング)。

結論

目標は使用を抑えることではなく、指数関数的な成長を維持可能なインフラを構築すること。

自分への示唆(メモ)

  • 自分の Claude Code / Temporal 運用にも効く軸: ①無人実行のデフォルトモデルを安価側に寄せる、②計画フェーズと実行フェーズでモデル/effortを分ける、③プロンプトキャッシュのウォーム維持(セッション分割・スリープ間隔の設計)、④タスク切替で新セッション+コンテキスト最小化。
  • 関連: ../../03-1_ai_workflow/ai_workflow(AIワークフロー運用)

作成: 2026-06-27 / 最終更新: 2026-06-27