AIルーティングのパンドラの箱
DeepMindは、モデル選択をコストを考慮した「パンドラの箱問題」として扱うフレームワーク「Pandora’s Router」を発表しました。実際に結果を改善する情報に対してのみコストを支払うことで、このシステムは、全探索と同等の結果を維持しつつ、推論コストを大幅に削減します。
なぜモデル選択は無料ではないのか
プロダクション・パイプラインでは、モデルを選択するステップのコストがゼロであると想定されがちです。しかし実際には、モデルの適合性を推定するために、計算リソース、メモリ、時には外部データへの呼び出しが必要になります。迅速でノイズの多い推定は安価ですが、誤った判断を招く可能性があります。一方で、正確な推定には、より小さなモデルを実行したり、追加のコンテキストを取得したりする必要があり、それらが積み重なってコストとなります。
DeepMindの論文はこのジレンマを再定義しています。各候補モデルには、入力されたクエリに対する期待されるパフォーマンスという「価値」が隠されています。このフレームワークでは、コントローラーが手数料を支払ってその価値を「覗き見」することができ、さらなる洞察がそのコストに見合わなくなった時点で支払いを停止することができます。
ソリューションを構成する2つの要素
Pandora’s Router – 各リクエストに対して、モデルの価値をより正確に推定するためのコストを支払うべきかどうかを決定する中央集権的なエンジンです。これは「リザーブプライス（最低落札価格）」を設定します。これは、より良い推定から得られる期待利益が手数料を上回らない閾値です。予測される改善がリザーブプライスを超えた場合、エンジンはその洞察を購入し、そうでなければ既に持っている最善の予測に基づいて処理を進めます。
Pandora’s Bidder – モデル・マーケットプレイス向けの分散型カウンターパートです。独立したプロバイダーは、入札を行う前に、自身の価値推定を精緻化するために計算リソースを費やすかどうかを決定します。プロバイダー自身の持つリザーブプライスにより、精緻化された推定値が勝てる可能性が高い場合にのみ、コストを支払うよう強制されます。
両方の要素は同じ原則を共有しています。つまり、期待される報酬がコストを上回る場合にのみ、情報に対して支出するという原則です。
3つのドメインにおける結果
著者らは、以下の3つのワークロードでこのアプローチをテストしました。
- 数学的推論 – さまざまな精度を持つソルバー（解法エンジン）の中から選択。
- 検索拡張生成 (RAG) – 異なる知識ベースの検索戦略の中から選択。
- 大規模エンベディングモデル – 類似性検索に最適なエンコーダーを選択。
Pandora’s Routerは、あらゆるケースにおいて静的なルーティングルールや貪欲なヒューリスティック（greedy heuristics）に勝利しました。最も困難なシナリオにおいても、ほとんどの調査コストを回避しながら、全モデルを総当たり的にスキャンした際と同等の品質を実現しました。著者らは「調査コストの大部分」が節約されたと報告しており、これは計算コストの大幅な削減を意味しています。
AIエンジニアリングにとっての意味
- ルーティングのオーバーヘッドを無視しないこと。 どのモデルを使用するかを決定することには、測定可能なコストがかかります。
- リザーブプライスを導入すること。 追加の洞察がその手数料に見合うかどうかの明確なカットオフ（境界線）を設定してください。
- コストを意識したルーティングを採用すること。 モデルのカタログが増大しても、期待される利益と費用をバランスさせる意思決定レイヤーがあれば、予算を管理できます。
反論：追加される複雑性
入札またはルーティングのレイヤーを追加することにはトレードオフが伴います。チームは、リザーブプライスを計算するロジックを維持し、手数料体系を監視し、追加のコードパスがボトルネックにならないようにする必要があります。モデルが数個しかない小規模なデプロイメントでは、Pandora’s Routerのコストが節約額を上回る可能性があります。また、このフレームワークは「より良い推定のコストが既知であり、安定している」ことを前提としていますが、この前提は、変動の激しいクラウド価格やスポットインスタンスの中断によって崩れる可能性があります。
まとめ
モデル選択を、無料のルーティングステップではなく、経済的な意思決定として捉えてください。Pandora’s Routerは、規律あるコスト意識の高いアプローチによって、出力の品質を犠牲にすることなく不要な計算を削減でき、AIシステムのスケーラビリティと財務的な持続可能性を維持できることを示しています。