ある研究チームは、推論コストを削減することを目的に、安価な言語モデルがコーディングのリクエストに対応できるかどうかを判断するルーターを構築したが、そのルーターは「決してエスカレーションしない（never-escalate）」というベースラインに勝つことができなかった。この失敗は、なぜ精度中心の指標がカスケードにおいて誤解を招くのかを示しており、難易度を実際に捉えるためのシグナルを提示している。

なぜルーターが重要だったのか

モデル・カスケードは、各リクエストを、正解を出せる最小のモデルに送信します。ルーターが単純なプロンプトを安価なモデルに送れば、システムは大規模なモデルに必要な高コストな計算をスキップできます。チームは、安価なモデルで十分な場合を学習させることを期待して、539個の実際のコーディングタスク（簡単なものが428個、難しいものが111個）を用いてルーターを訓練しました。

及ばなかった数値

  • ホールドアウトAUC（ROC曲線下の面積）: 0.594
  • 5分割交差検証の範囲: 0.55 – 0.57
  • 最適な閾値: 「決してエスカレーションしない」というポリシーと一致

ホールドアウトAUCは0.594、交差検証の範囲は0.55から0.57であり、これは分類器が「簡単」なケースと「難しい」ケースをほとんど区別できていないことを意味します。最適な閾値が、高価なモデルを一度も使用しないというポリシーを再現する場合、そのルーターには価値がありません。それは意思決定者ではなく、定数予測器のように振る舞っているのです。

実験でテストされた内容

研究者は3つの特徴量セットを比較しました。

特徴量セット AUC
11個の単純な表層的特徴量（例：トークン数、キーワードの有無） 0.610
1024次元のプロンプト埋め込み（意味ベクトル） 0.552
両方の組み合わせ 0.609

驚くべきことに、軽量な表層的特徴量が、高次元の意味埋め込みを上回りました。埋め込みはプロンプトのトピックは捉えていましたが、本質的な難易度は捉えていませんでした。安価なモデルのドラフト（下書き）をルーターに入力すると、AUCは0.640まで上昇しました。これは、生成中に現れるシグナルの方が、プロンプト単体に含まれるものよりも情報量が多いことを示唆しています。

2つの根本的な落とし穴

1. 精度は誤った尺度である

ルーターは単に正解を予測するだけでなく、ナイーブなポリシーと比較してコストと精度のトレードオフを改善しなければなりません。もし「決してエスカレーションしない」という戦略を上回ることができなければ、生の精度がどうであれ、コスト面でのメリットは提供できません。AUCのような従来の指標は、カスケードの経済的な側面を無視しています。

2. 「常にエスカレーションする」が上限ではない

実験では、高価なモデルは絶対的に正しい（infallible）と仮定し、「常に大きなモデルを使用する」ことを上限として扱いました。しかし実際には、大規模なモデルが、安価なモデルが正解した回答を壊してしまうことがありました。安価なモデルを使い続けるべきタイミングを理解している完璧なルーターであれば、選択されたコスト指標において、「常にエスカレーションする」ベースラインを約4.2ポイント上回ることができます。この差は、高価なモデルの性能の天井が、想定よりも低いことを示しています。

より優れたルーティング・シグナルの設計

今回の知見は、3つの実用的な方向性を示唆しています。

  • 生成時の手がかりを含める。 安価なモデルの中間出力（ドラフト）をルーターに供給することで、プロンプトだけでは隠されてしまう難易度を捉えることができます。
  • タスク固有の表層的特徴量を優先する。 長さ、特定の演算子の有無、コードスタイルのマーカーといった単純な指標の方が、汎用的な意味埋め込みよりも予測能力が高い場合があります。
  • コストを考慮した指標で成功を測定する。 純粋な精度やAUCではなく、目標とする品質レベルを維持しながら、高価なモデルへの呼び出しをどれだけ回避できたかを評価します。

まとめ: 精度のみを最適化するルーターではコスト削減を保証できません。効果的なルーティングには、生成時のエビデンスとコストを考慮した評価が必要です。