一名研究团队构建了一个路由，旨在决定廉价语言模型是否能够处理编程请求，以期降低推理成本，但该路由的表现未能超越“永不升级”的基准。这一失败揭示了为什么以准确率为中心的指标会误导级联系统，并指出了真正能捕捉任务难度的信号。

为什么路由至关重要

模型级联会将每个请求发送给能够正确回答它的最小模型。如果路由将简单的提示词发送给廉价模型，系统就可以跳过大型模型所需的昂贵计算。该团队利用 539 个真实的编程任务（428 个简单任务和 111 个困难任务）训练了一个路由，期望它能学会何时使用廉价模型就足够了。

未达预期的数据

  • 留出集 AUC（ROC 曲线下面积）：0.594
  • 5 折交叉验证范围：0.55 – 0.57
  • 最佳阈值：等同于“永不升级”策略

留出集 AUC 为 0.594，交叉验证范围在 0.55 到 0.57 之间，这意味着分类器几乎无法区分简单案例和困难案例。当最优阈值所产生的策略是“从不使用昂贵模型”时，该路由便毫无价值。它的表现更像是一个常数预测器，而非决策者。

实验测试的内容

研究人员比较了三组特征集：

特征集 AUC
11 个简单的表面特征（例如：token 数量、关键词是否存在） 0.610
1024 维提示词嵌入（语义向量） 0.552
两者结合 0.609

令人惊讶的是，轻量级的表面特征表现优于高维语义嵌入。嵌入捕捉到了提示词的主题，但未能捕捉到其内在难度。将廉价模型的草稿（draft）输入路由，使 AUC 提升至 0.640，这表明在生成过程中出现的信号比仅存在于提示词中的信号更具信息量。

两个根本性的陷阱

1. 准确率是错误的衡量标准

路由必须能够比朴素策略更好地实现成本-准确率权衡，而不仅仅是预测正确性。如果它无法超越“永不升级”策略，那么无论原始准确率如何，它都无法带来成本效益。像 AUC 这样的传统指标忽略了级联系统的经济维度。

2. “始终升级”并非上限

实验假设昂贵模型是万无一失的，将“始终使用大模型”视为上限。然而在现实中，大型模型有时会破坏廉价模型原本能答对的答案。一个知道何时坚持使用廉价模型的完美路由，在选定的成本指标上可以比“始终升级”基准高出约 4.2 个点。这一差距表明，昂贵模型的性能上限比预想的要低。

设计更好的路由信号

研究结果提出了三个实践方向：

  • 引入生成时的线索。 将廉价模型的中间输出（其草稿）提供给路由，可以捕捉到仅凭提示词无法隐藏的难度。
  • 优先考虑特定任务的表面特征。 简单的指标——如长度、特定运算符的存在或代码风格标记——可能比通用的语义嵌入更具预测性。
  • 使用具备成本意识的指标来衡量成功。 不要仅使用纯准确率或 AUC，而应评估在保持目标质量水平的同时，避免了多少次昂贵的调用。

核心结论： 仅针对准确率进行优化的路由无法保证节省成本；有效的路由需要生成时的证据和具备成本意识的评估。