Система маршрутизации ИИ-моделей Pandora's Box
Новая статья DeepMind предлагает фреймворк «Pandora’s Box», который сокращает накладные расходы на маршрутизацию до 70%, сохраняя при этом неизменную производительность выполнения задач.
Почему важна стоимость маршрутизации
Когда сервис получает запрос, у него часто есть набор доступных моделей: одни работают быстро, но грубо, другие — медленно, но точно. Выбор лучшей модели требует вычислительных ресурсов и денег. Прежде чем понять, какая модель подходит, необходимо провести быстрый тест, получить внешние данные или вызвать вспомогательный инструмент.
Аналогия с ящиком Пандоры
DeepMind переносит проблему маршрутизации на классическую задачу «ящика Пандоры»: каждая модель — это запечатанный ящик, скрывающий свою эффективность для текущего запроса. Открытие ящика требует ресурсов, поэтому нужно решить, оправдывает ли потенциальная выгода эти затраты. Фреймворк формализует этот компромисс и предлагает два конкретных механизма.
Pandora’s Router — централизованный орган принятия решений
Сначала роутер запускает дешевый и «шумный» оценщик, чтобы оценить потенциал модели. Он оплачивает более точную оценку только в том случае, если ожидаемое улучшение по сравнению с текущим лучшим вариантом превышает заранее установленную «резервную цену». Отказываясь от проверки каждой модели, роутер резко сокращает бюджет на инспекцию, при этом все равно находя наиболее эффективный вариант.
Pandora’s Bidder — децентрализованный рынок
В варианте с Bidder каждый поставщик моделей сам решает, стоит ли тратить деньги на самооценку, которая может помочь выиграть контракт. Поставщики подают заявки только тогда, когда ожидают, что вероятность победы перевесит стоимость оценки. Это создает рынок, на котором дорогостоящие проверки проводятся только при достаточно высокой потенциальной выгоде.
Результаты в трех областях
Авторы протестировали оба механизма в следующих областях:
- Математические рассуждения — выбор модели, которая решает задачу наиболее точно.
- Генерация с дополненной выборкой (RAG) — выбор системы поиска, которая предоставляет наиболее релевантный контекст перед тем, как языковая модель сформирует ответ.
- Выбор эмбеддингов в больших масштабах — подбор энкодера, обеспечивающего наилучшее векторное представление для поиска по сходству.
В каждом случае Pandora’s Router показал самый низкий комбинированный показатель «затраты плюс ошибка», превзойдя базовые решения, которые либо всегда проверяют каждую модель, либо не проверяют их вовсе. Система адаптируется автоматически: когда стоимость проверки растет, она проверяет меньше моделей; когда падает — усиливает контроль. Заявленная экономия составляет от 30% до 70% расходов на маршрутизацию без заметного снижения качества выполнения конечных задач.
Вывод: По мере раздувания бюджетов на инференс, решение о том, когда прекратить поиск лучшей модели, становится столь же важным, как и выбор самой модели. Pandora’s Box превращает скрытые расходы в управляемый рычаг.