Kotak Pandora dalam Routing AI
DeepMind memperkenalkan “Pandora’s Router,” sebuah kerangka kerja yang memperlakukan pemilihan model sebagai masalah Kotak Pandora yang sadar biaya (cost-aware). Dengan hanya mengenakan biaya untuk informasi yang benar-benar meningkatkan hasil, sistem ini memangkas pengeluaran inferensi sambil tetap menjaga hasil yang setara dengan pencarian menyeluruh (exhaustive searches).
Mengapa pemilihan model tidaklah gratis
Pipeline produksi sering kali mengasumsikan bahwa langkah pemilihan model tidak memakan biaya. Kenyataannya, memperkirakan kesesuaian sebuah model menghabiskan komputasi, memori, dan terkadang panggilan data eksternal. Estimasi yang cepat namun tidak akurat (noisy) memang murah tetapi bisa menyesatkan; estimasi yang presisi biasanya berarti menjalankan model yang lebih kecil atau mengambil konteks tambahan, yang jika diakumulasikan akan menambah biaya.
Makalah DeepMind membingkai ulang dilema ini. Setiap model kandidat menyembunyikan sebuah “nilai” – ekspektasi performanya terhadap kueri yang masuk. Kerangka kerja ini memungkinkan pengontrol membayar biaya untuk mengintip nilai tersebut dan berhenti membayar setelah wawasan lebih lanjut tidak lagi sebanding dengan biayanya.
Dua bagian dari solusi ini
Pandora’s Router – sebuah mesin terpusat yang, untuk setiap permintaan, memutuskan apakah akan membayar untuk estimasi nilai model yang lebih akurat. Ia menetapkan “harga cadangan” (reserve price): sebuah ambang batas di mana keuntungan yang diharapkan dari estimasi yang lebih baik tidak melebihi biayanya. Ketika proyeksi peningkatan melebihi harga cadangan, mesin tersebut akan membeli wawasan tersebut; jika tidak, ia akan melanjutkan dengan tebakan terbaik yang sudah dimilikinya.
Pandora’s Bidder – mitra terdesentralisasi untuk pasar model (model marketplaces). Penyedia independen memutuskan apakah akan menggunakan komputasi untuk mempertajam estimasi nilai mereka sendiri sebelum mengajukan penawaran (bid). Harga cadangan mereka sendiri memaksa pengeluaran hanya terjadi ketika estimasi yang telah diperhalus kemungkinan besar akan menang.
Kedua bagian tersebut berbagi prinsip yang sama: keluarkan biaya untuk informasi hanya jika imbalan yang diharapkan melebihi biayanya.
Hasil di tiga domain
Penulis menguji pendekatan ini pada tiga beban kerja:
- Penalaran matematis – memilih di antara solver dengan presisi yang bervariasi.
- Retrieval-augmented generation (RAG) – memilih di antara berbagai strategi pencarian basis pengetahuan.
- Model embedding skala besar – memilih encoder terbaik untuk pencarian kemiripan (similarity search).
Pandora’s Router mengalahkan aturan routing statis dan heuristik rakus (greedy heuristics) dalam setiap kasus. Dalam skenario tersulit, ia menyamai kualitas pemindaian brute-force dari semua model sambil menghindari sebagian besar biaya inspeksi. Penulis melaporkan bahwa “sebagian besar biaya inspeksi” berhasil dihemat, yang menyiratkan pemotongan drastis dalam pengeluaran komputasi.
Apa artinya ini bagi rekayasa AI
- Jangan abaikan overhead routing. Memutuskan model mana yang akan digunakan membawa konsekuensi biaya yang terukur.
- Terapkan harga cadangan. Tetapkan batas yang jelas untuk kapan wawasan tambahan sebanding dengan biayanya.
- Adopsi routing yang sadar biaya. Lapisan keputusan yang menyeimbangkan keuntungan yang diharapkan dengan pengeluaran akan menjaga anggaran tetap terkendali seiring berkembangnya katalog model.
Sisi lain: kompleksitas tambahan
Menambahkan lapisan penawaran atau routing membawa konsekuensi (trade-offs). Tim harus memelihara logika yang menghitung harga cadangan, memantau struktur biaya, dan memastikan jalur kode tambahan tidak menjadi hambatan (bottleneck). Untuk penerapan skala kecil dengan hanya beberapa model, Pandora’s Router mungkin memakan biaya lebih besar daripada yang dihematnya. Kerangka kerja ini juga mengasumsikan bahwa biaya untuk estimasi yang lebih baik sudah diketahui dan stabil—sebuah asumsi yang dapat gagal di bawah harga cloud yang fluktuatif atau gangguan spot-instance.
Kesimpulan
Perlakukan pemilihan model sebagai keputusan ekonomi, bukan langkah routing gratis. Pandora’s Router menunjukkan bahwa pendekatan yang disiplin dan sadar biaya dapat memangkas komputasi yang tidak perlu tanpa mengorbankan kualitas output, menjaga sistem AI tetap skalabel dan berkelanjutan secara finansial.