Pandora'nın Yapay Zeka Model Yönlendirme Kutusu
DeepMind'ın yeni makalesi, görev performansını değiştirmeden yönlendirme ek yükünü (overhead) %70'e kadar azaltan bir "Pandora'nın Kutusu" çerçevesi öneriyor.
Yönlendirme maliyetleri neden önemlidir?
Bir servis bir istek aldığında, genellikle bir model menüsüne sahiptir; bazıları hızlı ama yüzeysel, diğerleri ise yavaş ama hassastır. En iyisini seçmek işlem gücü ve maliyet gerektirir. Hangi modelin uygun olduğunu bilmeden önce hızlı bir test yapmanız, harici veri çekmeniz veya yardımcı bir araç çağırmanız gerekir.
Pandora'nın Kutusu analojisi
DeepMind, yönlendirme problemini klasik Pandora'nın Kutusu bulmacasına uyarlıyor: her model, mevcut sorgu üzerindeki performansını gizleyen mühürlü bir kutudur. Bir kutuyu açmak kaynak tüketir, bu nedenle potansiyel kazancın masrafı hak edip etmediğine karar vermeniz gerekir. Çerçeve, bu ödünleşimi (trade-off) resmileştirir ve iki somut mekanizma sunar.
Pandora's Router – merkezi bir karar verici
Yönlendirici, önce bir modelin vaadini ölçmek için ucuz ve gürültülü bir tahminleyici çalıştırır. Yalnızca mevcut en iyi model üzerindeki beklenen iyileşme, önceden belirlenmiş bir "rezervasyon fiyatını" aşarsa, daha doğru bir değerlendirme için ödeme yapar. Her modeli incelemeyi reddederek yönlendirici, en iyi performansı gösteren seçeneği hala ortaya çıkarırken inceleme bütçesini ciddi oranda düşürür.
Pandora's Bidder – merkeziyetsiz bir pazar yeri
Bidder varyantında, her model sağlayıcısı, bir sözleşme kazanmasını sağlayabilecek bir öz değerlendirme için para harcayıp harcamayacağına karar verir. Sağlayıcılar, yalnızca değerlendirme maliyetinin kazanma şansı tarafından telafi edileceğini beklediklerinde teklif sunarlar. Bu, maliyetli değerlendirmelerin yalnızca getirinin yeterince yüksek olduğu durumlarda gerçekleştiği bir pazar oluşturur.
Üç alandaki sonuçlar
Yazarlar her iki mekanizmayı şu alanlarda test etti:
- Matematiksel akıl yürütme – bir problemi en doğru şekilde çözen modeli seçme.
- Veri geri çağırma ile zenginleştirilmiş üretim (RAG) – bir dil modeli yanıt üretmeden önce en alakalı bağlamı sağlayan geri çağırma sistemini seçme.
- Büyük ölçekli embedding seçimi – benzerlik araması için en iyi vektör temsilini sağlayan kodlayıcıyı (encoder) seçme.
Her durumda, Pandora's Router, her modeli her zaman inceleyen veya hiçbirini hiç incelemeyen temel modelleri (baselines) geride bırakarak en düşük birleşik maliyet+hata metriğini kaydetti. Sistem otomatik olarak uyum sağlar: inceleme maliyetleri arttığında daha az modeli inceler; maliyetler düştüğünde ise incelemeyi artırır. Rapor edilen tasarruf, yönlendirme giderlerinin %30 ile %70'i arasında değişirken, sonraki görev kalitesinde ölçülebilir bir düşüş yaşanmadı.
Özet: Çıkarım (inference) bütçeleri şiştikçe, daha iyi bir model için araştırmayı ne zaman durduracağınıza karar vermek, modelin kendisini seçmek kadar kritik hale geliyor. Pandora'nın Kutusu, gizli bir gideri kontrol edilebilir bir kaldıraç haline getiriyor.