Satu pasukan penyelidik telah membina sebuah router untuk memutuskan sama ada model bahasa murah boleh mengendalikan permintaan pengekodan, dengan harapan dapat mengurangkan kos inferens, tetapi router tersebut tidak dapat menandingi tanda aras “never-escalate” (jangan sesekali tingkatkan). Kegagalan ini menunjukkan mengapa metrik yang berpusatkan ketepatan boleh mengelirukan kaskad dan menunjukkan isyarat yang sebenarnya dapat menangkap tahap kesukaran.
Mengapa router tersebut penting
Kaskad model menghantar setiap permintaan ke model terkecil yang boleh menjawabnya dengan betul. Jika router menghantar prom yang mudah kepada model murah, sistem akan melangkau pengkomputeran mahal yang diperlukan untuk model yang lebih besar. Pasukan tersebut melatih sebuah router menggunakan 539 tugasan pengekodan sebenar—428 mudah dan 111 sukar—dengan harapan ia dapat mempelajari bila model murah sudah mencukupi.
Angka yang tidak mencapai sasaran
- AUC (luas di bawah lengkung ROC) yang diasingkan: 0.594
- Julat pengesahan silang 5-lipatan: 0.55 – 0.57
- Ambang terbaik: sepadan dengan polisi “never escalate”
AUC yang diasingkan adalah 0.594 dan pengesahan silang berada dalam julat 0.55 hingga 0.57, bermakna pengelasan tersebut hampir tidak dapat membezakan antara kes mudah dan sukar. Apabila ambang optimum menghasilkan polisi yang tidak pernah menggunakan model mahal, router tersebut tidak memberi sebarang nilai tambah. Ia bertindak seperti peramal malar dan bukannya pembuat keputusan.
Apa yang diuji dalam eksperimen
Penyelidik membandingkan tiga set ciri:
| Set ciri | AUC |
|---|---|
| 11 ciri permukaan ringkas (cth., bilangan token, kehadiran kata kunci) | 0.610 |
| Penanaman (embedding) prom berdimensi 1024 (vektor semantik) | 0.552 |
| Kedua-duanya digabungkan | 0.609 |
Secara mengejutkan, ciri permukaan yang ringan mengatasi penanaman semantik berdimensi tinggi. Penanaman tersebut menangkap topik prom tetapi bukan kesukaran intrinsiknya. Memasukkan draf daripada model murah ke dalam router meningkatkan AUC kepada 0.640, yang menunjukkan bahawa isyarat yang muncul semasa penjanaan adalah lebih bermaklumat daripada isyarat yang hanya ada dalam prom.
Dua perangkap asas
1. Ketepatan adalah kayu ukur yang salah
Sebuah router mesti menambah baik imbangan kos-ketepatan berbanding polisi naif, bukan sekadar meramal ketepatan. Jika ia tidak dapat mengatasi “never escalate,” ia tidak menawarkan sebarang manfaat kos, tanpa mengira ketepatan mentah. Metrik tradisional seperti AUC mengabaikan dimensi ekonomi dalam sesebuah kaskad.
2. “Always escalate” bukanlah silingnya
Eksperimen tersebut mengandaikan bahawa model mahal tidak boleh silap, dengan menganggap “sentiasa gunakan model besar” sebagai had atas. Hakikatnya, model yang lebih besar kadangkala merosakkan jawapan yang berjaya diberikan dengan betul oleh model murah. Router yang sempurna yang tahu bila untuk kekal dengan model murah boleh mengatasi tanda aras “always escalate” sebanyak kira-kira 4.2 mata dalam metrik kos yang dipilih. Jurang ini menunjukkan bahawa siling prestasi model mahal adalah lebih rendah daripada yang dijangkakan.
Mereka bentuk isyarat penghalaan yang lebih baik
Dapatan kajian mencadangkan tiga hala tuju praktikal:
- Sertakan petunjuk masa penjanaan. Memasukkan output perantaraan model murah (drafnya) ke dalam router dapat menangkap kesukaran yang tersembunyi jika hanya menggunakan prom sahaja.
- Utamakan ciri permukaan khusus tugasan. Metrik ringkas—seperti panjang, kehadiran operator tertentu, atau penanda gaya kod—boleh menjadi lebih ramalan berbanding penanaman semantik generik.
- Ukur kejayaan dengan metrik peka-kos. Daripada menggunakan ketepatan tulen atau AUC, nilaikan berapa banyak panggilan model mahal yang dapat dielakkan sambil mengekalkan tahap kualiti sasaran.
Rumusan: Router yang hanya mengoptimumkan ketepatan tidak dapat menjamin penjimatan kos; penghalaan yang berkesan memerlukan bukti masa penjanaan dan penilaian peka-kos.