Eksperimen seorang pembangun solo dengan tiga model Claude telah mengurangkan kos API bulanan sebanyak 35% dan memendekkan median kependaman (latency) tugasan daripada 42 saat kepada 27 saat. Dengan mengarahkan tugasan mudah dan berambiguiti rendah kepada model Haiku yang murah, kerja rutin kepada Sonnet, dan menyimpan Opus yang berat untuk masalah berisiko tinggi, penulis membuktikan bahawa tabiat "model terbaik untuk segalanya" adalah satu pembaziran kos.

Mengapa penghalaan (routing) itu penting

Penulis menjalankan ejen pengekodan autonomi yang menerima aliran tugasan pembangunan yang berterusan—pembaikan lint, penambahan ciri, semakan keselamatan, dan sesi penyahpepijatan (debugging) yang mendalam. Selama berbulan-bulan, ejen tersebut menghantar setiap permintaan ke Opus, model Claude yang paling berupaya, dengan andaian bahawa kualiti yang lebih tinggi akan sentiasa mengatasi harga. Opus mengenakan harga premium bagi setiap token, menyebabkan bil meningkat tanpa kawalan.

Apabila penulis memperkenalkan skema penghalaan bertingkat, perbelanjaan jatuh kepada 65% daripada tahap asalnya dan penggunaan Opus menurun kepada 11% daripada jumlah tugasan.

Bagaimana sistem tiga peringkat berfungsi

Logik penghalaan bergantung pada ambiguiti, bukan pada berapa banyak baris kod yang disentuh oleh sesuatu tugasan. Penulis menetapkan tiga kategori:

  • Haiku – tugasan berambiguiti rendah dan deterministik. Contoh: membaiki amaran lint, menamakan semula pemboleh ubah, meringkaskan fail log. Jawapan yang betul biasanya hanyalah satu baris kod atau teks.
  • Sonnet – pekerja utama lalai (default). Mengendalikan pelaksanaan ciri, pembaikan pepijat rutin, dan penyusunan semula (refactor) standard di mana masalahnya jelas tetapi penyelesaiannya mungkin melibatkan beberapa langkah.
  • Opus – kerja berisiko tinggi dan berambiguiti tinggi. Keputusan seni bina, audit keselamatan, sesi penyahpepijatan yang kompleks, atau sebarang tugasan di mana laluan yang betul tidak jelas dan kesilapan boleh merosakkan saluran paip (pipeline).

Jadual rujukan statik memetakan setiap permintaan yang masuk ke model yang sesuai berdasarkan peraturan ini. Penulis mencuba model "pintar" yang akan menentukan peringkat secara langsung, tetapi penggunaan token tambahan telah menghapuskan sebarang penjimatan. Peraturan statik yang mudah merangkumi kira-kira 80% beban kerja dan memastikan sistem kekal murah serta boleh diramal.

Jaring keselamatan eskalasi

Model murah masih boleh melakukan kesilapan. Untuk mengelakkan respons Haiku atau Sonnet yang salah daripada mengganggu proses binaan (build), sistem akan meningkatkan (escalate) permintaan selepas dua kegagalan, dengan menaik taraf ke peringkat seterusnya. Jaring keselamatan ini mengesan ralat lebih awal dan memastikan saluran paip berjalan lancar tanpa campur tangan manual.

Angka yang membuktikan segalanya

Selepas empat minggu menjalankan penghala bertingkat, penulis merekodkan perubahan berikut:

  • Perbelanjaan API jatuh kepada 65% daripada kos asal (pengurangan sebanyak 35%).
  • Median masa pusing balik (turnaround time) menurun daripada 42 saat kepada 27 saat.
  • Penggunaan Opus mengecil daripada mengendalikan setiap permintaan kepada hanya 11% daripada jumlah tugasan.

Angka-angka ini menunjukkan bahawa kebanyakan kerja pembangunan boleh didelegasikan kepada model yang lebih murah tanpa penurunan kualiti yang ketara, manakala masalah yang paling sukar masih mendapat manfaat daripada tetingkap konteks (context window) Opus yang lebih besar.

Pengajaran untuk pembangun lain

  1. Mula dengan yang rendah, bukan yang tinggi. Kebanyakan tugas pengekodan harian tidak memerlukan model yang paling berkuasa. Menjadikan Sonnet sebagai lalai untuk tugasan yang berambiguiti menjimatkan lebih banyak wang berbanding menghantar segalanya melalui Haiku.
  2. Ukur kesukaran, bukan saiz. Pembaikan race-condition satu baris boleh menjadi lebih sukar daripada menyusun semula keseluruhan fail. Lakukan penghalaan berdasarkan tahap ambiguiti penyelesaian, bukan berdasarkan jumlah baris yang diubah.
  3. Perhatikan kadar eskalasi. Peningkatan jumlah eskalasi menandakan bahawa peraturan statik tidak lagi sepadan dengan beban kerja. Laraskan kategori sebelum model murah mula menyebabkan lebih banyak kegagalan saluran paip.

Menyimpan model yang paling mahal untuk masalah yang paling sukar dan membiarkan model yang lebih murah mengendalikan selebihnya memastikan pembangunan berbantu AI kekal pantas dan mampu milik. Kelebihan sebenar terletak pada strategi penghalaan yang berdisiplin yang memadankan alat yang betul dengan tugasan yang betul.