Pembantu pengekodan Genshijin memendekkan respons kod bahasa Jepun sebanyak kira-kira 28%, tetapi menjadikan jawapan bahasa Inggeris 2.5% lebih panjang, dan dalam kedua-dua kes, jumlah bil API meningkat.

Sesiapa yang membayar untuk kod yang dijana AI akan merasai impaknya. Penentuan harga berasaskan token menukarkan setiap perkataan tambahan dalam prom atau output kepada perbelanjaan dalam dolar. Alat yang memendekkan satu bahasa sambil memanjangkan bahasa yang lain boleh mengubah pengiraan kos secara drastik.

Cara ujian dijalankan

Eksperimen ini merangkumi 192 prom kejuruteraan perisian dalam bahasa Jepun dan bahasa Inggeris. Penyelidik menghantar setiap pertanyaan kepada model di bawah empat konfigurasi jawapan: satu garis dasar (baseline) biasa dan tiga variasi yang menggunakan kemahiran Genshijin dengan set arahan yang berbeza. Kemahiran ini berfungsi dengan menambah panduan tambahan pada prom, yang menggunakan token input tambahan.

Mereka mengukur panjang output dalam token dan menambah kos token input serta output untuk mendapatkan jumlah kos API.

Apa yang angka tunjukkan

  • Output bahasa Jepun menurun sebanyak 27.5% apabila Genshijin aktif.
  • Output bahasa Inggeris meningkat sebanyak 2.5% di bawah keadaan yang sama.
  • Bagi kedua-dua bahasa, jumlah perbelanjaan API meningkat.

Peningkatan kos berpunca daripada arahan tambahan yang disuntik oleh Genshijin. Arahan tersebut menambah token sebelum model mula menjana kod. Dalam ujian ini, penjimatan token daripada output bahasa Jepun yang lebih pendek tidak pernah mengatasi keperluan token input tambahan.

Untuk mencapai titik pulang modal, satu pertanyaan bahasa Jepun perlu mengurangkan kira-kira 479 token output, manakala pertanyaan bahasa Inggeris memerlukan pengurangan sebanyak 435 token. Penjimatan yang diukur tidak mencapai ambang tersebut.

Mengapa wujud jurang bahasa?

Bahasa Jepun sering mengandungi kata tambahan (padding) dalam bentuk kata hormat dan frasa yang meleret. Penambahbaikan prom Genshijin menyasarkan "padding" tersebut, membuang perkataan yang tidak perlu dan memampatkan respons. Sebaliknya, bahasa Inggeris cenderung untuk lebih ringkas, jadi prom yang sama secara tidak sengaja boleh menambah teks templat (boilerplate) yang memanjangkan jawapan.

Apa yang perlu diperhatikan oleh pembangun

  • Penjelasan bahasa Jepun yang panjang: Jika anda rutin meminta nota reka bentuk terperinci atau komen yang luas dalam bahasa Jepun, Genshijin boleh membuang kandungan yang tidak perlu dan mengurangkan jumlah token output.
  • Pertanyaan ringkas: Untuk soalan yang pendek, arahan ringkas seperti “jawab secara ringkas” adalah lebih baik daripada menggunakan kemahiran penuh Genshijin, memberikan jawapan yang lebih pendek dan kos yang lebih rendah.
  • Aliran kerja yang banyak menggunakan bahasa Inggeris: Jangkakan output yang lebih panjang. Ukur impaknya sebelum menganggap ia sebagai penjimatan kos.
  • Ukur sendiri: Penggunaan token berbeza mengikut gaya prom, versi model, dan kerumitan tugas. Jalankan penanda aras (benchmark) anda sendiri daripada bergantung kepada peratusan yang diiklankan.

Pengurangan 75% yang dicanangkan dalam sesetengah dokumentasi hanya merujuk kepada jumlah token output, bukan jumlah bil keseluruhan. Pembangun yang hanya memberi tumpuan kepada angka tersebut mungkin akan terkejut apabila invois mereka kekal sama atau malah meningkat.

Apa yang perlu diperhatikan seterusnya

Rumusan: Genshijin boleh mengecilkan output kod bahasa Jepun secara bermakna, tetapi token prom tambahan yang ditambahnya menghapuskan sebarang manfaat kos segera—malah ia boleh memanjangkan respons bahasa Inggeris. Gunakannya secara terpilih, dan sentiasa sahkan impak token