Genshijin kodlama asistanı, Japonca kod yanıtlarını yaklaşık %28 oranında kısalttı ancak İngilizce yanıtları %2,5 oranında uzattı ve her iki durumda da toplam API faturası arttı.

Yapay zeka tarafından üretilen kod için ödeme yapan herkes bu etkiyi hissediyor. Token tabanlı fiyatlandırma, bir istemdeki (prompt) veya çıktıdaki her fazladan kelimeyi harcanan dolarlara dönüştürür. Bir dili kısaltırken diğerini şişiren bir araç, maliyet hesaplamalarını çarpıcı biçimde değiştirebilir.

Test nasıl yürütüldü

Deney, Japonca ve İngilizce dillerinde 192 yazılım mühendisliği istemini kapsadı. Araştırmacılar, her bir sorguyu modele dört farklı yanıt yapılandırması altında gönderdi: yalın bir temel (baseline) ve farklı talimat setleriyle Genshijin yeteneğini çağıran üç varyasyon. Bu yetenek, isteme ek rehberlik ekleyerek çalışır ve bu da ek girdi token'ları tüketir.

Çıktı uzunluğunu token cinsinden ölçtüler ve toplam API maliyetini elde etmek için girdi ve çıktı token maliyetlerini topladılar.

Rakamlar ne söylüyor

  • Genshijin aktif olduğunda Japonca çıktı %27,5 azaldı.
  • Aynı koşullar altında İngilizce çıktı %2,5 arttı.
  • Her iki dil için de toplam API harcaması yükseldi.

Maliyet artışı, Genshijin'in eklediği ekstra talimatlardan kaynaklanıyor. Bu talimatlar, model kod üretmeye başlamadan önce token ekler. Bu testte, daha kısa Japonca çıktıdan sağlanan token tasarrufu, gereken ekstra girdi token'larını hiçbir zaman karşılamadı.

Başabaş noktasına ulaşmak için, bir Japonca sorgunun yaklaşık 479 çıktı token'ını azaltması gerekirken, bir İngilizce sorgunun 435 token'lık bir azalmaya ihtiyacı olacaktı. Ölçülen tasarruf bu eşiklerin altında kaldı.

Dil farkı neden kaynaklanıyor?

Japonca, genellikle saygı ifadeleri ve ağdalı ifadeler şeklinde dolgu kelimeler içerir. Genshijin'in istem düzenlemeleri bu dolguları hedefleyerek gereksiz kelimeleri ayıklar ve yanıtı sıkıştırır. Buna karşılık İngilizce zaten daha öz olmaya meyillidir, bu nedenle aynı istemler istemeden cevabı uzatan kalıplaşmış ifadeler ekleyebilir.

Geliştiricilerin aklında bulundurması gerekenler

  • Uzun Japonca açıklamalar: Eğer rutin olarak Japonca detaylı tasarım notları veya kapsamlı yorumlar talep ediyorsanız, Genshijin gereksiz ayrıntıları budayabilir ve çıktının token sayısını düşürebilir.
  • Kısa sorgular: Kısa sorular için basit bir “özetle cevapla” (answer concisely) talimatı, tam Genshijin yeteneğinden daha iyidir; daha kısa yanıtlar ve daha düşük maliyetler sağlar.
  • İngilizce ağırlıklı iş akışları: Daha uzun çıktılar bekleyin. Bir maliyet avantajı varsaymadan önce etkiyi ölçün.
  • Kendiniz ölçün: Token kullanımı; istem stiline, model sürümüne ve görev karmaşıklığına göre değişir. Reklam edilen yüzdelere güvenmek yerine kendi kıyaslamalarınızı yapın.

Bazı dokümantasyonların öne sürdüğü %75'lik azalma, toplam fatura tutarını değil, yalnızca çıktı token sayısını ifade eder. Sadece bu rakama odaklanan geliştiriciler, faturalarının aynı kalması ve hatta artması durumunda şaşırabilirler.

Bundan sonra neye dikkat edilmeli

Özet: Genshijin, Japonca kod çıktısını anlamlı ölçüde küçültebilir ancak eklediği ekstra istem token'ları anlık maliyet avantajını ortadan kaldırır — hatta İngilizce yanıtları şişirebilir. Seçici olarak kullanın ve token etkisini her zaman kendi iş yükünüz üzerinde doğrulayın.

Kaynak: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83