Genshijinコーディングアシスタントは、日本語のコード回答を約28%削減しましたが、英語の回答は2.5%長くなり、どちらの場合もAPIの総請求額は増加しました。

AI生成コードの費用を支払っている人なら誰でも、その影響を実感するでしょう。トークンベースの料金体系では、プロンプトや出力に含まれる余分な単語がすべてコスト（ドル）に直結します。ある言語を短縮する一方で別の言語を膨らませるツールは、コスト計算を劇的に変動させる可能性があります。

テストの実施方法

この実験では、日本語と英語による192件のソフトウェアエンジニアリングに関するプロンプトを対象としました。研究者は、プレーンなベースラインと、異なる指示セットでGenshijinスキルを呼び出す3つのバリエーションの、計4つの回答構成で各クエリをモデルに送信しました。このスキルは、プロンプトに補足的なガイダンスを付加することで機能しますが、それによって追加の入力トークンが消費されます。

出力長をトークン単位で測定し、入力トークンと出力トークンのコストを加算して、APIの総コストを算出しました。

数値が示す結果

  • Genshijinが有効な場合、日本語の出力は27.5%減少した。
  • 同様の条件下で、英語の出力は2.5%増加した。
  • 両言語において、APIの総支出は増加した。

コストが増加した原因は、Genshijinが注入する追加の指示にあります。これらの指示は、モデルがコードの生成を開始する前にトークンを追加します。今回のテストでは、日本語の出力が短縮されたことによるトークンの節約分が、必要となった追加の入力トークンを上回ることはありませんでした。

損益分岐点に達するには、日本語のクエリでは出力トークンを約479トークン削減する必要があり、英語のクエリでは435トークンの削減が必要でした。測定された節約分は、これらの閾値に達しませんでした。

なぜ言語間で差が出るのか？

日本語は、敬語や冗長な言い回しによって、内容に対して冗長な部分（padding）が含まれることがよくあります。Genshijinのプロンプト調整はこの冗長な部分をターゲットにしており、不要な言葉を削ぎ落として回答を圧縮します。対照的に、英語はもともと簡潔な傾向があるため、同じプロンプトを使用すると、意図せず定型文（boilerplate）が追加され、回答が長くなってしまうことがあります。

開発者が留意すべき点

  • 長い日本語の解説: 日本語で詳細な設計ノートや広範なコメントを日常的に要求する場合、Genshijinは無駄を削ぎ落とし、出力のトークン数を抑えることができます。
  • 短いクエリ: 短い質問に対しては、フル機能のGenshijinスキルを使うよりも、単に「簡潔に答えて」と指示する方が、より短い回答が得られ、コストも低く抑えられます。
  • 英語中心のワークフロー: 出力が長くなることを想定してください。コスト削減を期待する前に、その影響を測定しましょう。
  • 自身で測定する: トークンの使用量は、プロンプトのスタイル、モデルのバージョン、タスクの複雑さによって異なります。広告されているパーセンテージを鵜呑みにせず、独自のベンチマークを実行してください。

一部のドキュメントで謳われている75%の削減は、あくまで出力トークン数のみを指しており、総請求額のことではありません。その数値だけに注目している開発者は、請求額が変わらない、あるいは逆に増えてしまったときに驚くことになるかもしれません。

今後の注目点

まとめ: Genshijinは日本語のコード出力を大幅に縮小できますが、追加されるプロンプトトークンによって即座のコストメリットは相殺されてしまいます。それどころか、英語の回答を膨らませる可能性さえあります。選択的に使用し、常に自身のワークロードにおけるトークンへの影響を確認してください。

出典: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83