Genshijin 编程助手将日语代码响应缩减了约 28%,但却使英语回复变长了 2.5%,且在这两种情况下,总 API 账单都增加了。
任何为 AI 生成代码付费的人都能感受到这种影响。基于 Token 的计费方式将提示词(prompt)或输出中的每一个多余单词都转化为了实际的美元支出。一个在缩减一种语言的同时却增加了另一种语言长度的工具,可能会剧烈改变成本计算结果。
测试是如何进行的
该实验涵盖了 192 个日语和英语的软件工程提示词。研究人员在四种回复配置下向模型发送了每个查询:一个纯基准配置,以及三种通过不同指令集调用 Genshijin 技能的变体。该技能的工作原理是在提示词中附加额外的引导信息,这会消耗额外的输入 Token。
他们以 Token 为单位测量输出长度,并将输入和输出 Token 的成本相加,以得出总 API 成本。
数据说明了什么
- 在启用 Genshijin 时,日语输出减少了 27.5%。
- 在相同条件下,英语输出增加了 2.5%。
- 对于这两种语言,总 API 支出都上升了。
成本增加源于 Genshijin 注入的额外指令。在模型开始生成代码之前,这些指令就已经增加了 Token。在本次测试中,日语输出缩减所节省的 Token 始终无法抵消所需的额外输入 Token。
为了达到盈亏平衡,日语查询需要削减约 479 个输出 Token,而英语查询则需要减少 435 个 Token。实测的节省量未能达到这些阈值。
为什么存在语言差异?
日语通常包含敬语和冗长的措辞等填充内容。Genshijin 的提示词优化针对的就是这些填充内容,通过剔除不必要的词汇来压缩响应。相比之下,英语本身往往更加简洁,因此相同的提示词可能会无意中增加模板化内容,从而拉长回答。
开发者应注意的事项
- 长篇日语解释:如果你经常要求用日语提供详细的设计说明或大量的注释,Genshijin 可以修剪废话并降低输出的 Token 数量。
- 短查询:对于简短的问题,简单的“简洁回答”指令比完整的 Genshijin 技能更有效,能产生更短的回复并降低成本。
- 以英语为主的工作流:预料输出会变长。在假设能节省成本之前,请先衡量其影响。
- 自行测量:Token 使用量会随提示词风格、模型版本和任务复杂度而变化。请运行自己的基准测试,而不是依赖广告中的百分比。
某些文档宣称的 75% 降幅仅指输出 Token 数量,而非总账单。如果开发者只关注这一数字,可能会发现账单金额保持不变甚至上升,从而感到惊讶。
后续关注点
核心结论: Genshijin 可以显著缩减日语代码输出,但它增加的额外提示词 Token 抵消了任何直接的成本效益——甚至可能增加英语响应的长度。请有选择性地使用它,并始终针对自己的工作负载验证 Token 的影响。
来源:https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83
