Genshijin 코딩 어시스턴트는 일본어 코드 응답을 약 28% 줄였지만, 영어 응답은 2.5% 더 길어지게 만들었으며, 두 경우 모두 전체 API 비용은 상승했습니다.
AI 생성 코드에 비용을 지불하는 사람이라면 누구나 그 영향을 체감합니다. 토큰 기반 과금 방식에서는 프롬프트나 출력물의 단어 하나하나가 추가 비용으로 직결됩니다. 한 언어는 단축시키면서 다른 언어는 늘리는 도구는 비용 계산을 극적으로 변화시킬 수 있습니다.
테스트 진행 방식
이번 실험은 일본어와 영어로 된 192개의 소프트웨어 엔지니어링 프롬프트를 대상으로 진행되었습니다. 연구진은 네 가지 응답 구성(기본 베이스라인과 서로 다른 지침 세트로 Genshijin 스킬을 호출하는 세 가지 변형) 하에 각 쿼리를 모델에 전송했습니다. 이 스킬은 프롬프트에 추가 가이드를 덧붙이는 방식으로 작동하며, 이 과정에서 추가적인 입력 토큰이 소비됩니다.
연구진은 출력 길이를 토큰 단위로 측정하고, 입력 및 출력 토큰 비용을 합산하여 전체 API 비용을 산출했습니다.
수치가 말해주는 것
- Genshijin이 활성화되었을 때 일본어 출력은 27.5% 감소했습니다.
- 동일한 조건에서 영어 출력은 2.5% 증가했습니다.
- 두 언어 모두 전체 API 지출액은 상승했습니다.
비용 상승은 Genshijin이 주입하는 추가 지침 때문입니다. 이러한 지침은 모델이 코드를 생성하기 전부터 토큰을 추가합니다. 이번 테스트에서는 짧아진 일본어 출력으로 절약된 토큰이 요구되는 추가 입력 토큰의 양을 따라잡지 못했습니다.
손익분기점을 맞추려면 일본어 쿼리의 경우 약 479개의 출력 토큰을 줄여야 하며, 영어 쿼리의 경우 435개의 토큰을 줄여야 합니다. 측정된 절감량은 이러한 임계치에 미치지 못했습니다.
언어 간 차이가 발생하는 이유는?
일본어는 경어체나 장황한 표현 형태의 패딩(padding)이 포함되는 경우가 많습니다. Genshijin의 프롬프트 조정은 이러한 패딩을 타겟팅하여 불필요한 단어를 제거하고 응답을 압축합니다. 반면 영어는 이미 더 간결한 경향이 있어, 동일한 프롬프트가 의도치 않게 답변을 길게 만드는 불필요한 문구(boilerplate)를 추가할 수 있습니다.
개발자가 유의해야 할 사항
- 긴 일본어 설명: 일본어로 상세한 설계 노트나 방대한 주석을 정기적으로 요청하는 경우, Genshijin은 군더더기를 줄여 출력 토큰 수를 낮출 수 있습니다.
- 짧은 쿼리: 짧은 질문의 경우, 전체 Genshijin 스킬을 사용하는 것보다 단순히 “간결하게 답변해줘(answer concisely)”라고 지시하는 것이 더 짧은 응답과 낮은 비용을 얻는 데 효과적입니다.
- 영어 중심 워크플로우: 출력물이 더 길어질 수 있음을 예상하십시오. 비용 절감을 확신하기 전에 실제 영향을 측정해 보아야 합니다.
- 직접 측정하기: 토큰 사용량은 프롬프트 스타일, 모델 버전, 작업 복잡도에 따라 달라집니다. 광고된 백분율에 의존하기보다는 직접 벤치마크를 수행하십시오.
일부 문서에서 홍보하는 75% 감소는 출력 토큰 수에만 해당하며, 전체 청구 금액을 의미하는 것이 아닙니다. 이 수치에만 집중하는 개발자는 청구서 금액이 그대로이거나 오히려 늘어나는 것을 보고 놀랄 수 있습니다.
향후 관전 포인트
요약: Genshijin은 일본어 코드 출력을 의미 있게 줄일 수 있지만, 추가되는 프롬프트 토큰으로 인해 즉각적인 비용 이점은 사라지며, 심지어 영어 응답을 늘릴 수도 있습니다. 선택적으로 사용하고, 항상 자신의 작업량에 미치는 토큰 영향을 확인하십시오.
출처: https://dev.to/anicca_301094325e/coding-assistant-tests-japanese-28-shorter-english-3-longer-4f83