한 1인 개발자가 세 가지 Claude 모델을 활용한 실험을 통해 월간 API 비용을 35% 절감하고, 작업 중앙값 지연 시간을 42초에서 27초로 단축했습니다. 단순하고 모호함이 적은 작업은 저렴한 Haiku 모델로, 일상적인 작업은 Sonnet으로, 그리고 고도의 판단이 필요한 문제는 강력한 Opus 모델로 라우팅함으로써, 저자는 “모든 것에 최적의 모델을 사용하려는 습관”이 얼마나 비용이 많이 드는 일인지 증명했습니다.

라우팅이 중요했던 이유

저자는 린트(lint) 수정, 기능 추가, 보안 검토, 심층 디버깅 세션 등 끊임없이 발생하는 개발 작업을 처리하는 자율 코딩 에이전트를 운영하고 있습니다. 몇 달 동안 이 에이전트는 높은 품질이 항상 가격보다 중요할 것이라고 가정하며, 가장 유능한 Claude 모델인 Opus로 모든 요청을 보냈습니다. Opus는 토큰당 프리미엄 가격이 책정되어 있어 비용이 걷잡을 수 없이 늘어났습니다.

저자가 계층형 라우팅 체계를 도입하자 지출은 기존의 65% 수준으로 떨어졌고, Opus 사용량은 전체 작업의 11%로 급감했습니다.

3단계 시스템의 작동 방식

라우팅 로직은 작업이 건드리는 코드의 줄 수가 아니라 **모호성(ambiguity)**에 달려 있습니다. 저자는 세 가지 범주를 정의했습니다:

  • Haiku – 모호성이 낮고 결정론적인 작업. 예: 린트 경고 수정, 변수 이름 변경, 로그 파일 요약. 정답이 보통 한 줄의 코드나 텍스트인 경우입니다.
  • Sonnet – 기본 작업 수행 모델. 기능 구현, 일상적인 버그 수정, 그리고 문제는 명확하지만 해결 과정이 여러 단계일 수 있는 표준 리팩토링을 처리합니다.
  • Opus – 높은 위험도와 높은 모호성을 가진 작업. 아키텍처 결정, 보안 감사, 복잡한 디버깅 세션, 또는 올바른 경로가 불분명하여 실수할 경우 파이프라인이 깨질 수 있는 모든 작업을 포함합니다.

정적 조회 테이블(static lookup table)을 사용하여 각 요청을 이러한 규칙에 따라 적절한 모델에 매핑합니다. 저자는 실시간으로 계층을 결정하는 "스마트" 모델을 시도해 보았으나, 추가적인 토큰 사용량 때문에 절감 효과가 사라졌습니다. 단순한 정적 규칙만으로도 작업량의 약 80%를 처리할 수 있었으며, 시스템을 저렴하고 예측 가능하게 유지했습니다.

에스컬레이션 안전망

저렴한 모델도 실수를 할 수 있습니다. 잘못된 Haiku 또는 Sonnet의 응답이 빌드를 망치는 것을 방지하기 위해, 시스템은 두 번의 실패 후 요청을 다음 계층으로 격상(escalate)시킵니다. 이 안전망은 오류를 조기에 발견하고 수동 개입 없이도 파이프라인이 원활하게 돌아가도록 유지합니다.

수치가 증명하는 결과

계층형 라우터를 4주 동안 운영한 후, 저자가 기록한 변화는 다음과 같습니다:

  • API 지출이 기존 비용의 65%로 감소(35% 절감).
  • **중앙 소요 시간(Median turnaround time)**이 42초에서 27초로 단축.
  • Opus 사용량이 모든 요청을 처리하던 수준에서 전체 작업의 11%로 축소.

이 수치들은 대부분의 개발 작업이 품질 저하 없이 더 저렴한 모델로 위임될 수 있는 반면, 가장 까다로운 문제는 여전히 Opus의 넓은 컨텍스트 창(context window)의 도움을 받을 수 있음을 보여줍니다.

다른 개발자를 위한 교훈

  1. 높은 단계가 아닌 낮은 단계부터 시작하라. 대부분의 일상적인 코딩 작업에는 가장 강력한 모델이 필요하지 않습니다. 모호한 작업의 기본 모델을 Sonnet으로 설정하는 것이 모든 작업을 Haiku로 밀어붙이는 것보다 더 많은 비용을 절감했습니다.
  2. 크기가 아닌 난이도를 측정하라. 한 줄짜리 레이스 컨디션(race-condition) 수정이 파일 전체를 리팩토링하는 것보다 더 어려울 수 있습니다. 변경된 코드 줄 수가 아니라 해결책이 얼마나 모호한지에 따라 라우팅하십시오.
  3. 에스컬레이션 비율을 주시하라. 에스컬레이션 횟수가 증가한다는 것은 정적 규칙이 더 이상 작업량과 일치하지 않는다는 신호입니다. 저렴한 모델이 파이프라인 오류를 더 많이 일으키기 전에 범주를 조정하십시오.

가장 비싼 모델을 가장 까다로운 문제에 남겨두고 나머지 작업은 저렴한 모델이 처리하게 함으로써, AI 지원 개발을 빠르고 경제적으로 유지할 수 있습니다. 진정한 이점은 적절한 도구를 적절한 작업에 맞추는 규율 있는 라우팅 전략에 있습니다.