Microsoft는 Foundry Toolbox와 그 보조 기능인 Tool Search를 출시했습니다. 이는 개발자가 각 에이전트를 개별적으로 연결할 필요 없이 수백 개의 도구를 AI 에이전트에 연결할 수 있게 해주는 단일 엔드포인트 서비스입니다. Tool Search는 카탈로그에 600개 이상의 도구가 포함된 경우 입력 토큰을 최대 94%까지 절감했습니다.

중앙 집중식 툴박스가 중요한 이유

AI 에이전트가 사용자의 요청을 수행하려면 데이터베이스, CRM, 분석 플랫폼과 같은 외부 기능이 필요합니다. 지금까지 많은 조직은 각 에이전트를 필요한 API에 직접 연결해 왔습니다. 엔지니어들은 새로운 에이전트가 추가될 때마다 자격 증명 구성, 정책 적용 및 오류 처리 코드를 반복해서 작성해야 했습니다. 그 결과, 감사하기 어렵고 보안 취약점이 발생하기 쉬운 중복 설정의 복잡한 네트워크가 형성되었습니다.

Foundry Toolbox는 이러한 임시방편적인 방식을 통합 서비스 계층으로 대체합니다. 수십 개의 에이전트가 각각 수십 개의 개별 엔드포인트를 가리키는 대신, 모든 에이전트가 단일 “toolbox” 엔드포인트와 통신합니다. 툴박스가 버전 관리, 연결 문자열 및 보안 정책을 관리하므로 팀은 한 곳에서 전체 도구 생태계를 관리할 수 있습니다. 여러 사업 부문에 걸쳐 수십 개의 에이전트를 운영하는 기업은 운영 오버헤드가 즉각적으로 감소하는 효과를 볼 수 있습니다.

대규모 도구 카탈로그는 토큰 사용량이라는 숨겨진 비용을 발생시킵니다. 언어 모델이 사용 가능한 모든 도구를 나열한 프롬프트를 받으면 컨텍스트 창이 커지면서, 추론이나 사용자에게 보여줄 텍스트에 사용될 수 있는 토큰을 소모하게 됩니다. Tool Search는 이 문제의 근본 원인을 해결합니다.

에이전트가 Tool Search를 활성화하면, 모델은 먼저 tool_search라는 메타 도구를 호출하여 필요한 내용을 평이한 영어로 설명합니다(예: “find the latest sales forecast for region X”). 서비스는 의도와 일치하는 후보 도구의 짧은 순위 목록을 반환합니다. 그런 다음 모델은 해당 목록에서 가장 적절한 항목을 선택하여 call_tool을 호출합니다. 관련 있는 하위 집합만 노출함으로써 프롬프트 크기를 작게 유지할 수 있으며, 600개 도구 벤치마크에서 입력 토큰을 최대 94%까지 절약했습니다.

이 2단계 워크플로는 선택 정확도도 향상시킵니다. 동일한 벤치마크에서 모델은 전체 카탈로그를 뒤져야 할 때보다 올바른 도구를 더 자주 선택하여, 잘못된 호출과 불필요한 재시도를 줄였습니다.

툴박스를 최대한 활용하는 방법

  • 훌륭한 메타데이터 작성 – Tool Search는 각 도구의 이름과 설명에 의존합니다. “Get data”와 같이 모호한 레이블은 모델이 활용할 수 있는 정보를 거의 제공하지 않습니다. “Retrieve customer renewal risks and contacts”와 같이 상세한 제목은 검색 엔진이 정확한 항목을 찾도록 안내합니다.
  • 자주 사용하는 도구 고정(Pin) – 에이전트가 매 단계마다 특정 유틸리티를 항상 필요로 한다면, 해당 도구를 에이전트 설정에 고정하십시오. 고정을 사용하면 검색 단계를 건너뛸 수 있어 지연 시간과 토큰 소비를 줄일 수 있습니다.
  • 기능별로 구성 – 기업 전체를 아우르는 거대한 단일 툴박스보다는 도구를 논리적인 그룹(예: sales-tools, CRM-tools)으로 나누십시오. 그룹을 작게 나누면 설정 오류의 영향 범위를 제한하고 검색 결과의 집중도를 높일 수 있습니다.
  • 배포 전 테스트 – 툴박스 버전은 불변(immutable)입니다. 한 번 버전이 기본값으로 설정되면 모든 에이전트가 이를 사용하기 시작합니다. 회사 전체에 배포하기 전에 개발자 엔드포인트를 사용하여 격리된 환경에서 새 버전을 검증하십시오.

이러한 관행은 도구 수가 수백 개로 늘어날 때 가장 중요합니다. 몇 가지 유틸리티만 사용하는 단일 에이전트의 경우 직접 연결이 여전히 가장 간단한 방법일 수 있습니다. 하지만 팀이 늘어나고 툴박스가 확장됨에 따라, 중앙 집중식 모델은 중복 감소, 보안 강화 및 측정 가능한 토큰 절감을 통해 그 가치를 입증합니다.

요약: Foundry Toolbox와 Tool Search는 대규모 AI 배포 환경에서 잘 관리된 단일 서비스 계층을 추가함으로써, 도구 확산(tool sprawl)을 제어하고 토큰 낭비를 최대 94%까지 줄이며 일관된 보안 정책을 적용할 수 있는 방법을 제공합니다. 초기 설정과 메타데이터 관리의 규율을 갖춘 팀은 더 가볍고 제어 가능한 에이전트 생태계를 구축할 수 있습니다.