Microsoft meluncurkan Foundry Toolbox dan fitur pendampingnya, Tool Search, sebuah layanan single-endpoint yang memungkinkan pengembang menghubungkan agen AI ke ratusan alat tanpa harus mengonfigurasi setiap agen secara individual. Tool Search memangkas token input hingga 94% ketika katalog berisi lebih dari 600 alat.

Mengapa toolbox terpusat itu penting

Agen AI membutuhkan kemampuan eksternal—database, CRM, platform analitik—untuk memenuhi permintaan pengguna. Hingga saat ini, banyak organisasi menghubungkan setiap agen secara langsung ke API yang diperlukan. Insinyur harus mengulang konfigurasi kredensial, penegakan kebijakan, dan kode penanganan kesalahan untuk setiap agen baru. Hasilnya adalah jalinan pengaturan duplikat yang rumit, sulit diaudit, dan rentan terhadap celah keamanan.

Foundry Toolbox menggantikan sistem tambal sulam tersebut dengan lapisan layanan yang terpadu. Alih-alih belasan agen masing-masing mengarah ke belasan endpoint terpisah, semua agen berkomunikasi dengan satu endpoint “toolbox” tunggal. Toolbox mengelola versi (versioning), string koneksi, dan kebijakan keamanan, sehingga memungkinkan tim untuk mengelola seluruh ekosistem alat dari satu tempat. Perusahaan yang menjalankan puluhan agen di berbagai unit bisnis akan melihat penurunan biaya operasional secara langsung.

Katalog alat yang besar menciptakan biaya tersembunyi: penggunaan token. Ketika model bahasa menerima prompt yang mencantumkan setiap alat yang tersedia, jendela konteks (context window) membengkak, menghabiskan token yang seharusnya bisa digunakan untuk penalaran atau teks yang menghadap pengguna. Tool Search mengatasi masalah ini langsung dari sumbernya.

Saat agen mengaktifkan Tool Search, model pertama-tama memanggil meta-tool bernama tool_search, dengan mendeskripsikan dalam bahasa Inggris sederhana apa yang dibutuhkannya (misalnya, “find the latest sales forecast for region X”). Layanan tersebut mengembalikan daftar pendek alat kandidat yang sesuai dengan maksud tersebut secara berurutan. Model kemudian memanggil call_tool, memilih entri yang paling sesuai dari daftar tersebut. Dengan hanya mengekspos subset yang relevan, prompt tetap kecil, sehingga menghemat hingga 94% token input dalam tolok ukur 600 alat.

Alur kerja dua langkah ini juga meningkatkan akurasi pemilihan. Dalam tolok ukur yang sama, model lebih sering memilih alat yang benar dibandingkan saat ia dipaksa untuk menyisir seluruh katalog, sehingga mengurangi panggilan palsu (false calls) dan percobaan ulang yang tidak perlu.

Cara memaksimalkan penggunaan toolbox

  • Tulis metadata yang bagus – Tool Search bergantung pada nama dan deskripsi setiap alat. Label yang samar seperti “Get data” memberikan sedikit informasi bagi model. Judul yang mendetail seperti “Retrieve customer renewal risks and contacts” akan memandu mesin pencari ke kecocokan yang tepat.
  • Sematkan (pin) alat yang sering digunakan – Jika sebuah agen selalu membutuhkan utilitas tertentu pada setiap putaran, sematkan alat tersebut ke konfigurasi agen. Penyematan ini melewati langkah pencarian, sehingga mengurangi latensi dan konsumsi token.
  • Atur berdasarkan kemampuan – Alih-alih menggunakan toolbox monolitik yang mencakup seluruh perusahaan, bagi alat ke dalam kelompok logis (misalnya, sales-tools, CRM-tools). Kelompok yang lebih kecil membatasi dampak (blast radius) dari kesalahan konfigurasi dan menjaga hasil pencarian tetap fokus.
  • Uji sebelum diterapkan – Versi toolbox bersifat immutable (tidak dapat diubah); setelah sebuah versi ditetapkan sebagai default, semua agen akan mulai menggunakannya. Gunakan endpoint pengembang untuk memvalidasi versi baru secara terisolasi sebelum menerapkannya ke seluruh perusahaan.

Praktik-praktik ini sangat penting ketika jumlah alat meningkat hingga ratusan. Untuk satu agen dengan beberapa utilitas, koneksi langsung mungkin masih menjadi rute termudah. Namun, seiring bertambahnya tim dan perluasan toolbox, model terpusat ini akan memberikan keuntungan melalui pengurangan duplikasi, keamanan yang lebih ketat, dan penghematan token yang terukur.

Intinya: Foundry Toolbox dan Tool Search memberikan cara bagi penerapan AI skala besar untuk menjinakkan penyebaran alat yang tidak terkendali, memangkas pemborosan token hingga 94%, dan menegakkan kebijakan keamanan yang konsisten—semuanya hanya dengan menambahkan satu lapisan layanan yang dikelola dengan baik. Tim yang mampu melakukan pengaturan awal dan disiplin metadata akan mendapatkan ekosistem agen yang lebih ramping dan lebih mudah dikendalikan.