디지털 뱅킹에서 계좌 잔액을 지어내는 지원 봇은 단순히 쓸모없는 것이 아니라 위험합니다. 금융 대화에는 정확한 숫자, 검증된 수취인, 그리고 모든 청구 사항에 대한 감사 추적(audit trail)이 필요합니다. 대규모 언어 모델은 대화에는 뛰어나지만, 환각 현상(hallucination)을 일으킵니다. 사용자가 “내 계좌에 얼마가 남았지?”라고 물을 때, 모델은 상상이 아닌 데이터베이스를 참조해야 합니다. 이것이 바로 함수 호출(function calling)이 강제하는 것이며, 이번 빌드의 핵심입니다.
Google의 Gemma 4는 개발자에게 복잡한 지침을 따르고 지역 방언을 포함한 자연스러운 대화를 이어갈 수 있는 강력한 310억 매개변수(parameter) 모델을 제공합니다. Google AI Studio와 결합하면 도구를 정의하고, 엣지 케이스(edge cases)를 테스트하며, 서버를 만지기 전에 작동하는 JavaScript를 내보낼 수 있는 신속한 프로토타이핑 환경이 됩니다. 여기서의 목표는 계좌 잔액을 확인하고, 거래 상태를 추적하며, 고지서를 납부하는 핀테크 지원 에이전트를 만드는 것입니다. 결정적으로, 사용자가 나이지리아 피진(Nigerian Pidgin)으로 말하면 모델도 그에 맞춰 응답하며, 금융 사실을 임의로 꾸며내지 않으면서도 어조를 맞춥니다.
금융 봇에 함수 호출이 중요한 이유
함수 호출이 없다면 언어 모델은 모든 질문을 창의적인 글쓰기 연습으로 취급합니다. 잔액을 물어보면 학습 데이터의 패턴에서 가져온 그럴듯해 보이는 숫자를 지어낼 수도 있습니다. 실제 돈이 연관된 경우 이러한 오류 방식은 용납될 수 없습니다.
함수 호출은 이 흐름을 뒤바꿉니다. 모델의 역할은 잔액을 아는 것이 아닙니다. 의도를 인식하고, 올바른 도구를 선택하며, 매개변수를 추출하는 것입니다. 사용자가 “내 잔액 확인해줘”라고 쓰면, Gemma 4는 account_id가 포함된 get_balance 호출과 같은 구조화된 JSON 요청을 생성합니다. 백엔드에서 핵심 뱅킹 시스템에 해당 호출을 실행하여 실제 수치를 가져온 뒤, 이를 다시 대화에 전달합니다. 그제서야 모델은 사용자에게 보여줄 문장을 생성합니다. 모든 답변은 백엔드로의 도구 호출을 통해 이루어집니다. 모델이 외부 로직에 의해 제어되기 때문에, 환각 현상은 API 경계에서 차단됩니다.
이 패턴은 명확한 감사 추적도 생성합니다. 각 도구 요청과 그에 따른 결과는 메시지 기록에 로그로 남습니다. 규제 기관과 리스크 관리 팀은 잔액이 정확히 언제 확인되었고 사용자가 어떤 숫자를 받았는지 검사할 수 있습니다.
Google AI Studio에서 에이전트 설계하기
워크플로우는 Google AI Studio 내부에서 시작됩니다. 대화 및 지침 준수에 최적화된 지시 미세 조정(instruct-tuned) 버전인 gemma-4-31b-it를 선택하세요.
다음으로, 엄격한 경계를 설정하는 시스템 지침을 작성합니다. 디지털 뱅킹의 경우 어조는 전문적이고 직설적이며 차분해야 합니다. 하지만 지침은 그보다 더 나아가야 합니다. 모델에게 계좌 데이터를 절대 추정하지 말고, 거래 상태를 가정하지 말며, 도구 결과를 확인하지 않고는 고지서 납부를 완료하지 말라고 명시적으로 지시하십시오. 사용자가 나이지리아 피진으로 쓰면 모델도 나이지리아 피진으로 답해야 합니다. 사용자가 영어로 전환하면 모델도 따라갑니다. 시스템 프롬프트는 신뢰 및 안전 정책을 평이한 언어로 인코딩하는 곳입니다.
그런 다음 도구 스키마를 정의합니다. 이를 모델과 백엔드 사이의 계약이라고 생각하십시오. 최소 세 개가 필요합니다:
get_balance
매개변수:account_id(문자열, 필수)
반환값: 현재 잔액 및 통화.get_transaction_status
매개변수:transaction_reference(문자열, 필수)
반환값: 대기 중, 완료 또는 실패와 같은 상태 및 타임스탬프.pay_bill
매개변수:biller_code(문자열, 필수),amount(숫자, 필수),account_pin(흐름에 따라 선택 사항인 문자열)
반환값: 확인 참조 번호 또는 오류 메시지.
각 스키마는 함수 이름, 설명 및 매개변수 속성을 설명하는 표준 JSON 형식을 사용합니다. 설명 필드는 매우 중요합니다. 모델이 각 도구를 언제 호출해야 하는지 이해할 수 있도록 작성하십시오. 모호한 설명은 잘못된 도구 선택으로 이어지므로 구체적으로 작성하십시오: “사용자가 현재 계좌 잔액을 알고 싶어 할 때 get_balance를 사용하십시오. 거래 내역에는 사용하지 마십시오.”
브라우저에서 프로토타이핑하기
단 하나의 Express 라우트를 작성하기 전에 AI Studio의 채팅 패널 내에서 전체 대화 흐름을 테스트하십시오. 이는 며칠간의 백엔드 재작업 시간을 절약해 줍니다. 나이지리아 피진으로 쿼리를 입력해 보세요: “Wetin remain inside my account?” Gemma 4가 get_balance 호출을 올바르게 생성하는지, 아니면 학습 데이터로 답변하려고 시도하는지 지켜보십시오. 만약 account_id 대신 account_number를 사용하는 등 매개변수를 잘못 지정한다면, 그 자리에서 바로 스키마 설명을 수정하면 됩니다.
실패 모드도 테스트하세요. 참조 번호를 제공하지 않고 트랜잭션 상태를 요청해 보세요. 잘 지시된 모델은 사용자에게 누락된 매개변수를 요청하거나, 가지고 있는 정보로 도구를 호출하여 백엔드에서 유효성 검사 오류를 반환하게 해야 합니다. 이러한 동작은 운영 환경이 아닌 샌드박스에서 확인해야 합니다.
프롬프트와 스키마가 올바르게 작동하면 JavaScript 코드를 내보내세요. AI Studio는 시스템 프롬프트, 사용자 메시지, 도구 정의를 포함하여 API 요청을 구성하는 깔끔한 스니펫을 생성합니다. 이것이 백엔드 로직의 기반이 됩니다.
Express 백엔드 연결하기
내보낸 코드를 가져와 Express 애플리케이션에 넣으세요. 아키텍처는 간단하지만, 실행 루프(execution loop)가 핵심적인 부분입니다.
사용자의 메시지와 세션 기록을 수락하는 POST 엔드포인트(예: /chat)를 설정하세요. 호스팅 방식에 따라 OpenAI 호환 API 또는 Google 자체 추론 엔드포인트를 통해 Gemma 4 엔드포인트로 전달합니다.
모델의 응답은 두 가지 범주 중 하나에 속합니다. 최종 텍스트 메시지이거나, 데이터를 요청하는 tool_call을 포함하고 있습니다. 도구 호출을 받으면 백엔드에서 해당 함수를 실행하세요. 데이터베이스에서 잔액을 조회하거나, 결제 프로세서에 청구서 상태를 요청합니다. 도구 결과(tool result)를 tool 역할을 가진 새로운 메시지로 대화 기록에 추가하고, 업데이트된 전체 배열을 다시 Gemma 4로 보냅니다.
모델이 최종 텍스트 답변을 반환할 때까지 이 루프를 반복하세요. 그 답변은 여러분이 제공한 실제 데이터에 기반하게 됩니다. Express를 사용하면 각 루프 통과가 단순한 HTTP 요청일 뿐이며, 도구 실행을 깔끔하게 async/await로 처리할 수 있어 조정이 쉽습니다.
초기 개발 단계에서는 이러한 도구 호출에 모의 데이터(mock data)를 사용하세요. 샘플 계정 ID를 잔액에 매핑하는 간단한 JavaScript 객체만으로도 루프가 작동하는지 증명하기에 충분합니다. 핵심은 취약한 제3자 뱅킹 API와 통합하기 전에 상호작용 패턴을 검증하는 것입니다.
프로토타입에서 프로덕션으로
작동하는 프로토타입이 곧 프로덕션 뱅킹 인프라는 아니지만, 한 단계에서 다음 단계로 넘어가는 경로는 명확합니다.
모의 데이터를 실제 코어 뱅킹 API로 교체하세요. get_balance 도구를 REST 또는 gRPC를 통해 원장(ledger) 시스템에 연결하세요. pay_bill을 실제 결제 스위치에 연결하세요. 이렇게 할 때 모델이나 대화 로직을 변경할 필요는 없으며, 도구 핸들러의 구현체만 교체하면 됩니다.
세션 관리를 위해 Redis를 추가하세요. 뱅킹에서의 대화 상태는 민감하며 규제의 대상입니다. 메시지 기록을 안전하게 저장하고, 설정된 타임아웃 후에 만료시키며, 사용자의 세션이 요청 간에 유출되지 않도록 보장해야 합니다. Redis는 TTL 정책과 빠른 키 조회를 통해 이를 처리합니다.
트래픽이 증가하면 추론(Inference)을 vLLM으로 옮기세요. AI Studio는 프로토타이핑에 훌륭하지만, GPU 클러스터에서 vLLM을 사용한 자체 호스팅 추론을 사용하면 대규모 환경에서 지연 시간, 배치 처리 및 비용을 제어할 수 있습니다. Gemma 4는 vLLM에서 효율적으로 실행되며, 도구 호출 동작은 동일하게 유지됩니다.
핵심 요약
신뢰할 수 있는 핀테크 에이전트를 구축하는 것은 모델의 크기보다는 아키텍처의 제약 조건에 관한 것입니다. Gemma 4는 코드 스위칭(code-switched)된 나이지리아 피진(Nigerian Pidgin)을 해석하고 복잡한 의도를 라우팅할 수 있는 충분한 추론 능력을 제공하지만, 안전성은 도구 루프에서 나옵니다. 모든 잔액은 실시간으로 조회됩니다. 모든 청구서 결제는 외부 시스템에 의해 확인됩니다. 아무것도 지어내지 않습니다.
AI Studio를 사용하여 브라우저에서 시작하고, Express 루프에서 로직을 강화한 다음, 대화 흐름이 완벽해지면 실제 뱅킹 인프라로 교체하세요. 그것이 사람들이 자신의 돈을 실제로 믿고 맡길 수 있는 봇을 출시하는 방법입니다.
Source: Building a Full Gemma 4 Google AI Studio Project: A Fintech Support Agent
Optional learning community: GyaanSetu AI on Telegram