출시 직전의 보이스 에이전트가 통화자의 말을 계속 끊는 문제가 발생했습니다. 이로 인해 중단율(truncation rate)이 18%에 달했고, 출시를 불과 열흘 앞두고 발화 종료 로직을 다시 작성해야 했습니다. 침묵 타임아웃 규칙에 문법 체크와 백채널(back-channel) 감지 기능을 추가함으로써, 중단율을 3%로 낮추고 시스템이 반응하지 않는 것처럼 느껴지게 했던 긴 무음 구간을 제거했습니다.

단일 침묵 타임아웃만으로는 부족했던 이유

기존 설계는 700ms의 모든 일시 정지를 사용자가 말을 마쳤다는 신호로 처리했습니다. 조용한 방에서 한 명의 화자가 완전한 문장을 말하는 통제된 데모 환경에서는 이 규칙이 잘 작동합니다. 하지만 실제 통화자는 생각을 하기 위해 멈추기도 하고, 숫자를 그룹별로 나누어 말하기도 하며, 듣고 있다는 것을 보여주기 위해 "어허", "음흠" 같은 추임새를 넣기도 합니다. 에이전트는 이러한 일시 정지 하나하나를 발화 종료로 해석했습니다.

312건의 실제 통화를 분석한 결과 두 가지 문제가 드러났습니다. 첫째, 화자가 다음 구절을 구성하는 동안 에이전트가 끼어들어 전체 발화의 18%를 방해했습니다. 둘째, 중단을 막기 위해 타임아웃을 1500ms로 늘렸더니 시스템이 느려지고 소음이 있는 회선에서 응답이 지연되는 현상이 발생했습니다. 배경 소음이 침묵 카운터를 계속 초기화했기 때문에 에이전트는 사용자가 말을 마쳤다고 판단하지 못했습니다.

단일 수치를 대체하는 세 가지 신호

우리는 고정된 타임아웃 방식에서 벗어나 세 가지 신호를 관찰하는 작은 상태 머신(state machine)을 구축했습니다.

  • 침묵 지속 시간 – 사용자가 얼마나 오랫동안 침묵하고 있는지.
  • 문법 – 텍스트가 완전한 구문 단위로 끝나는지, 아니면 "the"나 "and"와 같이 미완성된 단어로 끝나는지.
  • 백채널 감지 – 마지막 소리가 실제 발화(예: 답변)인지, 아니면 "네"와 같은 짧은 맞장구인지.

이 신호들을 바탕으로 두 가지 침묵 허용 시간(silence budgets)을 정의했습니다.

  1. 완성된 스크립트 – 파싱된 텍스트가 완료된 것으로 보이면 550ms의 짧은 타임아웃을 적용합니다. 에이전트가 민첩하게 즉시 응답합니다.
  2. 미완성 스크립트 – 마지막 토큰이 사용자가 문장 중간에 있음을 시사하면 타임아웃을 1300ms로 연장하여 화자가 말을 이어갈 여유를 줍니다.

잘못된 중단을 방지하기 위해 두 가지 추가 가드(guard)를 두었습니다.

  • 최소 발화 지속 시간 – 짧은 "음흠"은 완전한 발화로 간주하지 않으므로, 에이전트는 결정을 내리기 전에 더 긴 발화를 기다립니다.
  • 하드 캡(Hard cap) – 배경 소음과 관계없이 최대 침묵 제한을 두어 에이전트가 합리적인 시간 후에 반드시 응답하도록 함으로써 무한 대기 현상을 방지합니다.

결과 및 보이스 AI에 주는 시사점

세 가지 신호 시스템을 배포한 후, 중단율은 18%에서 3%로 떨어졌습니다. 통화자는 더 이상 에이전트가 말을 가로채는 것을 듣지 않게 되었고, 이전의 "무음 구간" 문제도 사라졌습니다. 에이전트는 사람이 대화 순서를 관리하는 방식과 유사하게, 반응이 빠르면서도 정중하게 느껴집니다.

보이스 어시스턴트를 구축하는 개발자들에게 교훈은 명확합니다. 설정 파일의 단일 상숫값만으로는 구어체 상호작용의 미묘한 차이를 포착할 수 없습니다. 침묵 길이, 문법적 완전성, 백채널 신호를 평가하는 가벼운 상태 머신은 과도한 계산 부하를 추가하지 않고도 발화 순서 교대(turn-taking)의 정확도를 획기적으로 높일 수 있습니다.

잠재적 단점 및 남은 과제

문법 파싱과 백채널 분류를 추가하면 처리 단계가 늘어납니다. 팀은 추가된 지연 시간이 대화의 매끄러움에서 얻은 이점을 상쇄하지 않는지 확인해야 합니다. 또한 이 방식은 상당히 정확한 스크립트에 의존합니다. 소음이 심한 환경이나 억양이 강한 발화의 경우 문법 신호가 부정확할 수 있으며, 이 경우 시스템은 더 긴 타임아웃으로 회귀(fallback)해야 합니다.

향후 연구에서는 개별 통화자의 습관을 학습하는 적응형 타임아웃 임계값을 탐색하거나, 백채널 감지기를 강화하기 위해 운율적 특징(pitch, energy)을 통합하는 방안을 고려할 수 있습니다. 이러한 개선 사항이 고객 만족도, 통화 완료 시간, 오류율과 같은 핵심 지표에 어떤 영향을 미치는지 모니터링하는 것은 이 기술을 대규모 컨택 센터 배포로 확장하기 전에 필수적입니다.

핵심 요약: 발화 종료를 단일 침묵 타이머가 아닌 다중 신호 결정 방식으로 처리하면, 중단 오류를 획기적으로 줄이고 사용자가 보이스 에이전트에게 기대하는 자연스러운 흐름을 회복할 수 있습니다.