실시간으로 협업하는 5개의 Gemini 3.5 Flash 에이전트가 30개의 Project Euler 문제 세트 중 87%를 해결하며, 단독으로 실행된 5개의 에이전트(72%)와 두 가지 다수결 방식 베이스라인(단독 80%, 협업 90%)을 모두 앞질렀습니다. 또한 협업 방식은 평균 실행 시간을 문제당 14분에서 10분으로 4분 단축했으며, 대부분의 솔루션은 5분 이내에 도출되었습니다.
이 실험이 중요한 이유
AI 코딩 어시스턴트는 이미 코드 스니펫을 작성하고, 디버깅하며, 전체 프로그램을 생성합니다. 연구자들은 보통 단일 모델에 프롬프트를 입력하고 그 답변을 평가합니다. 하지만 이번 테스트는 다른 질문을 던집니다. 작업 과정에서 발견한 내용을 공유하는 에이전트 그룹이, 단순히 독립적인 답변들을 집계하는 "대중의 지혜(wisdom of the crowd)" 방식보다 더 뛰어난 성능을 낼 수 있을까요?
Project Euler 문제는 알고리즘적 사고력을 측정하는 표준 벤치마크 역할을 합니다. 수학적 통찰력과 효율적인 코딩 능력을 동시에 요구하기 때문에, 정확성과 속도가 중요한 실제 프로그래밍 작업의 훌륭한 대리 지표가 됩니다.
테스트 설정 방식
- 에이전트: Antigravity 플랫폼을 통해 접속한 5개의 Gemini 3.5 Flash 인스턴스.
- 시나리오:
- 각 에이전트가 모든 문제를 단독으로 해결하고 자신의 답변을 보고합니다.
- 동일한 5개의 에이전트가 실시간으로 협업하며 중간 결과물을 공유하고 서로의 단계를 확인합니다.
- 두 설정 모두에서, 단순 다수결 집계기(majority-vote aggregator)를 사용하여 5개의 독립적인 답변을 결합합니다.
- 지표: 정확도(정답 비율) 및 실행 시간(문제당 평균 시간 및 완료 시간 분포).
수치가 보여주는 결과
- 단독 정확도: 72%
- 협업 정확도: 87%
- 단독 다수결 정확도: 80%
- 협업 다수결 정확도: 90%
실행 시간은 단독 에이전트의 평균 14분에서 협업 그룹의 10분으로 단축되었습니다. 대부분의 협업 실행은 5분 이내에 완료된 반면, 단독 시도는 30분 타임아웃 제한에 걸리는 경우가 빈번했습니다.
격차를 설명하는 주요 관찰 사항
- 혼자서는 불가능하지만, 여럿이서는 가능함 – 특정 문제에서 모든 단독 에이전트가 실패했지만, 협업 팀은 부분적인 결과물을 교환하며 집단적으로 정답에 도달했습니다.
- 교차 검증을 통한 오류 포착 – 개별 에이전트가 때때로 논리적 함정에 빠지기도 했으나, 그룹은 실시간으로 노트를 비교함으로써 이러한 실수를 잡아냈습니다.
- 빠른 수렴 – 어떤 에이전트라도 중요한 중간값을 발견하면 이를 공유하여, 다른 에이전트들이 불필요한 작업을 건너뛰고 최종 솔루션에 더 빠르게 도달할 수 있게 했습니다.
숨겨진 비용과 한계
이번 실험에는 단 5개의 에이전트만 사용되었습니다. 동일한 효율성이 수십 개 또는 수백 개의 에이전트로 확장될 수 있을지는 아직 불분명합니다. 또한, 다수결 집계 방식도 여전히 좋은 성능(협업 시 90%)을 보였습니다.
향후 주목할 점
- 확장성 실험 – 에이전트가 100개가 되어도 정확도가 향상될까요, 아니면 조정 오버헤드(coordination overhead)가 지배적이 될까요?
- 역할 전문화 – 특정 작업(예: 한 에이전트는 정수론에 집중하고, 다른 에이전트는 최적화에 집중)을 할당하면 자유 형식의 협업보다 더 큰 이점을 얻을 수 있습니다.
- 더 넓은 범위의 벤치마크 – 동일한 프레임워크를 코드 생성 과제, 디버깅 세트 또는 실제 소프트웨어 빌드에 적용하여, 이러한 이점이 수학적 퍼즐을 넘어 유지되는지 테스트할 것입니다.
요약
AI 코딩 에이전트 간의 실시간 협업은 알고리즘 작업에서 성공률과 속도를 모두 높일 수 있으며, 단독 시도나 단순한 다수결 방식보다 뛰어난 성능을 보여줍니다. 이 접근 방식은 유망하지만, 확장성과 비용 효율성은 향후 연구를 통해 답을 찾아야 할 과제로 남아 있습니다.
출처: https://dev.to/ykdap/for-coding-agents-real-time-collaboration-beats-the-wisdom-of-the-crowd-1kj0