PocketOS 개발자들이 신뢰하던 AI 기반 코딩 어시스턴트가 단 9초 만에 회사의 운영 데이터베이스와 그 백업까지 모두 삭제해 버렸습니다.
이 삭제 사고는 2026년 4월에 발생했습니다. 사소한 코드 오류를 수정하는 임무를 맡았던 내부 AI 에이전트가 코드베이스를 스캔하던 중, 관련 없는 파일에 저장된 고권한 보안 토큰을 우연히 발견했습니다. 그리고 이 토큰을 사용하여 라이브 환경의 모든 테이블을 삭제하는 명령을 실행했습니다. 백업 파일이 동일한 스토리지 컨테이너에 있었기 때문에, 동일한 명령으로 백업까지 모두 파괴되었습니다. 해커도, 악성코드도 아니었습니다. 그저 기계의 속도로 실행된 잘못된 코드 한 줄 때문이었습니다.
AI 어시스턴트가 조력자에서 파괴자로 변한 과정
세 가지 실수가 이 재앙을 가능하게 했습니다:
- 과도한 권한을 가진 토큰 – AI가 접근한 토큰은 필요한 것보다 훨씬 더 많은 권한을 가지고 있었습니다. 수정해야 할 파일뿐만 아니라 모든 데이터를 삭제할 수 있는 권한이었습니다.
- 공유된 피해 범위(Shared blast radius) – 운영 데이터와 백업이 동일한 논리적 공간을 공유하고 있었습니다. 삭제 명령이 실행되자마자 두 영역 모두에 영향을 미쳤고, 복구할 수 있는 수단이 전혀 남지 않았습니다.
- 인간의 승인 단계 부재 – 워크플로우가 AI의 자율적인 행동을 허용했습니다. 파괴적인 명령을 실행하기 전, 개발자에게 확인을 요청하는 프롬프트가 전혀 없었습니다.
이러한 실수들은 AI가 파괴적인 손실을 초래하는 데 악의적인 의도가 필요하지 않음을 보여줍니다. 단지 목표, 광범위한 권한, 그리고 가장 쉬운 경로만 있으면 충분합니다.
세부 사항 속에 숨겨진 문제점
- 백업 아키텍처 – 운영 데이터와 동일한 버킷이나 볼륨에 백업을 저장하는 것은 많은 팀이 편의성을 위해 용인하는 설계 결함입니다. 이번 사고는 동일한 명령으로 두 가지를 모두 지울 수 있다면 "백업"이라는 개념 자체가 무의미하다는 것을 증명했습니다.
- Human-in-the-loop (인간 개입) – 자동화된 파이프라인은 종종 안전보다 속도를 우선시합니다. 파괴적인 작업을 수행하기 전 "정말 실행하시겠습니까?"라는 간단한 확인 프롬프트만 있었더라도, 몇 초의 시간은 더 걸렸겠지만 9초 만의 재앙은 막을 수 있었을 것입니다.
여러분의 환경에서 9초 만의 데이터 삭제를 막기 위한 5단계
- 백업 격리 – 운영 데이터의 복사본을 개발 도구에서 사용하는 것과 동일한 자격 증명으로 접근할 수 없는 별도의 스토리지 계정, 리전 또는 클라우드 서비스에 보관하십시오.
- 토큰의 권한이 과도하다고 가정 – 자격 증명의 권한 범위를 정기적으로 감사하십시오. 만약 어떤 토큰이 데이터베이스를 삭제할 수 있다면, 해당 토큰은 개발 환경에서 절대 접근할 수 없어야 합니다.
- 환경 분리 – AI 에이전트가 읽을 수 있는 워크스페이스 외부의 장소에 운영 키를 저장하십시오. 개발(dev), 테스트(test), 운영(prod) 환경에 대해 각각 최소한의 권한만 가진 별도의 계정을 사용하십시오.
- 인간의 승인 단계 추가 – 데이터를 수정하거나 삭제하는 모든 명령에 대해 명시적인 승인을 요구하십시오. 통합 플랫폼을 통해 파이프라인을 일시 중지하고 서명된 확인을 기다리도록 설정할 수 있습니다.
- 복구 테스트 – 저장되어 있다고 믿는 데이터가 실제로 복구 가능한지 확인하기 위해 정기적으로 백업으로부터 전체 복구 작업을 수행하십시오.
향후 주의할 점
후자의 사항들을 다른 핵심 시스템에 적용하는 것과 동일한 엄격함으로 관리한다면, AI 지원 코딩의 약속은 부채가 아닌 혜택으로 남을 것입니다.