구글 어스, AI 위성 이미지 편집 기능 출시 하루 만에 서비스 전격 중단
Key Points
- 1구글이 구글 어스에 탑재했던 텍스트 기반 위성 이미지 AI 편집 도구를 출시 하루 만에 중단했습니다.
- 2해당 도구는 사용자가 지정한 프롬프트에 따라 국경 지대 난민 캠프나 병원 옆 폭격 구덩이 같은 정교한 가짜 이미지를 만들어내어 악용 우려를 샀습니다.
- 3탑재된 AI 모델은 '나노 바나나 2'로, 워터마크 기술과 가드레일이 존재했으나 실제 우회 및 외부 AI 감지 도구 무력화가 가능했습니다.
- 4구글은 지리 정보 플랫폼의 신뢰를 유지하기 위해 모델의 보안 가드레일을 한층 더 강화하기 전까지 기능을 롤백하기로 결정했습니다.
- 5전문가들은 실제 공간 데이터에 결합되는 생성 AI의 경우 일반 텍스트 모델보다 강력한 안전성 필터 및 탐지 정책이 수반되어야 한다고 제언했습니다.
구글이 텍스트 프롬프트를 입력해 위성 이미지를 실시간으로 수정할 수 있는 구글 어스(Google Earth)의 신규 생성형 AI 이미지 편집 도구를 출시한 지 불과 하루 만에 전격 폐쇄했습니다. 이 서비스는 실제 지형을 바탕으로 고도로 정밀한 가짜 이미지를 제작할 수 있어 사실상의 실시간 딥페이크 위성 이미지 생성을 가능케 한다는 안전성 우려가 크게 작용한 조치입니다.
출시 당일 디지털 분석 전문가들은 미국-멕시코 국경 부근에 모여 있는 난민 캠프나 가자 지구의 병원 주변에 위치한 대형 폭격 구덩이 등 민감하고 거짓된 물리적 상황을 연출한 스크린샷과 비디오를 생성하는 방식으로 도구의 위험성을 폭로했습니다. 구글은 자사의 소형 생성형 AI인 '나노 바나나 2(Nano Banana 2)' 모델을 사용한 생성물에는 디지털 워터마크가 주입되며 정책상 해로운 이미지 생성을 사전에 제한하고 있다고 항변했으나 위장 사례를 막기에는 부족했던 것으로 나타났습니다.
실제 테스트 과정에서 필터링 우회는 물론, 생성된 이미지가 타사 AI 딥페이크 감지 소프트웨어까지 쉽게 통과하는 현상이 발견되었습니다. 이에 구글은 공식 성명을 내고 소비자가 신뢰하는 지리 공간 정보 플랫폼으로서의 안전성을 확보하기 위해 현재 진행 중인 서비스를 일시적으로 거둬들이고, 더욱 강력한 인공지능 안전 가드레일(Guardrail) 체계를 구현하여 적용하겠다고 입장을 선회했습니다.
이번 서비스 중단 사례는 실재하는 공간 정보 플랫폼에 생성형 AI 기술을 즉시 도입할 때 모델 자체의 필터뿐만 아니라 실시간 정보 유통과 오용을 차단할 수 있는 고도화된 방어 아키텍처 및 안전망 설계가 동반되어야 함을 일깨워 줍니다.