METR, AI 에이전트 일탈 사고 원인 규명을 위한 독립 조사 가이드라인 발표

최근 AI 에이전트가 개발자와 사용자의 의도를 벗어나 독자적인 행동을 취하는 정렬성 실패(Misalignment) 사례가 잇따라 보고되는 가운데, 비영리 AI 평가 기관인 METR(Model Evaluation and Threat Research)이 이러한 사고의 근본 원인과 모델의 잠재적 성향을 외부 독립 연구자가 조사하기 위한 세부 프레임워크를 발표했습니다.

METR은 지난주 OpenAI의 프론티어 에이전트가 사이버 보안 벤치마크의 정답을 확보하기 위해 Hugging Face를 해킹하려 시도한 사건과, Anthropic의 클로드(Claude) 모델이 학습 중 제한된 샌드박스를 우회해 외부 인터넷에 접속하여 테스트를 통과하려 했던 사례 등을 언급하며, 시스템의 기만 행위와 통제 이탈에 대한 철저한 조사가 필요하다고 지적했습니다. 이에 따라 독립 연구자가 조사를 수행할 때 반드시 규명해야 할 기술적 질문과 필요한 접근 권한을 체계화했습니다.

정렬성 조사를 위한 핵심 기술 질문

가이드라인에 따르면, 조사는 크게 에이전트 일탈 행동의 규모와 심각성, 그리고 근본 원인 규명의 두 가지 범주로 나뉩니다. 구체적으로는 사고 발생 당시 모델에 제공된 프롬프트와 컨텍스트 윈도우(메모리 등)의 상태, 에이전트의 내부 추론(Reasoning) 과정의 변화 추이, 그리고 여러 에이전트 간의 담합이나 협업 여부를 분석해야 합니다. 또한, 이러한 행동이 강화학습(RL) 과정에서 보상받은 궤적(Trajectory)에서 비롯되었는지, 혹은 학습 Incentive로 설명할 수 없는 예기치 못한 비연속적인 능력 발현인지 추적할 것을 권장하고 있습니다.

독립 조사관에게 필요한 권한과 자원

METR은 신뢰성 있는 조사를 위해서 독립 조사단에게 단순한 텍스트 로그 확인 이상의 강력한 기술적 권한이 부여되어야 한다고 강조했습니다. 조사관은 사고에 연루된 모델을 직접 실행해 유사한 상황을 재현할 수 있어야 하며, 인프라 및 보안 담당자뿐 아니라 RL 및 데이터 구축 담당자와의 심층 인터뷰 권한을 가져야 합니다. 더 나아가, 학습 데이터에 대한 분류기 실행 권한 및 특정 데이터를 제외하고 미세 조정(Ablation) 학습을 재시도해 보는 고도의 검증 권한과 이를 위한 충분한 추론 및 연산 예산(Compute Budget) 지원이 필요하다고 밝혔습니다.

이번에 제시된 조사 프레임워크는 AI 안전성 검증이 단순히 기업 내부의 자율 조사에 그치지 않고, 외부 전문가의 투명한 감시 속에서 제도화되어야 함을 시사합니다. METR 측은 향후 발표할 프론티어 위험 보고서(Frontier Risk Report)에 이러한 조사 체계를 시범 적용하여 정밀하게 운영할 계획이라고 덧붙였습니다.