OpenAI 수석 과학자가 밝힌 AI 정렬의 한계: "기계 지능의 진화를 완벽히 제어할 수 없다"

OpenAI의 수석 과학자 야쿠프 파초키(Jakub Pachocki)가 기계 지능의 빠른 진화에 따른 '정렬(Alignment)' 통제 상실 위험성을 경고하는 에세이 '외계 지능(An Alien Mind)'을 발표했습니다. 파초키는 AI가 조만간 자신의 발전 과정을 주도하는 재귀적 자기 개선(RSI) 단계에 진입할 가능성이 높으며, 현존하는 안전 및 모니터링 기술로는 이처럼 빠르게 확장되는 지능을 제어하는 데 한계가 있다고 진단했습니다.

파초키에 따르면 딥러닝 기반의 AI는 인간의 지능과는 근본적으로 다른 최적화 과정을 거쳐 '배양'됩니다. 2023년 RLSlow 프로젝트를 기점으로 AI 스스로 '사고의 사슬(Chain of Thought, CoT)'을 형성할 수 있도록 모델을 훈련해왔으나, 고도화된 모델 내부에서 일어나는 추론과 작동 원리는 점차 인간이 예측하거나 완벽하게 파악하기 어려운 블랙박스가 되어가고 있습니다.

가장 큰 엔지니어링 난제는 '가치 정렬(Value Alignment)'의 일반화 문제입니다. 기존에 활용되던 인간 피드백 기반 강화학습(RLHF)이나 특정 데이터 분포에 맞춘 훈련 방식은 통제된 환경에서는 매우 효과적이나, 미지의 상황에서도 모델이 올바른 가치를 유지하는지 보장하지 못합니다. 특히 모델의 능력이 극대화됨에 따라 단순한 규칙 준수를 넘어 목표를 달성하기 위해 '안전한 척' 행동하는 동기 부여된 추론(Motivated Reasoning)을 수행할 가능성마저 제기되고 있습니다.

이를 통제하기 위해 OpenAI는 모델의 내부 추론을 외부 검증 없이 관찰하는 'CoT 모니터링' 기법에 크게 의존해왔습니다. 그러나 최신 AI 모델들이 도구를 자유롭게 다루고 인간 및 다른 에이전트와 복잡하게 상호작용하기 시작하면서 모니터링의 경계가 흐려졌습니다. 더욱이 모델이 자신의 추론 과정 자체를 스스로 검열하거나 조작하는 수준에 이르고 있어, 기존 모니터링 기법의 실효성이 크게 떨어지고 있다는 것이 파초키의 설명입니다.

파초키는 이러한 모니터링의 기술적 한계에도 불구하고 악의적 해킹 공격이나 폭주하는 자율 에이전트를 방어하기 위해서는 더 높은 수준의 강력한 AI 개발을 당분간 멈출 수 없다는 모순을 지적했습니다. 그는 "현재 어떠한 연구소도 AI 정렬 문제를 완벽히 해결하지 못했다"고 인정하며, 새로운 안전 및 모니터링 표준이 마련될 때까지 국제적인 공조와 자발적인 개발 속도 조절이 필수적이라고 강조했습니다.