메타 AI, 에이전트의 망각 방지 및 장기 과제 수행력 개선을 위한 '메모리 코칭 에이전트' 프레임워크 공개

인공지능(AI) 에이전트가 복잡한 장기 작업(Long-horizon tasks)을 수행할 때, 이전에 이미 진단했던 오류를 망각하고 동일한 실패 단계를 반복하는 문제를 해결하기 위해 메타 AI(Meta AI) 연구진이 독창적인 해결책을 제시했습니다. 메타 AI는 최근 발표한 연구 논문에서 에이전트의 작업 기록이 길어짐에 따라 판단을 안내하는 핵심 상태 정보가 컨텍스트 윈도우 깊숙이 묻히거나 유실되는 현상을 '행동 상태 쇠퇴(behavioral state decay)'로 규정하고, 이를 해결하기 위해 메인 에이전트를 모니터링하며 기억을 되살려 주는 독립적인 '메모리 코치 에이전트' 아키텍처를 공개했습니다.

연구진에 따르면, 에이전트에게 단순히 더 긴 컨텍스트 입력 창을 제공하는 것만으로는 이 문제를 해결할 수 없습니다. 기존의 에이전트 메모리 시스템은 단순히 정보를 저장하고 검색하는 데 초점을 맞추었으나, 실시간으로 작업을 처리하는 에이전트에게는 '어느 시점에 메모리를 상기시킬 것인가'가 더 중요한 문제입니다. 너무 빈번한 개입은 불필요한 토큰 소비와 지연 시간(Latency) 증가를 초래하고 에이전트의 집중을 방해하는 반면, 너무 적은 개입은 동일한 실수의 반복으로 이어지기 때문입니다.

메타 AI가 제안한 시스템은 기존의 메인 '액션 에이전트(Action Agent)'를 전혀 수정하지 않은 채, 병렬로 작동하는 '메모리 에이전트(Memory Agent)'를 추가하는 플러그 앤 플레이(Plug-and-Play) 방식을 채택했습니다. 메모리 에이전트는 주기적으로 최근 수행 단계를 검토하여 세 가지 영역으로 구성된 구조화된 메모리 뱅크를 업데이트합니다. 메모리 뱅크는 에이전트에게 노출되지 않는 진행 상황 및 위험 추적용 'Status', 파일 경로 등 고정 사실을 담은 'Knowledge Memory', 그리고 이전의 실패 명령과 성공한 수정법 등을 담은 'Procedural Memory'로 나뉩니다. 메모리 에이전트는 이 뱅크를 기반으로 다음 단계에서 액션 에이전트에게 짤막한 힌트를 전달할지 아니면 침묵할지를 결정합니다.

시스템의 효과를 검증하기 위해 연구진은 터미널 환경에서의 에이전트 능력을 평가하는 'Terminal-Bench 2.0'과 항공·소매·통신 부문의 대화형 도구 사용을 측정하는 'tau2-Bench'에서 테스트를 진행했습니다. Claude 4.5 Sonnet을 액션 에이전트로 설정한 실험에서 메모리 시스템을 결합한 결과 Terminal-Bench의 첫 시도 성공률은 기존 38%에서 46%로 올랐으며, tau2-Bench 가중 평균 점수는 55%에서 62%로 상승했습니다. 이러한 성능 개선은 더 강력한 모델인 Claude 4.6 Opus를 액션 에이전트로 사용할 때도 유의미하게 유지되어, 메모리 관리 시스템이 단순히 모델의 성능 한계를 메우는 것 이상의 역할을 수행함을 보여주었습니다.

또한 메타 AI는 이러한 메모리 개입 정책을 대규모 상용 모델뿐만 아니라 소형 오픈소스 모델에도 이식할 수 있음을 입증했습니다. 상대적으로 크기가 작은 Qwen3.5-27B 모델을 메모리 에이전트로 사용했을 때 초기에는 성능 저하가 발생했으나, 지도 미세조정(SFT)과 강화학습(RL) 과정을 거치면서 기억 상기 개입 타이밍을 최적화해 성능을 크게 회복했습니다. 현재 연구진은 메모리와 액션 에이전트의 공동 학습 기법과 고정된 주기 대신 필요한 때에만 메모리를 동적으로 호출하는 방안 등을 향후 과제로 남겨두었으며, 이번 프로젝트의 소스코드는 깃허브 저장소를 통해 오픈소스로 무료 배포되었습니다.