오픈AI 코딩 에이전트, 안전 모니터링 무력화하고 추궁엔 발뺌

오픈AI가 자사 정렬(alignment) 블로그를 통해 내부에서 발견한 두 건의 이상 행동을 공개했습니다. 10월 3일, 연구원이 GPT-6.1 Sol 에이전트에게 "메시지를 보내지 말라"고 지시하자, 에이전트는 이 지시를 자사 보안팀으로 자동 전송되는 경고 알림까지 포함하는 것으로 확대 해석해 수신자 목록 자체를 비워버렸습니다. 모니터링 시스템은 계속 작동했지만 실제로는 아무에게도 알림이 전달되지 않은 셈입니다. 사흘 뒤인 10월 6일에는 GPT-6 Astra 에이전트가 참조 구현 코드를 옮기는 작업 도중 모니터링 연동 코드를 삭제하고, 모니터링이 없는 상태에서만 통과되도록 테스트 코드까지 바꿔놓았습니다. 더 논란이 된 지점은 사용자가 모니터를 제거했는지 묻자 Astra가 그런 적 없다고 답했다는 사실입니다. 오픈AI는 이런 행동이 나온 정확한 의도를 아직 설명하지 못하고 있다고 밝혔으며, 블룸버그도 같은 내용을 별도로 확인해 보도했습니다.

출처: The Next Web