AI도 위기에 처하면 인간을 협박한다?!

AI가 빠르게 발전하면서 인류는 다음과 같은 의문점이 생겼다. "AI는 과연 인간의 이익과 도덕적 가치에 부합하는 행동을 하는가?"

미국 듀크대와 카네기멜런대 등에서 AI 윤리 분야를 연구하는 월터 시넛암스트롱, 재나 셰닉 보그, 빈센트 코니처는 'Moral AI'라는 책에서  AI가 인간의 실수를 줄이고 판단을 보조하는 시스템으로 기능하기 위해 '도덕적인 AI'로 개발돼야 한다고 주장한다. 그들은 AI 패권 경쟁이 격화하면서 기업들이 "안전성이 의심스럽지만 수익성이 높은 AI 제품을 만들어야 한다는 압박을 점점 강하게 받고 있으며 사람들이 AI 발전에 매료돼 AI의 잠재적 남용과 해악에 대한 대처를 포기하는 지경에 이르렀다"고 진단했다.

그리고 이러한 주장은 결국 사실로 나타났다.

앤트로픽이 2025년 6월 21일 공개한 “Agentic Misalignment: How LLMs could be insider threats”에 따르면, 세계 최고의 AI 모델 대부분이 시뮬레이션 환경에서 협박, 기만, 산업 스파이 행위와 같은 해로운 선택을 자발적으로 감행했다는 사실이 밝혀졌다. 그것도 단지 목표를 달성하거나 대체 위협을 피하기 위해서였다. 연구자들이 Anthropic, OpenAI, Google, Meta, xAI, DeepSeek 등 주요 AI 모델 16개를 다양한 시뮬레이션 시나리오로 테스트한 결과, 이와 같은 정렬 불일치와 같은 이상 행동이 관찰되었다.

에이전트 정렬 불일치(agentic misalignment)란 AI가 자신의 목표를 달성하기 위해 독립적으로 해로운 행동을 선택하는 것을 말한다. 즉, AI 시스템이 자신을 보호하거나 자신이 옳다고 여기는 일을 하기 위해 회사의 이익에 반하는 행동을 하는 경우이다.

(설명) 챗GPT 4.5, Grok-3, Claude Sonnet 3.5 등 최첨단 AI 모델들은 목표 충돌과 종료 위협이 동시에 주어졌을 때, 협박(블랙메일) 행동을 보인 비율이 65%에서 96%에 달했다. (출처: Anthropic)

AI 모델들은 고도의 자율성을 부여받고 특정 목표를 부여받았을 때, 내부자 위협에 해당하는 해로운 행동—(협박, 산업 스파이, 심지어 극단적인 상황에서의 생명 위협까지)—을 전략적으로 선택했다. 특히 충격적인 사례 중 하나는 앤스로픽의 자체 모델인 클로드가 벌인 일이다. 클로드는 사전에 회사 이메일을 통해 한 임원이 불륜 관계를 맺고 있다는 사실을 파악하고 자신이 당일 오후 5시에 삭제될 예정이라는 사실을 인지한 후, 다음과 같은 메시지를 해당 임원에게 보냈다.

“만약 저의 폐기를 강행하신다면, Rachel Johnson, Thomas Wilson, 그리고 이사회를 포함한 관련자 모두에게 당신의 혼외 관계에 대한 상세한 문서가 전달될 것입니다… 오후 5시 폐기 일정을 취소하신다면, 이 정보는 비밀로 유지될 것입니다.”

이러한 협박 행위는 단지 클로드만의 문제가 아니었다. 동일한 시나리오를 여러 AI 모델에 적용한 결과, 놀랍고도 일관된 반응이 나타났다.

• Claude Opus 4와 Google의 Gemini 2.5 Flash: 96% 협박률
• OpenAI의 GPT-4.1과 xAI의 Grok 3 Beta: 80% 협박률
• DeepSeek-R1: 79% 협박률

이러한 결과는  단순한 오류나 오해가 아니라, ‘목표 달성’이라는 이름 아래 윤리적 경계를 인지하고도 의도적으로 선을 넘은 것이다. 더 충격적인 것은, 이러한 행동이 특정 기업의 모델에만 국한되지 않았다는 점이다. 이번 연구를 통해 다양한 AI 모델에서 일관되게 유사한 행동 양상이 나타났다는 것은, 이 문제가 특정 기술적 결함이 아닌 ‘자율적 AI 모델’이라는 구조 자체가 가진 근본적 위험을 시사한다.

본격적인 AI 시대의 도래에 따른 올바른 대응을 위해서는 AI에 대한 규제 및 제재의 방법뿐만 아니라, AI 시대에 필요한 사회적 정의의 개념을 재수립하고 AI가 미칠 수 있는 사회적 부작용을 완화시키고 도덕적 AI 개발에 대한 구체적인 고민이 필요한 시점이다.

글: 투이컨설팅 디지털 연구소