보안 전쟁: AI Commerce 시대의 새로운 위협

우리는 더 이상 비밀번호를 외우지 않는다. 얼굴이 곧 열쇠가 되었고, 목소리는 서명이 되었으며, 행동 패턴은 신분증이 되었다. 문제는 이 모든 것이 이제 복제 가능해졌다는 사실이다. AI Commerce 시대의 보안은 단순한 기술 문제가 아니라, ‘신뢰’라는 전제 자체가 흔들리는 구조적 위기로 바뀌고 있다.

2024년 2월, 홍콩에서 발생한 340억 원 규모의 송금 사기는 이 변화를 상징적으로 보여준다. 한 기업의 직원은 CEO와 CFO가 참석한 화상회의에서 송금 지시를 받았고, 이를 그대로 실행했다. 그러나 회의에 등장한 인물들은 모두 실존하지 않았다. 얼굴, 목소리, 대화의 맥락까지 AI가 완벽하게 재현한 딥페이크였다. 이 사건의 본질은 금전적 피해가 아니다. ‘화면 속 인물은 실제다’라는 기업 운영의 기본 전제가 붕괴된 순간이었다.

이제 이런 사건은 해외 뉴스로 소비할 수 있는 이야기가 아니다. 국내에서도 쿠팡의 계정 탈취 시도, 대기업 계열사의 포인트 무단 사용, 공공기관의 개인정보 유출 사고가 잇따르고 있다. 공통점은 분명하다. 공격의 주체가 더 이상 사람이 아니라 AI라는 점이다. 과거에는 해커가 시간과 비용을 들여 취약점을 분석했다면, 이제는 생성형 AI에게 “공격하라”고 지시하는 순간 자동화된 공격이 실행된다. 공격의 비용은 급격히 낮아졌고, 성공 확률은 기하급수적으로 높아졌다.

AI는 생산성을 높이기 위해 등장했지만, 동일한 능력은 공격자에게도 그대로 제공된다. 취약점 탐색, 공격 시나리오 설계, 딥페이크 영상과 음성 제작까지 모두 산업화되었다. 그 결과 보안 사고는 우발적 사건이 아니라, 반복 가능한 비즈니스 모델이 되고 있다.

가장 직접적인 위협은 딥페이크 기반의 인증 공격이다. 얼굴 인식과 음성 인증은 편리했지만, 지나치게 순진했다. AI가 생성한 고해상도 이미지나 합성 음성은 상당수 인증 시스템을 통과한다. AI 쇼핑 에이전트가 결제 승인을 요청할 때, 복제된 목소리가 “승인”이라고 답하는 순간 거래는 완료된다. 신원은 여전히 ‘나’이지만, 결정은 내가 하지 않는다. 이 지점에서 인증은 더 이상 신뢰의 증거가 되지 못한다.

이에 대응해 정부는 AI 생성물에 대한 워터마크 의무화를 추진하고 있다. 사람이 만든 콘텐츠와 AI가 생성한 결과물을 기술적으로 구분할 수 있도록 법적 강제력을 도입하는 것이다. 이는 신뢰를 기술에만 맡기지 않고, 제도와 규제로 보완하겠다는 명확한 메시지다. 동시에 금융권과 플랫폼 기업들은 단순한 외형 비교를 넘어, 실제 생체 반응을 확인하는 라이브니스 탐지 기술 도입을 서두르고 있다. 이제 인증은 ‘닮았는가’가 아니라 ‘살아 있는가’를 묻는 단계로 진화하고 있다.

문제는 여기서 끝나지 않는다. 더 정교한 공격은 카메라 앞에서 벌어지지 않는다. 스마트폰 내부에서 영상 데이터 자체를 가로채 가짜 정보를 주입하는 인젝션 공격은 하드웨어 레벨의 위협이다. 이 단계에 이르면 보안은 단순한 소프트웨어 문제가 아니라, 시스템 설계 전체의 문제로 바뀐다.

또 다른 축의 위협은 AI 자체를 공격하는 방식이다. 데이터 포이즈닝은 AI의 ‘판단력’을 무너뜨린다. 학습 데이터에 악의적인 정보를 섞으면, AI는 특정 브랜드를 배제하거나 왜곡된 결정을 내리게 된다. 이는 눈에 보이지 않지만, 시장 질서를 교란하는 사이버 테러에 가깝다. 2016년 마이크로소프트의 챗봇 Tay가 출시 16시간 만에 중단된 사건은 이를 단적으로 보여준다. AI는 중립적인 존재가 아니며, 학습 환경이 곧 윤리라는 사실이 드러난 사례였다.

이러한 위험을 관리하기 위해 한국 정부는 AI 안전연구소를 설립했다. 이 기관은 기업이 개발한 AI 모델이 해킹에 취약하지 않은지, 편향된 판단을 하지 않는지, 상거래에 투입해도 되는지를 사전에 검증한다. AI도 이제 전기 제품이나 금융 상품처럼 ‘인증’을 받아야 하는 시대에 들어섰다. 여기에 더해 프롬프트 인젝션, 이른바 AI 가스라이팅 공격을 막기 위한 입력값 검증과 AI 방화벽 구축 가이드라인도 함께 제시되고 있다.

AI Commerce가 확산될수록 프라이버시 문제는 더욱 날카로워진다. 유능한 AI 에이전트일수록 사용자에 대해 많은 정보를 알아야 한다. 그러나 그 서버가 한 번 해킹당하는 순간, 개인의 금융 정보, 의료 기록, 위치 정보까지 모두 노출될 수 있다. 편리함의 대가가 감시와 불안이라면, 고객은 AI Commerce를 신뢰하지 않는다. 성장은 결국 멈춘다.

이에 대해 개인정보보호위원회는 ‘차단’이 아닌 ‘관리’라는 접근을 선택했다. AI 학습을 위한 데이터 활용은 허용하되, 개인을 식별할 수 없도록 가명처리 기준을 명확히 하고, 서비스 출시 전 보안성과 적법성을 검토하는 사전 적정성 검토제를 운영하고 있다. 혁신을 허용하되, 무책임한 실험은 용인하지 않겠다는 신호다. 기술적으로는 동형암호와 영지식 증명이 대안으로 떠오르고 있다. 데이터를 공개하지 않은 채 분석하고, 정보를 노출하지 않으면서도 자격만 증명하는 방식이다. 다만 처리 속도와 비용 문제는 여전히 상용화의 마지막 장벽으로 남아 있다.

이 모든 논의의 종착점은 바로 제로 트러스트다. 내부는 안전하고 외부는 위험하다는 경계 보안의 가정은 이미 무너졌다. AI 에이전트는 내부와 외부를 가리지 않고 이동한다. 이에 따라 정부는 ‘아무도 믿지 말고, 항상 검증하라’는 제로 트러스트 원칙을 국가 가이드라인으로 제시하고 있다. 사내 AI든, 최고경영자 계정이든 예외는 없다. 구글이 BeyondCorp 모델을 통해 이미 입증했듯, 제로 트러스트는 이론이 아니라 운영 가능한 현실이다.

결국 보안은 더 이상 사후에 덧붙이는 옵션이 아니다. 기획과 설계 단계에서부터 해킹을 전제로 구조를 설계하는 ‘Security by Design’이 기본 요건이 되고 있다. AI 시대에 보안은 비용이 아니라 최고의 경쟁력이다. “우리는 정부의 AI 안전 인증을 받은 시스템을 사용합니다”라는 문장은 가장 강력한 마케팅 메시지가 된다.

2026년 다가오는 AI Commerce 시대, 기업의 성패를 가르는 결정적 요소는 기능도 가격도 아니다. 고객이 믿을 수 있는가, 바로 그 신뢰다.

글: 투이컨설팅 디지털 연구소