400억 달러 투자에도 수익은 5%에 불과…MIT ‘GenAI 격차’ 보고서

기업이 AI를 도입하려는 목적은 크게 3가지로 구분할 수 있다. 첫째, 기존 워크플로우나 업무에 AI를 적용하여 효율성 제고와 자동화를 도입하는 경우, 둘째, AI를 통해 차별화된 고객가치 창출에 영향을 미쳐 기존 사업의 매출 성장을 도모하는 경우, 셋째, AI로 새로운 제품/서비스나 비즈니스 모델을 창출하려는 경우다.

하지만 MIT 보고서에 따르면 현재까지 생성 AI를 업무에 도입한 기업 대부분이 3가지 목적을 모두 충족시키지 못한 것으로 나타났다. MIT 산하 난다(NANDA) 프로젝트의 최신 보고서「2025년 비즈니스 AI 현황」에 따르면, 기업들이 생성형 인공지능에 막대한 자금을 쏟아붓고 있지만, 정작 실질적인 수익을 창출하는 기업은 극소수에 불과하다는 연구 결과가 나왔다. 보고서에서는 전 세계 엔터프라이즈 GenAI 투자액은 300억~400억 달러 규모에 달하지만, 그 가운데 95%의 기업은 수익을 창출하지 못했다고 지적했다. 연구진들은 이러한 현상을 ‘GenAI 격차(GenAI Divide)’라 명명했는데 5%의 PoC(파일럿 프로젝트)만이 수백만 달러의 가치를 창출한 반면, 대다수는 측정 가능한 손익에 기여 없이 제자리에 머물러 있다는 의미이다. 흥미로운 점은 그 원인은 기술이나 규제의 결핍이 아니라, 접근 방식과 학습 구조의 차이에서 발생한 것이라는 점이다.

기업 AI 도입, 그림자 AI 경제 빠르게 확산

이번 보고서는 300여 개의 공개된 AI 이니셔티브와 52개 조직 인터뷰, 153명 임원 설문을 바탕으로 네 가지 패턴을 도출했다. 먼저, 기술과 미디어 산업을 제외한 대부분의 부문에서는 구조적 변화가 거의 관찰되지 않았다. 또한 대기업들은 대규모 파일럿을 추진하면서도 실제 확장은 지연되는 경향을 보였다. 투자 역시 주로 영업·마케팅 등 눈에 띄는 기능에 집중되는 반면, 비용 절감 효과가 큰 백오피스 부문은 상대적으로 소외됐다. 마지막으로, 외부 파트너와 협력해 도입한 사례가 내부 구축보다 두 배 높은 성공률을 보였다. 핵심 장애물은 인프라나 인재 부족이 아니라 ‘학습 부재’로 다수의 GenAI 시스템은 피드백을 축적하거나 맥락에 적응하지 못하며, 시간이 지나도 개선효과는 나타나지 않았다.

또한 ChatGPT나 Copilot 같은 AI 모델은 80% 이상 조직에서 시범 도입되었고, 그중 40%는 배포 단계에 이르렀지만 AI 모델이 기여하는 가치는 주로 개인 생산성 향상에 국한되며, 기업 손익에는 거의 반영되지 않았다. 반대로 맞춤형 엔터프라이즈 솔루션은 상황이 훨씬 열악한 것으로 나타났다. 조사 대상의 60%가 이를 검토했으나 파일럿 단계에 진입한 것은 20%에 불과했고, 실제 배포에 성공한 것은 5%에 그쳤다. 한 CIO는 “수십 개의 데모를 보았지만 진정으로 유용한 것은 한두 개뿐”이라며 나머지는 “껍데기에 불과한 수준”이라고 혹평했다.

기업 중심의 AI 도입 프로젝트가 답보 상태에 머무는 동안, 직원들은 개인 계정으로 ChatGPT나 Claude를 업무에 활용하는 이른바 ‘그림자 AI 경제’가 빠르게 확산됐다. 그림자 AI 경제란 기업에서 직원들에게 제공하는 구독형 AI 모델 대신 개인이 돈을 내고 사용하는 유료 모델이나 무료 AI 모델을 사용하는 숨겨진 AI 사용 비중을 의미한다. 조사 대상 기업의 90% 이상에서 직원들이 개인용 AI를 정기적으로 사용하고 있었으며, 이는 공식 LLM 구독을 구매한 기업의 비율인 40%를 크게 웃돌았다.

기업 구독형 LLM 사용 VS 직원 개인용 LLM 사용

또한 보고서는 투자 흐름과 달리 백오피스 자동화에서 훨씬 더 큰 ROI가 나타난다고 지적했다. 일부 선도 기업은 고객 서비스와 문서 처리 영역에서 연간 수백만 달러 규모의 BPO 비용을 절감하고, 외부 에이전시 의존도를 30% 줄였다. 이 같은 비용 절감은 내부 인력 축소가 아니라 외부 지출 감소에서 비롯됐다. 보고서에 따르면, ‘GenAI 격차'를 극복한 기업들의 공통점은 내부 개발보다 외부 파트너십을 통한 도입 전략을 택했고, 현업 관리자에게 권한을 부여했으며, 시간이 지남에 따라 학습하고 기억하며 적응하는 도구를 선택했다.

기업 생성 AI 도입에 대한 다섯 가지 오해

본 보고서에서는 기업이 생성 AI 도입에 있어 가장 많이 발생하는 대표적인 오해 5가지를 적시하였다.

AI가 향후 몇 년 내 대부분의 일자리를 대체할 것이다 → 연구에 따르면 생성형 AI로 인한 감원은 제한적이며, 이미 AI의 영향을 크게 받고 있는 산업에서만 발생함. 향후 3~5년간 채용 수준에 대해 경영진 사이에 합의가 없음.
생성형 AI가 비즈니스를 변화시키고 있다 → 도입률은 높지만, 실제 변화는 거의 없음. 기업의 5%만이 AI 도구를 워크플로우에 대규모로 통합했으며, 9개 산업 중 7개 산업은 실질적인 구조적 변화가 없음.
기업은 신기술 도입이 느리다 → 기업들은 AI 도입에 매우 적극적이며, 90%가 AI 솔루션 구매를 진지하게 검토함.
AI 도입을 가로막는 가장 큰 요소는 모델 품질, 법률, 데이터, 위험 → 실제로 AI 도입을 가로막는 것은 대부분의 AI 도구가 학습하지 못하고 기업 내부 워크플로우에 잘 통합되지 않는다는 점임.
대기업은 자체 AI 도구를 개발하거나 엔터프라이즈 LLM을 도해야 한다 → 내부 개발은 실패율이 두 배 높음.

기술이 아니라 지속적 학습과 내부 워크플로우와의 통합이 중요

MIT 난다 프로젝트의 결론은 GenAI 격차는 단순한 기술 문제가 아니라는 점이다. GenAI Divide를 성공적으로 넘어선 조직들은 직접 개발(build)하기보다 생성 AI 서비스를 구매(buy)하고, 중앙 연구소보다는 현장 관리자(line manager)에게 권한을 부여하며, 시간이 지남에 따라 적응하고 깊게 통합되는 AI 도구를 선택하는 것이다. 개발에서 구매로의 전환, 프로슈머(prosumer) 도입의 증가, 그리고 에이전트형 기능의 출현이 결합되면서, 학습 가능하고 깊게 통합된 AI 시스템을 제공할 수 있는 벤더에게 전례 없는 기회가 생길 것으로 예상된다.

성공적으로 AI 투자 성과를 낸 기업들은 AI 서비스를 내부의 디지털 전략과 프로세스 혁신에 통합하는 공통점을 가지고 있다. 이는 AI가 IT 기술적 기회일 뿐만 아니라 인력, 프로세스, 데이터에 대한 근본적 변화와 혁신에 대한 전반적 시각이 필요하다는 것을 보여준다. 따라서 성공적인 AI 프로젝트의 필수조건은 “어떤 뛰어난 AI 모델을 선택할 것인가”가 아니라 “AI를 통해 어떤 문제를 해결할 것인가”를 결정하는 것이다.

2024년 RAND 연구소가 발표한 <The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed>에 따르면 AI 프로젝트중 80%가 실패한 것으로 나타났다. RAND 연구소에서 데이터 과학자 및 AI 엔지니어 65명을 대상으로 조사한 결과 실패 원인중 문제 정의 및 의사소통의 오류가 가장 비중이 높았는데 그 이유는 이해관계자들이 AI로 해결해야 할 문제를 잘못 이해하거나, 그 의도를 명확히 전달하지 못했기 때문이다.

이제 성과를 내는 조직은 AI 팀원이 제공하는 효율성과 속도를 팀의 집단지성으로 확장시키면서 미래를 설계하고 이끌어가는 조직이 될 것이다. 이 시점에서 핵심적인 질문은 더 이상 “AI가 우리 조직을 위해 무엇을 할 수 있나”가 아니라, “우리는 AI와 함께 어떤 목표를 이룰 수 있나?”일 것이다. 이 물음에 대한 해답을 찾고 이를 실천에 옮기는 것이야말로, AI 시대에 요구되는 필수 역량일 것이다.

글: 투이컨설팅 디지털 연구소