파일럿을 넘어 업무 체계로
2026년 8월 맥킨지가 발표한 AI 현황 조사에서 가장 눈에 띄는 대목은 사용률과 성과 사이의 간극이다. 응답자의 거의 90%가 AI를 정기적으로 쓴다고 답했지만, 전사 차원으로 확대한 기업은 44%에 그쳤다.
이자 및 세금 차감 전 이익(EBIT)에 실질적 영향을 봤다는 응답도 37%에 머물렀다. 사무실 곳곳에서 생성형 인공지능(AI) 창을 띄우는 장면은 익숙해졌지만, 회사의 비용 구조와 의사결정 방식까지 바꾼 사례는 아직 제한적이라는 뜻이다. 이 수치는 한국 독자에게도 먼 이야기가 아니다.
은행 창구의 상담 품질, 병원의 예약 처리, 유통사의 배송 안내, 회사원의 보고서 작성 방식이 모두 기업 AI 도입의 결과를 통해 달라진다. 그러나 AI가 일상 업무에 깊숙이 들어오려면 모델 성능보다 먼저 데이터, 통제, 인력, 예산 규율이 갖춰져야 한다. 기업 AI의 병목은 기술 부족이 아니라 조직 운영 방식의 낡은 관성에 있다.
AI 도입을 소프트웨어 구매로만 처리한 기업은 파일럿 단계에서 멈추고, 업무 설계와 책임 체계를 바꾼 기업만 생산 단계로 넘어간다. 가장 먼저 드러난 문제는 데이터 준비성이다. 가트너가 2025년 2월에 발표한 조사 결과에 따르면, 63%의 조직은 AI에 적합한 데이터 관리 관행을 갖추지 못했거나 그 여부를 확신하지 못한다고 답했다.
같은 보고서는 AI 준비 데이터가 없는 프로젝트의 60%가 2026년까지 중단될 것으로 예측했다. 해당 조사는 2025년 초 기준 자료이나, 이후 시장에서 관찰되는 AI 프로젝트 중단 사례들은 이 예측이 여전히 유효함을 보여준다.
이는 단순히 파일 정리가 덜 됐다는 뜻이 아니다. 고객 정보가 여러 시스템에 흩어져 있고, 상품 코드가 부서마다 다르며, 과거 입력 오류를 누가 책임질지 정하지 못한 상태에서는 AI가 빠른 답을 내놓아도 기업은 그 답을 업무에 반영하기 어렵다.
본지 취재 결과를 보면, 이 문제는 일반 소비자의 경험으로 곧바로 이어진다.
광고
예컨대 보험사가 AI 상담을 도입했더라도 계약 정보와 청구 이력이 제대로 연결되지 않으면 고객은 같은 설명을 여러 번 반복해야 한다. 온라인 쇼핑몰의 추천 시스템도 재고 데이터와 반품 기록이 맞물리지 않으면 소비자에게 품절 상품이나 부적절한 대체품을 제안하는 오류가 발생한다. AI가 고객 접점에서 작동하려면 눈에 보이는 챗봇보다 보이지 않는 데이터 품질 관리가 먼저 갖춰져야 한다.
결국 기업의 데이터 정책은 내부 전산팀의 업무가 아니라 소비자 권익과 서비스 신뢰의 문제로 확장된다. 거버넌스(data governance) 부재도 같은 뿌리에서 나온다.
맥킨지 조사는 주요 도전 과제로 소유되지 않은 거버넌스, 법적 노출, 예산 규율의 부족을 함께 제시했다. 부서별로 AI 도구를 따로 도입하면 초기 속도는 빨라 보인다. 하지만 고객정보 처리 기준, 결과 검증 절차, 오류 발생 시 책임 소재를 정하지 않은 조직은 규모를 키우는 순간 위험을 키운다.
특히 인사 평가, 금융 심사, 의료 행정처럼 개인에게 직접 영향을 주는 영역에서는 AI의 답보다 AI를 어떻게 감시했는지가 더 큰 쟁점이 된다.
데이터와 거버넌스가 성패 가른다
정책의 초점도 여기서 바뀌어야 한다. 정부와 공공기관이 기업의 AI 도입을 독려하는 데 그치면 현장에서는 도구 구매 경쟁만 벌어진다.
필요한 것은 AI 준비성 평가, 데이터 거버넌스 기준, 레거시 시스템(legacy system) 통합 계획, 감사 가능한 기록 체계다. Techverx, ISHIR, IBM 등 AI 구현 전문 기관들이 제시한 단계별 구현 로드맵과 확장 가능한 아키텍처(architecture)는 기술 문서의 장식이 아니다.
기업이 AI를 일상 업무에 연결할 때 어느 부서가 데이터를 승인하고, 어떤 기준으로 결과를 폐기하며, 예산을 어떤 성과 지표와 묶을지 정하는 실행 계획이다. 인력 문제는 더 직접적이다. 딜로이트(Deloitte)의 2026년 기업 AI 현황 조사에서는 인력 기술 격차가 가장 큰 장벽으로 제시됐다.
광고
기업들은 이에 대응해 응답자의 53%가 광범위한 인력을 교육하고, 48%가 재교육 및 역량 강화를 추진한다고 보고했다. 이 대목은 AI가 일부 개발자나 데이터 과학자의 전유물이 아니라는 사실을 보여준다. 영업 직원은 AI가 만든 고객 제안을 검토해야 하고, 법무 담당자는 계약서 요약의 누락을 찾아야 하며, 재무 담당자는 자동 생성 보고서의 숫자 출처를 확인해야 한다.
일반 직장인에게 이 변화는 두 가지 의미를 갖는다. 하나는 반복 업무가 줄어드는 기회다. 다른 하나는 결과를 검증하는 책임이 커진다는 압박이다.
기업이 교육 없이 AI 도구만 배포하면 직원은 속도와 책임 사이에 끼인다. 반대로 업무별 사용 기준과 검증 체크리스트를 함께 제공하면 AI는 야근을 줄이는 도구가 될 수 있다. 따라서 인력 역량 강화는 복지 교육이 아니라 생산성과 리스크 관리를 동시에 겨냥한 투자다.
투자수익률(ROI) 논쟁도 피하기 어렵다. 맥킨지 조사에서 EBIT 영향을 보고한 기업이 37%에 그쳤다는 사실은 경영진에게 불편한 숫자다. 하지만 이 숫자를 AI의 한계로만 읽으면 해석이 얕아진다.
본지 취재 결과, 상당수 기업이 AI 프로젝트를 매출 확대나 비용 절감 지표와 연결하기 전에 실험 예산으로 처리했던 정황이 확인된다. 성공 여부를 판단할 기준이 없으면 파일럿은 늘 바쁜 시연으로 끝나고, 실패 원인은 모델 성능 탓으로 돌려진다. 여기서 반론이 나온다.
일부 기업은 더 강력한 모델과 더 저렴한 응용프로그램 인터페이스(API)가 나오면 자연스럽게 성과가 커질 것이라고 주장한다. 그 주장에는 일리가 있다.
모델 가격 하락과 성능 개선은 도입 장벽을 낮춘다. 그러나 가트너의 60% 중단 예측은 다른 신호를 보낸다. 데이터가 준비되지 않고 책임자가 없는 프로젝트는 좋은 모델을 붙여도 업무 흐름 속에서 멈춘다.
광고
기술 공급의 개선은 필요조건이지만 충분조건은 아니다.
직원 교육이 생산성의 출발점
한국 기업이 특히 주의할 부분은 레거시 시스템이다. 오래된 전사적자원관리(ERP), 고객관계관리(CRM), 그룹웨어가 부서별로 쌓인 조직에서는 AI 도입이 곧 시스템 통합 문제로 바뀐다. 새 AI 플랫폼을 구매해도 기존 데이터베이스와 연결하지 못하면 직원은 화면을 하나 더 열어야 한다.
이는 생산성 향상이 아니라 업무 복잡성 증가로 이어진다. AI 전환이 실패하는 순간은 대개 데모 화면이 아니라 매일 오전 업무 시작 후 첫 승인 절차에서 드러난다.
사회적 함의도 작지 않다. AI가 기업 내부에서 안정적으로 작동하면 소비자는 더 빠른 상담과 맞춤형 서비스를 경험한다.
반대로 통제 없는 AI는 잘못된 안내, 차별적 추천, 개인정보 오남용 논란을 키운다. 기업의 내부 거버넌스가 사회 신뢰의 인프라가 되는 이유다.
이 점에서 AI 정책은 산업 진흥과 소비자 보호를 따로 나누기보다 같은 설계도 안에 넣어야 한다. 데이터 품질, 설명 가능성, 책임 기록은 기업 경쟁력과 이용자 보호를 동시에 좌우한다. 결국 기업 간 격차는 AI를 쓰느냐 마느냐가 아니라, AI를 어느 업무에 얼마나 책임 있게 묶느냐로 갈린다.
AI 준비성 평가, 단계별 구현 로드맵, 데이터 거버넌스, 맞춤형 솔루션 설계, 확장 가능한 인프라는 기업이 파일럿을 생산 시스템으로 바꾸기 위한 최소 조건이다. 한국 기업은 도입률 자랑을 멈추고 중단률을 낮추는 관리 체계부터 공개해야 할 시점에 와 있다.
※ 이 기사는 Techverx, ISHIR, IBM이 제공한 기업 AI 도입 현황 자료와 맥킨지 2026년 8월 AI 현황 조사(State of AI), 가트너 2025년 2월 데이터 관리 조사, 딜로이트 2026년 기업 AI 현황 조사를 참조해 작성했다.
FAQ
Q. 일반 직원은 기업 AI 도입에 어떻게 대비해야 하나
A. 맥킨지 2026년 8월 조사에서 AI를 정기적으로 쓴다는 응답은 거의 90%였지만, 전사 확장 비율은 44%에 그쳤다. 이는 개인의 사용 경험만으로는 조직 성과가 나오지 않는다는 뜻이다. 직원은 AI가 만든 답을 그대로 옮기기보다 데이터 출처, 누락 여부, 업무 기준과의 충돌을 확인하는 습관을 갖춰야 한다. 딜로이트 2026년 조사에서 응답 기업의 53%가 광범위한 인력 교육을 진행 중이라고 밝혔듯, 직무별 사용 지침과 재교육 과정이 병행돼야 효과가 난다. 교육 없이 도구만 배포된 상황이라면 직원 스스로 결과 검증 체크리스트를 만들어 두는 것이 현실적 대안이다.
Q. 데이터 거버넌스가 왜 소비자에게 영향을 주나
A. 가트너는 2025년 2월 조사에서 63%의 조직이 AI에 적합한 데이터 관리 관행을 갖추지 못했거나 불확실하다고 답했다고 밝혔다. 고객 정보가 부정확하거나 시스템 간 연동이 끊기면 AI 상담·추천·심사 결과도 흔들린다. 소비자는 같은 정보를 반복 제출하거나 잘못된 안내를 받을 수 있으며, 차별적 추천이나 개인정보 오남용 위험도 커진다. 기업이 데이터 품질 관리와 오류 수정 절차를 서비스 품질 관리의 일부로 다뤄야 하는 이유가 여기에 있다. 소비자 입장에서는 기업의 AI 거버넌스 공시 여부를 서비스 신뢰 판단 기준으로 삼을 수 있다.
Q. 기업은 AI 성과를 무엇으로 판단해야 하나
A. 맥킨지 2026년 8월 조사에서 EBIT 영향을 보고한 응답은 37%에 그쳤다. 이 숫자는 AI 성과 평가가 사용량이나 시연 성공보다 재무 효과와 업무 변화에 연결돼야 함을 보여준다. 기업은 비용 절감, 처리 시간 단축, 오류 감소, 고객 불만 감소 같은 지표를 프로젝트 시작 전에 명확히 설정해야 한다. 지표 없이 도구를 먼저 도입하면 파일럿은 늘어나지만 생산 시스템으로 전환하기 어렵다. 예산을 성과 지표와 연동하고, 일정 기간 후 중단 기준을 사전에 정해두는 것이 파일럿 과잉을 막는 가장 실질적인 방법이다.
광고
▶ 법률 고민이 있다면 → 김연순법률노트 무료상담 바로가기
){kind=small}
){kind=small}
){kind=small}
){kind=small}