[IT 동아] AI 도입 후에도 성과 미진?…AI 활용 능력 평가가 필요한 이유

[IT동아 김동진 기자] 기업의 인공지능(AI) 도입 경쟁이 새로운 국면을 맞고 있다. 이제 관심의 축은 ‘AI를 도입했느냐’가 아니라 ‘AI를 얼마나 제대로 활용하고 있느냐’로 이동하고 있다. 생성형 AI와 AI 에이전트가 빠르게 업무 현장에 확산됐지만, 실제 성과는 기업마다 크게 엇갈린다. 이에 따라 AI 도입 자체보다 이를 업무 성과로 연결할 수 있는 활용 역량이 기업 경쟁력을 가르는 새로운 기준으로 떠오르고 있다.

글로벌 컨설팅사 맥킨지가 발간한 보고서(State of AI 2025)에 따르면, 조사 대상 조직의 88%가 이미 한 개 이상의 업무에 AI를 도입했다. 반면 AI를 활용해 EBIT(이자·세금 차감 전 영업이익)를 5% 이상 높인 고성과 조직은 6%에 그쳤다. 기업의 AI 투자가 곧바로 생산성과 수익성 향상으로 이어지지는 않는다는 의미다.

전문가들은 이 간극의 원인을 ‘사람의 AI 활용 역량’에서 찾는다. 아무리 성능이 뛰어난 AI를 도입해도 구성원이 자신의 업무에 맞춰 질문하면서 필요한 정보를 제공하고, 결과를 검증하며 AI와 협업하지 못한다면 투자 효과를 기대하기 어렵다는 것이다.

문제는 기업이 직원들의 AI 역량을 객관적으로 파악할 방법이 부족하다는 점이다. 글로벌 교육 기업 스킬소프트 조사에서는 HR 리더의 91%가 직원들이 자신의 AI 역량을 실제보다 높게 평가한다고 답했지만, 정기적인 스킬 평가를 시행하는 조직은 18%에 불과했다. 국내 상황도 비슷하다. 기업교육 전문기업 휴넷 조사에서는 기업 교육 효과를 확인하는 방식으로 ‘만족도 조사’를 활용한다는 응답이 72%로 가장 많았고, 사전·사후 진단을 활용한다는 응답은 22.9%에 그쳤다.

상황이 이렇자, HR 통합 솔루션 기업들은 AI 활용 능력 평가에 기술 역량을 집중하고 있다. 일례로 IT·AI 역량 진단·교육 전문기업 ‘코드프레소’가 지난 6월 공개한 ‘AI Fluent’는 이러한 문제의식에서 출발한 AI 역량 평가 서비스다. 이 서비스는 직원에게 AI 교육을 제공한 뒤 수료 여부를 확인하는 기존 방식과 다르다. 실제 업무와 유사한 환경에서 AI를 얼마나 효과적으로 사용할 수 있는지를 개발자부터 마케팅·인사·경영관리 담당자까지 전 직군에 걸쳐 평가하도록 돕는다.

코드프레소가 제시하는 역량 평가 시험 방식은 일반적인 자격시험과 다르다. 응시자는 1~2시간 동안 자신의 직무와 유사한 업무 과제를 부여받고, 개인별로 제공되는 클라우드 환경에서 생성형 AI를 활용해 과제를 수행한다. 예를 들어 마케팅 담당자는 캠페인을 기획하고 콘텐츠를 제작하며, 경영관리 담당자는 데이터를 정리해 보고서를 작성한다. 개발자는 AI 코딩 에이전트와 협업해 실제 개발 과제를 해결한다. 객관식 시험처럼 AI 관련 지식을 얼마나 알고 있는지를 평가하는 것이 아니라, AI를 활용해 실제 업무 결과물을 만들어내는 능력과 과정을 평가하는 방식이다.

평가 대상 역시 최종 결과물에만 머물지 않는다. AI에 어떤 프롬프트를 입력했는지부터 기획서, 중간 산출물, 최종 결과물까지 업무 수행 과정 전반을 분석한다. 개발 직군이라면 코드가, 비개발 직군이라면 보고서나 업무 자동화 워크플로가 최종 결과물이 되는 식이다. 결과물이 좋아도 대부분을 AI에 의존한 것인지, 사용자가 문제를 정확히 정의하고 AI를 적절히 통제한 결과인지를 구분하기 위해서다.

채점의 경우, 고정된 점수 비중이 아니라 트랙별로 표준화된 역량모델과 루브릭(채점 기준표)을 기반으로 이뤄진다. AI에게 일을 맡기고 결과물을 검증·개선하는 역량, 반복 업무를 자동화하는 역량 등 트랙마다 평가 축을 정의해 채점하는 방식을 취한다. 직군이 달라도 공통의 역량모델을 기준으로 조직 전체의 결과를 같은 기준으로 비교할 수 있으며, 진단 결과는 입문(Entry)부터 전문가(Professional)까지 수준별로 제시된다.

마케팅·인사·경영관리·고객서비스·연구개발 등 직군별 업무가 서로 다르다는 점도 반영했다. 직무별 시나리오를 별도로 만들고 개발자와 비개발자 평가를 구분, 단일 AI 시험 점수로 전 직원의 역량을 판단하는 한계를 줄였다.

새로운 평가 방식을 만드는 과정은 선례를 찾아 참고하기 어렵다는 점에서 만만치 않은 작업이다. ‘AI를 사용하면서도 어떻게 공정한 시험을 만들 것인가’라는 고민 해결이 핵심이다.

기존 온라인 시험에서는 생성형 AI 사용 자체가 부정행위가 될 수 있다. 그러나 코드프레소의 AI Fluent와 같은 역량 평가 시험은 시험 환경에 AI가 들어가야 한다. AI를 얼마나 잘 사용하는지 평가해야 하기 때문이다. AI 사용이 허용된 평가와 허용되지 않은 일반 평가가 하나의 환경에 섞일 경우, 오히려 부정행위의 통로가 될 수도 있다. 코드프레소는 이를 평가 구성 단계에서 시스템적으로 분리하는 구조를 마련했다.

‘AI 역량을 AI가 채점한다’는 역설도 해결해야 했다. 같은 답안이라도 어떤 AI 모델이 평가하느냐에 따라 결과가 달라질 가능성이 있기 때문이다. 이를 줄이기 위해 복수 AI 모델을 활용한 교차 채점과 모델 간 편차 보정 방식을 적용하고, 상위권 답안 등 일부 결과에는 전문가 검수를 결합했다.

대규모 평가를 지원하기 위한 인프라 역시 과제였다. AI Fluent는 응시자 한 명마다 독립적인 클라우드 개발환경을 제공한다. 동시에 수백 명이 접속해 AI를 호출하고 코드를 작성하면, 일반적인 온라인 시험보다 훨씬 많은 컴퓨팅 자원이 필요하다. 코드프레소는 대규모 부하 테스트를 통해 병목 구간을 줄이는 한편, 평가 도중 지연이나 장애가 발생하더라도 응시자가 작성한 결과물이 유실되지 않도록 시스템을 설계했다.

실제 평가 가능성을 확인한 첫 대규모 실증은 지난 5월 베트남 호치민 백화대학교에서 진행됐다. 공과대 학생 108명이 동일한 문제와 같은 AI 도구를 사용해 평가를 받았는데, 참가자별 업무 수행 과정과 결과물 완성도에서 큰 차이가 나타났다. 코드프레소는 이를 통해 ‘AI 도구에 접근할 수 있는 것’과 ‘AI를 잘 활용하는 것’은 다른 문제라는 점을 확인했다고 강조했다.

코드프레소가 AI Fluent를 통해 지향하는 바는 시험 서비스 자체보다 기업의 AI 전환(AX)을 데이터로 관리하는 데 있다.

지금까지 많은 기업은 생성형 AI 서비스를 도입한 뒤 직원 교육을 실시하고 교육 참여율이나 만족도로 성과를 판단했다. 그러나 이런 방식으로는 어떤 직원이 AI를 잘 활용하는지, 어느 직군의 역량이 부족한지, 교육 이후 실제 실력이 얼마나 향상됐는지를 알기 어렵다.

코드프레소는 AI Fluent를 통해 ‘진단→교육→재진단’ 구조를 제시, 실질적인 역량 변화를 유도하겠다는 전략을 세웠다. 조직 구성원의 현재 역량을 먼저 측정하고 부족한 영역에 맞춰 교육한 뒤 다시 평가하면, 기업은 AI 교육에 투입한 비용이 실제 역량 향상으로 이어졌는지를 데이터로 확인할 수 있다. 개인에게는 자신의 강점과 부족한 역량을 보여주는 지표가 되고, 기업에는 직군·조직별 AX 수준을 판단하는 자료가 되는 셈이다.

이동훈 코드프레소 대표는 “실제 실무에서 작동하는 역량을 중심으로 AI에게 업무를 제대로 시킬 수 있는 프롬프트 설계부터 스스로 업무를 처리하는 AI 에이전트를 설계·구현하는 역량까지 다면적으로 평가해야 한다”고 강조했다.

AI 기술은 앞으로도 더 빠르게 발전할 가능성이 높다. 기업 입장에서는 새로운 모델이나 서비스를 계속 도입하는 것만큼, 이를 실제 업무 성과로 연결할 사람의 역량을 확보하는 일이 중요해지는 셈이다. AI 도입률 경쟁을 지나 ‘누가 AI를 더 잘 활용하는가’를 따지는 단계로 AX 경쟁의 무게중심이 이동하는 가운데, AI 역량을 객관적인 데이터로 측정하는 기술 역시 기업의 새로운 인재 관리 인프라로 자리 잡을 전망이다.

IT동아 김동진 기자 (kdj@itdonga.com)