[IT 동아] [기고] AI 챗봇으로 사내 지식을 관리하는 법

[IT동아] 요즘 경영진 사이에서 “우리도 AI 써야 하지 않나”라는 말이 부쩍 늘었다. 하지만 벤처스튜디오형 액셀러레이터인 알파브라더스가 말하는 AX(AI Transformation)는 단순한 AI 툴 도입이 아니다. 진짜 목표는 매출·비용·속도·품질 같은 비즈니스 임팩트고, AX는 그 임팩트를 가로막는 문제에서 출발해 가장 적합한 해결책을 찾는 과정이다. 어떤 문제엔 AI가, 어떤 문제엔 단순 자동화나 업무 문화 개선이 더 나은 답일 수 있다.

알파브라더스는 앞서 1부에서 영업일지 수집을 자동화해 연 990만 원을 아낀 사례를, 2부에서 커뮤니케이션 품질을 개인 역량에서 분리해 주간보고 작성 시간을 3시간에서 30분으로 줄인 사례를, 3부에서는 사내벤처 그로스파이낸스가 재무 데이터 취합과 PL 제작에 AI와 사람의 역할을 나눠 연 2800만 원 이상을 절감한 사례를 각각 다뤘다. 영업, 고객 소통, 재무관리까지 외부 거래를 중심으로 한 AX를 살펴봤다면 이번 4부에서는 시선을 내부로 돌린다. 사내 지식을 관리하기 위해 알파브라더스가 챗봇을 어떻게 활용했는지 소개한다.

“그 자료 어디 있어요?”

중소기업 대표라면 이 질문을 하루에도 몇 번씩 듣는다. 처음엔 별거 아닌 것처럼 느껴진다. 찾아서 보내주면 그만이니까. 그런데 어느 순간부터 이 질문이 쌓이기 시작한다. 온보딩마다, 프로젝트마다, 신규 직원마다 계속 물어보기 때문이다. 결국 대표는 앞으로 나아가는 시간보다 과거 자료를 찾아 설명하는 시간이 더 많아진다.

회사 규모가 커질수록 이 문제는 더 선명해진다. 소규모일 때는 자연스럽게 공유되던 것들이, 사람이 늘어나면 전달이 끊길 수도 있다. 같은 내용을 여기저기서 반복하게 되고, 신규 직원 온보딩에 과도한 시간이 투입되며, 직원마다 업무 품질 편차가 커질 뿐만 아니라 부서 간 사일로 현상까지 생긴다. 근본 원인은 하나다. 사내 지식 관리 체계가 없다는 것이다.

신규 직원이 처음으로 프로젝트를 맡으면 어떻게 움직일까?

과업을 배정받을 때, 온보딩이 잘되어 있는 회사라면 업무 방향성까지 지시받게 될 것이다. 그 이후 과업 수행에 필요한 정보 검색을 하게 되는데, 일반적으로 형식지라고 불리는 자료·문서 검색과 노하우 등의 암묵지 습득으로 나뉜다.

형식지는 매뉴얼, 가이드, 템플릿, 사내 데이터 등을 말한다. 그런데 이게 어디에 있는지 알 수 없는 경우가 있다. 드라이브에 있는지, 메일 첨부에 있는지, 누군가의 컴퓨터에 있는지. 결국 옆 사람에게 묻고, 그 사람이 팀장에게 묻고, 팀장이 찾아서 전달해준다.

형식지가 해결되면 이제 암묵지 차례다. 매뉴얼에 없는 노하우, 우리 팀만의 판단 기준, 클라이언트 대응 방식. 이건 문서로 정의된 게 아니라 사람 사이의 대화로 전수된다. 리드가 시간을 내서 직접 설명해줘야 한다.

그렇게 겨우 필요한 정보를 검색해서 1차 결과물을 가져오고, 중간점검을 통해 피드백을 받게 된다. 그런데 보통 신규 직원은 아무리 열심히 정보를 검색하더라도, 제한된 시간 내에 필요한 만큼 충분히 사내 문서와 암묵지를 습득하기 쉽지 않다. 이는 부족한 결과물로 이어지고, 다회의 피드백으로 이어질 수밖에 없다.

모든 것을 한꺼번에 바꾸려 하면 아무것도 바뀌지 않는다. 알파브라더스가 가장 먼저 집중한 것은 자료·문서 탐색 과정이다.

여기서 한 가지 원칙이 있다. AX(AI 전환)를 하려면 DX(디지털 전환)가 먼저다. AI가 사내 정보를 검색하고 답변하려면, AI가 읽을 수 있는 형태로 정리되어 있어야 한다. 흩어진 파일, 일관성 없는 폴더 구조에 데이터는 숨겨져 있다. 이것들을 AI 레디(AI-ready) 상태로 정비하는 과정이 선행되어야 챗봇이 제대로 작동한다.

데이터 정비가 되면 그 위에 AI 챗봇을 얹는다. 직원이 자연어로 질문하면 챗봇이 사내 문서를 기반으로 답한다. “신규 고객 제안서 템플릿 어디 있어요?” “이 케이스는 어떻게 처리했었나요?” 이러한 궁금증은 팀장을 거치지 않고, 드라이브를 뒤지지 않고, 바로 답을 받는 것이 가능해진다.

이에 더 이상 리드를 붙잡고 정보를 물어볼 필요가 없어진다. 리드도 이미 존재하는 문서에 대해서 설명하는 데 들이는 시간보다 방향성 제시에 시간을 더 쏟을 수 있다. 신규 직원 또한 원하는 만큼 필요한 정보를 챗봇에 물어봐서 더 좋은 초안을 만들어갈 수 있다.

여기서 조금 더 구체적인 예시를 들어보자. 알파브라더스가 실제로 적용한 온보딩 챗봇이다.

알파브라더스도 처음부터 온보딩 체계가 있었던 것은 아니다. 시스템이 없던 시절에는 신규 직원이 무엇을 언제 해야 하는지조차 팀장이 일일이 설명해야 했고, 그만큼 팀장의 시간이 많이 소요됐다.

이후 노션 페이지에 체크리스트를 만들어 입사 후 3개월간 매일 수행할 항목, 즉 미션을 나열하기 시작했다. 항목은 세 가지 유형으로 나뉜다. 특정 강의를 시청하는 강의형, 매뉴얼이나 자료를 숙지하는 숙지형, 그리고 사내 단체 채팅방에 들어가 인사를 남기는 것처럼 실제 행동으로 옮겨야 하는 실행형이다. 이와 별도로 팀장과의 주 1회 대면 면담도 운영했다. 본 대면 면담은 온보딩 관리 목적도 있었지만 라포 형성이라는 의미가 커서, 지금도 유지하고 있는 절차다.

이 체계를 그대로 챗봇에 옮겨왔다. 화면 사이드패널에 챗봇이 상시 떠 있고, 메인 화면과 상세 화면에는 매일 수행해야 할 미션이 함께 표시된다. 신규 직원은 미션을 보면서 궁금한 것이 생기면 그 자리에서 옆의 챗봇에게 바로 묻는다. 자료가 어디 있는지 찾는 질문은 물론 미션 자체에 대한 질문도 함께 받는다. 단순 문서검색 챗봇이 아니라 온보딩 프로세스 자체를 이해하고 있는 챗봇인 셈이다.

미션의 완료 여부는 미션 유형에 따라 다르게 체크한다. 강의를 보거나 매뉴얼을 읽었다고 저절로 완료 처리되는 것이 아니다. 실제로 내용을 이해했는지를 퀴즈로 확인하는데, 통과해야 다음 미션으로 넘어간다. 실행형은 퀴즈로 검증할 수 있는 영역이 아니다. 예를 들어 실제 업무 케이스를 정리하거나 특정 툴을 직접 다뤄보는 미션이라면, 신규 직원이 만든 결과물을 첨부하고 팀장이 이를 검토한다.

여기에 기능을 하나 더 얹었다. 챗봇이 답하지 못한 질문은 자동으로 질문 메모에 쌓인다. 이 메모는 그대로 흘러가지 않고, 매주 진행되는 팀장과의 대면 면담 안건으로 올라간다. 챗봇이 웬만한 질문을 1차로 걸러주는 만큼 실제 대면 면담에서는 챗봇으로 해결되지 않은, 팀장의 판단과 경험이 필요한 질문에만 시간을 집중할 수 있게 됐다. 온보딩 체계가 없던 시절 팀장이 겪던 부담은 덜어내고, 노션 체크리스트 시절부터 이어온 라포 형성용 면담은 그대로 살려 각각의 밀도를 더 높인 셈이다.

수치로 보면 더 선명해진다. 직원 한 명은 하루 평균 2.5시간을 정보 검색에 쓴다고 한다. 그렇다면 연간 약 3만 6750분이다. 그런데 AI 챗봇 도입으로 인해 하루 소요시간이 30분으로 줄어든 것이다. 그렇다면 연간 정보검색 시간이 2만 9400분 줄어드는 것이고, 이에 분당 인건비 333원을 곱하면 인당 대략 980만 원이 연간 절감되는 셈이다. 10인 규모라면 정보검색에 들어가는 인건비가 약 1억 원 절감되고, 인력이 많은 기업일수록 절감액은 더 커진다.

정성적 변화도 크다. 팀장은 과거 자료를 찾아 설명하는 시간 대신, 앞으로의 전략에 집중할 수 있게 된다. 신규 직원은 챗봇에게 직접 질의하고 설명을 들을 수 있어 단순히 문서를 읽는 것보다 이해도가 높아진다. 결과적으로 1차 결과물의 품질이 올라가고, 리드가 채워야 하는 몫도 줄어든다.

우리가 사내 문서 검색 챗봇부터 시작한 데는 이유가 있다. 형식지는 이미 어느 정도 디지털화되어 있다. 매뉴얼이든 템플릿이든 파일 형태로 존재하는 것들이니, AI가 읽을 수 있는 형태로 일부 조정하는 것만으로도 챗봇 구동이 가능하다. 암묵지에 비해 진입장벽이 낮다는 뜻이다.

또 하나는 순서의 문제다. AX는 DX 없이 작동하지 않는다. 우리 데이터를 먼저 잘 정리해두면 이후 AI 개선 과제들로 나아가는 길이 훨씬 수월해진다. 챗봇은 목적지가 아니라 시작점이다.

마지막으로 정보 검색을 쉽게 만든다는 것을 단순한 편의 개선으로 보면 안 된다. 기업 안에서 정보가 얼마나 잘 전파되느냐는 결과물의 퀄리티와 직결된다. 신규 직원이 올바른 정보를 빠르게 습득할수록, 처음 가져오는 결과물의 수준이 올라간다. 그만큼 리드가 피드백 및 보완하는 데 들이는 시간이 줄어들게 된다.

다음 과제는 암묵지다. 클라이언트 대응 방식, 수년간의 경험에서 쌓인 감각 등 형식지처럼 파일로 존재하지 않는 것들을 어떻게 AI가 읽을 수 있는 형태로 디지털화할 것인가가 핵심이다. 이 작업이 선행되면 신규 직원에게 단순한 자료 제공을 넘어 실질적인 가이드와 피드백까지 줄 수 있는 챗봇 개발이 가능해진다. 가이드와 피드백은 본질적으로 리드급의 노하우에서 나오는 것이기 때문이다. 암묵지를 얼마나 잘 추출하고 정제하느냐가 다음 단계의 품질을 결정한다.

1부 영업, 2부 고객 소통, 3부 재무관리에 이어 4부 사내지식관리까지, 알파브라더스가 정의하는 AX는 결국 하나의 질문으로 수렴한다. 비즈니스 임팩트를 가로막는 병목이 무엇이고, 그 병목을 가장 정확하게 풀어낼 도구는 무엇인가. 어떤 병목은 AI로, 어떤 병목은 단순 자동화로, 어떤 병목은 업무 문화 개선으로 풀렸다. 네 편의 사례를 관통하는 것은 결국 도구가 아니라 병목을 정확히 진단하고 그에 맞는 해법을 고르는 과정 그 자체였다.

글 / 알파브라더스 AI팀 (xcelerate@alphabrothers.co.kr)

알파브라더스 AI팀은 AX(AI Transformation) 전문 컨설팅 조직이다. AI 툴 중심이 아닌 기업의 업무 중심으로 AX를 설계하며, 기존 업무의 병목 원인을 먼저 파악한 뒤 자동화·AI·기업문화 개선 전략을 제안한다. 즉, AI 도입 자체가 아닌, 실질적인 비즈니스 임팩트를 창출하는 것을 목표로 한다.

정리 / IT동아 박귀임 기자 (luckyim@itdonga.com)