[전자신문] 우리은행, ‘AI 에이전트 전용 GPU 클러스터’ 구축…생성형 AI 내재화 본격화

우리은행이 생성형 AI 기반 ‘AI 에이전트’ 구축을 위해 그래픽처리장치(GPU) 서버 인프라를 직접 도입한다. 외부 클라우드 의존 구조에서 벗어나 AI 전략을 ‘내재화’로 전환하는 움직임으로 풀이된다.

전자신문 취재를 종합하면 우리은행은 GPU 기반 고성능 서버 클러스터를 도입한다. 단순 AI 시스템 구축을 넘어 △대규모 언어모델(LLM) 학습 및 튜닝 △업무형 AI 에이전트 구동 △데이터 전처리를 아우르는 통합 AI 인프라 확보가 핵심이다.

구체적으로 GPU 8장을 탑재한 고성능 워커노드 서버를 운영용 20대, 개발용 4대 등 총 24대 규모로 구성한다. 각 서버는 최대 1TB 메모리와 NVMe SSD를 장착해 대용량 데이터 처리와 고속 병렬 연산이 가능하도록 설계됐다.

서버당 GPU 8장을 연결하는 구조를 고려하면 전체 GPU 규모는 190개 이상 수준으로 추정된다. 금융권 내부 구축 사례 중에서도 드문 ‘클러스터급’ 인프라라는 평가다.

생성형 AI의 학습·추론 성능이 GPU 연산 능력에 좌우된다는 점에서, GPU 확보는 AI 경쟁력으로 직결된다. 업계에서는 해당 규모 GPU 인프라 구축 비용이 수백억 원대에 이를 것으로 보고 있다.

이와 함께 데이터 전처리 전용 서버를 별도로 분리 구축한다. AI 성능을 좌우하는 데이터 정제·가공을 내부에서 직접 수행하기 위한 구조다.

운영 환경과 개발 환경도 물리적으로 분리한다. 실제 업무 적용과 모델 고도화를 병행하는 ‘지속적 학습 체계(MLOps)’ 구현을 염두에 둔 설계다. 향후 기업금융 심사, 리스크 관리, 내부 업무 자동화 등 핵심 업무 영역에 AI 에이전트를 적용하기 위한 기반으로 활용될 전망이다.

이번 투자는 정책·시장 환경 변화와 맞물린 전략적 선택으로 분석된다.

금융당국의 생성형 AI 규제 완화로 은행권 도입 속도가 빨라지는 가운데, 금융사는 민감 정보 보호 문제로 외부 클라우드 활용에 한계를 겪어왔다. 이에 따라 내부망에서 AI를 직접 운영하는 ‘프라이빗 AI’ 구축이 대안으로 부상하고 있다.

시장 환경도 영향을 미쳤다. 글로벌 빅테크 AI 서비스 비용이 급증하고 GPU 수요가 폭증하면서, 일정 규모 이상에서는 자체 인프라 구축이 더 경제적이라는 판단이 확산하고 있다.

여기에 기업금융, 리스크 관리, 내부 심사 등 핵심 업무 영역까지 AI 적용이 확대되면서 고성능 GPU 기반 인프라 수요도 급격히 증가하는 추세다.

이번 사업을 계기로 은행권 AI 전략이 ‘외주형 활용’에서 ‘내재화’로 전환되는 흐름이 본격화할 전망이다.

금융권 관계자는 “AI는 더 이상 외부에서 가져다 쓰는 기술이 아니라 직접 운영하는 인프라로 바뀌고 있다”고 말했다.

류태웅 기자 bigheroryu@etnews.com