[IT 동아] “비전ㆍ언어ㆍ행동 모델 최적화” 구글 제미나이 로보틱스 2의 기술 차별점은?

[IT동아 강형석 기자] 피지컬 AI(실물 인공지능) 시장 선점을 향한 기업 경쟁이 뜨겁다. 생성형 AI가 디지털 환경의 변화를 이끌었다면, 피지컬 AI는 전 세계 산업의 변화를 가져올 기술이기 때문이다. 자율주행차부터 스마트 팩토리, 휴머노이드, 무인 드론 등 사람과 상호작용하는 모든 영역에 적용할 수 있어, 역량만 갖추면 시장을 선도할 여지가 크다. 과거 로봇 기술이 정해진 움직임을 반복 수행하는 데 그쳤다면, 피지컬 AI는 인간과 유사한 직관과 논리를 부여하며 산업 지형을 바꿀 것으로 예상된다.

피지컬 AI 기술은 초입 단계다. 소프트웨어와 하드웨어에 대한 틀은 존재하지만, 자연스러운 행동과 상호작용에 대한 속도, 안전 확보 등 해결해야 할 과제가 많다. 이에 여러 기술 기업들이 목표 달성을 위해 개발에 매진한다. 2세대 제미나이 로보틱스를 공개한 구글도 그중 하나다.

2026년 7월 30일, 구글은 피지컬 AI용 지능 모델인 제미나이 로보틱스(Gemini Robotics) 2를 공개했다. 언어와 이미지를 이해하던 거대언어모델(LLM) 역량을 물리 환경으로 확장하겠다는 야심이 구체화된 것이다. 제미나이 로보틱스 2는 비전ㆍ언어ㆍ행동(VLA) 모델을 최적화하고 계획과 실행을 분리해, 효율적인 전신 제어가 가능하도록 설계했다.

구글 딥마인드는 2025년에 제미나이 로보틱스를 처음 공개한 후, 기술을 꾸준히 개선해왔다. 제미나이 로보틱스 2는 비전ㆍ언어ㆍ행동(VLA) 기반 대형 언어모델이 핵심이다. 다양한 산업 및 연구 환경에 맞춰 체화된 추론모델(Embodied Reasoning Model)인 제미나이 로보틱스 ER2, 온디바이스용 경량 VLA 모델인 제미나이 로보틱스 온디바이스 2도 함께 선보였다. 구글은 이들 서로 다른 피지컬 AI 모델을 토대로 전신 제어, 고수준 추론, 엣지 연산 등 각각의 문제를 최적화하려 한다.

구글이 제미나이 로보틱스 2에서 강조한 건 ‘전신 지능’이다. 이전 로보틱스 모델들이 주로 테이블 위 조작이나 양팔 매니퓰레이션(로봇 팔과 손의 제어ㆍ실행 기술) 중심으로 주목받았다면, 제미나이 로보틱스 2는 발끝부터 손끝까지 이어지는 전신 제어를 전면에 내세웠다.

차별점은 피지컬 AI 모델이 몇 시간 안에 어떤 양팔 로봇에도 적응한다는 부분이다. 새로운 양팔 로봇을 제대로 다루려면 보통 수천 개 이상의 학습 데이터가 필요하고, 그 과정에서 상당한 시간이 소요된다. 반면 제미나이 로보틱스 2는 수백 개 미만의 데이터와 몇 시간의 적응 시간만으로 곧바로 사용할 수 있다는 게 구글 측 설명이다.

실제 가동 여부는 다양한 검증이 필요하다. 다만 구글이 새로운 피지컬 AI 모델을 빠르게 확산하고 상용화하려는 산업 환경을 겨냥했다는 의도만큼은 뚜렷이 드러난다. 로봇이 새 작업을 학습하는 속도뿐 아니라, 새 로봇에 학습 경험을 옮기는 비용까지 고려한 결정인 셈이다.

제미나이 로보틱스 ER2도 주목할 만하다. 이 AI 모델은 로봇이 사람과 대화하고, 물리 세계를 이해하고, 수 분 단위의 다단계 작업을 계획하는 로봇 운영체제(OS) 개념에 가깝다. 동작 제어나 힘 조절 같은 실행 영역은 별도 VLA 모델에 맡기는 구조다.

중요한 건 이 구조가 ‘계획과 실행의 분리’ 개념을 도입했다는 점이다. 인간도 복잡한 일을 할 때 머릿속으로 업무 중요도를 따지면서 행동한다. 제미나이 로보틱스 ER2는 그 역할을 기계적으로 구현하려 한 것이다. 작업을 수행하는 동안 다음 단계를 미리 고려하고, 영상 흐름을 분석하면서 업무 진척도를 판단하는 식이다.

서로 다른 로봇에서 수집된 데이터를 하나의 통합된 동작 이해 체계로 학습시키는 ‘모델 트랜스퍼(Model Transfer)’ 기술도 도입됐다. 제미나이 로보틱스 1.5에서 개발된 기술로, 범용 VLA 개발에 도움을 준다. 하나의 로봇 팔로 학습한 물건 집기 동작의 원리를, 손가락 수나 관절 구조가 전혀 다른 로봇에도 그대로 전이시킬 수 있다는 이야기다.

전반적으로 보면 제미나이 로보틱스 2 시스템은 에이전틱 AI 구조와 닮았다. 추론(명령어 처리)은 더 긴 문맥과 외부 도구 연결이 관건이고, 장비 제어는 지연 시간과 안정성이 절대적이다. 두 문제를 하나의 거대 모델로 해결하려 하면 계산량과 운영 복잡도가 커진다. 그래서 구글은 제미나이 로보틱스 ER2에 비디오 이해, 도구 조합(툴 오케스트레이션), 협업, 성공 판정 같은 업무를 맡기고, VLA 모델에는 구체적인 운동 제어를 담당시키는 식으로 역할을 나눴다. 이 구조는 로보틱스가 언어모델처럼 ‘더 큰 모델 하나’로 귀결되지 않을 수 있음을 보여주는 사례이기도 하다.

제미나이 로보틱스 온디바이스 2는 구글의 피지컬 AI 산업 생태계 구축을 위한 단서다. 로봇이 매번 클라우드에 질의하고 응답을 기다린다면, 네트워크가 불안정한 공장이나 물류 현장, 지연 시간이 치명적인 상황에서는 쓰기 어렵다. 제미나이 로보틱스 온디바이스 2는 로봇이 자체 처리할 수 있는 범위의 VLA 모델로 보면 된다. 온디바이스 AI가 가능한 언어모델, 젬마 4와 비슷한 맥락이다.

제미나이 로보틱스 2가 다루는 학습의 핵심은 ‘데이터 희소성’이다. 인터넷에는 텍스트와 이미지가 넘쳐나지만, 로봇이 실제로 물건을 조작하는 동작 데이터는 그 양이 비교할 수 없을 만큼 적다. 딥마인드가 이 문제를 풀기 위해 택한 전략은 크게 세 가지다. 첫째는 제미나이 본연의 광범위한 세계 지식을 물려받는 것, 둘째는 서로 다른 로봇 사이의 데이터를 하나로 묶어 학습시키는 것, 셋째는 새로운 로봇 형태에 최소한의 데이터만으로 빠르게 적응시키는 것이다.

이에 구글은 VLA 모델을 최적화했다. 시각 정보와 자연어 입력을 받아 곧바로 운동 제어로 변환하는 방식이다. 언어 모델이 이해한 명령과 비전 모델이 파악한 장면 정보를 따로 번역하지 않고, 하나의 정책 안에서 즉시 행동으로 이어지기 때문에 자연스럽고 빠른 대응이 가능하다.

체화된 추론 과정 역시 핵심이다. 물리 세계를 해석하고, 명령에 따른 계획을 세우는 역할을 맡는다. 제미나이 로보틱스 ER2는 텍스트ㆍ이미지ㆍ비디오ㆍ오디오를 입력받을 수 있으며, 최대 128k 규모의 문맥을 다룬다. 구조적으로는 제미나이 3.5 플래시 기반 비전ㆍ언어모델(VLM)이다. 중요한 점은 이 모델이 로봇의 센서를 통해 들어오는 영상을 실시간으로 분석하면서, 작업 진행 상태를 파악하고 다음 행동을 준비할 수 있다는 것이다.

여기서 “이 단계는 끝났고 이제 다음으로 넘어가야 한다”는 판단을 영상 속에서 스스로 끌어내는 능력, 즉 ‘진행 상황 분류(Progress Classification)’와 ‘구간 탐색(Moment-Finding)’이 중요하다. 인간에게는 사소해 보이지만, 로봇에게는 장기 작업을 구성하는 토대가 된다.

제미나이 로보틱스 ER2가 갖는 의미는, AI 모델이 비로소 시간이라는 변수를 다루기 시작했다는 점이다. 일반적인 로봇 제어 기술은 현재 상태에서 다음 동작을 정하는 데는 유리하지만, 수 분 단위 작업을 완결성 있게 추적하는 데는 취약했다. 구글은 피지컬 AI에서 추론이란 정확한 답변을 내놓는 능력이 아니라, 적절한 타이밍에 적절한 행동을 내놓는 능력이라는 점에 초점을 맞춘 셈이다.

온디바이스 최적화에도 공을 들였다. 모델 경량화보다 로봇 소프트웨어 구조를 세분화하는 데 힘을 쏟았다. 클라우드에 있는 고수준 추론 모델은 풍부한 문맥과 외부 지식을 활용하고, 기체 안의 경량 모델은 밀리초(ms) 단위 반응과 안전한 동작을 책임지는 방식이다. 엔비디아가 제안한 젯슨 토르 엣지 장비, 그루트 로봇 AI 모델을 활용한 실시간 제어 기술과 비슷한 접근이다. 향후 피지컬 AI 시장에서는 대형 AI 모델과 경량 AI 모델 간 실시간 연결 역량이 관건이 될 것임을 암시하는 대목이다.

로봇 안정성에도 무게를 실었다. 제미나이 로보틱스 2는 위험한 도구 호출을 거부하거나, 작업 수행이 불가능하거나 불확실한 상황을 감지해 인간에게 개입을 요청할 수 있는지를 검증한다. 제미나이 로보틱스 ER2는 사람과 가까운 거리에서 문제가 감지되면 안전 도구를 가동하고, 스스로 정지 상태로 전환하도록 설계했다.

피지컬 AI 기술 개발 경쟁은 치열하다. 현재 구글 외에도 엔비디아, 피규어AI, 보스턴 다이내믹스, 테슬라 등 여러 기업이 소프트웨어ㆍ하드웨어 역량을 앞세워 두각을 드러내는 중이다.

엔비디아는 엣지 플랫폼과 소프트웨어로 구축된 생태계를 강조한다. 젯슨 플랫폼은 자체 개발한 중앙처리장치(CPU)와 그래픽 처리장치(GPU)로 빠른 데이터 처리 능력을 갖췄다. 소프트웨어 개발은 AI 개발에 널리 쓰이는 쿠다(CUDA)를 활용해 접근성도 뛰어나다. AI 생태계도 광범위하다. 합성 세계 생성, 비전 추론, 행동 시뮬레이션을 통합한 코스모스(COSMOS) 3 모델 외에 범용 휴머노이드 로봇용 개방형 생태계 그루트(GROOT)가 있다. 데이터 파이프라인, 시뮬레이션, 미들웨어, 가속 라이브러리, 엣지 하드웨어까지 한 묶음으로 제공해, 고객이 로봇 하드웨어 설계와 응용 분야에 더 집중하도록 돕는다.

피규어AI는 수직 통합에 초점을 뒀다. 범용 휴머노이드 제어용 VLA 모델인 헬릭스(Helix)는 대규모 추론과 경량형 제어 모델을 결합했다. 직접 개발한 휴머노이드 로봇 피규어는 BMW 공장에서 테스트를 진행하며 실제 생산 환경의 검증 데이터를 축적하는 중이다.

보스턴 다이내믹스는 휴머노이드 로봇 아틀라스를 개발해 산업 환경에 집중한다. 자재 취급, 워크플로 통합, 자율 충전과 배터리 교체, 로봇 무리 관리에 초점을 둔 것이 대표적이다. 원격조작 데이터를 기반으로 한 대규모 행동 모델(LBM) 역량에도 집중했는데, 조작 작업의 일반화와 세부 행동 구축에 유리한 형태다.

테슬라는 AI 인프라, 완전자율주행(FSD) 프로그램 등으로 축적한 방대한 데이터가 차별점이다. 자체 액추에이터 생산, 모터부터 배터리, 소프트웨어까지 아우르는 인프라 확보도 주목할 점이다. 테슬라가 제작한 옵티머스는 자사 공장과 상업 환경에서 현장 데이터를 쌓으며 완성도를 높이는 중이다.

구글은 웹 스케일 사전학습, 검색 도구 연동, 대규모 멀티모달 추론 등 생성형 AI 역량에 더해, 형태와 물리적 사양이 서로 다른 여러 로봇 데이터의 이질성을 해결하는 X-VLA(Cross-Embodiment VLA) 모델 연구 경험까지 갖췄다. 여기에 로봇 추론ㆍ제어, 온디바이스 실행 기술을 더하면서 피지컬 AI 구현에 필요한 데이터를 다수 확보하게 됐다.

한계도 따른다. 구글은 소프트웨어 개발ㆍ구축 역량을 갖췄지만, 아직 로봇 제조나 엣지(온디바이스) 장비 역량까지는 갖추지 못했다. 엔비디아처럼 전용 디지털 트윈(가상공간 학습) 플랫폼이나 인프라를 구축한 것도 아니다. 피지컬 AI 생태계에서 두각을 드러내려면 여러 파트너와 함께 성과를 내야 하는 상황이다.

IT동아 강형석 기자 (redbk@itdonga.com)