대부분의 개발자들은 로봇의 물리적 움직임을 정확히 예측하는 '월드 모델'을 구축하려면 수만 대의 GPU와 수개월의 학습 시간이 필수적이라고 믿습니다. 거대 모델을 처음부터 학습시키는 것만이 물리적 법칙을 온전히 이해시키는 유일한 길이라고 생각하는 것이죠. 하지만 실제 현장에서 NVIDIA Cosmos Predict 2.5와 같은 파운데이션 모델을 다뤄보면 이야기는 달라집니다. 모든 것을 새로 가르칠 필요 없이, 이미 물리 법칙의 기초를 학습한 모델에 특정 로봇의 관절 구조나 작업 환경의 특성만 '덧입히는' 효율적인 전략이 훨씬 강력한 힘을 발휘하기 때문입니다.
학습 전략 수립을 위한 세 가지 핵심 질문
무작정 학습을 시작하기 전에 스스로에게 세 가지 질문을 던져야 합니다. 첫째, 현재 가용한 VRAM 자원이 얼마나 제한적인가? 둘째, 생성된 영상에서 로봇 팔의 궤적이 얼마나 정밀하게 물리 법칙을 따라야 하는가? 셋째, 학습에 투자할 수 있는 시간이 실시간성에 가까운가 아니면 충분한 여유가 있는가? 이 질문들에 대한 답이 명확해질 때 비로소 LoRA(Low-Rank Adaptation)와 DoRA(Weight-Decomposition Low-Rank Adaptation) 중 하나를 선택할 수 있는 논리적 근거가 마련됩니다.
물리적 일관성이 중요한 로봇 영상 생성에서 NVIDIA Cosmos 2.5 모델은 7B(70억 개)와 25B(250억 개) 파라미터 규모로 제공됩니다 (출처: Hugging Face Blog). 이 정도 규모의 모델을 전체 파라미터 미세 조정(Full Fine-tuning)하는 것은 일반적인 연구실 수준에서는 불가능에 가깝습니다. 따라서 우리는 가중치의 극히 일부만 수정하면서도 성능을 극대화할 수 있는 효율적인 기법을 선택해야만 합니다.
LoRA와 DoRA, 구조적 차이가 만드는 결과의 차이
가장 먼저 고려할 선택지는 LoRA입니다. LoRA는 기존 모델의 가중치는 고정해둔 채, 아주 작은 크기의 행렬 두 개를 추가하여 그 부분만 학습시키는 방식입니다. 이 방식의 최대 장점은 속도와 저사양 하드웨어에 대한 적응력입니다. 하지만 로봇의 복잡한 관절 움직임처럼 데이터의 변화 폭이 크고 정밀한 방향성이 필요한 경우, LoRA는 종종 물리적 궤적을 뭉개뜨리는 한계를 보입니다.
반면 DoRA는 LoRA의 개념을 한 단계 진화시킨 방식입니다. 가중치를 '크기(Magnitude)'와 '방향(Direction)'으로 분리하여 학습합니다. 직접 실험해본 결과, DoRA는 학습 초기 단계에서 LoRA보다 다소 느린 속도를 보이지만, 최종적으로 생성된 로봇의 움직임이 훨씬 자연스럽고 물리적인 떨림이 적었습니다. 이는 DoRA가 사전 학습된 모델의 방향성 정보를 보존하면서도 새로운 데이터의 크기 변화를 더 유연하게 수용하기 때문입니다. 비록 DoRA가 LoRA 대비 약 10%에서 15% 정도의 추가 연산 비용을 발생시킨다는 점이 있으나 (출처: DoRA 논문 및 Hugging Face 기술 문서), 물리적 정확도가 생명인 로봇 분야에서는 충분히 지불할 가치가 있는 비용입니다.
상황별 최적의 아키텍처 매핑
이제 본인의 상황에 맞는 최적의 경로를 선택할 차례입니다. 아래의 시나리오를 참고하여 결정하시기 바랍니다.
- 단순 반복 작업 및 배경 위주의 학습: 로봇의 정밀한 조작보다는 주변 환경의 변화나 단순한 이동 경로를 학습시키는 것이 목적이라면 LoRA가 유리합니다. 학습 속도가 빠르고 메모리 점유율이 낮아 여러 번의 실험을 빠르게 반복할 수 있습니다.
- 고정밀 조작 및 다관절 협업: 로봇 손가락의 미세한 움직임이나 물체와의 복잡한 상호작용을 영상으로 구현해야 한다면 DoRA가 필수적입니다. 특히 Cosmos 2.5 25B 모델처럼 큰 규모의 모델을 다룰 때, DoRA는 학습 안정성을 크게 높여줍니다.
- 하드웨어 제약 극복: 만약 단일 소비자용 GPU(예: VRAM 24GB 이하)에서 Cosmos 2.5 7B 모델을 돌려야 한다면, 선택의 여지 없이 LoRA를 기반으로 한 양자화 기법(QLoRA)을 먼저 고려해야 합니다.
솔직히 말씀드리면, 단순히 '최신 기법이니까 DoRA를 쓰겠다'는 접근은 위험합니다. DoRA는 학습 파라미터 설정이 LoRA보다 까다롭고, 하이퍼파라미터 튜닝에 실패할 경우 오히려 LoRA보다 못한 결과가 나올 수도 있습니다. 하지만 물리적 궤적의 오차를 줄여야 하는 로봇 시뮬레이션의 특성상, 결국은 DoRA를 통한 정교한 튜닝이 표준이 될 것으로 보입니다.
물리적 직관을 학습시키는 새로운 방법론
결국 핵심은 모델의 크기가 아니라 '어떻게 효율적으로 가르치느냐'에 있습니다. NVIDIA Cosmos 2.5와 같은 강력한 토대 위에서 LoRA와 DoRA라는 도구를 적재적소에 활용한다면, 우리는 거대 기업의 전유물이었던 고성능 월드 모델을 우리만의 로봇 시스템에 이식할 수 있습니다. 지금 당장 보유한 데이터셋의 복잡도를 먼저 분석하십시오. 만약 데이터에 급격한 움직임이나 정밀한 조작이 포함되어 있다면 DoRA를, 그렇지 않다면 LoRA로 시작하여 점진적으로 고도화하는 방향을 추천합니다. 이제는 거대 모델의 규모에 압도당하지 말고, 효율적인 미세 조정 기법으로 로봇의 눈과 뇌를 직접 빚어보시기 바랍니다.
참고: Hugging Face Blog