마운틴 카(Mountain Car) 문제는 강화학습을 처음 배울 때 거쳐가는 단순한 장난감 예제라고들 하지만, 그것은 제어 이론의 깊이를 간과한 대단히 편협한 시각이다. 사실 이 고전적인 벤치마크는 지난 36년 동안 현대 인공지능이 진정한 수학적 최적해 근처에도 도달하지 못했다는 사실을 교묘하게 가리고 있었다. 우리는 흔히 딥러닝 기반의 강화학습(RL) 에이전트가 복잡한 환경에서 가장 똑똑한 판단을 내릴 것이라 맹신하지만, 최근의 연구 결과는 우리가 투입한 거대한 연산 자원이 정작 단순하고 명확한 최적 제어 법칙을 찾아내는 데는 얼마나 무력했는지를 여실히 보여준다.
제어 전략을 선택하기 전 반드시 답해야 할 세 가지 질문
특정 제어 문제를 해결하기 위해 어떤 알고리즘을 도입할지 결정하기 전, 엔지니어는 스스로에게 다음의 질문을 던져야 한다. 첫째, 문제의 상태 공간(State Space)이 물리적으로 해석 가능한 저차원인가? 둘째, 시스템의 동역학 모델을 수학적으로 정의할 수 있는가? 셋째, 실시간 응답성(Real-time Latency)이 신경망의 추론 속도보다 더 엄격하게 요구되는가?
이러한 질문이 중요한 이유는 우리가 습관적으로 선택하는 심층 강화학습이 항상 최선의 답을 보장하지 않기 때문이다. 마운틴 카 문제처럼 상태 변수가 위치와 속도뿐인 2차원 환경에서는 신경망의 유연함보다 다항식의 정밀함이 더 강력한 무기가 된다. 시스템의 물리적 한계를 명확히 알고 있다면, 굳이 수만 번의 시행착오(Trial and Error)를 거치는 블랙박스 모델을 고집할 이유가 전혀 없다. 오히려 복잡한 보상 함수(Reward Shaping)를 설계하는 과정에서 인간의 편향이 개입되어 최적해로부터 멀어지는 역효과가 발생하기 일쑤다.
현대적 강화학습과 고전적 체비쇼프 정책의 냉정한 비교
전통적인 심층 강화학습 알고리즘인 PPO(Proximal Policy Optimization)나 DQN(Deep Q-Network)은 범용성이 뛰어나지만, 최적성 갭(Optimality Gap) 측면에서는 치명적인 약점을 노출한다. 최근 분석에 따르면, 현대적인 RL 에이전트들이 도출하는 제어 곡선은 수학적으로 도출된 최적해와 비교했을 때 상당한 오차를 보이며, 이는 곧 에너지 효율의 저하로 이어진다 (출처: arXiv:2605.22305v1).
반면 체비쇼프 다항식(Chebyshev Polynomials)을 활용한 정책은 제어 문제를 함수 근사(Function Approximation)의 관점에서 접근한다. 이 방식은 상태 공간을 매우 정교하게 분할하여 최적의 가속 타이밍을 계산해낸다. RL 에이전트가 '운 좋게' 산을 넘어가는 경로를 찾기 위해 탐색(Exploration)에 수천 에피소드를 소모할 때, 체비쇼프 기반의 분석적 해법은 단 한 번의 계산으로 물리 법칙에 수렴하는 경로를 제시한다. 특히 저차원 제어 작업에서 RL 에이전트가 보여주는 불연속적인 행동 패턴은 시스템에 불필요한 진동을 유발하지만, 분석적 해법은 부드럽고 안정적인 상태 전이를 보장한다.
당신의 프로젝트는 어떤 경로를 택해야 하는가
모든 상황에 들어맞는 단 하나의 알고리즘은 존재하지 않는다. 선택의 기준은 결국 '데이터의 불확실성'과 '제어의 정밀도' 사이의 트레이드오프에 있다. 만약 당신이 다루는 환경이 센서 노이즈가 극심하고 동역학을 전혀 예측할 수 없는 복잡한 로봇 팔의 움직임이라면, 여전히 심층 강화학습이 유효한 선택지다. 신경망의 일반화 성능은 예상치 못한 변수에 대응하는 유연함을 제공하기 때문이다.
그러나 산업 현장의 모터 제어, 단순한 위치 추적 시스템, 혹은 물리 법칙이 명확히 정의된 기계 장치라면 이야기가 달라진다. 이런 시나리오에서는 체비쇼프 정책과 같은 분석적 접근법이 훨씬 높은 신뢰성을 제공한다. 실제로 36년 만에 밝혀진 마운틴 카의 최적해는 우리가 '복잡한 신경망'이라는 망치에 매몰되어 '단순한 다항식'이라는 정을 잊고 살았음을 시사한다. 불필요한 연산 오버헤드를 줄이고 시스템의 안정성을 확보해야 하는 임베디드 환경일수록, RL보다는 수학적으로 검증된 정책을 우선순위에 두어야 한다.
36년의 공백이 우리에게 남긴 기술적 교훈
결국 기술의 발전은 단순히 더 큰 모델을 만드는 것이 아니라, 문제의 본질을 얼마나 정확하게 꿰뚫느냐에 달려 있다. 마운틴 카 문제의 최적 제어 솔루션이 그토록 오랜 시간 동안 발견되지 않았던 이유는, 우리가 RL의 성능 수치에만 매몰되어 '진짜 정답'이 무엇인지 묻지 않았기 때문이다. 최신 RL 에이전트들이 보여주는 성능 지표가 아무리 화려해도, 그것이 수학적 한계치에 얼마나 근접했는지 확인하지 않는다면 그것은 반쪽짜리 기술에 불과하다.
필자의 판단으로는, 향후 제어 분야의 핵심은 '신경망의 학습 능력'과 '고전 역학의 정밀함'을 결합하는 하이브리드 구조로 나아갈 것이다. 저차원 핵심 제어 로직은 체비쇼프 정책처럼 견고한 수학적 토대 위에 구축하고, 고차원의 인지 및 판단 영역에만 신경망을 배치하는 식이다. 이제는 무작정 GPU를 돌려 정답을 찾으려 하기보다, 종이와 펜을 들고 시스템의 다항식을 먼저 고민해 보는 태도가 필요하다. 단순함이 복잡함을 이기는 순간은 생각보다 우리 가까이에 있다.
참고: arXiv CS.LG (Machine Learning)