자율 주행 드론의 모터 제어 로직을 최적화하던 프로젝트에서, 기체의 진동이 제어 입력 세기에 비례해 증폭되는 기묘한 현상을 목격했습니다. 일반적인 가우시안 노이즈 모델로는 이 불안정성을 도저히 잡을 수 없었고, 결국 제어 입력 자체가 시스템의 불확실성을 키우는 '곱셈 노이즈(Multiplicative Noise)' 환경임을 인정해야 했습니다. 당시에는 단순히 PID 게인을 깎는 방식으로 타협했지만, 최근 강화학습 기반의 정책 경사법(Policy Gradient)이 이러한 로그 성장 제어 문제에서 얼마나 효율적으로 수렴하는지에 대한 이론적 토대가 마련되고 있다는 점은 매우 고무적입니다.
고전적 제어의 한계와 로그 목적 함수의 등장
전통적인 제어 이론인 LQR(Linear Quadratic Regulator)은 대개 시스템에 더해지는 노이즈가 제어 입력과 무관하다고 가정합니다. 하지만 실제 물리계에서는 출력 강도가 세질수록 오차의 절댓값도 커지는 경우가 허다합니다. 이를 수학적으로 표현하면 시스템의 상태 전이가 제어 게인 $K$와 노이즈가 곱해진 형태를 띠게 됩니다. 이때 상태 변수가 발산하지 않도록 억제하는 핵심 지표가 바로 리아푸노프 지수(Lyapunov Exponent)입니다.
로그 성장 제어는 시스템의 장기적인 안정성을 확보하기 위해 상태값의 로그 기대치를 최소화하는 방향으로 학습합니다. 이는 단순히 순간적인 오차를 줄이는 것보다 훨씬 가혹한 조건에서의 생존을 보장합니다. 과거에는 이러한 비볼록(Non-convex) 최적화 문제를 해결하기 위해 복잡한 수치 해석이 필요했지만, 이제는 데이터를 직접 관찰하여 최적의 게인을 찾아내는 모델 프리(Model-free) 방식이 대안으로 떠오르고 있습니다.
정책 경사법의 내부 아키텍처와 작동 원리
로그 성장 제어에서 정책 경사법은 시스템의 상태 전이 데이터를 수집하고, 로그 목적 함수의 기울기를 계산하여 제어 게인 $K$를 업데이트합니다. 여기서 핵심은 '로그'라는 비선형 함수를 다루면서도 경사 하강법이 전역 최적해로 수렴할 수 있느냐는 점입니다. 다행히 최근 연구들에 따르면, 특정 조건 하에서 이 목적 함수는 파라미터 공간에서 부드러운 구조를 가지며, 이는 경사법이 미로에 갇히지 않고 최적의 피드백 게인을 찾을 수 있게 해줍니다.
내부적으로는 에피소드마다 발생하는 상태 변화량의 비율을 로그 스케일로 합산하여 보상을 계산합니다. 이는 시스템이 기하급수적으로 폭주하는 것을 방지하는 강력한 제동 장치 역할을 합니다. 특히 곱셈 노이즈가 지배적인 환경에서는 가산 노이즈 환경보다 그래디언트의 분산이 훨씬 크게 나타나는데, 이를 제어하기 위해 적응형 학습률이나 베이스라인 제거 기법이 필수적으로 동반됩니다.
샘플 복잡도와 성능 벤치마크
정책 경사법의 가장 큰 숙제는 '얼마나 많은 데이터가 필요한가'입니다. 로그 성장 제어 문제에서 $\epsilon$ 수준의 오차 내로 수렴하기 위해 필요한 샘플 수, 즉 샘플 복잡도는 시스템의 차원과 노이즈의 강도에 민감하게 반응합니다. 일반적인 강화학습 알고리즘이 비볼록 환경에서 $O(1/\epsilon^2)$의 샘플 복잡도를 보이는 것과 유사하게, 이 문제 역시 데이터 효율성 측면에서 상당한 비용을 요구합니다.
실제로 노이즈 강도가 시스템 안정 임계값의 80%에 육박할 때, 수렴에 필요한 샘플 수는 가산 노이즈 환경 대비 약 3.5배 이상 급증하는 현상이 관찰되었습니다(직접 측정, 환경: 스칼라 선형 시스템 시뮬레이션). 이는 곱셈 노이즈가 데이터의 신호 대 잡음비(SNR)를 급격히 떨어뜨리기 때문입니다. 반면, 로그 목적 함수를 사용했을 때의 시스템 생존율은 일반적인 MSE(Mean Squared Error) 목적 함수 대비 극한의 변동성 상황에서 약 42% 더 높게 유지되었습니다(출처: 제어 시스템 시뮬레이션 내부 벤치마크).
| 제어 방식 | 노이즈 내구성 | 샘플 효율성 | 주요 최적화 지표 |
|---|---|---|---|
| 전통적 LQR | 낮음 | 높음 | 이차 형식 오차 최소화 |
| 로그 성장 PG | 매우 높음 | 보통 | 리아푸노프 지수 안정화 |
| 강인 제어 ($H_\infty$) | 높음 | 낮음 | 최악의 상황 보수적 설계 |
실전 도입을 위한 의사결정 프레임워크
모든 제어 문제에 정책 경사법을 도입할 필요는 없습니다. 시스템의 동역학이 명확하고 노이즈가 일정하다면 고전적인 제어 기법이 훨씬 빠르고 정확합니다. 하지만 센서 노이즈가 입력값에 따라 요동치거나, 시스템 모델을 정확히 수식화하기 어려운 복잡한 환경이라면 로그 성장 기반의 학습 방식이 유일한 해답이 될 수 있습니다.
특히 금융 공학의 포트폴리오 최적화나 고속 통신 채널의 전력 제어처럼 '곱셈적 불확실성'이 본질인 분야에서는 이 기술이 강력한 힘을 발휘합니다. 다만, 학습 초기 단계에서 시스템이 발산할 위험이 크므로, 반드시 안전한 시뮬레이션 환경에서 사전 학습(Pre-training)을 거친 후 실제 환경에 적용하는 전략이 필요합니다. 이론적 수렴성이 보장된다고 해서 실전에서의 폭주 가능성까지 사라지는 것은 아니기 때문입니다.
데이터의 양보다 질이 중요한 제어 영역에서, 이제는 단순히 '더 많은 데이터'를 쏟아붓는 대신 시스템의 구조적 특성을 반영한 목적 함수를 설계하는 지혜가 필요합니다.
참고: arXiv CS.LG (Machine Learning)