데이터가 많을수록 모델의 정확도가 올라간다는 것은 머신러닝 업계의 상식처럼 통용되지만, 현실의 거친 시계열 데이터 앞에서는 이 상식이 무너지는 경우가 허다하다. 대부분의 개발자는 복잡한 물리 시스템이나 금융 시장을 모델링할 때 수천 개의 시뮬레이션 경로가 필요하다고 믿는다. 하지만 지진 공학이나 구조물 진단 현장에서는 우리가 관측할 수 있는 데이터가 단 하나의 '실제 사고 궤적'뿐인 경우가 대부분이다. 단 하나의 거칠고 불규칙한 신호만으로 시스템의 동역학을 정확히 파악해야 하는 극한의 상황, 여기서 기존의 수치 해석 도구들은 한계에 봉착한다.
단일 궤적의 가혹한 현실과 이론적 배경
전통적인 상미분 방정식(ODE) 솔버들은 입력 신호가 충분히 매끄럽다는 가정을 전제로 설계되었다. 리프시츠 연속성(Lipschitz continuity)이 보장되지 않는 거친 신호, 예를 들어 브라운 운동과 유사한 노이즈가 섞인 금융 지표나 지진파 데이터가 입력되면 기존 솔버들은 수렴 속도가 급격히 떨어지거나 아예 해를 찾지 못한다. 이러한 문제를 해결하기 위해 등장한 것이 러프 패스 이론(Rough Path Theory)이다.
과거에는 경로의 특성을 추출하기 위해 선형 시그니처(Linear Signature)를 주로 사용했다. 이는 경로를 반복 적분하여 고차원 텐서로 변환하는 방식인데, 경로가 복잡해질수록 연산량이 지수적으로 증가하는 '차원의 저주'가 뒤따랐다. 특히 비선형 시스템에서는 신호 간의 상호작용이 트리 구조처럼 복잡하게 얽히는데, 이를 단순 선형 적분으로만 처리하기에는 정보의 손실이 컸다. 분기 시그니처 커널(Branched Signature Kernel)은 바로 이 지점, 즉 비선형 동역학이 만드는 복잡한 계층 구조를 보존하면서도 연산 효율을 챙기기 위해 고안되었다.
분기 시그니처 커널의 내부 아키텍처
이 기술의 핵심은 경로를 단순한 선이 아닌 '트리(Tree)'의 집합으로 해석하는 데 있다. 분기 시그니처는 부처 시리즈(Butcher series)라는 수학적 도구를 활용하여, 경로가 시스템에 가하는 영향을 계층적으로 분해한다. 일반적인 시그니처가 경로의 순차적인 흐름만 기록한다면, 분기 시그니처는 경로의 각 지점에서 발생하는 비선형적 상호작용을 트리 구조의 노드로 매핑한다.
여기서 '커널(Kernel)' 기법이 결합되면서 강력한 시너지가 발생한다. 시그니처를 명시적으로 계산하여 고차원 벡터를 만드는 대신, 재생 커널 힐베르트 공간(RKHS) 내에서 두 경로 사이의 유사도를 직접 계산한다. 이는 메모리 사용량을 획기적으로 줄여준다. 실제로 분기 시그니처 커널을 사용하면, 이론적으로 무한 차원에 가까운 경로의 특징을 유한한 연산량으로 다룰 수 있게 된다. 내부적으로는 트리의 구조적 유사성을 비교하는 재귀적 알고리즘이 작동하며, 이는 복잡한 동역학 시스템의 상태 변화를 추적하는 솔버의 핵심 엔진이 된다.
성능의 트레이드오프와 벤치마크적 관점
분기 시그니처 커널 솔버는 모든 상황에서 만능인 도구는 아니다. 신경망 기반의 Neural ODE와 비교했을 때 명확한 장단점이 존재한다. Neural ODE는 대량의 데이터가 있을 때 일반화 성능이 뛰어나지만, 학습 과정에서 수많은 반복 연산이 필요하며 모델의 내부 작동 원리를 해석하기 어렵다. 반면, 분기 시그니처 커널은 데이터가 단 하나뿐인 상황에서도 수학적으로 견고한 해를 제공한다.
연산 비용 측면에서 보면, 커널 계산의 복잡도는 경로의 길이에 따라 결정된다. 데이터 포인트의 개수가 $N$일 때, 일반적인 커널 행렬 계산은 $O(N^2)$의 복잡도를 가진다. 이는 매우 긴 시계열 데이터에서는 부담이 될 수 있다. 하지만 시그니처의 차수(Truncation level)를 높여야 하는 명시적 방식과 비교하면, 커널 방식은 고차원 특징을 다룰 때 훨씬 안정적인 메모리 점유율을 보여준다. 필자가 경험한 바에 따르면, 노이즈가 심한 단일 센서 데이터에서 시스템의 파라미터를 추정할 때, 이 방식은 딥러닝 모델보다 훨씬 적은 파라미터로도 수렴 안정성이 높았다. 다만, 실시간 처리가 필요한 환경에서는 커널 계산의 오버헤드가 병목 구간이 될 수 있음을 인지해야 한다.
실무 도입을 위한 전략적 판단
이 기술을 언제 도입해야 할지는 명확하다. 관측된 데이터가 적고, 신호가 매우 거칠며, 물리적 법칙(ODE)이 어느 정도 알려진 시스템을 다룰 때 가장 빛을 발한다. 금융 공학의 옵션 가격 결정 모델이나, 교량의 미세 진동을 분석하여 노후도를 측정하는 구조 건강 모니터링(SHM) 분야가 대표적이다.
반대로 데이터가 수만 개 이상 확보되어 있고 신호가 충분히 매끄럽다면, 굳이 복잡한 분기 시그니처 커널을 쓸 이유는 없다. 그런 경우에는 전통적인 룬게-쿠타(Runge-Kutta) 방식이나 가벼운 LSTM 기반 모델이 비용 대비 효율이 좋다. 결국 핵심은 '신호의 거칠기(Roughness)'와 '데이터의 희소성'이다. 이 두 가지 요소가 높은 프로젝트라면 분기 시그니처 커널은 대체 불가능한 선택지가 된다.
기술의 화려함보다 중요한 것은 당면한 문제의 데이터 성격을 파악하는 안목이다. 완벽한 모델은 없지만, 데이터의 거친 결을 이해하는 모델은 반드시 존재한다. 지금 다루고 있는 시계열 데이터가 노이즈로 가득 찬 단 하나의 궤적뿐이라면, 더 깊은 수학적 구조를 들여다보는 이 솔버가 유일한 돌파구가 될 것이다.
참고: arXiv CS.LG (Machine Learning)