많은 개발자와 연구자들은 함수 간의 관계를 학습하는 '오퍼레이터 러닝(Operator Learning)'을 구현할 때, 반드시 거대하고 복잡한 신경망 기반의 딥러닝 모델이 필요하다고 믿곤 합니다. DeepONet이나 Fourier Neural Operator(FNO) 같은 모델들이 큰 성과를 거두면서, 커널(Kernel) 기반의 전통적인 방식은 구시대의 유물처럼 여겨지기도 합니다. 하지만 실제 물리 시스템을 시뮬레이션하거나 제한된 데이터 환경에서 정교한 함수 매핑을 수행해야 할 때, 무작정 층을 깊게 쌓는 방식은 오히려 비효율적인 자원 소모와 해석 불가능한 결과만을 초래할 수 있습니다.
복잡한 물리 시스템 모방을 위한 오퍼레이터 러닝의 한계
현대 공학 설계나 기상 예측과 같은 분야에서 개발자들은 편미분 방정식(PDE)으로 정의된 복잡한 시스템을 빠르게 근사해야 하는 과제에 직면합니다. 입력 함수(예: 초기 조건이나 경계 조건)를 출력 함수(예: 시간 흐름에 따른 시스템의 상태)로 매핑하는 이 과정은 고차원적인 계산을 요구합니다. 기존의 수치 해석 방식은 정확하지만 시간이 너무 오래 걸리고, 일반적인 딥러닝 모델은 학습을 위해 방대한 양의 고해상도 시뮬레이션 데이터를 필요로 합니다. 특히 데이터 생성 비용이 높은 환경에서는 단순히 모델의 크기를 키우는 것만으로는 정확도 문제를 해결할 수 없습니다.
개발자들은 종종 데이터가 충분함에도 불구하고 특정 영역에서 예측 오차가 급증하는 현상을 경험합니다. 이는 모델이 함수 공간의 연속적인 특성을 제대로 파악하지 못하고, 단순히 이산화된 지점들 사이의 상관관계만을 학습했기 때문입니다. 이러한 상황에서 커널 기반 오퍼레이터 러닝은 함수 공간 사이의 수학적 구조를 직접 다룰 수 있는 강력한 대안을 제시합니다. 커널 메서드는 데이터가 적은 상황에서도 이론적인 오차 범위를 보장하며, 시스템의 물리적 특성을 모델 구조에 직접 녹여낼 수 있는 유연성을 제공하기 때문입니다.
왜 데이터가 많아도 예측 정확도는 제자리걸음인가?
성능 정체의 근본적인 원인은 '샘플링 예산 배분(Budget Allocation)'의 실패에 있습니다. 오퍼레이터 러닝에서는 두 가지 차원의 샘플링이 발생합니다. 첫째는 학습에 사용할 입력 함수의 개수이고, 둘째는 각 함수를 정의하기 위해 측정하는 출력 지점의 개수입니다. 많은 경우 개발자들은 무조건 많은 수의 입력 함수를 확보하는 데 집중하지만, 정작 각 함수 내부의 해상도가 낮으면 오퍼레이터의 미세한 변화를 포착하지 못하게 됩니다. 반대로 해상도만 높고 입력 함수의 다양성이 부족하면 모델의 일반화 성능이 떨어지게 됩니다.
기술적으로 분석해 보면, 이는 오프라인 학습 단계에서의 이산화 오차(Discretization Error)와 온라인 재구성 단계에서의 근사 오차(Approximation Error)가 서로 얽혀 있기 때문입니다. 커널 기반 방식에서는 이 두 오차의 균형을 맞추는 것이 핵심입니다. 단순히 데이터를 많이 쌓는 것이 아니라, 커널 함수의 대역폭(Bandwidth)과 샘플링 밀도 사이의 수학적 관계를 이해하지 못한 채 모델을 설계하면, 학습 데이터에만 과적합되거나 물리적으로 불가능한 예측 결과를 내놓는 '블랙박스'의 함정에 빠지게 됩니다.
커널 기반 2단계 샘플링과 최적의 자원 배분 전략
이러한 문제를 해결하기 위해 제시된 프레임워크는 오프라인과 온라인을 분리하는 2단계 커널 회귀 구조를 채택합니다. 첫 번째 단계인 오프라인 과정에서는 입력 함수와 출력 관측값 쌍을 활용하여 타겟 오퍼레이터의 이산화된 표현을 학습합니다. 이때 커널 회귀는 입력 공간의 복잡성을 효과적으로 축적하며, 입력 함수가 속한 재생 커널 힐베르트 공간(RKHS)의 특성을 활용해 최적의 표현을 찾아냅니다. 이는 신경망이 수만 번의 반복 학습을 통해 수렴하는 과정을 수학적인 닫힌 형태(Closed-form)의 솔루션에 가깝게 구현할 수 있게 해줍니다.
두 번째 단계인 온라인 과정에서는 학습된 오퍼레이터를 바탕으로 새로운 입력에 대한 연속적인 출력 함수를 재구성합니다. 여기서 핵심은 '버젯 알로케이션' 최적화입니다. 이론적 오차 분석에 따르면, 전체 샘플링 예산이 주어졌을 때 입력 함수의 개수와 각 함수당 측정 지점의 개수를 특정 비율로 유지해야 오차의 수렴 속도가 최적화됩니다. 개발자들은 이 프레임워크를 통해 자신이 가진 데이터의 특성에 맞춰 샘플링 전략을 동적으로 수정할 수 있으며, 이는 불필요한 시뮬레이션 비용을 절감하면서도 예측의 정밀도를 높이는 결과로 이어집니다.
물리 정보(Physics-Informed)를 결합한 커널 학습의 확장
커널 기반 오퍼레이터 러닝의 진가는 물리 법칙을 결합할 때 더욱 빛을 발합니다. 'Physics-Informed' 확장은 단순히 데이터의 패턴을 쫓는 것을 넘어, 모델이 물리적인 제약 조건(예: 에너지 보존 법칙이나 특정 미분 방정식)을 만족하도록 강제합니다. 신경망에서는 이를 손실 함수(Loss Function)에 페널티 항을 추가하는 방식으로 구현하지만, 커널 메서드에서는 커널 함수 자체를 물리 법칙에 맞게 설계하거나 제약 조건이 포함된 최적화 문제로 정식화할 수 있습니다.
이러한 방식은 데이터가 극도로 부족한 영역에서도 물리적 타당성을 보장하는 예측을 가능하게 합니다. 예를 들어, 유체 역학 시뮬레이션에서 관측되지 않은 지점의 속도 벡터를 예측할 때, 물리 정보가 결합된 커널은 질량 보존 법칙을 위배하지 않는 범위 내에서 최적의 해를 찾습니다. 이는 모델의 신뢰성을 높일 뿐만 아니라, 학습에 필요한 데이터의 양을 획기적으로 줄여주는 효과를 가져옵니다. 결과적으로 개발자는 순수 데이터 기반 모델보다 훨씬 적은 비용으로도 견고한 시스템 시뮬레이터를 구축할 수 있게 됩니다.
시스템의 신뢰성을 검증하는 에러 분석과 성능 평가
모델의 수정이 효과적인지 확인하기 위해서는 단순히 MSE(Mean Squared Error)를 확인하는 수준을 넘어선 다각도의 검증이 필요합니다. 커널 기반 프레임워크에서는 이론적으로 도출된 오차 상한(Error Bound)과 실제 테스트 오차 사이의 간극을 분석함으로써 모델의 성능을 평가합니다. 만약 실제 오차가 이론적 예측치보다 훨씬 크다면, 이는 커널의 하이퍼파라미터가 잘못 설정되었거나 샘플링 전략이 해당 시스템의 복잡도를 감당하지 못하고 있다는 신호입니다.
또한, 다양한 해상도의 테스트 데이터를 활용해 모델의 '해상도 독립성(Resolution Invariance)'을 측정해야 합니다. 진정한 오퍼레이터 러닝 모델이라면 학습 시보다 더 높은 해상도의 입력이 들어와도 일관된 물리적 특성을 유지하며 출력을 내놓아야 합니다. 커널 기반 방식은 함수 공간에서의 직접적인 연산을 수행하므로, 이러한 해상도 변화에 매우 유연하게 대응할 수 있습니다. 최종적으로는 물리적 제약 조건의 위반 정도를 수치화하여, 모델이 단순한 곡선 맞추기를 넘어 실제 세계의 법칙을 얼마나 잘 이해하고 있는지를 검증함으로써 배포 여부를 결정하게 됩니다.
참고: arXiv CS.LG (Machine Learning)