시뮬레이션 기반 추론(Simulation-Based Inference, SBI) 파이프라인에서 고차원의 복잡하고 불연속적인 사후 확률 분포를 정확히 추정하기 위한 최적의 아키텍처 솔루션은 디퓨전 모델(Diffusion Models)의 도입이다. 기존의 정규화 흐름(Normalizing Flows)이 지닌 구조적 제약과 고차원에서의 표현력 한계를 극복한 디퓨전 모델은, 물리적 시뮬레이터와 딥러닝 모델을 결합하여 복잡한 역문제(Inverse Problems)를 해결하려는 데이터 사이언티스트와 머신러닝 엔지니어들에게 가장 강력하고 유연한 프레임워크를 제공한다.
이러한 패러다임 시프트가 일어난 배경은 실제 도메인의 시뮬레이터가 생성하는 데이터의 비선형성과 다중 모드(Multi-modal) 특성에 있다. 우도 함수(Likelihood)가 명시적으로 존재하지 않는 복잡한 기후 모델, 우주론 시뮬레이션, 생물학적 시스템 등에서 파라미터를 역추정할 때, 기존의 모델들은 고차원 공간의 기하학적 구조를 제대로 반영하지 못하는 한계를 보였다. 반면 스코어 매칭을 기반으로 하는 디퓨전 모델은 데이터 분포의 그래디언트 필드를 직접 학습함으로써 복잡한 제약 조건 하에서도 안정적인 사후 분포 샘플링을 가능하게 만든다.
전통적인 시뮬레이션 기반 추론과 정규화 흐름의 가치
디퓨전 모델이 등장하기 전, 우도 없이 추론을 수행하는 LFI(Likelihood-Free Inference) 혹은 SBI 분야에서 신경 사후 확률 추정(Neural Posterior Estimation, NPE)은 정규화 흐름(Normalizing Flows)에 크게 의존해 왔다. 정규화 흐름은 단순하고 다루기 쉬운 기본 분포(예: 표준 정규 분포)에 일련의 가역 변환(Invertible Transformations)을 적용하여 복잡한 대상 분포로 매핑하는 방식이다. 엔지니어들이 이 방식을 선호했던 이유는 가역 신경망(Invertible Neural Networks)을 통해 변환 단계마다 자코비안(Jacobian) 행렬식을 계산함으로써 사후 확률의 명시적인 밀도(Density) 값을 직접 얻을 수 있었기 때문이다.
당시 이 아키텍처는 매우 혁신적이었으며 합리적인 선택이었다. 시뮬레이션 데이터를 한 번 생성해 두면 오프라인으로 신경망을 학습시켜 사후 분포를 근사할 수 있었고, MCMC(Markov Chain Monte Carlo)처럼 매 추론마다 수만 번 시뮬레이터를 구동해야 하는 비효율성을 극복할 수 있었다. 데이터 차원이 비교적 낮고 단일 모드(Unimodal)에 가까운 분포를 다룰 때, 정규화 흐름 기반의 NPE는 매우 빠른 속도로 정확한 파라미터 추정을 수행하며 물리 및 공학 도메인의 연구 생산성을 획기적으로 높여주었다.
스케일업 과정에서 노출된 정규화 흐름의 아키텍처적 한계
그러나 분석 대상 시뮬레이터의 복잡도가 증가하고 데이터가 고차원 이미지나 공간 그리드 형태로 스케일업되면서 정규화 흐름은 뚜렷한 한계를 드러냈다. 가장 큰 문제는 가역성을 보장하기 위해 부과해야 하는 엄격한 수학적 제약 조건이었다. 모델의 변환 함수가 반드시 역함수를 가져야 하고 자코비안 계산이 용이해야 한다는 제약은 신경망의 레이어 설계 자유도를 심각하게 제한했다. 이로 인해 모델의 표현력이 억제되어 복잡한 위상(Topology)을 가진 실제 데이터 분포나 다중 모드 분포를 제대로 표현하지 못하는 현상이 발생했다.
또한, 고차원 공간에서 정규화 흐름 모델은 학습의 불안정성이라는 고질적인 문제를 겪었다. 데이터의 차원이 커질수록 자코비안 행렬식의 스케일 차이로 인해 그래디언트 소실 또는 폭발 현상이 빈번하게 발생했다. 다중 모드 사후 분포를 학습할 때 특정 모드에만 가중치가 집중되어 다른 가능성 있는 파라미터 영역을 무시하는 모드 붕괴(Mode Collapse) 현상도 잦았다. 엔지니어들은 모델을 수렴시키기 위해 비정상적으로 정교한 하이퍼파라미터 튜닝과 아키텍처 제약 조건 조율에 지나치게 많은 시간을 소모해야 했다.
디퓨전 모델이 해결하는 복잡한 사후 분포 추정의 방정식
디퓨전 모델은 가역성이라는 족쇄를 벗어던짐으로써 이 문제를 근본적으로 해결한다. 디퓨전 모델은 대상 분포를 가역 함수로 직접 변환하는 대신, 데이터에 미세한 노이즈를 점진적으로 추가하는 순방향 SDE(Stochastic Differential Equation)와 이를 역으로 추적하여 원래 데이터를 복원하는 역방향 SDE 과정을 학습한다. 이 과정에서 학습하는 핵심은 각 노이즈 수준에서의 스코어(Score, 로그 확률 밀도의 그래디언트) 벡터 필드이다. 스코어 매칭은 가역성 제약이 없으므로 ResNet, U-Net, Transformer 등 현대적이고 강력한 임의의 비가역 신경망 아키텍처를 자유롭게 활용할 수 있다.
이러한 설계의 이점은 고차원의 복잡한 다중 모드 분포를 왜곡 없이 완벽하게 모사할 수 있다는 점에 있다. 조건부 디퓨전 모델을 SBI에 적용하면, 관측된 시뮬레이션 결과 데이터를 조건부 벡터로 입력받아 잠재 파라미터 공간의 사후 분포를 점진적으로 생성해 낸다. 이는 노이즈 제거 과정 자체가 데이터 다양체(Manifold) 위로 수렴하도록 유도하기 때문에, 기존 정규화 흐름이 겪었던 차원의 저주나 다양체 외부 영역으로의 예측 이탈 문제를 자연스럽게 방지한다. 결국 엔지니어는 극도로 복잡한 우도 함수 하에서도 신뢰할 수 있고 편향 없는 파라미터 샘플을 대량으로 확보할 수 있게 된다.
디퓨전 기반 SBI로의 전환 가이드와 실무 고려사항
기존의 정규화 흐름 기반 SBI 시스템을 디퓨전 모델 기반으로 마이그레이션하려는 팀은 몇 가지 아키텍처 설계 변화와 운영 비용의 트레이드오프를 명확히 인지해야 한다. 가장 먼저 마주하게 되는 과제는 추론(Inference) 단계에서의 연산 지연 시간(Latency) 증가이다. 정규화 흐름 모델은 단 한 번의 순방향 신경망 패스로 샘플을 생성할 수 있었지만, 디퓨전 모델은 수십에서 수백 단계의 반복적인 역방향 디노이징 단계를 거쳐야 한다. 실시간성이 중요하거나 대규모 배치 샘플링이 빈번한 프로덕션 환경에서는 DDIM(Denoising Diffusion Implicit Models)이나 고차 룬게-쿠타(Runge-Kutta) ODE 솔버를 도입하여 샘플링 스텝 수를 극적으로 줄이는 최적화 파이프라인을 구축해야 한다.
또한, 사후 분포의 명시적인 확률 밀도 값(Density Value)이 직접적으로 필요한 다운스트림 태스크를 처리할 때 주의가 필요하다. 디퓨전 모델은 기본적으로 스코어를 학습하므로 특정 파라미터 지점의 정확한 밀도 값을 즉각적으로 제공하지 못한다. 이를 해결하기 위해서는 디퓨전 프로세스를 확률 흐름 상미분방정식(Probability Flow ODE)으로 변환한 뒤, 연속 시간 모델 상에서 수치적 적분(Numerical Integration)을 수행하여 우도나 사후 확률 밀도를 역산하는 추가 연산 레이어를 구현해야 한다. 마지막으로, 노이즈 스케줄링(Beta Schedule)과 시간 임베딩(Time Embedding) 방식은 사후 분포의 세부적인 기하학적 구조 복원력에 결정적인 영향을 미치므로, 마이그레이션 초기 단계에서 대상 도메인 데이터의 스케일에 맞춘 그리드 탐색과 철저한 검증이 요구된다.
참고: arXiv CS.LG (Machine Learning)