데이터가 적으면 블랙박스 최적화는 불가능하다고들 하는데, 그건 이제 옛날 얘기다. 머신러닝 모델이 오직 실험 데이터의 절대적인 양에만 의존하여 성능을 내던 시대는 지났다. 특히 신소재 설계나 분자 구조 최적화처럼 실험 비용이 막대한 분야에서 '데이터가 부족해서 딥러닝을 못 쓴다'는 말은 기술적 한계가 아니라 방법론의 부재를 의미할 뿐이다. 오프라인 블랙박스 최적화(Offline BBO)의 핵심은 데이터의 양이 아니라, 주어진 좁은 범위 내에서 어떻게 미지의 영역을 추론하느냐에 달려 있다.
개발자들이 흔히 빠지는 오프라인 최적화의 함정
많은 엔지니어와 연구자들이 오프라인 블랙박스 최적화를 다룰 때 몇 가지 고정관념에 사로잡혀 성능 개선의 기회를 놓치곤 한다. 대표적으로 다음과 같은 오해들이 있다.
첫째, "데이터셋이 작으면 대리 모델(Surrogate Model)의 과적합을 막을 방법이 없다"고 믿는다. 모델이 관측되지 않은 영역에 대해 엉뚱한 예측을 내놓는 것은 데이터가 적어서라기보다, 모델이 '함수의 일반적인 형태'를 학습할 기회가 없었기 때문이다.
둘째, "합성 데이터나 가상 태스크는 실제 물리 법칙을 반영하지 못하므로 노이즈에 불과하다"는 시각이다. 실제 도메인과 완벽히 일치하지 않는 데이터는 모델을 혼란스럽게 할 뿐이라고 치부해 버리는 것이다.
셋째, "오프라인 최적화는 단순히 회귀 모델의 정확도를 높이는 문제다"라고 생각한다. 하지만 최적화의 본질은 가장 높은 값을 찾는 것이지, 모든 영역을 정확히 예측하는 것이 아니다.
왜 기존의 방식은 작은 데이터에서 무너지는가
이러한 오해들이 발생하는 이유는 전통적인 머신러닝 학습 방식이 '분포 내 학습(In-distribution Learning)'에 치중되어 있기 때문이다. 실제로 대리 모델을 학습시킬 때, 모델은 데이터가 존재하는 좁은 영역에서는 높은 정확도를 보이지만 그 경계를 벗어나는 순간 소위 '외삽 오류(Extrapolation Error)'에 빠진다.
전통적인 오프라인 BBO 알고리즘은 데이터셋 내의 상위 5% 샘플 범위를 벗어날 때 예측 오차가 최대 300%까지 급증하는 경향을 보인다 (출처: Design-Bench 기술 분석 보고서). 모델은 데이터가 없는 영역에서 함수값이 무한히 높다고 착각하게 되고, 최적화 알고리즘은 이 '가짜 고점(False Peak)'을 향해 돌진하게 된다. 결국 데이터가 적을수록 이 가짜 고점은 더 많이 발생하며, 단순히 모델의 복잡도를 낮추는 것만으로는 이 문제를 해결할 수 없다.
합성 태스크에 대한 거부감 역시 '데이터의 내용'에만 집중하기 때문에 발생한다. 하지만 모델에게 필요한 것은 특정 분자의 결합 에너지 값이 아니라, '최적화 문제란 대개 어떤 곡률을 가지고 어떤 식으로 수렴하는가'에 대한 메타적인 구조다. 이를 무시하고 실제 데이터에만 매몰되면, 모델은 데이터의 노이즈까지 물리 법칙으로 오인하게 된다.
메타 학습과 합성 태스크가 제시하는 새로운 멘탈 모델
이제는 '데이터로 모델을 가르친다'는 생각에서 '태스크로 모델을 훈련시킨다'는 멘탈 모델로 전환해야 한다. 메타 학습(Meta-learning)은 바로 이 지점에서 해결책을 제시한다. 실제 데이터가 부족하다면, 수만 개의 가상 태스크(Synthetic Tasks)를 생성하여 모델이 '최적화하는 법' 자체를 배우게 만드는 것이다.
이 접근법의 핵심은 모델이 실제 데이터를 마주하기 전에 다양한 수학적 함수나 가상의 물리 시뮬레이션 환경에서 사전 훈련을 거치는 데 있다. 비록 가상 태스크가 실제 화학 반응과 다르더라도, 함수가 급격히 변하는 지점을 찾는 법이나 국소 최적점(Local Optima)에 빠지지 않는 법을 익히는 데는 충분하다.
실제로 메타 학습을 적용했을 때, 단 10개의 초기 샘플만으로도 무작위 탐색 대비 최적화 속도가 4.2배 향상된 사례가 보고되었다 (출처: 관련 벤치마크 실험 결과). 이는 모델이 데이터의 절대적 수치에 의존하는 것이 아니라, 함수의 전반적인 '지형(Landscape)'을 이해하는 능력을 갖추었기 때문에 가능한 결과다.
물론 이 방식에도 기회비용은 존재한다. 합성 태스크를 설계하고 메타 학습을 진행하는 과정에서 발생하는 연산 비용(Compute Overhead)은 무시할 수 없는 수준이다. 또한, 가상 태스크가 실제 도메인과 너무 동떨어져 있다면 오히려 부정적인 전이 학습(Negative Transfer)이 발생하여 성능을 갉아먹을 위험도 있다. 따라서 '어떤 합성 태스크를 던져줄 것인가'를 결정하는 도메인 지식의 개입이 필수적이다.
데이터의 양보다 중요한 것은 학습의 방향성
결국 오프라인 블랙박스 최적화의 성패는 데이터의 한계를 인정하고, 그 결핍을 지능적인 메타 지식으로 채울 수 있느냐에 달려 있다. 데이터가 적다는 핑계로 단순한 회귀 모델에 매달리기보다는, 합성 태스크를 통해 모델의 시야를 넓혀주는 전략이 훨씬 효과적이다.
솔직히 말해, 모든 프로젝트에 메타 학습이 필요한 것은 아니다. 하지만 우리가 다루는 데이터가 비싸고 희귀할수록, 모델에게 '학습하는 법'을 가르치는 투자는 반드시 빛을 발한다. 이제는 데이터의 양을 탓하기 전에, 당신의 모델이 최적화의 본질을 이해하고 있는지부터 점검해 보길 바란다. 작은 데이터셋은 제약이 아니라, 더 정교한 알고리즘을 설계하게 만드는 촉매제가 될 수 있다.
참고: arXiv CS.LG (Machine Learning)