예측 다중성(Predictive Multiplicity) 문제는 동일한 데이터셋에서 거의 동일한 정확도를 기록하는 여러 모델이 특정 개별 데이터에 대해 서로 다른 예측값을 내놓을 때 발생하며, 이를 해결하기 위해서는 모델 선택의 기준을 단순 성능 지표에서 '예측 일관성'과 '라쇼몽 집합(Rashomon Set)' 내의 변동성 관리로 확장해야 합니다. 성능이 상향 평준화된 현대 머신러닝 환경에서 단순히 손실 함수를 최소화하는 것만으로는 실제 서비스의 신뢰성을 담보할 수 없기 때문입니다.
이러한 현상은 특히 금융 대출 심사, 의료 진단, 채용 스크리닝과 같이 개인의 삶에 큰 영향을 미치는 고위험(High-stakes) 의사결정 시스템에서 심각한 윤리적, 법적 문제를 야기합니다. 예를 들어, 은행에서 사용하는 A 모델은 대출을 승인하지만, 정확도가 동일한 B 모델은 대출을 거절한다면 사용자는 시스템의 공정성을 의심할 수밖에 없습니다. 따라서 개발자는 모델의 평균적인 성능 뒤에 숨겨진 이러한 불일치 가능성을 인지하고 이를 통제할 수 있는 메커니즘을 설계해야 합니다.
머신러닝의 '라쇼몽 효과'와 예측 다중성의 본질
라쇼몽 효과란 하나의 현상에 대해 여러 가지 양립 가능한 설명이 존재할 수 있음을 뜻하는 용어로, 머신러닝에서는 동일한 훈련 데이터에 대해 거의 동일한 오차를 보이는 다수의 모델이 존재할 수 있음을 의미합니다. 과거에는 가장 성능이 좋은 단 하나의 모델을 찾는 데 집중했지만, 최근 연구에 따르면 최적의 성능에 근접한 모델들의 집합인 '라쇼몽 집합' 내 모델들이 개별 샘플에 대해서는 매우 다른 판단을 내릴 수 있다는 점이 밝혀졌습니다.
개발자 입장에서 이는 모델의 불안정성을 의미합니다. 하이퍼파라미터를 미세하게 조정하거나 난수 시드(Seed)를 바꾸는 것만으로도 전체 정확도는 유지되지만 특정 사용자에 대한 판정 결과가 뒤바뀔 수 있기 때문입니다. 이러한 예측 다중성은 모델 아키텍처가 복잡해지고 데이터의 차원이 높아질수록 더욱 빈번하게 발생하며, 이는 단순한 오버피팅의 문제가 아니라 학습 데이터 자체가 가진 정보의 한계와 모델의 유연성 사이에서 발생하는 근본적인 현상입니다.
개발자가 이해해야 할 라쇼몽 집합(Rashomon Set)의 기초
라쇼몽 집합은 최적의 손실(Loss) 값에 아주 근소한 오차 범위(ε, 입실론) 내에 있는 모든 모델의 모임으로 정의됩니다. 예를 들어 어떤 분류 문제의 최소 오차가 10%라면, 오차가 10.1% 이하인 모든 모델이 라쇼몽 집합에 포함될 수 있습니다. 이 집합이 크다는 것은 해당 문제에 대해 '정답에 가까운' 대안 모델이 무수히 많다는 것을 의미하며, 이는 곧 예측 다중성 문제가 심화될 가능성이 높다는 신호입니다.
입문 단계의 개발자라면 모델 평가 시 단순히 'Test Accuracy' 하나만 볼 것이 아니라, 여러 번의 학습을 통해 결과가 얼마나 달라지는지 확인하는 '예측 변동성' 테스트를 수행해야 합니다. 만약 동일한 조건에서 학습된 모델들이 특정 데이터 포인트에서 계속해서 엇갈린 결과를 내놓는다면, 해당 데이터는 모델이 판단하기에 모호한 영역에 있거나 데이터 자체가 부족함을 시사합니다. 이를 파악하는 것만으로도 모델의 신뢰 구간을 설정하는 데 큰 도움이 됩니다.
예측 불일치 해소를 위한 고급 알고리즘과 수학적 원리
예측 다중성을 해결하기 위한 핵심적인 접근법은 라쇼몽 집합 내의 모든 모델이 동의할 수 있는 '합의점'을 찾거나, 예측의 불확실성을 명시적으로 모델링하는 것입니다. arXiv:2601.09071 연구에서는 이러한 다중성을 정량화하고 이를 줄이기 위한 최적화 방법론을 제시합니다. 구체적으로는 모델 학습 과정에서 개별 예측의 분산을 최소화하는 정규화 항을 추가하거나, 집합 내 모델들 사이의 최대 불일치(Maximum Discrepancy)를 계산하여 이를 제약 조건으로 활용하는 방식이 논의됩니다.
수학적으로는 라쇼몽 집합 내의 임의의 두 모델이 특정 입력값 x에 대해 내놓는 결과값의 차이인 '앰비규이티(Ambiguity)'를 최소화하는 방향으로 모델을 수렴시킵니다. 이는 앙상블 학습과 유사해 보일 수 있으나, 단순히 여러 모델의 평균을 내는 것을 넘어 집합 전체의 거동을 분석하여 가장 안정적인 대표 모델을 선발한다는 점에서 차이가 있습니다. 또한, 특정 임계값 내에서 모든 모델이 동일한 결과를 내놓도록 강제하는 견고한 최적화(Robust Optimization) 기법이 적용되기도 합니다.
실무 적용 패턴: 일관성 있는 모델 배포 전략
실제 운영 환경에서 예측 다중성 문제를 관리하기 위해서는 모델 배포 파이프라인에 '다중성 검사 단계'를 도입해야 합니다. 새로운 모델 버전을 배포할 때, 이전 버전과 전체 정확도를 비교하는 것은 기본이며, 개별 사용자 단위에서 예측 결과가 뒤바뀌는 비율(Flip Rate)을 측정해야 합니다. 정확도가 1% 상승했더라도 기존 사용자의 10%에 대한 결과가 반대로 바뀐다면, 이는 서비스의 일관성을 해치고 사용자 경험에 악영향을 줄 수 있습니다.
이를 방지하기 위해 '참조 모델(Reference Model)' 전략을 사용할 수 있습니다. 라쇼몽 집합 내에서 기존 모델과 가장 유사한 예측 패턴을 유지하면서도 성능이 개선된 모델을 선택하는 방식입니다. 또한, 예측 다중성이 높은 특정 데이터군에 대해서는 모델이 직접 확정적인 답을 내리는 대신 '검토 필요' 상태로 분류하거나 확률적인 신뢰도를 함께 제공하여 시스템의 안정성을 높이는 패턴이 권장됩니다.
아키텍처 및 운영 측면에서의 다중성 관리
인프라와 운영 측면에서 예측 다중성 관리는 모델 모니터링의 복잡도를 증가시킵니다. 단순히 시스템 리소스나 평균 레이턴시를 모니터링하는 것을 넘어, 실시간으로 발생하는 예측의 드리프트(Drift)와 다중성을 감지하는 로그 분석 시스템이 필요합니다. 특히 온라인 학습(Online Learning)이나 잦은 재학습이 일어나는 환경에서는 모델이 업데이트될 때마다 발생하는 예측 결과의 변동을 추적하는 대시보드가 필수적입니다.
결과적으로 예측 다중성을 해결하는 과정은 데이터 사이언티스트뿐만 아니라 ML 엔지니어와 운영팀의 협업을 요구합니다. 모델 아키텍처 설계 시점부터 다중성을 고려한 손실 함수를 도입하고, CI/CD 파이프라인에서 예측 일관성 테스트를 자동화하며, 보안 측면에서는 모델의 예측 불일치를 악용한 적대적 공격(Adversarial Attack) 가능성을 차단해야 합니다. 이러한 통합적인 접근만이 라쇼몽 효과라는 머신러닝의 근본적 특성을 극복하고 진정으로 신뢰할 수 있는 AI 시스템을 구축하는 길입니다.
참고: arXiv CS.LG (Machine Learning)