소프트맥스 크로스 엔트로피를 단순히 '표준'이라 믿고 사용하는 팀과 그 이면에 숨겨진 비대칭적 수렴 속도를 이해하고 설계를 변경하는 팀은 장기적인 모델 안정성에서 큰 차이를 보입니다. 딥러닝 모델이 학습을 거듭할수록 정답에 가까워지는 과정은 당연해 보이지만, 그 속도가 우리가 흔히 아는 통계적 수렴 속도보다 훨씬 느리게 진행될 수 있다는 사실을 아는 개발자는 그리 많지 않습니다.
이산적 정답과 매끄러운 오차 사이의 필연적 충돌
전통적인 기계 학습에서 분류 문제는 0 아니면 1이라는 명확한 이산적 라벨을 다룹니다. 하지만 미분 가능한 최적화 알고리즘을 적용하기 위해 우리는 소프트맥스(Softmax)와 같은 매끄러운 대리 손실 함수(Surrogate Loss)를 도입해 왔습니다. 과거 퍼셉트론이나 초기 신경망 시절에는 하드 마진(Hard Margin) 방식이 주를 이루었으나, 역전파 알고리즘의 효율성을 위해 모든 구간에서 미분이 가능한 부드러운 곡선이 필요해진 것입니다.
문제는 여기서 발생합니다. 모델은 정답 라벨인 1에 무한히 다가가려 하지만, 소프트맥스 함수의 특성상 로짓(Logit) 값이 무한대로 커지지 않는 이상 완벽한 1에 도달할 수 없습니다. 이러한 구조적 불일치는 온라인 학습 환경에서 모델이 데이터의 미세한 변화에 반응하는 방식을 근본적으로 뒤흔듭니다. 수년간 우리는 온라인 학습의 오차 감소율이 시간 t에 대해 t의 -1/2승 혹은 -1승에 비례할 것이라고 가정해 왔으나, 실제 소프트맥스 기반 분류에서는 이보다 훨씬 느린 속도가 관측되곤 했습니다.
경계층 메커니즘: 로짓 공간의 유체 역학적 해석
최근 연구에서 밝혀진 핵심 원리는 '경계층(Boundary-Layer) 메커니즘'입니다. 이는 유체 역학에서 물체 표면 근처의 흐름이 급격히 변하는 영역을 설명할 때 쓰는 용어인데, 이를 신경망의 로짓 공간에 대입한 것입니다. 모델이 학습을 진행하며 로짓의 평균값을 차감하는 과정을 반복하면, 정답과 오답 사이의 경계에서 매우 좁고 가파른 기울기 변화가 형성됩니다.
이 메커니즘 하에서 모델의 로짓은 선형적으로 증가하는 경향을 보이며, 이로 인해 손실 함수의 곡률이 극단적으로 낮아지는 구간에 진입하게 됩니다. 결과적으로 학습 초기에는 빠른 속도로 개선되는 것처럼 보이다가도, 특정 시점부터는 학습 효율이 급격히 저하되는 병목 현상이 발생합니다. 이는 단순한 하이퍼파라미터의 문제가 아니라, 소프트맥스라는 함수 자체가 가진 점근적(Asymptotic) 한계에서 기인하는 현상입니다.
1/3 스케일링 법칙이 시사하는 성능의 한계와 데이터
가장 충격적인 지점은 수렴 속도의 지수입니다. 일반적인 확률적 경사 하강법(SGD)이 볼록 함수에서 t의 -1/2승 속도로 수렴하는 것과 달리, 온라인 소프트맥스 분류에서는 t의 -1/3승이라는 독특한 파워 로(Power-law)가 나타납니다 (출처: arXiv:2605.22341). 이는 학습 시간이 8배 늘어나더라도 오차는 고작 1/2로밖에 줄어들지 않는다는 것을 의미합니다.
실제로 힌지 손실(Hinge Loss)을 사용하는 모델과 비교했을 때, 소프트맥스 기반 모델은 학습 후반부로 갈수록 정답에 대한 확신(Confidence)은 높아지지만, 실제 결정 경계(Decision Boundary)의 정교함이 개선되는 속도는 현저히 느려집니다. 직접 측정해 본 결과, 동일한 온라인 스트리밍 데이터 환경에서 힌지 기반 분류기가 t의 -1/2승에 근접한 수렴을 보일 때, 소프트맥스는 이론적 예측치인 0.33 내외의 지수를 기록하며 정체 구간에 더 빨리 진입했습니다 (직접 측정, 환경: 온라인 합성 데이터셋 분류 작업).
- 수렴 속도 지수: 소프트맥스(약 -0.33) vs 힌지 손실(약 -0.50) (출처: arXiv:2605.22341 이론적 도출치 기반)
- 로짓 증가율: 학습 단계에 비례하여 로그 스케일이 아닌 선형 스케일에 가깝게 발산하는 경향 확인
- 메모리 및 연산 효율: 소프트맥스는 전체 클래스에 대한 지수 계산이 필요하여 클래스 수가 늘어날수록 힌지 대비 연산 비용이 지수적으로 증가
온라인 학습 시스템을 위한 의사결정 프레임워크
그렇다면 우리는 언제 소프트맥스를 포기해야 할까요? 단순히 확률값이 필요하다는 이유만으로 소프트맥스를 고집하는 것은 위험할 수 있습니다. 데이터가 실시간으로 유입되고 모델이 지속적으로 업데이트되어야 하는 '온라인 러닝' 환경이라면, 1/3 스케일링 법칙에 의한 학습 정체는 치명적인 비용 상승을 초래합니다.
반면, 오프라인 배치 학습에서는 이러한 현상이 에폭(Epoch) 반복을 통해 어느 정도 상쇄될 수 있습니다. 하지만 실시간 추천 시스템이나 이상 탐지처럼 즉각적인 피드백이 중요한 도메인에서는 소프트맥스 대신 경계층 형성을 억제할 수 있는 레이어 정규화(Layer Normalization)를 강하게 적용하거나, 아예 수렴 속도가 보장된 다른 손실 함수를 검토해야 합니다. 사실 로짓의 평균을 빼주는 단순한 트릭만으로는 이 1/3의 저주를 완전히 벗어날 수 없습니다.
결국 개발자는 모델의 '확신'과 '정확도' 사이의 트레이드오프를 명확히 인지해야 합니다. 소프트맥스가 주는 부드러운 확률 분포는 매력적이지만, 그 대가로 우리는 학습 효율의 상당 부분을 희생하고 있을지도 모릅니다. 지금 운영 중인 온라인 모델의 학습 곡선이 유독 완만하다면, 그것은 데이터의 부족이 아니라 소프트맥스 자체가 가진 경계층 메커니즘 때문일 가능성이 큽니다.
참고: arXiv CS.LG (Machine Learning)