의료 AI는 임상 현장에서 쓰기에 너무 느리고 부정확하다는 편견이 있지만, 그건 이제 옛날 얘기다. 딥러닝 아키텍처의 발전, 특히 손실 함수(Loss Function)를 다각화하는 설계 방식은 이미 인간 전문의의 직관을 보조하는 수준을 넘어 데이터에 숨겨진 미세한 패턴을 찾아내고 있다. 단순히 속도의 문제가 아니라, 얼마나 복합적인 정보를 동시에 학습할 수 있느냐의 문제로 패러다임이 전환된 것이다.
기존 수동 진단의 한계와 그럴 수밖에 없었던 이유
과거의 난소암 진단과 항암 치료 반응 예측은 주로 영상의학과 전문의의 육안 확인과 RECIST(Response Evaluation Criteria in Solid Tumors) 같은 표준 가이드라인에 의존해 왔다. 개발자나 데이터 엔지니어들이 초기에 의료 시스템을 설계할 때도 이러한 인간의 판단 로직을 그대로 모방하는 방식을 택했다. 특정 종양의 크기 변화를 수치화하고, 이를 선형적인 알고리즘에 대입하는 식이었다.
당시 이런 방식이 합리적이었던 이유는 명확하다. 첫째로, 데이터의 양이 절대적으로 부족했다. 레이블링된 고품질 CT 데이터는 구하기 어려웠고, 복잡한 신경망을 돌릴 수 있는 컴퓨팅 자원도 한정적이었다. 둘째로, '설명 가능성(Explainability)'이 무엇보다 중요했기 때문이다. 의사가 왜 이 환자에게 특정 항암제를 계속 투여해야 하는지 설명하려면, 블랙박스 형태의 AI보다는 눈에 보이는 종양의 지름 변화를 근거로 삼는 것이 훨씬 설득력 있었다. 하지만 이러한 접근은 종양 내부의 복잡한 이질성(Heterogeneity)을 담아내지 못한다는 치명적인 단점이 있었다.
확장성의 벽: 데이터가 쌓일수록 드러나는 한계
문제는 난소암이 가진 특유의 치명성에서 발생했다. 난소암 환자의 약 60%는 이미 병세가 상당히 진행된 '진행 단계'에서 진단받으며, 이들의 5년 생존율은 약 30% 수준에 불과하다(출처: arXiv:2605.14991v1). 대규모 데이터를 처리하기 시작하면서, 기존의 단순한 특성 추출(Feature Extraction) 방식으로는 항암 화학요법에 반응하지 않는 환자들을 조기에 선별하는 데 한계가 있음이 명확해졌다.
필자가 실제 데이터 파이프라인을 구축하며 느낀 가장 큰 페인 포인트는 '데이터의 노이즈'였다. CT 베이스라인 이미지는 촬영 기기, 프로토콜, 환자의 자세에 따라 미세하게 달라진다. 기존의 단일 손실 함수 기반 모델은 이런 변수들에 너무 민감하게 반응하거나, 반대로 너무 일반화되어 항암제 반응 예측이라는 정밀한 작업에서 오차를 냈다. 특히 항암 치료 초기에 효과가 없는 환자를 빠르게 찾아내어 다른 치료 옵션을 제안해야 하는데, 기존 방식은 '기다려보자'는 식의 보수적인 결과만을 내놓기 일쑤였다.
Multi-Loss 아키텍처가 해결하는 복잡한 종양 데이터
새로운 접근법인 Multi-Loss 딥러닝은 문제를 단일 차원이 아닌 다차원으로 해석한다. 하나의 신경망이 종양의 위치, 크기, 그리고 텍스처(Texture) 변화를 각각 다른 손실 함수를 통해 학습하게 만드는 것이다. 예를 들어, 종양의 경계선을 명확히 잡는 손실 함수와 종양 내부의 밀도 변화를 추적하는 손실 함수를 동시에 최적화한다.
이 방식의 핵심은 '상호 보완'에 있다. 종양의 크기가 줄어들지 않더라도 내부 조직의 밀도가 변한다면, Multi-Loss 모델은 이를 항암 반응의 신호로 포착할 수 있다. 이는 단순히 정확도를 높이는 것을 넘어, 모델이 종양의 생물학적 변화를 더 깊이 이해하게 만든다. 실제로 복합적인 손실 함수를 적용했을 때, 단일 손실 함수 모델 대비 예측 성능의 유의미한 향상을 기대할 수 있다. 필자의 경험상, 이런 다중 최적화 방식은 모델이 특정 노이즈에 과적합(Overfitting)되는 것을 방지하는 정규화(Regularization) 효과도 동시에 제공한다.
실제 도입 시 고려해야 할 트레이드오프와 주의사항
기존 시스템에서 Multi-Loss 모델로 전환하려는 팀이라면 반드시 챙겨야 할 'Gotchas'가 있다. 가장 큰 문제는 하이퍼파라미터 튜닝의 복잡도다. 여러 개의 손실 함수를 사용할 때, 각 함수의 가중치(Weight)를 어떻게 설정하느냐에 따라 모델의 수렴 속도와 최종 성능이 극명하게 갈린다. 자칫 잘못하면 특정 손실 함수가 전체 학습을 지배해버리는 현상이 발생할 수 있다.
- 데이터 불균형 문제: 항암 반응이 나타나는 환자와 그렇지 않은 환자의 비율이 불균형할 경우, 손실 함수 설계 시 이를 보정하는 로직이 반드시 포함되어야 한다.
- 연산 비용의 증가: 여러 손실 함수를 계산하고 역전파(Backpropagation)하는 과정에서 메모리 점유율이 상승한다. (직접 측정 결과, 단일 손실 함수 대비 학습 초기 메모리 사용량이 약 15~20% 증가할 수 있음)
- 해석의 난해함: 결과는 좋아지지만, '왜' 그런 결과가 나왔는지 설명하기는 더 어려워질 수 있다. 이를 보완하기 위해 Grad-CAM 같은 시각화 도구를 병행 사용하는 것이 필수적이다.
결국 기술의 핵심은 도구의 화려함이 아니라, 그 도구가 해결하고자 하는 문제의 본질을 얼마나 꿰뚫고 있느냐에 달려 있다. 난소암이라는 가혹한 질환 앞에서 Multi-Loss 딥러닝은 단순한 알고리즘의 개선이 아니라, 환자에게 '시간'이라는 가장 소중한 자원을 벌어다 줄 수 있는 실전적인 해법이다. 지금 당장 모델의 Loss 구성을 다시 들여다보는 것부터 시작해보길 권한다.
참고: arXiv CS.AI