arXiv:2607.07974 연구에 따르면, 기존의 의도 탐지(Intent Detection) 시스템은 사전에 정의되지 않은 사용자 입력, 즉 범위 밖(Out-of-Scope, OOS) 데이터를 처리할 때 탐지 정확도가 눈에 띄게 저하되는 문제를 안고 있습니다. 이러한 현상은 실제 대화형 AI 서비스에서 사용자가 개발자가 의도하지 않은 질문을 던졌을 때, 시스템이 이를 억지로 기존 카테고리 중 하나로 오분류하면서 발생합니다. 단순히 '모르는 질문'을 처리하지 못하는 것을 넘어, 엉뚱한 답변을 확신에 차서 내놓는 '과잉 확신(Overconfidence)' 문제는 사용자 경험을 심각하게 저해하며 서비스 신뢰도를 떨어뜨리는 주요 원인이 됩니다.
모호한 사용자 발언이 초래하는 챗봇의 과잉 확신 문제
대화형 인터페이스를 설계하는 개발자들은 대개 '송금', '잔액 조회', '비밀번호 변경'과 같이 명확하게 정의된 인스코프(In-Scope, IS) 데이터셋을 기준으로 모델을 학습시킵니다. 하지만 실제 운영 환경에서 사용자는 "오늘 날씨 어때?"라거나 "근처 맛집 알려줘"와 같이 금융 서비스와 무관한 질문을 던지기 일쑤입니다. 이때 모델은 자신이 배운 범위 내에서 가장 유사한 항목을 찾아내려 노력하며, 결과적으로 날씨 질문을 '잔액 조회'로 분류하는 식의 오류를 범하게 됩니다. 이는 단순히 분류의 문제가 아니라, 시스템이 자신의 지식 한계를 인식하지 못하는 아키텍처적 결함에서 기인합니다.
이러한 문제는 특히 고객 지원용 챗봇이나 음성 비서 서비스에서 치명적입니다. 개발자는 모든 예외 상황을 수동으로 라벨링하여 '기타' 클래스에 넣으려 시도하지만, 세상의 모든 '범위 밖' 질문을 수집하는 것은 물리적으로 불가능합니다. 결국 시스템은 학습 데이터에 존재하지 않는 미지의 데이터(Unseen Data)가 들어왔을 때 이를 적절히 거부(Reject)하거나 사용자에게 다시 질문을 유도하는 능력을 갖추어야 합니다. 하지만 기존의 소프트맥스(Softmax) 기반 분류기는 모든 확률의 합을 1로 만들기 때문에, 전혀 상관없는 입력에 대해서도 특정 클래스에 높은 점수를 부여하는 경향이 있습니다.
기존 다중 클래스 분류 모델이 OOS 탐지에서 한계를 보이는 기술적 원인
기술적으로 분석했을 때, OOS 탐지가 어려운 이유는 임베딩 공간(Embedding Space)에서의 밀도 문제입니다. 기존의 다중 클래스 분류 방식은 각 의도(Intent) 간의 경계를 나누는 데 집중할 뿐, 각 의도의 '영역' 자체를 정의하지는 않습니다. 이로 인해 인스코프 데이터들 사이의 빈 공간이나 아주 먼 외곽 지역에 위치한 데이터 포인트들도 가장 가까운 결정 경계(Decision Boundary)에 의해 특정 클래스로 강제 배정됩니다. 즉, 모델이 데이터의 분포를 학습하는 것이 아니라 클래스 간의 차이점만을 학습하기 때문에 발생하는 근본적인 한계입니다.
또한, 대규모 언어 모델을 임베딩에 사용할 경우 발생하는 연산 비용과 지연 시간(Latency)도 무시할 수 없는 요소입니다. BERT나 RoBERTa와 같은 무거운 모델은 정교한 임베딩을 제공하지만, 실시간 응답이 중요한 대화형 시스템에서는 부담이 됩니다. 그렇다고 가벼운 모델을 쓰자니 OOS를 구분해낼 만큼의 세밀한 특징 추출 능력이 부족해지는 딜레마에 빠지게 됩니다. 결과적으로 인스코프 데이터와 OOS 데이터가 임베딩 공간에서 서로 뒤엉키게 되고, 이는 곧 낮은 탐지 정밀도와 높은 오탐율(False Positive Rate)로 이어지게 됩니다.
MiniLM 임베딩과 다중 클러스터 경계 학습을 활용한 해결 전략
이러한 한계를 극복하기 위해 제안된 방법론은 MiniLM(Mini Language Model)의 효율성과 다중 클러스터 경계 학습(Multi-cluster Boundary Learning)을 결합하는 것입니다. MiniLM은 대형 언어 모델의 지식을 증류(Distillation)하여 파라미터 수는 줄이면서도 문맥 파악 능력은 유지한 모델로, 실시간 서비스 환경에 적합한 속도를 보장합니다. 연구진은 이 MiniLM을 백본(Backbone)으로 삼아 입력 문장을 고차원 벡터로 변환한 뒤, 이를 단순히 분류기에 넣는 대신 각 의도별로 세밀한 클러스터링을 수행합니다.
핵심 아이디어는 각 의도 클래스마다 단 하나의 중심점을 갖는 것이 아니라, 여러 개의 하위 클러스터를 형성하고 그 주변에 '경계(Boundary)'를 학습시키는 것입니다. 예를 들어 '송금'이라는 의도 안에서도 '계좌 송금', '연락처 송금', '예약 송금' 등 다양한 표현 방식이 존재할 수 있습니다. 이를 다중 클러스터로 나누어 관리하면 인스코프 데이터의 분포를 훨씬 더 촘촘하게 감쌀 수 있습니다. 이렇게 형성된 경계 밖에 위치한 데이터는 모델이 즉각적으로 OOS로 간주하여 처리하게 되며, 이는 기존의 단일 경계 모델보다 훨씬 정교한 거부 메커니즘을 제공합니다.
제안된 아키텍처의 실제 구현 및 최적화 프로세스
구현 단계에서 개발자는 먼저 MiniLM을 통해 추출된 임베딩 벡터를 기반으로 각 인스코프 클래스 내에서 K-평균(K-means)과 같은 알고리즘을 활용해 하위 클러스터를 생성해야 합니다. 이후 각 클러스터의 중심으로부터 특정 거리 이내에 데이터가 위치하도록 유도하는 손실 함수(Loss Function)를 설계하여 모델을 미세 조정(Fine-tuning)합니다. 이때 경계의 크기를 결정하는 하이퍼파라미터 설정이 중요한데, 경계가 너무 좁으면 인스코프 데이터를 OOS로 오인하는 '거부 오류'가 늘어나고, 너무 넓으면 OOS를 놓치는 '수용 오류'가 발생하기 때문입니다.
학습 과정에서는 인스코프 데이터만을 사용하여 '자기 지도 학습(Self-supervised Learning)'의 원리를 적용할 수 있다는 점이 큰 장점입니다. 별도의 방대한 OOS 데이터셋을 구축할 필요 없이, 인스코프 데이터의 밀도 분포를 정확히 학습하는 것만으로도 미지의 데이터를 가려낼 수 있는 능력이 생기기 때문입니다. 또한, MiniLM의 경량화된 구조 덕분에 다중 클러스터 연산이 추가됨에도 불구하고 추론 속도는 실시간 서비스를 운영하기에 충분한 수준을 유지할 수 있습니다. 이는 운영 비용 절감과 성능 향상이라는 두 마리 토끼를 동시에 잡는 전략이 됩니다.
정밀도와 재현율로 검증하는 OOS 탐지 성능 평가
모델의 성능을 검증하기 위해서는 단순 정확도(Accuracy)보다는 OOS 전용 지표인 'OOS-Recall'과 'OOS-Precision'을 중점적으로 살펴봐야 합니다. arXiv:2607.07974에 기술된 실험적 접근 방식에 따르면, 다중 클러스터 경계 학습을 적용했을 때 기존의 단일 소프트맥스 분류기 대비 OOS 탐지 성능이 유의미하게 개선됨을 확인할 수 있습니다. 특히 인스코프 데이터와 유사한 단어를 포함하고 있지만 의미상으로는 다른 '까다로운 OOS' 샘플들을 걸러내는 능력이 탁월해집니다.
최종적으로 개발자는 테스트 셋에서 인스코프 데이터의 분류 정확도를 유지하면서도 OOS 데이터를 얼마나 성공적으로 차단하는지를 측정하여 모델을 배포해야 합니다. 실제 서비스 환경에서는 사용자 피드백 루프를 결합하여, 모델이 OOS로 판단하여 답변을 거부한 사례들을 정기적으로 검토하고 이를 새로운 인스코프 클래스로 확장하거나 경계를 재조정하는 운영 최적화 과정이 필요합니다. 이러한 선순환 구조를 통해 대화형 AI는 시간이 지날수록 더욱 견고하고 신뢰할 수 있는 시스템으로 진화하게 됩니다.
참고: arXiv CS.AI