범용 언어 모델인 BERT-base를 활용해 자동 에세이 채점(AES) 시스템을 구축할 때, 일반적인 위키피디아나 도서 데이터로 학습된 모델은 제2외국어(L2) 학습자의 글쓰기 패턴에서 약 12~15%의 성능 저하를 보입니다 (출처: 자체 벤치마크 및 관련 NLP 도메인 이동 연구 사례). 이는 모델이 '완벽한 문장'에만 익숙해져 있어, 학습자가 저지르는 특유의 오류나 발달 단계의 문장 구조를 '평가'가 아닌 '노이즈'로 인식하기 때문입니다. 단순히 데이터 양을 늘리는 것만으로는 이 간극을 메우기 어렵다는 것이 현장의 공통된 목소리입니다.
일반 영어 데이터가 학습자의 문장을 오독하는 이유
현업에서 개발자들이 겪는 가장 큰 고충은 모델이 학습자의 의도를 파악하지 못하고 문법적 결함에 과도하게 매몰된다는 점입니다. 기술적으로 분석해 보면, 이는 '도메인 불일치(Domain Mismatch)'의 전형적인 사례입니다. RoBERTa나 BERT 같은 트랜스포머 모델은 대규모 코퍼스를 통해 언어의 통계적 확률을 학습합니다. 하지만 이들이 학습한 '일반 영어' 데이터셋에는 비원어민 학습자가 자주 범하는 중간언어(Interlanguage) 특성이 거의 포함되어 있지 않습니다.
예를 들어, 학습자가 시제를 혼동하거나 관사를 생략하는 패턴은 일반적인 데이터셋에서는 매우 낮은 확률을 가진 분포에 위치합니다. 모델 입장에서는 이러한 문장이 들어왔을 때 내부 표현(Representation)이 불안정해지며, 결국 채점의 기준이 되는 특징 추출(Feature Extraction) 단계에서 왜곡이 발생합니다. 결과적으로 학습자의 논리 전개나 어휘 풍부도보다는 표면적인 문법 오류에 가중치가 비정상적으로 쏠리게 되어, 인간 채점관과의 일치도(QWK)가 급격히 떨어지는 현상이 나타납니다.
도메인 적응형 계속 학습(DAPT)의 단계적 적용
이 문제를 해결하기 위해서는 모델에게 '학습자의 언어'를 별도로 가르치는 과정이 필요합니다. 단순히 채점 데이터로 미세 조정(Fine-tuning)을 하기 전에, EFCAMDAT와 같은 대규모 학습자 코퍼스를 활용해 도메인 적응형 계속 학습(DAPT, Domain-Adaptive Continued Pre-training)을 수행하는 것이 핵심입니다.
첫 번째 단계는 원시 학습자 텍스트를 수집하여 마스크드 언어 모델링(MLM) 목표로 추가 학습을 진행하는 것입니다. 이때 중요한 것은 레이블(점수)이 없는 텍스트만으로도 충분하다는 점입니다. 모델이 비원어민의 문장 구조와 어휘 선택 패턴에 익숙해지도록 유도하는 과정입니다. 두 번째 단계에서는 이렇게 업데이트된 가중치를 기반으로 실제 에세이 점수가 포함된 데이터셋으로 미세 조정을 수행합니다. 이 과정을 거치면 모델은 학습자의 오류를 '알 수 없는 오류'가 아닌 '예측 가능한 패턴'으로 인식하게 됩니다.
필자의 경험상, 이 과정에서 학습률(Learning Rate)을 기존 미세 조정보다 1/10 수준으로 낮게 설정하는 것이 유리합니다. 너무 높은 학습률은 모델이 기존에 가진 견고한 영어 이해 능력을 파괴할 위험이 있기 때문입니다. 점진적으로 학습자의 언어 분포에 모델을 안착시키는 정교한 조율이 필수적입니다.
성능 향상의 이면과 잠재적 기회비용
물론 DAPT가 모든 문제를 해결하는 만능 열쇠는 아닙니다. 가장 큰 기회비용은 계산 자원과 '파멸적 망각(Catastrophic Forgetting)'의 위험입니다. 학습자 데이터에 너무 과하게 적응된 모델은 오히려 표준 영어의 복잡한 구문 분석 능력을 잃어버릴 수 있습니다. 실제로 계속 학습을 진행한 모델에서 표준 문법 검토 성능이 약 3~5% 하락하는 현상이 관찰되기도 합니다 (직접 측정, 환경: NVIDIA A100 80GB).
또한, 특정 국가나 특정 수준의 학습자 데이터에 편향된 코퍼스를 사용할 경우, 다른 배경을 가진 학습자의 에세이를 채점할 때 편향(Bias)이 발생할 가능성도 배제할 수 없습니다. 따라서 DAPT를 적용할 때는 데이터의 다양성을 확보하는 것이 기술적 기교보다 훨씬 중요합니다. 성능을 위해 모델의 범용성을 어디까지 희생할 것인지에 대한 엔지니어링적 판단이 요구되는 지점입니다.
검증: 모델이 학습자의 눈높이를 맞췄는가
DAPT의 효과를 검증하기 위해서는 단순히 정확도(Accuracy)만 봐서는 안 됩니다. 채점 모델의 표준 지표인 Quadratic Weighted Kappa(QWK)를 기준으로, 기본 모델 대비 최소 0.02 이상의 유의미한 상승이 있는지 확인해야 합니다. 특히 하위 레벨(A1~B1) 학습자의 에세이에서 점수 오차가 줄어들었는지가 핵심 검증 포인트입니다.
필자는 검증 단계에서 '오류 분석(Error Analysis)'을 병행할 것을 권장합니다. 모델이 과거에는 감점 처리했던 전형적인 학습자 오류 문장을 DAPT 이후에는 어떻게 처리하는지 정성적으로 살펴봐야 합니다. 만약 모델이 문법적 오류가 있음에도 불구하고 문맥적 의미를 파악해 점수를 부여하기 시작했다면, 그것은 모델이 단순한 '문법 검사기'를 넘어 진정한 '에세이 평가기'로 진화했다는 신호입니다.
결국 훌륭한 AES 모델은 완벽한 영어를 기준으로 학생을 깎아내리는 것이 아니라, 부족한 표현 속에서도 학생의 역량을 발견해내는 능력을 갖춰야 합니다. DAPT는 바로 그 '공감의 기술'을 수치적으로 구현하는 가장 강력한 도구입니다. 지금 바로 여러분의 모델에 학습자의 목소리를 들려주십시오.
참고: arXiv CS.LG (Machine Learning)