정적인 데이터셋에서 정확도와 공정성 지표를 최적화하는 팀과, 시스템이 세상과 상호작용하며 발생하는 데이터의 왜곡을 관리하는 팀은 시간이 흐를수록 전혀 다른 결과를 마주하게 된다. 단순히 현재 주어진 레이블에만 집중하는 개발자는 모델이 스스로 편향된 데이터를 생산하고 있다는 사실을 놓치기 쉽다. 반면, 장기적 공정성의 메커니즘을 이해하는 개발자는 단기적인 성능 손실을 감수하더라도 시스템의 지속 가능성과 윤리적 무결성을 동시에 확보하는 설계를 구축한다. 이 차이는 서비스가 운영되는 기간이 길어질수록 극명하게 드러난다.
단기적 지표의 배신과 선택적 레이블의 탄생
전통적인 머신러닝 공정성 연구는 대개 고정된 데이터셋 내에서 특정 그룹 간의 예측 차이를 줄이는 데 집중해 왔다. 하지만 현실의 의사결정 시스템은 고립된 섬이 아니다. 대출 심사 모델이 특정 그룹의 대출을 거절하면, 그들이 실제로 대출을 상환했을지에 대한 데이터는 영원히 얻을 수 없다. 이것이 바로 '선택적 레이블(Selective Labels)' 문제의 핵심이다. 모델이 선택한 대상에 대해서만 결과(레이블)를 관측할 수 있기 때문에, 모델의 판단 기준이 미래에 수집될 데이터의 성격 자체를 결정짓게 된다.
이러한 현상은 시스템과 인구 집단 사이의 피드백 루프를 형성한다. 만약 모델이 특정 배경을 가진 사용자들에게 불리한 결정을 내린다면, 해당 사용자들은 시스템 내에서 긍정적인 이력을 쌓을 기회 자체를 박탈당한다. 결과적으로 다음 학습 주기에서 모델은 해당 그룹에 대해 더 부정적인 데이터를 학습하게 되며, 이는 공정성 지표를 악화시키는 악순환으로 이어진다. 과거의 연구들이 정적인 상태에서의 '기회의 평등'이나 '예측의 동등성'을 따졌다면, 이제는 모델의 정책이 인구 통계적 특성에 미치는 동적인 변화를 추적해야 할 시점이다.
정책과 인구 동역학의 상호작용 설계
장기적 공정성 알고리즘의 내부 구조는 단순한 분류기를 넘어, 정책(Policy)과 인구 상태(Population State)의 상호작용을 모델링하는 프레임워크를 갖춘다. 핵심은 현재의 결정이 미래의 특징량 분포를 어떻게 변화시키는지를 수학적으로 정의하는 것이다. 예를 들어, 교육 기회를 제공하는 모델이라면 현재의 교육 지원 결정이 사용자의 미래 숙련도와 소득 수준에 미치는 영향을 전이 확률(Transition Probability)로 계산한다.
이 과정에서 선택적 레이블 문제를 해결하기 위해 '반사실적 추론(Counterfactual Reasoning)' 기법이 도입되기도 한다. 선택되지 않은 사용자들에 대한 잠재적 결과를 추정하여 모델의 편향을 보정하는 방식이다. 데이터가 부분적으로만 관측되는 상황에서 전체 인구의 잠재적 분포를 추정하는 것은 매우 까다로운 작업이지만, 시스템의 동역학을 고려하지 않은 모델이 장기적으로 특정 집단의 사회적 효용을 훼손한다는 연구 결과(출처: arXiv:2605.22291v1)는 이러한 복잡한 설계의 필요성을 뒷받침한다. 모델은 이제 단순한 예측 도구가 아니라, 사회적 자원을 배분하고 그 결과로 사회의 모습을 바꾸는 능동적인 행위자로 기능한다.
성능과 공정성 사이의 냉혹한 트레이드오프
장기적 공정성을 추구하는 과정에서 개발자는 필연적으로 성능의 하락을 경험하게 된다. 이를 '공정성의 비용(Price of Fairness)'이라 부르는데, 이는 단순한 수치상의 손실이 아니라 미래를 위한 투자에 가깝다. 정적인 환경에서 최적화된 모델은 당장의 정확도를 높일 수 있지만, 장기적으로는 인구 집단의 균형을 무너뜨려 전체적인 시스템 효율성을 저해한다.
- 데이터 수집 편향의 심화: 선택적 레이블에만 의존할 경우, 모델의 탐색(Exploration) 범위가 좁아져 잠재적으로 우수한 사용자를 놓치는 기회비용이 발생한다.
- 그룹 간 효용 역전: 단기적 공정성 지표를 강제할 때, 오히려 특정 그룹의 장기적 복지가 감소하는 현상이 관측되기도 한다. (출처: arXiv:2605.22291v1 분석 내용 기반)
- 수렴 속도의 저하: 동역학을 고려한 최적화는 정적 최적화보다 훨씬 많은 반복 계산과 정교한 하이퍼파라미터 튜닝을 요구한다.
실제로 장기적 관점을 도입했을 때 단기 정확도가 5~10%가량 하락할 수 있다는 점을 인지해야 한다. 하지만 이는 데이터의 편향을 사전에 차단함으로써 미래에 발생할 대규모 모델 재학습 비용과 윤리적 리스크를 상쇄하는 결정이다. 필자의 판단으로는, 데이터가 누적될수록 편향이 증폭되는 도메인일수록 이러한 단기적 손실은 선택이 아닌 필수적인 보험료로 간주해야 한다.
시스템 도입을 위한 의사결정 프레임워크
모든 프로젝트에 장기적 공정성 모델링이 필요한 것은 아니다. 시스템의 복잡도를 높이기 전에, 현재 다루는 도메인이 다음의 조건에 해당하는지 검토해야 한다. 첫째, 의사결정 결과가 사용자의 미래 상태(예: 신용 점수, 건강 상태)에 직접적인 영향을 미치는가? 둘째, 선택되지 않은 대상에 대한 레이블이 누락되는 선택적 레이블 구조인가? 셋째, 모델이 동일한 인구 집단을 대상으로 반복적으로 의사결정을 수행하는가?
만약 일회성 이벤트에 대한 예측이거나, 레이블이 모든 대상에 대해 사후적으로 공개되는 구조라면 굳이 복잡한 장기적 모델링을 도입할 필요가 없다. 하지만 금융, 채용, 공공 서비스와 같이 피드백 루프가 강력하게 작동하는 분야라면 단기적 지표에 안주하는 것은 위험하다. 사실 많은 기업이 당장의 KPI 달성을 위해 장기적 데이터 오염을 방관하곤 한다. 그러나 데이터의 질이 곧 모델의 생명줄임을 고려할 때, 스스로 오염된 데이터를 만들어내는 시스템을 방치하는 것은 기술적 부채를 기하급수적으로 늘리는 행위와 다름없다.
모델의 공정성은 단순히 '착한 AI'를 만드는 문제가 아니다. 그것은 데이터의 편향을 통제하여 예측의 신뢰도를 유지하고, 시스템이 장기적으로 건강한 데이터 생태계 안에서 작동하게 만드는 고도의 엔지니어링 전략이다. 지금 당신의 모델이 내리는 결정이 1년 뒤 당신이 학습할 데이터를 어떻게 바꾸고 있는지 자문해 보라. 그 질문에 답할 수 없다면, 당신은 이미 선택적 레이블의 함정에 빠져 있을지도 모른다.
참고: arXiv CS.LG (Machine Learning)