새벽 2시, 모니터 앞의 개발자는 깊은 한숨을 내쉽니다. 특정 도메인의 지식을 자연스럽게 출력하도록 프롬프트를 수십 번 수정했지만, 모델은 여전히 엉뚱한 답변을 내놓거나 갑자기 말투가 딱딱하게 변해버립니다. 시스템 프롬프트에 '친절하게 답해줘'라고 적으면 논리적인 추론 능력이 떨어지고, '사실에만 집중해'라고 하면 로봇처럼 무미건조해지는 이른바 '시소 게임'이 반복됩니다. 배포는 코앞인데, 모델의 내부를 직접 만져서라도 이 방향성을 고정하고 싶은 마음이 간절해지는 순간입니다.
잔여 스트림이라는 거대한 흐름에 올라타던 시절
초기 거대언어모델(LLM) 연구자들과 개발자들은 모델의 출력을 제어하기 위해 '잠재 공간 간섭(Latent Intervention)'이라는 방식을 주로 사용했습니다. 모델 내부의 각 레이어를 흐르는 데이터, 즉 잔여 스트림(Residual Stream)에 특정 방향성을 가진 벡터를 더하거나 빼는 방식입니다. 예를 들어 '긍정적인 감정'을 담당하는 벡터를 찾아내어 매 스텝마다 더해주면, 모델은 자연스럽게 밝은 톤의 문장을 생성하게 됩니다.
당시 이 방식이 각광받았던 이유는 명확합니다. 모델을 처음부터 다시 학습시키거나(Retraining) 방대한 양의 데이터를 미세 조정(Fine-tuning)하는 것에 비해 비용이 압도적으로 저렴했기 때문입니다. 추론 과정에서 특정 레이어의 활성화 값만 살짝 비틀면 되기에, 개발자들은 실시간으로 모델의 '성격'을 바꿀 수 있다는 가능성에 열광했습니다. 이는 마치 거대한 함선의 방향타를 직접 조종하는 것과 같은 직관적인 만족감을 주었습니다.
밀집된 상태가 불러온 얽힘의 늪
하지만 서비스 규모가 커지고 요구사항이 정교해지면서 치명적인 문제점이 드러나기 시작했습니다. 잔여 스트림은 '밀집된(Dense)' 상태입니다. 즉, 하나의 벡터 안에 수만 개의 서로 다른 의미적 특징이 복잡하게 얽혀 있습니다. 우리가 '공손함'을 높이기 위해 특정 벡터를 주입했을 때, 모델은 공손해질 뿐만 아니라 갑자기 전문 용어를 쓰지 않게 되거나 문장의 길이를 극단적으로 줄여버리는 부작용을 보였습니다.
이러한 현상을 '의미적 얽힘(Semantic Entanglement)'이라고 부릅니다. 밀집 상태에 가하는 간섭은 마치 수술용 메스가 아닌 둔기로 환부를 타격하는 것과 비슷했습니다. 특정 기능을 강화하려다 모델의 일반적인 지능이나 다른 문법적 정확성을 훼손하는 사례가 빈번하게 보고되었습니다. 특히 복합적인 추론이 필요한 작업에서 이러한 간섭은 모델의 일관성을 무너뜨리는 주범이 되곤 했습니다. 정교한 제어가 생명인 엔터프라이즈 환경에서 이는 신뢰도를 떨어뜨리는 결정적인 결함이었습니다.
어텐션 쿼리의 희소성에서 찾은 해법
최근 연구는 이 문제를 해결하기 위해 시선을 돌렸습니다. 바로 어텐션 메커니즘 내의 '쿼리(Query)' 활성화 지점에 주목하는 것입니다. 쿼리는 모델이 다음 토큰을 예측하기 위해 과거의 어떤 정보에 집중할지를 결정하는 핵심적인 역할을 수행합니다. 연구자들은 이 쿼리 피처가 잔여 스트림보다 훨씬 더 '희소(Sparse)'하고 고해상도의 정보를 담고 있다는 가설을 세웠습니다.
희소 쿼리 피처를 최적화 대상으로 삼으면, 우리가 원하는 특정 속성만을 정밀하게 타격할 수 있습니다. 예를 들어 '정치적 중립성'이라는 속성을 쿼리 수준에서 조정하면, 모델의 문체나 지식 수준은 그대로 유지하면서 정보 탐색의 방향성만 선택적으로 수정할 수 있게 됩니다. 이는 밀집 벡터를 통째로 흔들던 과거 방식과는 차원이 다른 정밀도를 제공합니다. 실제로 특정 속성 추출 성능이 기존 잔여 스트림 대비 유의미하게 개선되었다는 점은 이 부위가 모델 제어의 '스위트 스폿'임을 시사합니다.
최적화의 길과 마주할 장애물
새로운 방식이 장점만 있는 것은 아닙니다. 경사하강법(Gradient-based Optimization)을 통해 쿼리 피처를 미세 조정하는 과정은 계산 복잡도를 높입니다. 단순히 고정된 벡터를 더하는 기존 방식은 연산 오버헤드가 거의 없었지만, 매 생성 단계마다 최적화 과정을 거치려면 추론 속도(Latency)의 저하를 피할 수 없습니다. 서비스의 실시간성이 중요하다면 이는 뼈아픈 기회비용이 될 수 있습니다.
따라서 기존의 단순 벡터 주입 방식을 사용하던 팀이 이 새로운 접근법으로 전환하려면 다음과 같은 고려가 필요합니다. 첫째, 모든 레이어가 아닌 특정 핵심 레이어의 쿼리만을 타겟팅하여 연산량을 줄여야 합니다. 둘째, 최적화 과정에서 모델의 원래 확률 분포가 지나치게 왜곡되지 않도록 하는 제약 조건을 설정해야 합니다. 무턱대고 쿼리를 수정했다가는 모델이 아예 말을 잇지 못하는 '붕괴 현상'을 겪을 수도 있기 때문입니다.
단순히 모델에게 '무엇을 하라'고 외치는 단계를 넘어, 모델이 '무엇을 보고 있는지'를 섬세하게 조정하는 시대가 오고 있습니다. 쿼리 수준의 정밀 제어는 LLM이 단순한 챗봇을 넘어 전문가용 도구로 진화하기 위한 필수적인 과정입니다. 이제는 모델의 전체적인 분위기를 바꾸려 애쓰기보다, 모델의 시선이 머무는 그 찰나의 쿼리를 분석하고 교정하는 데 집중해야 할 때입니다.
참고: arXiv CS.LG (Machine Learning)