스마트 팩토리의 컨베이어 벨트 위에 놓인 부품들을 바라보는 개발자의 미간이 찌푸려집니다. 내일모레가 바로 자동 불량 검출 시스템의 최종 배포일인데, 적외선 열화상 카메라 센서에서 들어오는 데이터는 여전히 갈피를 잡지 못하고 있습니다. 모니터 화면에는 온통 붉고 노란 픽셀의 열분포 이미지만 가득할 뿐입니다. 겉보기에 완전히 똑같이 뜨겁게 달구어진 알루미늄 합금 부품과 아크릴 수지 부품이 화면상에서는 동일한 주황색 덩어리로 표시되어, 현재의 합성곱 신경망(CNN) 분류 모델로는 두 재질을 전혀 구분해내지 못하는 상황입니다. 카메라의 해상도를 높이고 조명을 조절해 보아도 표면 온도 자체의 정적 분포만으로는 물질 내부의 진짜 특성을 알아낼 방법이 보이지 않습니다.
이러한 장벽에 부딪히는 이유는 우리가 열화상 카메라를 단순한 '색상 이미지 센서'처럼 다루고 있기 때문입니다. 열화상 카메라가 포착하는 픽셀 값은 특정 순간의 표면 온도에 불과하며, 이는 주변 환경의 온도, 가열 시간, 물체의 형상에 따라 끊임없이 변화하는 일시적인 상태 변수입니다. 반면 우리가 실제로 알고자 하는 것은 물체의 재질을 결정하는 열전도율(Thermal Conductivity), 비열(Specific Heat Capacity), 열확산율(Thermal Diffusivity)과 같은 고유한 '열물성(Thermophysical Properties)'입니다. 이 근본적인 물리량을 알아내지 못하면 외부 환경이 조금만 바뀌어도 모델의 분류 성능은 곤두박질치게 됩니다.
열화상 카메라가 단순한 '색상 이미지'로 취급받을 때 발생하는 한계
대부분의 컴퓨터 비전 엔지니어들은 열화상 데이터를 RGB 이미지와 유사한 2D 그리드 데이터로 취급하여 기존의 객체 검출이나 세그멘테이션 모델에 그대로 입력합니다. 하지만 이러한 접근 방식은 열역학적 관점에서 치명적인 한계를 가집니다. 일반적인 가시광선 이미지는 물체 표면의 반사율을 포착하므로 조명이 일정하다면 시간에 따라 변하지 않는 안정적인 특징을 제공합니다. 반면 열 이미지는 열에너지가 물체 내부와 외부로 이동하는 동적인 과정의 한 단면만을 보여줄 뿐입니다.
예를 들어 두께가 다른 두 개의 철판이 동일한 열원에 노출되었을 때, 가열 초기에는 두 철판의 표면 온도가 비슷해 보일 수 있습니다. 하지만 시간이 흐름에 따라 열이 내부로 전도되는 속도의 차이로 인해 두 물체의 온도 변화 궤적은 완전히 달라집니다. 단일 시점의 정적 열화상 이미지만을 사용하는 인공지능 모델은 이러한 시간적 역학 관계를 완전히 놓치게 되며, 결과적으로 물체의 내부 결함이나 재질 차이를 정밀하게 식별하는 데 실패하게 됩니다.
물리적 인과관계를 무시한 딥러닝과 열전달 방정식의 괴리
이러한 기술적 한계가 발생하는 근본 원인은 일반적인 딥러닝 아키텍처가 열전달을 지배하는 물리 법칙(Partial Differential Equations, PDEs)을 전혀 인지하지 못한다는 데 있습니다. 열의 이동은 푸리에의 열전도 법칙과 에너지 보존 법칙에 기반한 열방정식에 의해 엄격하게 제어됩니다. 즉, 특정 지점의 온도 변화율은 주변과의 온도 차이 및 물질 고유의 열확산율에 비례합니다.
기존의 순수 데이터 구동형(Data-driven) 모델은 이러한 물리적 제약 조건 없이 단순히 입력 픽셀과 출력 라벨 간의 상관관계만을 학습합니다. 이로 인해 학습 데이터셋에 존재하지 않는 새로운 기하학적 구조를 가진 물체나, 다른 초기 온도 조건이 주어지면 모델의 예측 신뢰도가 급격히 떨어지는 오버피팅 문제가 발생합니다. 물리적 인과관계가 배제된 신경망은 온도가 시간이 지남에 따라 점진적으로 확산되어야 한다는 상식적인 규칙조차 지키지 못하고, 현실 세계에서 불가능한 튀는 예측값을 내놓기도 합니다.
시간 해상도 기반의 열물성 추론 파이프라인 설계하기
이 문제를 해결하기 위해서는 단일 정적 관측에서 벗어나, 시간에 따른 온도 변화를 추적하는 '시간 해상도 기반 관측(Time-Resolved Thermal Observations)' 아키텍처로 전환해야 합니다. 핵심 아이디어는 대상 물체에 일시적인 열 자극(예: 짧은 열풍기 가열 또는 적외선 램프 조사)을 준 뒤, 냉각되거나 가열되는 과정을 일정 시간 동안 연속적으로 촬영하여 시계열 열화상 비디오 데이터를 확보하는 것입니다.
전체적인 파이프라인은 다음과 같은 단계로 구성됩니다. 첫째, 열 센서로부터 유입되는 고프레임 시계열 데이터를 3D 텐서(가로 x 세로 x 시간) 형태로 구조화합니다. 둘째, 각 픽셀 위치에서의 온도 변화 곡선(Thermal Decay Curve)을 추출합니다. 셋째, 이 시계열 신호를 입력받아 각 픽셀 영역에 해당하는 물질의 열확산율과 열관성(Thermal Inertia)을 픽셀 단위로 매핑하는 역문제(Inverse Problem) 해결용 인공신경망을 설계합니다. 이 방식을 통해 모델은 단순한 온도가 아닌, 외부 자극에 반응하는 물질 고유의 '열적 지문'을 학습하게 됩니다.
차분 가능한 물리 시뮬레이터와 신경망의 결합
한 단계 더 나아가 모델의 일반화 성능을 극대화하기 위해, 신경망 내부에 '차분 가능한 물리 시뮬레이터(Differentiable Physics Simulator)'를 통합하는 아키텍처를 도입합니다. 신경망이 관측된 시계열 온도를 바탕으로 대상 물체의 열물성(예: 열전도율 분포)을 예측하면, 이 예측된 물리량을 차분 가능한 열전달 시뮬레이터에 입력하여 가상의 온도 변화 시나리오를 시뮬레이션합니다.
이후 시뮬레이션된 온도 시계열 데이터와 실제 카메라로 관측한 실제 온도 시계열 데이터 간의 차이를 비교하여 손실 함수(Loss Function)를 계산합니다. 이 손실 함수는 역전파(Backpropagation) 과정을 통해 시뮬레이터를 거쳐 신경망의 가중치까지 그대로 전달됩니다. 이러한 물리 정보 기반 머신러닝(Physics-Informed Machine Learning) 구조를 적용하면, 모델은 물리적으로 불가능한 열물성 값을 예측할 수 없게 되며, 매우 적은 양의 실제 학습 데이터만으로도 미지의 재질과 복잡한 내부 구조를 정확하게 추론할 수 있는 강력한 성능을 확보하게 됩니다.
실제 하드웨어 환경에서 추론 엔진 검증 및 최적화하기
구현한 열물성 추론 시스템이 현장에서 실제로 작동하는지 검증하기 위해서는 통제된 테스트 벤치에서의 실험이 필수적입니다. 먼저 열적 특성이 명확히 알려진 표준 샘플(예: 순도 높은 구리, 알루미늄, 아크릴, 유리판 등)을 준비합니다. 이 샘플들을 컨베이어 벨트 위에 배치하고, 일정한 세기의 열 자극을 가한 후 적외선 카메라로 냉각 과정을 촬영합니다.
학습된 추론 엔진이 출력한 각 샘플의 열전도율 및 비열 예측값을 물리 교과서상의 표준 데이터 상숫값과 비교하여 오차율을 측정합니다. 또한, 내부 공동(Void)이나 균열이 있는 불량 부품을 인위적으로 제작하여, 시스템이 표면 온도 아래 숨겨진 내부 결함의 위치와 크기를 열물성 맵 상에서 뚜렷하게 시각화해내는지 검증합니다. 실시간 운영 관점에서는 차분 가능한 시뮬레이터 연산이 엣지 디바이스에서 병목을 일으키지 않도록, 추론 단계에서는 물리 시뮬레이터를 제외하고 경량화된 신경망 인코더만 구동하도록 모델을 경량화 및 컴파일하여 배포함으로써 공정 라인의 요구 속도를 완벽히 충족시킬 수 있습니다.
참고: arXiv CS.AI