연세대학교 미래캠퍼스 황의원 교수 연구팀,
글로벌 AI 학회 ICLR서 도메인 적응 연구로 2편의 논문 채택
(오른쪽 아래부터 시계방향) 정다흰 박사과정, 이종현 박사과정, 연세대 미래캠퍼스 황의원 교수, 이세형 박사과정, 서울대 윤성로 교수, 신주현 박사과정, 박준성 박사과정
연세대학교 미래캠퍼스 디지털헬스케어학부 황의원 교수와 서울대학교 전기정보공학부 및 협동과정 인공지능전공 윤성로 교수 공동 연구팀은 도메인 적응 분야의 2건의 연구결과가 세계 최고 권위의 인공지능 학술대회인 ‘표현학습국제학회(International Conference on Learning Representations, 이하 ‘ICLR’)’에 채택되었다고 밝혔다. 특히, 1건의 연구는 제출된 논문의 상위 5%에 주어지는 Spotlight에 선정됐다.
학회 이미지 (출처: iclr.cc)
ICLR은 올해로 12회째를 맞는 국제 인공지능 학술대회로, 구글 스칼라(Google Scholar)가 발표하는 h-5 인덱스 기준 인공지능 및 기계학습 분야에서 NeurIPS, ICML과 더불어 매년 최상위를 차지하고 있으며, 모든 분야의 출판물 중 10위를 기록하며 그 권위를 인정받고 있다.
실세계에서 기존에 보유한 데이터와 새롭게 취득된 데이터의 분포에 차이가 발생할 수 있으며, 이를 도메인 차이라고 한다. 예를 들어, 자율주행의 경우 날씨의 변화로 인해, 의생명 데이터의 경우 병원 간 생체신호 측정 프로토콜의 차이로 인해 도메인 차이가 발생할 수 있다. 기존 인공지능은 소스 도메인 데이터로 학습된 딥러닝 모델을 이용하여 새로운 타겟 도메인 데이터에 대한 예측을 수행할 때 도메인 차이가 존재하는 경우 성능이 크게 저하되는 문제를 가지고 있다. 따라서, 최근 이를 극복하기 위한 도메인 적응(Domain adaptation) 기술이 활발히 연구되고 있다.
(그림설명) SFDA 연구 개요
연세대-서울대 공동 연구팀은 첫 번째 연구로 소스 도메인 데이터가 비용 및 보안상의 이유로 공개되지 못하는 경우에도 소스 도메인 데이터 없이 사전학습된 모델만을 이용하는 소스-프리 도메인 적응(Source-free domain adaptation, 이하 ‘SFDA’) 방법을 제안했다. 본 연구는 데이터 증강의 관점에서 SFDA를 재해석하여 유사한 의미정보를 갖는 데이터는 서로 인접하도록 증강 그래프를 정의한 뒤, 그래프의 분할을 구하는 방법을 설계했다. 또한, 메모리와 연산량을 증가시키지 않고 내재적으로 데이터를 증강시키는 것과 동일한 효과를 가지는 방법을 제안하여 도메인 적응 성능을 더욱 향상시켰다.
(그림설명) TTA 연구 개요
연구팀은 두번째 연구로 최소한의 리소스로 실시간에 가깝게 SFDA를 수행하기 위한 테스트 시간 적응(Test-time adaptation, 이하 ‘TTA’) 방법을 제안했다. TTA의 주요 도전 과제는 도메인 적응 중에 전체 테스트 데이터셋에 접근할 수 없어 오류가 누적된다는 점이다. 연구팀은 이미지 내 물체의 모양이 예측에 미치는 영향을 측정하기 위하여 물체의 모양을 파괴하는 이미지 변형을 적용하기 전후의 예측 간 차이를 측정하고, 이를 TTA에 활용하여 신뢰도 높은 테스트 데이터를 필터링하는 데에 활용하였다. 제안하는 방법은 도메인 적응 중 누적되는 오류를 줄이는 한편, 실세계 데이터 시나리오를 포함한 다양한 상황에서 기존 방법에 비해 높은 성능을 보였다. 해당 논문은 우수성을 인정받아 Spotlight 세션에서 발표될 예정이다.
연세대학교 미래캠퍼스 디지털헬스케어학부 황의원 교수는 “두 연구결과는 소스 도메인 데이터가 주어지지 않는 환경에서도 적은 연산으로 도메인 차이를 효과적으로 극복할 수 있어 자율주행, 스마트팩토리, 의료 및 헬스케어 등 실세계 인공지능의 핵심기술로 활용될 것으로 기대한다”고 설명했다.
이번 연구는 오는 5월 오스트리아 비엔나에서 개최되는 ICLR 2024에서 발표될 예정이며, 논문은 학회 프로시딩에 게재되어 Openreview (https://openreview.net/forum?id=kUCgHbmO11, https://openreview.net/forum?id=9w3iw8wDuE)를 통해 확인할 수 있다.
