본 발명은 2D 얼굴 이미지로부터 기지정된 방식으로 획득된 UV 맵을 인가받고, 인가된 UV 맵의 홀 영역과 나머지 영역을 구분한 마스크와 UV 맵이 좌우 반전된 플립 UV 맵을 UV 맵에 결합하여 입력 UV 맵을 획득하는 입력 전처리부, 인공 신경망으로 구현되어 입력 UV 맵을 인가받고 미리 학습된 패턴 추정 방식에 따라 인가된 입력 UV 맵의 패턴으로부터 UV 맵의 홀 영역의 색상이 채워진 완성 UV 맵을 생성하는 UV 맵 완성부 및 학습시에 구비되어, 완성 UV 맵과 마스크를 인가받아 각각 좌우 2분할하고, 학습되는 패턴 추정 방식에 따라 분할된 2개의 완성 UV 맵 중 리얼 이미지와 페이크 이미지를 추정하는 한편, 분할된 2개의 마스크를 기반으로 실제 리얼 이미지와 페이크 이미지를 판별하여 생성된 완성 UV 맵에 대한 생성 손실을 계산 및 역전파하는 UV 맵 판정부를 포함하여, 사람 얼굴의 대칭성에 기반하여 2D 이미지에서 획득된 영역을 학습 데이터로 이용하여 자기 판별 기반 경쟁 학습을 수행함으로써, 학습을 위해 별도로 2D 얼굴 이미지를 획득하거나 완성된 UV 맵 없이도 2D 얼굴 이미지에서 캡쳐되지 않은 폐색 영역의 색상을 자연스럽게 합성하여 UV 맵을 완성할 수 있는 얼굴 이미지 색상 합성 장치 및 방법을 제공할 수 있다.