본 발명은 3D 얼굴 이미지로 합성하고자 하는 2D 얼굴 이미지를 인가받아 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지의 패턴으로부터 매칭 파라미터를 추출하여 기지정된 3D 얼굴 모델을 2D 얼굴 이미지에 정렬시켜 UV 맵을 획득하는 얼굴 모델 정렬부; 및 미리 학습된 패턴 추정 방식에 따라 2D 얼굴 이미지의 스캔되지 않은 영역에 의해 UV 맵에 발생된 홀 영역을 얼굴의 수평 대칭성에 기반하여 추정하여 채워 보상 UV 맵을 획득하고, 보상 UV 맵의 미세 특징을 추출하여, 미세 특징이 반영된 UV 맵을 복원함으로써 UV 완성 맵을 획득하는 UV 맵 완성부를 포함하고, 생성 손실과 판별 손실이 저감되도록 얼굴 모델 정렬부와 UV 맵 완성부를 경쟁 학습 방식으로 학습시켜, 전체 얼굴에 대해 캡쳐된 2D 얼굴 이미지가 제공되지 않더라도 완성된 UV 맵의 에너지에 기반하여 학습되어 캡쳐되지 않은 폐색 영역까지 세밀하고 정확하게 복원할 수 있는 3차원 얼굴 이미지 합성 장치 및 방법을 제공할 수 있다.