본 발명은 라이다를 이용하여 획득된 3차원 점군 이미지가 인가되면, 기지정된 방식으로 2차원 이미지로 변환하여 입력 데이터를 획득하는 입력 데이터 획득부, 미리 학습된 인공 신경망으로 구현되어, 입력 데이터를 학습된 방식에 따라 인코딩하여 특징맵을 추출하는 과정을 반복하여 획득되는 다수의 특징맵 중 최종 인코딩된 특징맵인 인코딩 특징맵을 학습된 방식에 따라 디코딩하여 동적 객체 영역을 나타내는 이진 마스크를 획득하고, 확률적 구조 유사도에 따라 다수의 특징맵 중 대응하는 특징맵에서 이진 마스크에 대응하는 영역을 이전 획득된 채움 특징맵의 영역으로 대체하여 관심맵을 획득하며, 획득된 관심맵을 미리 학습된 방식으로 디코딩하여 채움 특징맵을 반복적으로 획득하는 배경 채움 네트워크 및 최종 획득된 채움 특징맵을 채움 이미지로 인가받고, 기지정된 방식으로 3차원 이미지로 변환하는 3D 지도 획득부를 포함하여, 동적 객체 영역이 자연스러운 배경으로 대체되어 자율 주행에 이용 가능한 수준의 고품질의 3D 지도를 획득할 수 있는 라이다 깊이 이미지 채움 장치 및 방법을 제공할 수 있다.