본 발명은 인접 프레임 정보를 이용한 영상 복원 장치 및 그 방법이 개시된다. 본 발명의 인접 프레임 정보를 이용한 영상 복원 장치는, 복원하고자하는 비디오 영상을 입력받는 입력부; 입력부로 입력된 비디오 영상에 복원영역을 설정하는 복원영역 설정부; 비디오 영상에서 복원할 대상 프레임과 참조 프레임을 딥러닝 기반으로 정합하는 정합 모듈; 정합 모듈에서 정합된 참조 프레임으로부터 대상 프레임의 복원영역에 대한 복원정보를 딥러닝 기반으로 복사하는 복사 모듈; 복사 모듈에서 복사한 복원정보를 대상 프레임의 복원영역에 붙여넣기 하여 복원하는 복구 모듈; 및 복구 모듈에서 복원된 비디오 영상을 출력하는 영상 출력부;를 포함하는 것을 특징으로 한다.