본 발명은 다양한 시점에서 연속적으로 획득된 다수 프레임의 영상에서 키 프레임과 참조 프레임을 선택하는 프레임 제공부, 키 프레임과 참조 프레임 중 적어도 하나를 인가받아 미리 학습된 패턴 추정 방식 및 패턴 복원 방식에 따라 인가된 프레임에 대응하는 깊이 맵을 획득하는 깊이 판별부 및 키 프레임과 참조 프레임에서 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 획득되는 키 특징맵과 참조 특징맵을 결합하여 결합 특징맵을 획득하고, 결합 특징맵에 3차원 좌표가 포함되도록 획득된 깊이 맵에 기반하여 생성된 3차원 좌표계 특징맵을 결합하여 3차원 특징맵을 획득하며, 3차원 특징맵으로부터 미리 학습된 패턴 추정 방식에 따라 키 프레임으로부터 참조 프레임으로의 카메라 자세 변화를 추정하는 자세 판별부를 포함하는 카메라 자세 및 깊이 추정 장치 및 방법을 제공할 수 있다.