본 발명은 영상의 다수 프레임 이미지 중 초기 프레임 이미지 또는 이전 타겟 객체가 추출된 프레임 이미지에서 타겟 객체 영역을 추출하여 타겟 이미지를 획득하는 타겟 이미지 획득부, 다수 프레임 이미지 중 타겟 객체가 검출되어야 하는 현재 프레임 이미지에 대해 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 프레임 특징맵을 획득하는 프레임 특징 추출부, 타겟 이미지에 대해 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 타겟 특징맵을 획득하는 타겟 특징 추출부, 타겟 특징맵에서 채널 및 공간적 중요도에 따라 가중치를 가중하여 가중 특징맵을 획득하는 듀얼 집중 특징 추출부, 이전까지 획득된 가중 특징맵을 중요도에 따라 가중 누적하고 특징 추출하여 기준 특징맵을 획득하는 자기 집중 특징 추출부, 프레임 특징맵과 기준 특징맵에 대한 상관 연산을 수행하여 스코어 맵을 획득하는 특징 상관부 및 스코어 맵을 기반으로 현재 프레임 이미지에서의 타겟 객체의 위치를 판별하는 객체 검출부를 포함하여, 타겟 객체의 외형 변화에도 강인하고 정확하게 객체를 추적할 수 있는 객체 추적 장치 및 방법을 제공할 수 있다.