시각 기반 내비게이션 장치 및 방법과 이에 관한 기록매체가 개시된다. 개시된 시각 기반 내비게이션 장치는 이동체의 기준 위치에서 획득된 주변 환경에 대한 제1 전방향 파노라마 영상에서 제1 지평선을 설정하고, 상기 제1 지평선 내에 포함된 픽셀들 중 색상 값이 높은 순으로 미리 설정된 개수의 제1 픽셀들을 추출하는 제1 추출부; 상기 이동체의 현재 위치에서 획득된 주변 환경에 대한 제2 전방향 파노라마 영상에서 제2 지평선을 설정하고, 상기 제2 지평선 내에 포함된 픽셀들 중 색상 값이 높은 순으로 미리 설정된 개수의 제2 픽셀들을 추출하는 제2 추출부; 및 상기 제1 픽셀들 각각의 색상 값과 상기 제1 전방향 파노라마 영상에서의 위치하는 각도 및 상기 제2 픽셀들 각각의 색상 값과 상기 제2 전방향 파노라마 영상에서의 위치하는 각도를 랜드마크로 이용하여 상기 현재 위치에서 상기 기준 위치로의 귀소 경로를 산출하는 경로 산출부;를 포함한다.