본 발명은 입력 영상의 다수의 프레임 중 스킵 가능 프레임과 고정 프레임을 설정하는 프레임 설정부, 미리 학습된 인공 신경망으로 구현되어, 학습된 방식에 따라 스킵 가능 프레임 각각과 스킵 가능 프레임 각각의 인접 프레임으로부터 스킵 가능 프레임 각각의 스킵 여부를 판별하여 스킵 플래그를 활성화 또는 비활성화하는 스킵 프레임 선별부 및 스킵 플래그가 활성화된 스킵 프레임을 제외한 나머지 프레임을 기지정된 방식으로 인코딩하여 인코딩 영상을 획득하는 인코더를 포함하되, 스킵 프레임 선별부는 스킵 프레임의 제외 여부에 따른 인코딩 영상의 압축률과 인코딩 영상을 디코딩한 디코딩 영상과 스킵 프레임의 제외 여부에 따라 스킵 프레임을 복원한 복원 영상 사이의 화질 차이에 기초하여 미리 학습되어, 비디오 영상의 품질을 유지하면서 압축률을 향상시킬 수 있는 스킵 프레임 선별 장치 및 방법을 제공한다.