본 발명은 각각 입력 이미지 또는 이전단에 배치된 콘볼루션 레이어에서 출력되는 특징맵을 인가받아 특징을 추출하여 특징맵을 출력하는 다수의 콘볼루션 레이어 및 다수의 콘볼루션 레이어 중 최종단에 배치된 콘볼루션 레이어에서 출력되는 최종 특징맵을 인가받아, 입력 이미지의 해상도보다 높은 기지정된 해상도를 갖는 출력 이미지로 업스케일링하여 출력하는 멀티 레이어를 포함하고, 멀티 레이어는 최종 특징맵의 폭과 높이 및 깊이 방향인 x, y 및 z축 방향 중 x, y축 방향으로는 최소 크기를 갖고 z축 방향으로는 최종 특징맵의 z축 방향 크기와 동일한 크기를 가져 최종 특징맵에서 z축 방향으로 배열된 특징들을 각각 혼합하는 다수의 제1 필터를 포함하여 제1 셔플맵을 출력하는 제1 분할 레이어, 및 x, y축 방향으로는 제1 필터보다 크고 z축 방향으로는 제1 필터의 개수와 크기를 가지는 다수의 제2 필터를 각각 포함하여, 제1 셔플맵의 x, y축 방향의 특징들을 혼합하는 적어도 하나의 제2 분할 레이어를 포함하여, 화질 열화를 억제하면서 연산량을 크게 줄이고, 소형 및 저비용으로 하드웨어로 제조 가능한 이미지 업스케일링 장치 및 이의 디콘볼루션 레이어 다중화 방법을 제공할 수 있다.