본 발명은 다수의 콘볼루션 레이어를 포함하는 콘볼루션 신경망(이하 CNN)의 다수의 콘볼루션 레이어 중 최종단에 위치하는 최종 콘볼루션 레이어가 시스템에서 요구하는 시스템 요구 처리량을 만족하도록 출력할 수 있는 초기 특징값 그룹을 탐색하고, 다른 콘볼루션 레이어에서 출력되는 이전 특징맵들에서 탐색된 상기 초기 특징값 그룹에 대응하는 크기의 특징값 그룹을 분석하여 초기 퓨징 네트워크를 설정하는 단계, 상기 초기 퓨징 네트워크 또는 재설정된 퓨징 네트워크를 기반으로 상기 다수의 콘볼루션 레이어 각각에 특징값 그룹의 크기에 대응하는 개수의 연산기를 할당하여 각 레이어별 연산 시간을 계산하고, 계산된 레이어별 연산 시간 중 최소 연산 시간을 갖는 레이어를 판별하여 특징값 그룹의 크기를 기지정된 방식으로 분할하는 단계 및 최종 콘볼루션 레이어의 특징값 그룹의 크기를 기지정된 방식으로 변경하여 퓨징 네트워크를 반복적으로 재설정하고, 각 퓨징 네트워크에서 분할된 특징값 그룹의 크기를 기반으로 할당되는 연산기 개수가 최소인 특징값 그룹의 크기를 판별하여, 상기 다수의 콘볼루션 레이어 각각에 포함될 연산기 개수를 최종 결정하는 단계를 포함하여 요구되는 처리량을 만족할 수 있으면서 연산기 개수를 최소화할 수 있는 콘볼루션 신경망의 하드웨어 구조 최적화 방법을 제공할 수 있다.