본 발명은 비젼 기반 화재 탐지 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 외부로부터 화재 관련 이미지 데이터 또는, 화재 관련 영상 데이터를 수집하는 데이터 수집부(100), 상기 데이터 수집부(100)에서 수집한 수집 데이터의 외부 환경 조건 정보를 추출하는 데이터 전처리부(200), 상기 데이터 전처리부(200)에서 추출한 외부 환경 조건 정보를 기반으로 상기 수집 데이터를 그룹화하여 둘 이상의 학습 데이터 셋을 생성하고, 기저장된 둘 이상의 인공 신경망 학습 알고리즘을 이용하여, 상기 학습 데이터 셋을 각각 학습하여 다수의 인공 신경망 학습 모델을 생성하는 학습 처리부(300) 및 실시간 화재 탐지 시, 상기 학습 처리부(300)에서 생성한 다수의 인공 신경망 학습 모델 중 적어도 하나의 인공 신경망 학습 모델을 선택하고, 선택된 상기 인공 신경망 학습 모델에 실시간 입력되는 이미지 데이터를 적용하여 화재 탐지를 수행하는 실시간 탐지부(400)를, 포함하는 비젼 기반 화재 탐지 시스템에 관한 것이다.